欢迎来到西安育鸿励志教育咨询中心网站!
西安育鸿励志教育咨询中心
全国服务热线:400-150-6005
刘老师专线:15929971022

科学家设计新AI系统 从无声钢琴演奏视频中再现演奏声音

作者:admin 发布日期: 2021-02-10 二维码分享

本文转自【cnBeta.COM】;

据外媒New Atlas报道,想象一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的是哪首乐曲,或许并不夸张。然而,一个新的人工智能系统却更进一步,以数字方式逼真地再现了钢琴演奏的声音。

这项技术被称为Audeo,由华盛顿大学的一个团队设计。研究人员使用钢琴家保罗·巴顿的YouTube视频对系统进行了培训和测试。培训包括约17.2万巴顿演奏巴赫和莫扎特等*古典作曲家音乐的视频帧。

在分析一段无声视频时,所产生的系统首先会观察哪些键被按下的顺序,确定各个音符及其排列方式。也就是说,它还能感知到每个键被击打的力度和被按住的时间--这让它能计算出每个音符的强度,以及它在随后弹奏的音符下面持续的时间长度。它还考虑到了钢琴独特的声学特性。然后,这些数据被转换为一种可以被现有的数字合成器理解的格式。据报道,当该合成器回放音乐文件时,它听起来非常像原始的钢琴音乐。

在对Audeo的测试中,它的任务是根据巴顿演奏的静音视频重现钢琴音乐,而不是系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现时,它们能够以大约86%的准确率识别出乐曲。相比之下,当这些应用分析相同视频中的原始钢琴音频时,其识别准确率攀升至93%。随着技术的进一步发展,这种差距应该会缩小。

“我们希望我们的研究能够实现与音乐互动的新方法,”该研究的高级作者Eli Shlizerman副教授说。“例如,未来的一个应用是,Audeo可以扩展到虚拟钢琴,摄像头只记录一个人的手。此外,通过将摄像头放在真实的钢琴之上,Audeo有可能协助教学生如何演奏的新方法。”

本文转载自百度新闻科技,内容均来自于互联网,不代表本站观点,内容版权归属原作者及站点所有,如有对您造成影响,请及时联系我们予以删除!

快速通道 Express Lane

咨询热线

1592997102215929971022

邮箱:810067241@qq.com

Q  Q:810067241

  • 全国服务热线:400-150-6005
  • 刘老师专线:15929971022
  • 邮箱:810067241@qq.com
  • 技术支持:动力无限
  • 万家灯火
  • Copyright ©  西安育鸿教育科技有限公司  版权所有

  • 网站地图 RSS XML
  • 地址:西安市长安区长安大道中段甫店村西安育鸿素质文化培训学校
手机站二维码
手机站二维码