ZER:该AI通过静音钢琴演奏产生音乐_NetZero

科学家已经开发出一种AI,该AI可以仅通过观察演奏者手部的运动来从无声钢琴演奏中产生音乐。

这个名为Audeo的系统会分析某人挠痒痒的自上而下的视频,以预测每一帧中按下了哪些键。然后产生音乐的笔录,然后由合成器翻译成声音。

研究人员在钢琴家保罗·巴顿演奏著名作曲家的音乐的镜头上对AI进行了培训和测试。

然后,他们通过在Shazam和SoundHound等音乐识别应用程序中播放Audeo作品的准确性进行评估。

这些应用程序可以在86%的时间内识别出音调-仅比识别源视频少7%。

华盛顿大学助理教授,资深研究作者EliShlizerman说,他对AI输出的质量感到惊讶:

以前认为创建听起来像可以在音乐表演中播放的音乐是不可能的。算法需要弄清楚视频帧中与生成音乐有关的提示或“特征”,并且需要“想象”视频帧之间发生的声音。它需要一个既精确又富有想象力的系统。

8月非农前瞻:劳动力市场需求强劲推动美联储激进加息:9月2日消息,美国8月季调后非农就业人口将于北京时间今日20:30公布,各大机构预期新增就业人数在20-45万之间,也是美联储9月议息会议前获得的最后一批数据之一,很大程度上决定加息幅度。(金十)[2022/9/2 13:04:44]

您可以在下面的视频中自行判断其性能:

研究人员还探索了使用Audeo改变音乐风格的方法。Shlizerman说,该系统可以显示通过小号演奏时钢琴产生的音乐的声音。

他希望这项研究将为人们与音乐互动提供新的方式:

例如,未来的应用是Audeo可以通过仅记录人的手的摄像机扩展到虚拟钢琴。此外,通过将相机放置在真实的钢琴上,Audeo可以潜在地以新的方式教学生如何演奏。

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

区块博客

ADALEA:2.05 以太坊午间简评_WWW

小时级别来看,昨日早盘以太冲高直逼1700一线关口,在1695一线遇压回调,震荡下挫回吐涨幅,晚间23:00操作刺破下轨支撑,跌至1556.78一线,昨日午间建议小幅反弹空单入场先看一波回踩.

[0:15ms0-5:311ms