(资料图)
Demucs是脸书人工智能的一个新的研究项目。它旨在将音轨分成不同的乐器或声音,类似于人类如何检测特定的乐器,解决现有方法的问题。从长远来看,Demucs还可以应用于其他AI任务。
对于机器来说,音乐源分离可能是一项艰巨的任务,而对于人类来说,更容易区分人声、低音或鼓声。为了帮助完成这项任务,脸书人工智能研究科学家亚历山大笛福塞开发了Demucs(音乐源深度提取器)。
正如著名的“鸡尾酒会效应”所述,人类可以在嘈杂的环境中进行特定的对话。分离声源的任务给机器带来了困难。让我们来看看人工智能工具是如何管理这项任务的,以及是什么让Demucs与众不同。
频谱图和波形
正如笛福塞所指出的,最常见的是,人工智能通过分析光谱图来分离音乐源。虽然这种方法非常适用于单频共振的仪器,但基于谱图的方法也有其缺点。例如,萨克斯和吉他频率可以相互抵消。
这就是Demucs发挥作用的地方——一种基于AI的波形模型,其设计原理类似于计算机视觉如何检测图像中的模式。“它检测波形中的模式,然后增加更高比例的结构,”迪福塞兹解释说。换句话说:“德姆库斯可以重现它认为存在但混合在其中的音频。”