从视频中学习对象的声音：共同分离训练目标下的音频源分离

视觉对象

25 浏览量更新于2025-01-16 收藏 2.33MB PDF 举报

视觉对象

高若涵UT

奥斯汀

rhgao@cs.utexas.edu

克里斯汀·格劳曼

UT Austin和Facebook AI Research

grauman@cs.utexas.edu

摘要

从视频中学习对象的声音是具有挑战性的，因为它

们通常在单个音频通道中严重重叠。用于视觉引导的

音频源分离的当前方法通过利用人工混合的视频剪辑

进行训练来回避该问题，但是这对训练数据收集施加

了笨拙的限制，并且甚至可能阻止学习

“

真实

”

混合声

音的特性。我们引入了一个

共同分离的

训练范式，允

许学习对象级的声音从未标记的多源视频。我们的新

训练目标要求深度神经网络的我们的方法在真实的测

试视频中解开声音，即使在训练过程中没有单独观察

到物体的情况下。我们获得了

MUSIC

、

AudioSet

和

AV-

Bench

数据集的视觉引导音频源分离和音频去噪

介绍

多模态感知对于捕获对象、场景和事件的真实世界

感官数据的丰富性是重要的。物体发出的声音，无论

是主动产生的还是偶然发出的，都提供了关于它们的

物理特性和空间位置的有价值的信号--钹在舞台上碰

撞，鸟在树上鸣叫，卡车在街区里加速，银器在抽屉

里叮当作响。

物体通常在与周围其他物体共存或相互作用时产生

声音。因此，我们不是孤立地观察它们，而是听到它

们与来自其他来源的声音交织在一起。同样，真实的

视频记录了具有单个音频通道的各种对象，该单个音

频通道将它们的所有声学频率混合在一起。自动

分离

视频中每个对象的声音具有很大的实际意义，其应用

包括音频去噪、视听视频索引、乐器均衡、音频事件

混音和对话跟随。

而传统的方法假设访问多个

一致可识别的

图1：我们提出了一个

共同分离

训练目标，用于从包含多个

声源的未标记视频中学习音频源分离我们的方法学习将一致

的声音与成对的训练视频中相似的对象相关联。然后，给定

一个新颖的视频，它为每个对象返回一个单独的音轨。图片

来源：

，

中所述。

麦克风或仔细监督的干净音频样本[22，48，9]，最近

的方法使用“混合和分离”范例来解决音频（视觉）源

分离问题也就是说，这种方法随机地混合音频/视频片

段，并且学习目标是恢复原始的未混合信号。例如，

人们可以创建

目前的培训战略有两个主要限制。首先，它隐含地

假设原始真实训练视频由包含一个主要声音制造者的

单源剪辑主导。然而，收集大量这种干净的

3879

大提

琴

吉他

小提

琴

吉他

3880

比如说话的人和乐器。第二，它隐含地假设记录中的

源是独立的。然而，正是

真实声源

（对象）之间的相

关性使得源分离问题在测试时最具挑战性。这种相关

性可能无法被人工混合的训练片段捕获。

为了解决这些缺点，我们引入了一种新的学习分离

音频源的策略。我们的关键见解是一种新颖

的共分离

训练目标，它从自然发生的多源视频中学习。

在训练

过程中，我们的共分离网络考虑成对的训练视频，而

不是简单地分离它们的人工混合音轨，它还必须生成

在所有训练样本中

在对象级别上一致可识别

的音轨特

别地，使用来自未标记的训练视频的噪声对象检测，

我们设计了一个损失，要求在单个训练视频内，每个

单独的音轨应该是可区分的，作为其适当的对象。例

如，当两个训练实例都包含吉他和其他乐器时，需要

使分离的吉他音轨一致地可识别。见图1.一、

我们将我们的想法称为请注意，我们的共分离只在

训练期间起作用;与共同分割不同，在测试时，我们的

方法对单个视频输入执行分离。

我们的方法设计提供了以下优点。首先，共分离允

许使用“在野外”的声音混合进行训练它有可能受益于

未标记的多源视频的可变性二是加强了对“混业经营”

之外的监管。通过在对象级别上强制分离

单个视频

，

我们的方法使学习者暴露于声源之间的自然相关性。

最后，来自不同视频的具有相似外观的对象可以彼此

合作以共同分离它们的声音，从而使学习过程规则化

通过这种方式，我们的方法能够很好地从多源视频中

学习，并且即使在训练期间从未单独观察过对象，也

可以成功地分离测试视频中的对象声音。

我们在三个基准数据集上进行了实验，并展示了上

述优点。我们的方法在分离和去噪方面产生了最先进

的结果。最值得注意的是，当从嘈杂的AudioSet [14]

视频中学习时，它的性能大大优于先前的方法和基

线。全面协同分离是从多源视频中学习视听分离的一

个很有前途的方向。

在全文中，我们使用

相关工作

仅音频源分离分离在信号处理中具有丰富的历史。

虽然许多方法假设由多个麦克风捕获的音频，但一些

方法解决了单通道音频的

ing [20，18，44].混合和分离风格训练现在通常用于仅

音频源分离，以创建人工训练示例[21，18，50]。我

们的方法采用了混合和分离的想法。然而，与上述所

有不同的是，我们利用视觉对象检测来指导声源分

离。此外，如上所述，我们的共分离框架在训练数据

方面更加灵活，并且可以推广到多源视频。

视听源分离早期的视听源分离方法集中在互信息

[10]，子空间分析[42，34]，矩阵分解，

[39][3最近的方法

利用深度学习来分离语音[8，31，3，11]，

[12] 音乐的声音[13] ， [14]， [15] 。与仅音频方法类

似，几乎所有方法都使用相比之下，我们在对象级别

执行源分离，以显式地对来自视觉对象的声音进行建

模，并且我们的模型在训练期间在视频中强制分离。

与我们的工作最相关的是“像素声音”（SoP）[52]和

多实例学习（AV-MIML）[12]方法。AV-MIML [12]也

专注于从未标记的视频中学习对象声音模型，但其两

阶段方法依赖于NMF来执行分离，这限制了其性能和

实用性。此外，虽然AV-MIML只是使用图像分类来获

得视频帧上的弱标签，但我们的方法检测本地化的ob-

bits，并且我们的端到端网络与音频流一起学习视觉对

象表示。SoP [52]为每个像素输出声音，而我们在预先

训练的对象检测器的帮助下预测视觉对象的声音。更

重要的是，当有干净的独奏视频可用于执行视频级的

“混合和分离”训练时，SoP效果最好。相反，我们的方

法在单个训练视频中分解了对象的混合声音，允许使

用多源数据进行更灵活的训练（尽管与[52]不同，我

们确实需要对象检测步骤）。

定位视频帧中的声音定位需要识别视频声音来自的像

素，但不能分离音频[25，19，10，4，40，45]。与所

有这些方法不同，我们的目标是从单通道信号中

分离

出多个物体的声音我们通过对象检测定位潜在的声

源，并使用本地化的对象区域来指导分离学习过程。

3881

从视频生成声音声音生成方法从视觉输入合成音轨

[32，54，6]。给定视觉输入和单声道音频，最近的方

法生成空间（双耳或立体混响）音频[13，30]。与上

述任何一种不同，我们的工作旨在

分离

现有的真实音

轨，而不是合成看似合理的新声音。

方法

我们的方法利用本地化的对象检测，以视觉引导音

频源分离。首先，我们将我们的对象级视听源分离任

务形式化（第二节）。第3.1节）。然后，我们介绍了

我们的框架，用于从未标记的视频中学习对象声音模

型，以及我们的C

-S

EPARATION

深度网络架构（第二

节）。3.2）。最后，我们提出了我们的训练标准和推

理程序（第二节）。3.3）。

3.1.

问题公式化

给定具有伴随音频x（t）的未标记视频剪辑V，我

们将在视频帧中检测到的 N 个对象的集合表示为 V

={0

，. . . ，0

}。我们把每个物体看作一个潜在的声

源，x（t）= ∑

（t）是观测到的这些声源的单通道

线性混合，其中s

（t）

是每个物体的时间离散信号。对象级视听源分离的目

标是从x（t）中分离出每个对象O

的

声音

（t）。

在[21，18，50，52，31，13，8]之后，我们从普

遍采用的“混合分离”思想，以自我监督源分离。给定

两个训练视频 V

和 V

以及相应的音频 x

（ t ）和 x

（t），我们使用预先训练的对象检测器来找到两个视

频中的对象。然后，我们混合两个视频的音频，并获

得混合信号

（t）=

（t）+

（t）。将混合音频

（t）变换为幅度谱

图

∈

由F个频率仓和N个短时傅立叶组成

STFT（英语：STFT）[15]帧，它编码信号的频率和相

位内容随时间的变化

我们的学习目标是将每个物体发出的声音与以局部

物体区域为条件

的

（t）分离。例如图图3示出了将两

个视频

和

与在

中检测到的两个对象

、

和在

中检测到的一个对象

混合的场景。目标是分别从混

合信号

（t）中分离对象

、

和O3

的

（t）、

（t）

和

（t）为了执行分离，我们预测每个对象的频谱图

掩模

我们

使用实值比率掩码并获得预测的幅度，

通过软掩模混合物谱图的Tude谱图：Xn

。最

后，我们使用逆短时傅里叶变换（ISTFT）[15]来重建

每个对象源的波形声音。

超越视频级混合和分离，

图2：我们的视听分离器网络将混合音频信号和从其伴随的

视频中检测到的对象作为输入，并执行联合视听分析以分离

负责输入对象区域的声音部分。

我们的方法甚至可以从多源训练视频中学习对象声音

模型。我们新的协同分离框架可以捕获声源之间的相

关性，并能够从嘈杂的网络视频中学习，如下所述。

3.2.

Co分离框架

接下来，我们提出了我们的C

分离

训练框架和我

们的网络结构来执行分离.

对象检测首先，我们为C对象的词汇表训练对象检

测器。一般来说，这个检测器应该覆盖可能出现在训

练视频中的任何潜在的发声对象类别。我们的实现使

用Faster R-CNN [36]对象检测器，其中ResNet-101 [17]

主干使用Open Images [26]进行训练。对于每个未标记

的训练视频，我们使用预先训练的对象检测器

自动

在所

有视频帧中找到对象。然后，我们收集所有对象检测

跨帧，以获得视频级池的对象.参见补充有关详细信息

视听分离器我们使用检测到的对象区域来指导源分

离过程。图

示出了我们的视听分离器网络，其执行

视听特征聚合和源分离。在

[13

，

31]

中还使用

了用于多模态特征融合的相关设计，用于音频空间

化和分离。然而，与那些模型不同，我们的分离器

网络结合了局部对象区域的视觉特征和混合音频的

音频特征来预测用于源分离的幅度

该网络将检测到的对象区域和混合音频信号作为输

入，并分离负责对象的声音部分我们使用ResNet-18网

络来提取第4个ResNet块后的视觉特征，

（H/32）×（W/ 32）×D，其中H、W、D表示帧和信

道尺寸。然后我们将视觉特征

通过1 ×1卷积层来减少信道干扰，

我们的方法是同时执行SEPA，

在对象级别

的单个视频内

的定量。这使得

没有手动对象注释用于共分离训练/测试。

检测到

的对象

掩模

ResNet-18

1x1转换

瓷

砖

频谱图

ISTFT

STFT

混合

音频

分离的音

频

跳过连接

concatenate

剩余11页未读，继续阅读

cpongm

粉丝: 6

从视频中学习对象的声音：共同分离训练目标下的音频源分离

vue.js v2.5.17

DM8-SQL语言详解及其数据管理和查询操作指南

1108_ba_open_report.pdf

anslow_02_0109.pdf

以下是OpenCV在不同操作系统下的下载与安装教程

aronson_01_0707.pdf

Designing Deep Learning Systems. A software engineer's guide - 2023.pdf

基于豆瓣图书网站的图书数据分析与可视化

barbieri_01_0108.pdf

brown_3ck_01_0718.pdf

最新资源