8238基于动态梯度调制的平衡多模态学习彭小康1、<$、魏亚科1、<$、邓安东2、王东3、胡迪1、* 1中国人民大学高陵人工智能学院北京1大数据管理与分析方法北京市重点实验室，北京2上海交通大学3上海人工智能实验室，上海1{xiaokangpeng，yakewei，dihu} @ ruc.edu.cn，2{andongdeng69，dongwang.dw93} @gmail.com摘要多模态学习通过整合不同的感官，帮助学生全面认识世界.因此，多输入模态预计将提高模型的性能，但我们实际上发现，他们没有充分利用，即使多模态模型优于其单模态对应。具体地说，在本文中，我们指出，现有的多模态判别模型，其中统一的目标是为所有模态设计的，可能仍然是优化不足的单峰表示，这是由另一种主导模态在某些场景中造成的，例如，声音在吹风事件中，视觉在绘制图片事件中，等等。为了减轻这种优化不平衡，我们提出了动态梯度调制，以通过监测它们对学习目标的贡献的差异来自适应地控制每个模态的优化。此外，引入了一个动态变化的额外高斯噪声，以避免梯度调制引起的可能的泛化下降。实验结果表明，该方法在不同的多模态任务上比常用的融合方法有了很大的改进，并且该方法也可以有效地提高现有的多模态融合方法的性能，从而证明了 该 方 法 的 有 效 性 和 通 用 性 。 源 代 码 可 在https://github.com/GeWu-Lab/OGM-GE_CVPR 2022上获得。1. 介绍人们通过协作地利用多种感官来感知世界：眼睛看，耳朵听，还有手触摸。这种多模态方式可以从不同的方面提供更全面的信息。受人类多感官整合能力的启发[11]，从不同传感器收集的多模态数据往往在机器学习中得到更多考虑。近年来，多-†同等贡献。*通讯作者。在改进先前的单模态任务的性能以及解决新的挑战性问题方面，例如动作识别[10，23，29，37]，视听语音识别[33]，和视觉问题回答[2，19，41]。多模态数据通常提供更多的视图相比，单模态数据的学习应该匹配或优于单模态的情况。然而，根据最近的研究[39]，使用联合训练策略优化所有模态的统一学习目标的多模态这种现象违背了通过整合来自多个模态的信息来改善模型性能的意图先前的研究者声称，各种模态往往以不同的速率收敛，导致不协调的收敛问题[20，35，39]。为了解决这个问题，一些方法在额外的单峰分类器或预训练模型的帮助下帮助训练多模态模型[8，39]。因此，它们不可避免地在训练额外的神经模块上带来了额外的努力然而，我们进一步发现，即使当多模态模型优于单模态模型，他们仍然不能充分利用的潜力多模态。如图1所示，联合多模态模型在VGGSound [7]上实现了最佳的事件分类性能，但其中视觉和音频模态的性能明显低于仅视觉和仅音频模型1。这一有趣的观察结果表明，在这两种模式下的优化表示。我们认为原因可能是，在一些多模态场景中，具有更好性能的主导模态[31]（例如，风吹的声音、踢足球的景象等）会抑制另一个的优化。此外，作为...1这里，仅视觉和仅音频是使用单一模态训练的模型。为了评估多模态模型的单峰编码器，我们通过固定联合训练的单峰编码器并仅微调单峰分类器来观察性能82390.550.450.550.500.400.500.350.450.450.300.400.250.400.350.200.305 15 25 35 45时代（一）0.155 15 25 35 45时代（b）第（1）款0.3530 55 80时代（c）第（1）款图1.单模态模型，联合训练的多模态模型和多模态模型与我们提出的OGM-GE在VGGSound [7]数据集的验证集上的性能。(a)音频模态的性能。(b)视觉模态的表现。(c)多模态模型的性能。最好用彩色观看。如图1（a）和（b）所示，还有另一个值得注意的观察，即与音频情况相比，视觉模态的准确性下降更明显，这与VGGSound作为策划的面向声音的数据集，更喜欢音频模态的事实一致，即使声源保证可见。一般来说，这种数据集偏好会导致一种模态通常占主导地位，从而导致这种优化失衡现象。针对上述问题，首先从优化角度分析了不平衡现象，发现性能较好的模态有助于降低联合鉴别损失，然后通过传播有限的梯度来控制优化过程，从而导致欠优化的情况。然后，为了缓解这种情况，我们建议通过动态梯度调制（OGM）策略来控制每个模态的优化过程。具体而言，在训练过程中动态监测不同模态对学习目标的贡献差异，然后利用该差异自适应地调节梯度，从而在欠优化模态上提供更多努力。然而，调制梯度可以降低随机梯度噪声的强度，这已被证明与泛化能力具有正相关性[21]。因此，我们进一步引入额外的高斯噪声，动态变化，以实现泛化增强（GE）。在将我们的OGM-GE方法应用于图1中的VGGSound的多模态学习任务之后，我们获得了针对欠优化的单峰表示的一致性能提升图1（a）和（b）中的蓝色曲线。不仅如此，视觉模态获得了更大的改进。因此，我们的方法在多模态学习环境中并不优于传统方法，如图1（c）所示。为了充分证明OGM-GE的有效性，我们在不同数据集上的各种多模态任务中对其进行了测试，这带来了一致的改进，与香草融合策略和现有的多模态方法一起工作。概括起来，我们的贡献如下：• 我们发现了优化不平衡现象，即联合多峰模型的性能由于未优化的表示而受到限制，然后从优化的角度对其进行了分析。• 提出了OGM-GE方法，通过动态控制各模态的优化过程，增强泛化能力，解决了优化不平衡问题。• 建议OGM-GE可以插入不仅香草融合策略，而且现有的多模态框架，并带来了一致的改进，表明其有前途的通用性。2. 相关作品2.1. 多模式学习多模态学习是机器学习领域的一种复杂的学习范式，由于多模态数据的不断增长，自然包含了丰富的相关性，因此受到越来越多的关注。根据具体应用有不同的研究方向。例如，一些研究人员以无监督的方式探索了多模态数据之间的对应关系，以学习下游任务的有意义的表示[1，4，17，18，25]。此外，有许多研究致力于开发多模态的信息以与单模态框架相比提高模型在特定任务上的性能，例如，动作识别[10，23，29]、视听语音识别[16，33]和视觉问答[2，19]。然而，大多数采用联合训练策略的多模态方法不能充分利用所有模态，并产生优化不足的单峰表示，使得多模态模型的性能未能达到预期，即使它们有时确实优于单峰对应物。纯音频模型视听模型基于OGM-GE的唯象模型视听结合模型基于OGM-GE的视听模型OGM-GE视听模型精度精度精度8240··∈∈Naaf（x）f（x）D{}Ni=11毫升t+1tt1Σt t i，我我2.2. 不平衡多模态学习以往视听学习方法的上述缺陷促使研究者探索其背后的原因。多项研究指出，大多数多模态学习方法即使有更多的信息也不能有效地提高认知能力[8，35，39，40]，这是由模态之间的差异造成的。 Wang等人[39]发现不同的模式有不同的血淋淋的我们使用两个编码器φa（θa，）和φv（θv，）来提取特征，其中θa和θv是编码器的参数。代表性地，我们采取最广泛使用的香草融合方法，拼接，作为这里的例子2。设WRM×（dφa+dφv）和bRM表示最后一个线性分类器的参数。则多模态模型的logits输出如下：f（xi）= W [φ a（θ a，x a）; φ v（θ v，xv）]+ b.（一）收敛速度，使得联合训练的多模态ii模型无法匹配或优于其单峰对应部分。温特巴顿等人[40]证明了TVQA数据集对文本字幕模态的固有最近，出现了几种试图解决这些问题的方法[8，35，39]。Wang等人[39]提出了梯度-为了分别观察每个模态的优化过程，W可以表示为两个块的组合：[Wa，Wv]。等式1可以重写为：f（xi）= W a·φ a（θ a，x a）+W v·φ v（θ v，xv）+b.（二）我我混合以获得模态的最佳混合，他们的过度拟合行为此外，Du等人。[8]通过从知识中提取知识来训练多模态模型。我们将类c的logits输出表示为f（xi）c，判别模型的交叉熵损失变为训练有素的单一模式模式，以加强单一模式编码器这些方法确实可以改善L=−1Nef（xi）yiΣ. 随着梯度去-但是需要额外的努力来引入额外的神经模块，这使得训练过程复杂化。在这项工作中，从优化的角度来看，我们解决了这个问题，自适应地控制优化的每一个模态，而无需额外的模块。2.3. 随机梯度噪声气味（GD）优化方法，Wa和参数的编码器φa（θa，·）被更新为（类似地对于Wv和φv（θv，·））：Wa=Wa−η<$WaL（Wa）（三）=Wa−η φa（θa，xa），SGD的梯度噪声被认为与深度模型的泛化能力具有本质相关性[6，13，42，44，48]。这种随机梯度噪声θatNi=1=θ−ηθaL（θ）f（xi）i是由随机小批量抽样引入的，被认为是一种正则化，有助于模型摆脱t+1ttN=θa−ηL不（四）鞍点或局部最优[6，21，42，44]。Zhou等人[47个]进一步提供了理论证明，随机梯度，tNi=1f（xi）θa在适当的高斯噪声条件下，保证了算法在随机初始化的多项式时间内收敛到全局最优解。在本文中，为了增强多模态模型的生成能力，我们在梯度中引入了额外的高斯噪声，并取得了相当大的改进。3. 方法其中η是学习速率。根据公式3和4，我们可以发现，Wa和φa的优化与其他模态3的优化几乎没有相关性，除了训练损失（training loss，缩写为TPL）。 单模态我因此，编码器几乎不能根据彼此的反馈然后与等式2组合，可以将梯度RSL重写为：我ε L e（Wa·φa+Wv·φv+b）c3.1. 优化不平衡分析我我=−1我我.（五）f（xi）<$Me（Wa·φa+Wv·φv+b）kc=yi现象，并发现优化进展为方便起见，我们简化了φa（θa，xa）和φv（θv，xv）我我多模态模型的性能由具有更好性能的模态主导，导致另一模态未被优化。在这里，我们采取音频和视频模式-分别为φa和φv。然后，我们可以推断，对于属于类别yi的样本xi，当一种模态（如视觉模态）具有更好的性能时，它的贡献更大作为例子。为方便起见，我们将训练dataset=x i，y ii=1，2. N.每个xi由来自不同模态的两个输入组成，如xi=（x a，x v），其中日志Mk=1 ef（xi）k我们介绍了优化均衡的分析Ck=182412另一种香草融合方法的分析，summation，在Supp.材料. 这两种简单而有效的融合方法是在许多现有的多模式方法中广泛使用。A和V分别表示音频和视觉模态yi∈ {1，2，· · ·，M}，其中M是类的个数，3我们的OGM-GE还可以增强包含模态之间更复杂交互的方法，请参见第4.3节中的详细信息。8242不一v联系我们不uu不不不2i∈Bt我电话+1不不不不其中g（θt）=x∈Bt<$θu<$（x;θt）是一个无偏es-BB（xi）yiiMi i2·音频编码器配对多模态数据Concat视觉编码器FCFC前馈落后Ka不logits-asoftmax离散比utlogits-vsoftmaxKV 不落后+*kg（）V Vt th（）N（0，）vSGDv不（））不高斯噪声梯度调制交叉熵损失梯度调制图2.具有广义增强策略的实时梯度调制的流水线通过Wv·φv将其转换为可编程逻辑器件，从而在全球范围内降低损耗。因此，对于正确类别相对具有较低置信度的音频模态可以获得有限的优化努力。在反向传播期间其模态特定参数这一现象表明，具有更好性能的模态主导了优化过程。 因此，当多模式模型即将收敛，另一种模态仍然可以具体到第3.1节中讨论的优化不平衡问题，我们建议通过监控它们对学习目标的贡献的差异来自适应地调节每个模态的梯度。这里我们设计差异比ρu：s a= 101·softmax（W·a aa遭受欠优化表示并且需要进一步训练。我k=1Mk=yitφt（θ，xi）+2）k，（八）3.2. 动态梯度调制sv=1·softmax（W）·vV V如所讨论的，多模态歧视模型通常由模态主导-我k=1k=yitφt（θ，xi）+2）k，svS（九）性能更好，导致优化不足限制模型性能的表示。 解决ρt=πa.i ∈ Bt 我因此，ρa被定义为ρv的倒数。这里问题，我们的目标是通过OGM策略修改每个模态的优化过程，如图2所示。在本节中，我们遵循3.1节中的符号。当使用GD方法时，如下更新编码器Φu的参数θu，其中u a，vt t我们使用（Wu φi（θu，xu）+b）作为模态u的近似预测来估计多模态模型4.利用ρu来动态监控音频和视觉模态之间的贡献差异，我们能够通过以下方式自适应地调制梯度θ u =θ−η <$θu L（θ）。（六）在实践中，我们采用广泛使用的随机Gra-.1 − tanh（α·ρ u）ρ u> 1梯度下降（SGD）优化方法和参数更新为：其中α是控制模的程度的超参数，循环。我们将系数ku集成到SGD优化方法中，迭代t中的θu更新如下：θu=θu−ηg（θu），（7）t+1t tθu=θu−η·kug（θu）。（十一）第一代∇不t+1t t t全梯度θuL（θu）的估计。 Bt是随机的- 在第t步中选择的具有大小m的小批量，以及是梯度w.r.t. Bt.自下而上权重和自上而下权重，以获得后验分布。但是，我们使用b作为偏差项来估计多模态模型。vku=（十）不其他1人，M4受深度玻尔兹曼机的启发[34]，该机器使用8243不不不不u u sgd uN不不不∈不不∼N不不不不不不不（θt）[<$θu<$（xi;θt）<$θu<$（xi;θt）算法1使用OGM-GE策略的多模态学习u电话+1不不不不不不不Nt+1tt不∇· ∇我 我我i =1，2…N通过ku的方法，可以减轻性能较好（ρu>1）的模态的优化，而其他模态不受影响，可以摆脱有限的优化当前迭代。然后，结合OGM方法，θu更新为：θu=θu−η（kug（θu）+h（θu））努力，获得足够的训练。采用OGM策略的SGD优化方法，t+1t t t t=θu−ηθuL′（θu）+η′+ηt，（十六）分别控制每个模态，并且可以减轻不平衡问题。3.3. 泛化增强其中，θt（0，θsgd（θu））。自2000年以来，等式16可以重写为：而且，是独立的，θu= θu−ηθu L′（ θu）+ η′′，在SGD优化方法中，根据cen-t+1tT T（17）根据极限定理，当批量m足够大时，方程7中的梯度g（θu）遵循高斯分布[27]，即，g<$（θ）<$N（<$θuL（θ），<$（θ）），（12）<$t′′ <$N（0，（（k u）2+ 1）<$sgd（θu））.因此，SGD噪声的协方差被恢复甚至增强。我们在算法1中提供了整体OGM-GE策略，流水线如图2所示。结合我们的策略，新加坡民主联盟不11Σt t模型可以更加平衡，并保证泛化每种模式的能力。u uTM Ni=1（十三）输入：训练数据集D={（xa，xv），y}，iter--<$θuL（θt）<$θuL（θt）]。编号T，超参数α，初始化模态-具体参数θu，u∈ {a，v}。然后，等式7可以重写如下，其中，噪声项：对于t=0，···，T−1，从D取样新鲜的小批次Bt;θu=θu−ηθuL（θu）+ηt，ηt <$N（0，ηsgd（θu））。（十四）将批量数据Bt前馈到模型;使用公式8和9计算ρu;使用公式10计算ku;用反传播法计算梯度gθu定理1（SGD推广能力）。 SGD中的噪声为不基于梯度gθ u的方差的样本h（θu）;与其泛化能力和较大的SGD噪声通常导致更好的泛化[21]。科瓦里-不使用θu不=θu−η（kug（θu）+h（θu））。SGD噪声的幅度与学习速率与批量大小的比率成比例。根据定理1，梯度协方差（等式14中的Δt）的较高值通常带来较好的泛化能力。当我们使用系数ku来调制梯度时，θu更新为：端4. 实验4.1. 数据集CREMA-D[5]是一个用于语音情感识别的视听数据集，包含7，442个2-3秒的视频片段，来自91个演员说几个简短的单词。 这θu= θu−ηθu L′（ θu）+ η′，t+1tt t（15）数据集由6种最常见的情绪组成：生气，高兴，<$t′<$N（0，（ku）2·<$sgd（ θu）），悲伤、中立、抛弃、厌恶和恐惧。绝对情绪化t t通过众包从2，443个国家收集了标签其中η θu L′（θ u）=k uη θu L（θ u）。 基于等式10，ku（0，1]。当然，当学习率和批量大小固定时，Wnt′的协方差小于原始Wnt。SGD优化方法的泛化能力会降低。因此，需要开发一种控制SGD噪声、恢复其生成能力的方法为了增强SGD噪声，我们引入了一种简单但有效的广义增强（GE）方法，该方法添加了随机采样的高斯噪声h（θu）（0，θu）到梯度，它具有相同的co-变化为g（θu），并根据ΣuT8244评分员整个数据集按照9/1的比例随机分为6,698个样本的训练集和验证集，以及744个样本的测试集。Kinetics-Sounds（KS）[3]是一个包含31个人类动作类的数据集，选自Kinetics数据集[22]，其中包含400个YouTube视频类。所有视频都使用Mechanical Turk手动注释人类动作，并在动作周围裁剪为10秒长这31个类别被选择为潜在的视觉和听觉表现，例如演奏各种乐器。这个数据集包含19k个10秒的视频片段（15k训练，1.9k验证，1.9k测试）。8245××VGGSound[7]是一个大规模的视频数据集，包含309个 类 ， 涵 盖 了 日 常 生 活 中 的 各 种 音 频 事 件 。VGGSound中的所有视频都是在“野外”捕获的，具有视听对应性，因为声源在视觉上是明显的。每个视频的持续时间为10秒，数据集的划分与[7]相同。在我们的实验设置中，168，618个视频用于训练和验证，13，954个视频用于测试，因为有些视频现在在YouTube上不可用。AVE[36]是一个用于视听事件定位的视听视频数据集，涵盖28个事件类别，由4，143个10秒视频组成，包括听觉和视觉轨道以及帧级注释。所有视频均来自YouTube。在实验中，数据集的分裂如下[36]。4.2. 实验设置在实验中，我们使用基于ResNet18的[14]网络作为主干。具体来说，对于视觉编码器，我们将多个帧作为输入，并将它们放入2D网络中[45];对于音频编码器，我们将ResNet 18的输入通道从3稍微更改为1 [7]，其 余 部 分 保 持 不 变 。 AVE 、 Kinetics-Sounds 和VGGSound中的视频长度为10秒，我们以1 fps提取帧。考虑到数据集之间的差异，从每个10秒剪辑中均匀采样3帧作为视觉输入。librosa [28]使用长度为512和重叠为353的窗口将整个音频数据转换为大小为2571，004的频谱图对于CREMA-D，我们从每个剪辑中提取1帧，并将音频数据处理为大小为257 299，窗口长度为512，重叠为353。我们使用具有0.9动量和1 e-4权重衰减的SGD作为优化器。初始学习率为1 e-3，每70个epoch乘以0.1，α根据验证集由[0，1]4.3. 多通道任务与常规融合方法相结合 我们首先将OGM-GE应用于几种香草融合方法：基线，级联和求和，以及专门设计的融合方法。数据集CREMA-DVGGSound方法ACC地图ACC地图仅音频仅可视52.541.954.243.044.331.048.434.3基线50.852.648.451.7级联51.753.549.152.5求和51.553.549.152.4电影[32]50.652.148.551.6基线†54.456.250.153.5串联†61.963.950.653.9求和†62.264.350.453.6影片†55.657.450.052.9表1. CREMA-D和VGGSound数据集上的性能。结合OGM-GE，传统的融合方法不断得到改进。†表示应用OGM-GE策略大大优于其仅视觉的对应物。此外，仅音频模型在CREMA-D数据集上的准确性与OGM-GE算法相结合后，各种融合算法在不同数据集上的性能都得到了较大的提高，表明了该方法的有效性和良好的灵活性数据集CREMA-DKS方法ACCACC级联51.759.8[9]第十九话：54.460.3模态-跌落[9]（目视）53.361.3[39]第三十九话56.862.2OGM59.061.1OGM-GE61.962.3表2.在CREMA-D和Kinetics-Sounds数据集上与其他调制策略进行比较。Modality-Drop（音频）方法将音频输入转换为特定概率，类似于Modality-Drop（视觉）。与级联方法相比，其他方法都有进步，其中OGM-GE的性能最好sion方法：Film [32]，然后评估几个数据集的性能，如表1所示。Baseline是一种基于激活函数的特征融合方法，它利用激活函数标记出一个模态与另一个模态的相关特征分量。Film [32]通过对网络的中间特征应用仿射变换来还提供了仅音频和仅视频的结果。根据计算结果，我们可以发现各个单峰模型的性能是不平衡的。例如，VGGSound数据集上的纯音频模型性能与其他调制策略的比较。为了证明OGM-GE的优势，我们与两种主流调制方法进行了比较：模态丢弃[43]和顺应性混合[39]。为了公平起见，在所有实验中使用具有级联的相同骨干。表2中所示的结果证明，所有比较的方法都或多或少地获得了比级联基线更好的性能，这表明不平衡现象确实影响了结果，但也证实了这些方法的有效性。我们还可以注意到，我们提出的方法显示出优越的性能，8246方法I-vector [15]X向量[30]MWTSM[12]I- 向 量<$X-向量Acc53.655.654.155.357.158.0表4.在CREMA-D数据集上与现有方法进行比较。†表示应用OGM-GE。表3.与现有方法的比较动力学-声音和VGGSound。†表示应用OGM-GE。在所有其他方法中。首先，虽然根据定理1，OGM在理论上可能会因为降低随机梯度噪声的强度而损害推广能力，但它仍然可以观察到改进，并且与其他方法相当，这令人惊讶地表明它的积极效果在某种程度上超过了它的消极影响。其次，当引入GE策略时，我们的方法在所有数据集上表现出最佳还应该注意的是，梯度混合[39]需要训练额外的单峰分类器进行调制，而我们的方法则没有，因此相比之下更有效。与现有方法相结合。对于所有的数据集，我们结合建议OGM-GE与几个现有的方法，以进一步评估其灵活性。[24]第25话：我的世界，我的世界和PSP [46]比较5.考虑到TSN和TSM专门设计用于视觉模态的事件分类，为了在多模态设置中进行公平比较，我们添加了ResNet-18作为音频编码器，并且仅使用3个RGB帧作为视觉输入，我们将其称为TSN-AV和TSM-AV。在表3中，我们可以发现OGM-GE加强了这两种方法。此外，如前所述，我们的方法不限于模型配置，其中音频和视频编码器在融合过程之前没有相互作用。具体地，PSP中在融合之前存在多个多模态交互阶段，但OGM-GE仍然可以像其他方法一样提高性能，如表3所示。此外，OGM-GE还与CREMA-D上的x-向量[30]、i-向量[15]和MWTSM [12]相结合。表4中的结果进一步证明了OGM-GE的多功能性。分类之外的应用为了进一步验证OGM-GE在更一般场景中的多功能性，我们将其应用于一个代表性的任务，视听事件本地化，这可以被视为一个细粒度的分类。5PSP是为视听事件定位而设计的，这里我们借用它的主干来执行事件分类任务。视听活动定位不含OGM-GEW/Ow/AVGA [36]72.072.8PSP [46]76.276.9表5.在两个代表性框架中，比较了w/和w/o OGM-GE之间的视听事件定位结果阳离子。比较结果示于表5中。我们在常用的AVE [36]数据集上验证了我们方法的有效性。具体来说，我们将 OGM-GE 插 入 两 个 代 表 性 框 架 AGVA [36] 和 PSP[46]。OGM-GE带来的改进表明，不平衡现象是普遍的不同的视听架构和我们的方法仍然带来了一致的性能增益，虽然在这些AVEL框架中的不同模态之间存在的相互作用，这增加了准确估计的单模态性能的难度。同时，跨模态交互作用也缓解了这种不平衡. 请参考Supp。有关实施的更多详细信息的材料。4.4. 消融研究不平衡调制分析。为了进一步分析OGM-GE，我们监测了训练过程中差异率的变化如图1所示，在调制之后，多模态模式下的音频和视觉模态的性能都得到了改善。一个有趣的观察结果是，我们的方法在开始时的性能不如其他方法，但最终优于它们。这是因为我们调整梯度和减轻优化的模态具有更好的性能，通过我们的方法可以进一步利用其他模态的信息，并最终获得改善。此外，从图3中可以看出，应用OGM-GE后，差异率ρa明显降低，这是我们方法有效性的具体证据。然而，应该注意的是，这两种模式通常对学习目标的贡献并不这也可以通过表1和图1中的结果来指示。数据集KSVGGSound方法ACCACCTSN-AV [38]58.649.0TSM-AV [26]60.348.8TBN [24]60.849.4PSP [46]59.749.2TSN-AV†59.149.6TSM-AV†62.449.6TBN†63.150.4PSP†60.449.58247设置CREMA-DVGGSound（b=64，lr=1e-4）50.448.3（b=64，lr=5e-4）51.048.7（b=64，lr=1e-3）51.849.1（b= 64，lr=1e-3）51.849.1（b=128，lr=1e-3）50.248.8（b=256，lr=1e-3）48.647.7（b= 64，lr=1e-3）w/GE60.250.3图3.训练过程中VGGSound的差异率ρa我们的OGM-GE策略有助于模型具有更平衡的优化。数据集CREMA-DKSVGGSound方法ACCACCACCSGD新加坡元†51.761.959.863.149.150.6亚当亚当49.754.657.458.947.348.2表6.在CREMA-D、Kinetics-Sounds和VGGSound上使用SGD和Adam优化器进行实验。†表示应用OGM- GE。适应其他优化器。为了探索该方法与其他优化器相结合的有效性，我们将OGM-GE应用于广泛使用的Adam优化器，以验证OGM-GE策略在不同优化器下是否有效。如表6所示，结合所提出的OGM-GE方法，原始SGD和Adam模型获得了很大的性能改进。此外，在相同的实验设置下，SGD优化器获得了比Adam优化器更好的性能。结果表明，我们的方法可以很好地适应不同的优化器，实现一致的性能改善。不同噪声强度的分析。如Theo-rem1中所述，SGD噪声的强度与学习率与批量大小的比率成比例，并且较大的噪声强度通常导致更好的泛化。为了实证验证这一定理，我们进行了不同的批量大小和学习率的实验，使用香草级联融合方法。引入的GE方法，作为一种噪声强度增强策略，也被单独应用于香草方法，以探索其有效性。如表7所示，较小的批量或较大的学习率，即更强的强度，带来更好的性能。这些结果表明，在应用OGM时存在泛化损害的潜在风险，这进一步验证了利用GE的必要性。在引入额外高斯噪声后，性能得到了很大的改善，这表明我们的GE方法在提高泛化能力方面起到了重要的作用。表7.在CREMA-D和VGGSound上进行了不同学习率和批量大小的实验。5. 讨论在本文中，我们提出了一个简单但有效的多模态学习策略，称为在飞行梯度调制与泛化增强（OGM-GE），以减轻优化不平衡问题，促进开发这两种模态。该方法在四个典型的多模态数据集上实现了一致的性能增益，可以作为vanilla融合方法和专门设计的融合方法以及现有多模态模型的灵活插件策略。限制. 然而，仍然有一个悬而未决的问题，即使配备了OGM-GE，多模态模型的单模态性能仍然没有超过最好的单模态模型。我们假设仅仅利用面向优化的方法不能彻底解决不平衡问题，因此必须研究不同的方法，例如更先进的融合策略或网络架构。我们把这个有趣的挑战留给未来的工作。此外，OGM-GE的多功能性表明其对更多多模态场景的巨大潜力，这些场景可以包括深度、光流、语言等。更广泛的影响。所提出的方法是在可能包含偏差的cu-rated数据集上训练的，导致模型不可避免地学习到这些信息。这个问题值得进一步考虑。鸣谢。本研究得到了中国人民大学“双一流”建设重大创新计划跨学科平台智慧社会治理平台的本研究得到了北京市杰出青年科学家计划的资助中国人民大学科研 基 金 （ 编 号 ： BJJWZYJH012019100020098 ）（ NO.21XNLG17 ） 国 家 自 然 科 学 基 金 项 目（NO.62106272），2021年腾讯人工智能实验室犀牛鸟化石研究计划（编号：JR202141）、中国科协青年科学家资助项目、北京人工智能研究院大规模预培项目、公共计算云、中国人民大学.拉瓜8248引用[1] Humam Alwassel 、 Dhruv Mahajan 、 Bruno Korbar 、Lorenzo Torresani、Bernard Ghanem和Du Tran。跨模态音视频聚类的自监督学习。神经信息处理系统的进展，33，2020。2[2] Stanislaw Antol ， Aishwarya Agrawal ， Jiasen Lu ，Margaret Mitchell，Dhruv Batra，C Lawrence Zitnick，and Devi Parikh.Vqa：可视化问答。在IEEE计算机视觉国际会议论文集，第2425- 2433页一、二[3] Relja Arandjelovic和Andrew Zisserman。看，听，学。在IEEE计算机视觉国际会议论文集，第609-617页，2017年。5[4] 尤瑟夫·艾塔卡尔·冯德里克安东尼奥·托拉尔巴声音网络：从未标记的视频中学习声音表示. 神经信息处理系统的进展，29：8922[5] Houwei Cao，David G Cooper，Michael K Keutmann，Ruben C Gur，Ani Nenkova，and Ragini Verma. Crema-d：众包情感多模态演员数据集。IEEE transactions onaffective computing，5（4）：377-390，2014。5[6] Pratik Chaudhari和Stefano Soatto。随机梯度下降进行变分推理，收敛于深度网络的2018年信息理论与应用研讨会（ITA），第1-10页IEEE，2018年。3[7] Honglie Chen，Weidi Xie，Andrea Vedaldi，and AndrewZisserman. Vggsound：一个大规模的视听数据集。在ICASSP 2020-2020 IEEE声学，语音和信号处理国际会议（ICASSP），第721-725页。IEEE，2020年。一、二、六[8] Chenzhuang Du，Tingle Li，Yichen Liu，Zixin Wen，Tanyu Hua，Yue Wang，and Hang Zhao. 用单一模式的教 师 改 善 多 模 式 的 学 习 。 arXiv 预 印 本 arXiv ：2106.11059，2021。第1、3条[9] Christoph Feichtenhofer ， Haoqi Fan ， Jitendra Malik ，and Kaiming He. 用 于 视 频 识 别 的 慢 速 网 络 。 在IEEE/CVF计算机视觉国际会议论文集，第6202-6211页，2019年。6[10] Ruohan Gao ， Tae-Hyun Oh ， Kristen Grauman ， andLorenzo Torresani.听看：通过预览音频识别动作。在IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 ， 第10457-10467页一、二[11] Michael S Gazzaniga，Richard B Ivry，and GR Mangun.认知神经科学《心灵的生物学》（The Biology of theMind），2014年，2006年。1[12] Esam Ghaleb，Mirela Popa和Stylianos Asteriadis。情绪识别中视听线索的多模态和时间知觉在2019年第8届人工计算和智能交互国际会议上，第552-558页IEEE，2019。7[13] 何凤翔，刘同良，陶大成。控制批量大小和学习率以很好地推广：理论和经验证据。神经信息处理系统的进展，32：1143-1152，2019。3[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。进行中-IEEE计算机视觉和模式识别会议的论文集，第770-778页，2016年。6[15] Panikos Heracleous和Akio Yoneyama。双语和多语语音情感识别的两遍分类方法研究。PloS one，14（8）：e0220386，2019. 7[16] 胡迪，李雪龙，等。视听语音识别中的时间多模态学习。在IEEE计算机视觉和模式识别会议论文集，第3574-3582页，2016年。2[17] 胡迪，聂飞平，李雪龙。用于无监督视听学习的深度多模态聚类在IEEE/CVF计算机视觉和模式识别会议论文集，第9248-9257页2[18] 胡迪，王成泽，聂飞平，李雪龙。用于分层联合表示的密集多模态融合。在ICASSP 2019-2019 IEEE声学，语音和信号处理国际会议（ICASSP），第3941-3945页。IEEE，2019。2[19] Ilija Ilievski和Jiashi Feng。视觉问答的多模态学习与推理。在重症盖永联合V. Luxburg，S. Bengio，H.瓦拉赫河Fergus，S.Vish-wanathan和R.Garnett，编者，《神经信息处理系统进展》，第30卷。柯伦联合公司股份有限公司、2017. 一、二[20] 阿雅·阿卜杜勒·伊斯梅尔，马哈茂德·哈桑，费萨尔·伊什蒂亚克.通过模态预训练和注意力提高多模态准确性。arXiv预印本arXiv：2011.06102，2020。1[21] Stanislaw Jastrzebski、Zachary Zaghon、Devansh Arpit、Nicolas Ballas 、 Asja Fischer 、 Yoonis Bengio 和 AmosStorkey。影响SGD最小值的三个因素。arXiv预印本arXiv：1711.04623，2017。二三五[22] Will Kay ， Joao Carreira ， Karen Simonyan ， BrianZhang，Chloe Hillier，Sudheendra Vijayanarasimhan，Fabio Viola，Tim Green，Trevor Back，Paul Natsev，etal. 人 体 运 动 视 频 数 据 集 。 arXiv 预 印 本 arXiv ：1705.06950，2017。5[23] Evangelos Kazakos、Arsha Nagrani、Andrew Zisserman和Dima Damen。Epic-fusion：用于自我中心动作识别的视听时间绑定。在IEEE/CVF计算机视觉国际会议论文集，第5492-5501页，2019年。一、二[24] Evangelos Kazakos、Arsha Nagrani、Andrew Zisserman和Dima Damen。Epic-fusion：用于自我中心动作识别的视 听 时 间 绑 定 。 在IEEE/CVF国 际 计 算 机 视
我的内容管理
展开
