图蒸馏驱动的多模态视频动作检测：克服训练资源限制

本文探讨了在源目标多模态视频动作检测的背景下，如何有效地解决在有限训练数据和目标域中不同模态之间存在的问题。作者提出了一种新颖的技术——基于图蒸馏的特权模态方法，它旨在克服迁移学习中忽视源域多模态信息的局限，并且与以往仅关注单一领域的多模态学习工作有所区别。 在源域，研究者利用大量的多模态数据集，如RGB图像、光流、语音等，提供丰富的上下文信息。然而，实际应用中，目标域往往面临着数据稀缺的问题，特别是在视频动作检测任务中，由于获取标注数据的困难和成本高昂，导致训练样本有限且可能只允许在测试阶段使用单模态数据。例如，医疗领域的活动理解由于涉及个人隐私保护，可能只能获取到视频数据，而关键事件的标注极其稀少。 图蒸馏这一创新方法，作为模态之间的桥梁，通过借鉴源域的特权信息，能够在保持模型鲁棒性的同时，帮助提升目标域的学习效率。它通过构建一个多模态图，将源域的知识转移至目标域，使得模型能够理解和融合不同模态间的关联，从而增强对动作的识别和检测能力。 研究者针对NTURGB+D和PKU-MMD等多个基准测试进行了实验，结果显示，他们的模型在这些多模态视频任务上表现出了显著的优势，超越了当前最先进的模型。这证明了图蒸馏策略的有效性和实用性，尤其是在处理现实世界中数据和模态限制的情况下。 总结来说，本文的核心贡献在于提出了一种有效的多模态视频动作检测框架，通过图蒸馏技术，巧妙地利用源域的丰富信息，改善了目标域模型的性能，为处理实际场景中的数据稀缺问题提供了新的解决方案。这项研究对于推动多模态学习在实际应用中的发展具有重要意义，尤其是那些涉及到数据安全和隐私保护的领域。