深度注意神经张量网络提升视觉问答性能

视觉问答（Visual Question Answering, VQA）作为跨模态学习领域的重要课题，近年来吸引了众多研究者的关注。这项技术旨在让机器能够理解图像内容，并根据自然语言问题给出准确的回答。传统的深度学习方法，如双线性模型，通过结合图像和问题的特征学习，已经在VQA任务上取得了显著进步。然而，这些方法往往忽视了答案在联合理解过程中的关键作用。 本文主要贡献在于提出了一种名为深度注意神经张量网络（Deep Attention Neural Tensor Network, DA-NTN）的新型框架，用于改进视觉问答的性能。DA-NTN的核心思想是将图像、问题和答案视为一个三元组，通过张量形式进行表达。它通过三重态的双线性张量积，捕捉到图像和问题的交互关系，然后利用切片注意力模块来选择最具相关性的信息，以进行有效的推理。这种设计允许模型在大规模答案集中进行可扩展训练，并且能够实现快速收敛。 与基础模型（如Multi-Layer Bi-linear Model, MLB和Mutual Tucker Layer, MUTAN）相比，DA-NTN在VQA-2.0数据集上的表现更加优秀。实验结果显示，DA-NTN相较于原始MLB提升了1.98%的精度，而相较于MUTAN提升了1.70%。这表明，DA-NTN能够更好地理解和整合图像、问题和答案之间的复杂关系，从而提升视觉问答的准确性和泛化能力。 关键词包括视觉问答、神经张量网络以及开放式VQA，强调了在深度学习时代，如何通过新颖的网络架构和技术，推动VQA任务的进一步发展。该研究不仅有助于提高机器的跨模态理解能力，也为未来的视觉智能研究提供了新的视角和方法。