多模态Transformer：革新视觉语言导航的性能记录

本文主要探讨了在视觉和语言导航（VLN）领域中，特别是在ALFRED基准下，如何有效地解决自主智能体面临的两个关键挑战：处理复杂的长序列任务和理解复杂的自然语言指令。作者提出了情节Transformer（E.T.），一个多模态Transformer模型，它能够整合语言输入、视觉观察和动作的完整情节历史，从而提高智能体在动态环境中的导航和交互能力。 首先，传统VLN任务中的智能体往往需要处理包含多个子任务和动作的复合任务，这要求代理具有记忆和规划的能力。循环架构在过去的方法中被广泛应用，如[39, 60, 68, 73]，但这些方法可能在处理长序列时遇到困难。E.T.通过Transformer编码器，利用自注意力机制来捕捉上下文信息，有助于智能体更好地理解和回忆过去的行为。 其次，自然语言指令的复杂性也是一个挑战。为了解决这个问题，文章提出了一种创新的训练策略，即使用合成指令作为中间表示。这种策略有助于分离对环境视觉理解与指令变化的处理，使得模型能更专注于语言指令的解析，而不用过分关注即时的环境感知细节。 实验结果表明，E.T.在ALFRED基准上实现了显著的进步，尤其是在不可见测试分集中，达到了38.4%的任务成功率，这标志着在理解并执行基于自然语言的长程视觉和语言导航任务上，情节Transformer展现出了强大的性能。通过这种方法，智能体不仅能够遵循复杂的指令，还能在需要回忆过去信息的场景中展现出智能决策。 总结来说，本文的核心贡献是提出了一种新颖的多模态Transformer模型——情节Transformer，它通过整合多模态信息和优化训练策略，成功地解决了视觉和语言导航中的长序列处理及复杂指令理解问题，为自主智能体在真实世界中的应用奠定了坚实的基础。