自激励通信代理推动现实世界视觉对话导航

本文主要探讨了现实世界视觉对话导航（Visual Dialogue Navigation, VDN）中的新型自激励通信代理（Self-Incentivized Communication Agent, SCoA）。传统的VND方法依赖于预定义位置的对话，这在实际应用中存在局限性，因为它们依赖于昂贵的对话注释，且限制了人与机器人的自然交流和协作。为了解决这个问题，研究者提出了SCoA，这是一种能够自主决定何时以及如何与人类进行沟通，从而获取引导信息的系统。 SCoA的核心创新包括两个关键组件：一是“是否要问”（WeTA）策略，它允许代理判断在特定情境下是否需要提问，这有助于节省不必要的交互；二是“问什么”（WaTA）策略，通过学习预测答案，代理能够挑选出最有利于导航的问题，同时模仿人类的回答，增强了在未知或难以察觉环境中的导航能力。这种方法不再受限于预先设定的对话场景，而是能够灵活地适应现实世界的交互。 论文通过在一个统一的模仿学习和强化学习框架中协同优化通信和导航，展示了SCoA在可见和不可见环境中的实际效果。实验结果显示，相比于没有对话注释的现有基准，SCoA表现更优，即使在人类协助不可用的情况下，也能通过自我问答的方式有效地引导导航，降低了通信成本。与基于丰富对话注释的模型相比，SCoA展现出具有竞争力的性能。 本文的工作革新了视觉对话导航领域的通信机制，为实现更加自然、高效的机器人与人类互动的导航系统提供了新的可能，对于推动人机交互技术的发展具有重要意义。