E.T. [16]和HAMT [15]直接使用转换器来捕获对所有过
去观测和动作的长期依赖性(见图2中的第一行)。
导航地图。视觉导航的工作有着悠久的传统,使用
SLAM [31]来构建环境的度量地图[32],使用非参数方
法 [33] , 神 经 网 络 [34 , 35] 或 两 者 的 混 合 [36] 。
Anderson等人[37]将这种度量映射用于VLN任务。然
而,实时导航中度量地图的构建是一个挑战,需要精
确的确定。因此,一些作品[38,39]建议将地图表示
为拓扑结构,用于预先探索环境[40],或用于回溯到
其他位置,权衡导航精度与路径长度[10,24]。最近
的一些VLN作品[8,19,20]使用拓扑图来支持全局行
动规划,但它们使用递归架构进行状态跟踪,并且还
缺乏用于语言基础的精细尺度表示,如图2所示。我们
通过一个具有拓扑图的双尺度图Transformer来解决上
述限制。
序列预测的训练算法。行为克隆是序列预测中应用最
广泛的训练算法。然而,它受到训练和测试之间的分
布变化的影响。为了解决这一限制,已经提出了不同
的训练算法,例如预定采样[41],Dagger [42],强化学
习(RL)[43]。大多数VLN作品[13,14]结合了行为
克隆和A3C RL [44]。Wang等人[45]建议通过软专家蒸
馏来学习奖励。由于在奖励稀疏的任务中使用RL的困
难,我们转而使用交互式演示器来模仿专家并在顺序
训练中提供监督。
3.
方法
问题表述。
在离散环境的标准
VLN
设置
[2
,
7
,
8]
中,环境是一个不规则图
G
=
{V
,
E}
,其中
V
={
Vi
}
K
表
示
图3.图在时间步长t处更新的图示。给定一个新的动作d e,
代理在节点e处接收新的观测。然后添加新节点并更新节点
表示。
与其相邻节点(
V
t
)以及它们的坐标相对应的可变
视图(
V
t
)的可导航视图是
t
的子集。步骤
t
处的可能
局部动作空间
t
包含导航到
Vi
(
Vt
)并在
Vt
处
停止。在
智能体决定停在一个位置之后,它需要预测目标对
象在全景中的位置
探索能力和语言基础能力是虚拟语言智能体的两
项 然而,现有的作品要么只
允许局部动作
t
[13-15 ]
,这阻碍了长期动作规划,要
么缺乏对象表示
t [ 8
,
19
,
20 ]
,这可能不足以进行
细粒度的我们的工作解决了这两个问题的双重
-
规模代表性和全球行动规划。
概况. 如图1所示,我们的模型由两个可学习的模块组
成,即拓扑映射和全局行动规划。拓扑映射模块随时
间逐渐构建拓扑图。然后,全局动作规划模块基于粗
尺度全局观测和细尺度局部观测执行双尺度推理。在
下文中, 我们将在 Sec.3.1和第 二节中的 全球行动 计
划。3.2. 在本节结束时,我们将介绍我们训练模型的
方法,并将其用于第二节的推理。三点三
3.1.
拓扑映射
环境图G最初是未知的。