![](https://csdnimg.cn/release/download_crawler_static/88424325/bg4.jpg)
当前的相机帧。关键帧姿态
T
K
和当前摄影机姿态
T
C
相关
TC
=
TKTKC
,
其中
TC
,
TK
,
TKC
∈ SE(3)
.
(一)
学习计算
Tkc
与找到当前图像
Ic
与关键帧(
Ik
,
Dk
)之间的2D-3D对
应关系有关。
众所周知
,
如果
图像对之间的像素位移很小,则可以
更有效和可靠地解决对应问题。由于我们想要以交互速率跟踪当前相
机姿态,因此我们假设接近
T
_C
的猜测T_
V
可用。类似于DTAM [23],我
们生成虚拟关键帧(I
V
,
D
V
),其从对应于T
V
的视点示出关键帧
(I
K
,
D
K
)
的内容。代替直接估计
T
KC
,
我们学习预测增量
δ
T,即,
我们将当前相机姿势写为
T
C
=
T
V
δ T
。
(二)
这有效地减少了学习函数
δ
T =
f
(I
C
,
I
V
,
D
V
)的问题我们使用深
度网络来学习
f
。
3.1
网络架构
我们使用如图1所示的基于编码器-解码器的架构1,用于学习估计关键
帧(IK
,
DK
)和图像
IC
之间的6DOF姿态。所有网络参数的详细说明可
在补充材料中找到
由于摄像机运动只能通过将关键帧与当前图像相关联来估计,因
此我们使用光流作为辅助任务。预测的光流确保网络学习利用两个帧
之间的关系我们证明了流动预测的重要性,在Tab。1.一、我们使用
与第二网络分支中的光流预测任务共享的特征来生成姿势假设。正如
我们在实验中所展示的那样(Tab。1),与直接预测姿态相比,生成
多个假设提高了预测姿态的准确性
姿势生成的最后一部分由
N
=
64个堆叠的分支组成,完全
连接的层共
享它们的权重。 我们发现,这种配置
比计算N个姿势的完全连接层
的单个
分支更稳定和准确
。每个生成
的
姿态假设是6D姿态向量
δξ
i
=
(
ri
,
ti
)。
3D旋转向量
ri
是最小角度轴表示,其中角度被编码为向量的量值平移
ti
以3D笛卡尔坐标编码为了简单起见,并且因为
δ
i
是小的刚体运动,我
们将最终的姿态估计
δ i
计算为线性组合
粗略的相机运动在小的图像分辨率下已经可见,而小的
运动需要更
高的图像分辨率。因此,我们使用一种由粗到细的策略来实时有效地
跟踪相机我们训练了三个不同的跟踪网络,如图所2,其处理在不同
分辨率下的姿态估计问题,并且细化相应的先前分辨率水平的预测