gDLS*：基于比例和重力先验的姿态和尺度估计器

1gDLS*：给定比例和重力先验维克托·弗拉戈索·微软victor. microsoft.comJosephDeGol微软joseph. microsoft.com港华1WormpexAIganghua@gmail.com摘要增强现实（AR）、3D地图绘制和机器人技术中的许多现实世界应用需要从由多个相机或单个移动相机捕获的多个图像快速且准确地在姿态和尺度估计器中实现高速度和保持高精度通常是相互冲突的目标。为了同时实现这两个目标，我们利用解空间的先验知识。我们提出了gDLS*，一个广义相机模型的姿态和规模估计，利用旋转和规模先验。gDLS* 允许应用灵活地权衡每个先验的贡献，这很重要，因为先验通常来自噪声传感器。与最先进的广义姿态和尺度估计器（例如，gDLS），我们对合成数据和真实数据的实验一致表明，gDLS* 加速了估计过程，并提高了尺度和姿态精度。1. 介绍从多个摄像机拍摄的多个图像或来自一个移动摄像机的多个图像估计姿态和比例（例如，SLAM [6，18，19，34，46]轨迹）是许多增强现实（AR）[32，39，41，49，47]，3D映射[3，11，31，38，42，44]和机器人技术中的重要步骤应用[15，20，21，30，50，54]。考虑全息图共享服务（例如，[1]的例子。 这些服务有一个参考地图，需要准确地定位查询图像（以便正确定位全息图）和快速（以保持良好的用户体验）。然而，如图1所示，目前的方法在精度和处理时间方面都有改进的余地。在这项工作中，我们提出了gDLS*，这是一种多相机姿态和尺度估计器，它利用尺度和重力先验来提高精度和速度。尽管使用了额外的信息，gDLS* 计算其参数时具有点数量的线性复杂性和单次射击中的多个最优解，避免了迭代优化过程。1这项工作是在微软完成的。2josephdegol.com/pages/GDLSStar_CVPR20.html图1.准确快速地估计姿态和比例在AR、3D地图和机器人技术的许多应用中至关重要。我们引入了gDLS*，这是一种姿态和尺度估计器，它利用尺度和/或重力先验来提高精度和速 度 。 与 最 先 进 的 估 计 器 （ 例 如 ， gDLS+ [44] 和 gP+s[48]），当将一组相机配准到现有3D反射时，gDLS* 在更短的时间内实现更准确的估计。上面的右图显示了现有的3Dreview- tion（灰色），其中gDLS*（绿色）、gDLS+（红色）和gP+s（橙色）的摄像机和点对齐。左图显示了已对齐相机位置的缩放视图。白色点是预期的相机位置，绿色/红色/橙色点是每种方法的估计位置。中间的青色线表示匹配，较长的线表示更多的错误。使用单个摄像机姿态估计器（例如，[第二、七、十六、二十三、26，29，33，53]）开发多相机姿态和尺度估计器是麻烦的，并且它们的估计往往是不准确的[22，43]。相反，许多多相机姿态和尺度估计器[22，43，44]使用广义相机模型[12，37]来优雅地将相机集合视为一个广义相机，从而提高精度。尽管他们的改进，这些估计经常产生错误的结果，由于噪声输入数据和数值不稳定性，在其底层多项式求解器。考虑到AR、3D映射和机器人技术中的许多应用需要精确的姿态和尺度估计，一些算法[41，42，52]利用惯性测量（例如，重力方向）。这些方法中的大多数假设重力或向下的方向是可靠的，并且包括这些额外的知识作为其数学推导的一部分以简化问题。然而，由于这些传感器的性质，重力方向仍然可能存在噪声22102211并且可以影响估计的准确性。相比之下，gDLS* 采用具有正则化器的广义相机模型，该正则化器编码缩放和旋转先验（例如，重力方向）。这些正则化器允许用户独立地控制每个个体先验的贡献，这有利于减少每个先验中存在的噪声的影响我们使用合成数据表明，gDLS* 在数值上是稳定的，并且对噪声有弹性。我们通过（1）改变像素噪声和样本大小来证明这一点，并表明gDLS* 估计变换的误差并不比当前估计值差;以及（2）改变尺度和重力先验中的噪声，并且示出gDLS* 保持精度和速度。然后我们使用真实数据（即[10，40]），以在将一组摄像机配准到现有3D重建时评估gDLS*我们广泛的实验表明，gDLS* 比当前的姿态和尺度估计器（即，[22、43、44、48]）。此外，实验表明，基于重力方向的旋转先验改进了旋转和平移估计，同时实现了显着的加速。另一方面，尺度先验主要提高尺度估计，同时适度提高翻译估计。伙伴和速度总之，这项工作的贡献是（1）gDLS*，一种新的和广义的gDLS公式[43]，包括规模和重力先验，以O（n）复杂度计算其参数;（2）一种新的评估用于报告旋转的姿势和尺度估计器的协议，平移和比例误差;以及（3）大量的实验结果表明，gDLS* 在更短的时间内一致地提高了姿态精度。2. 相关工作估计摄像机的位置和取向对于许多应用是至关重要的，因为它们需要将计算机生成的内容准确地注册到真实世界中，定位代理（例如，视觉受损的人），并且自主地导航（例如，自动驾驶汽车）。虽然这些应用程序使用相机姿态估计器来操作，但大多数估计器都集中在定位单个相机上。尽管这些估计器[2，8，23，25，26，29，51，53]已经实现了令人印象深刻的性能和准确性，但许多应用[21]已经开始采用多相机系统。这是因为多相机系统可以提供允许应用更准确地估计其姿态的附加信息。出于这个原因，本节回顾了多相机姿态和姿态和尺度估计器的现有工作。2.1. 多相机姿态估计器Chen和Chang [4]以及Nister和Stewenius [35]提出了gP 3 P，这是一种最小估计器，需要三个2D- 3D对应来估计多相机表1. gDLS* 优于现有的最先进的姿态和尺度估计器，因为它保持了其他估计器的所有属性，同时也是唯一能够使用重力和尺度先验的估计器。gP+s的gdlgDLS+UPnP我们参考[48个][四十三][第四十四届][22日]-年20142014201620142019广义相机CCCCC几何最优CCCCC线性复杂度CCCC多解CCCCC相似变换CCCC无奇异旋转CCCC重力优先C量表优先级C系统gP3P通过寻找圆和直纹四次曲面的交点来计算多达八个解。Lee等[14]还介绍了一个最小的估计，利用Pl učker 线来估计每个 点的深度。随后，它估计每个点的位置w.r.t.到多相机系统的参考系。然后估计多相机系统的绝对位姿。与 以 前 的 最 小 解 算 器 ， Kneip 等 。 [22] 介 绍 了UPPERT，从基于最小二乘重投影误差的成本函数导出的有效的最小和非最小受DLS [16]的启发，UPSTAL将成本函数重新定义为仅依赖于单位范数四元数的成本函数。UPPERT通过求解一个多项式系统来找到最佳旋转，该多项式系统通过一个Gr？bner-基求解器对最佳单位范数四元数处的成本梯度的消失进行编码[24，28]。2.2. 姿态和尺度估计器与多相机姿态估计器不同，姿态和尺度估计器计算多相机系统的姿态和尺度值;该值缩放相机的位置，以便更准确地将3D表示对准到多相机系统的参考系中。Ventura等人[48]提出了gP+s，这是一种最小的姿态和尺度估计器，需要四个2D-3D对应关系和一个G r？bner基多项式求解器[24，28]。然而，gP+s也可以与四个以上的点一起工作Kukelova等人[27]介绍了另一种最小姿态和尺度估计器，该估计器使用Gro¨ bner基多项式求解器避免，导致令人印象深刻的速度提升，但精度降低与以前的估计，Sweeney等人。[43]提出了gDLS，一种从最小二乘重投影误差成本函数导出的估计器。gDLS导出仅取决于旋转矩阵的成本函数。受DLS[16]的启发不幸的是，它的Macaulay求解器可能很慢，因为它需要获得221227×27动作矩阵的特征向量。为了缓解这个问题，Sweeneyet al. [44]介绍了gDLS+，一种使用单位范数四元数的基于gDLS的估计器。感谢gDLS+的旋转表示，它可以使用高效的UPPERT多项式求解器。与以前的方法不同，gDLS* 是第一个结合尺度和旋转先验的估计量之一。正如我们在第4节中所展示的，这些先验知识提高了速度和准确性。此外，gDLS* 保持了当前求解器的许多理想属性：（1）使用一般化的照相机模型，其优雅地简化了公式;（2）在一次射击中计算多个最优解，避免了迭代优化过程;（3）在建立其参数时线性缩放;以及（4）使用无奇异性的旋转表示。有关估计器属性的简要比较，请参见表13. 基于先验信息的姿态和尺度估计gDLS* 的目标是使用广义姿态和尺度估计器（例如，gDLS [43]）。由于惯性传感器在移动设备中的普及，这些先验知识是容易获得的。例如，可以使用来自惯性传感器的测量从重力方向获得旋转先验，并且可以从IMU [36]、GPS或已知地标尺寸[5]获得尺度先验。gDLS* 的设计考虑因素之一是，图2.估计多相机系统Q的姿态需要估计R和t，而尺度s调整相机位置Ci，使得W和Q使用相同的度量尺度。gDLS * 可以使用重力方向g来施加旋转先验和尺度。优先级为s0，以将摄像机放置在正确的比例上。式中所示的姿势和比例公式（1）累积变换后的第i个3D点之间的误差（Rpi+ t-s ci）和关于相机αiri描述的相同点。 旋转R、平移t和sci将3D点从世界坐标系变换到广义相机的坐标系。为了找到最小值（R，t，s，α），gDLS [43]首先将J（R，t，s，α）重写为仅依赖于旋转矩阵的函数如Hesch和Roumeliotis [16]和Sweeney等人。[43，44]证明，平移t，尺度s和深度αi可以写成旋转矩阵R的线性函数。因此，可以将姿态和尺度最小二乘成本公式改写如下：Σn独立地控制每个先验的贡献的能力。这允许用户禁用或启用J（R）=i=1<$αi（R）ri−（Rpi+ t（R）−s（R）ci）<$2（二）每一个前科当启用先验时，gDLS* 允许用户在控制其置信度之前为每个先验设置权重。在第4节中，我们测试了一系列权重，但我们计划在未来的工作中探索如何使用传感器噪声的方差由于gDLS* 基于gDLS的姿态和尺度公式[43，44]，因此我们首先描述姿态和尺度公式，然后提出我们的修改，以便使用尺度和旋转先验。3.1. 的gdl姿态和尺度估计综述给定n个2D-3D对应关系，gDLS通过最小化以下最小二乘成本函数来计算非中心相机的比例和姿态：ΣnJ（R，t，s，α）=<$αiri−（Rpi+t−sci）<$2，（1）=vec（R）M vec（R），其中vec（R）是旋转矩阵的矢量化形式，并且M是从输入2D-3D对应中捕获约束的方阵;M的维度取决于vec（R）的矢量化和表示。给定成本函数J（R），gDLS找到最优通过求解多项式系统来求解旋转Rθ，所述多项式系统表示相对于旋转参数q的梯度θqJ（Rθ）=0为零的约束，以及旋转参数约束（例如，确保单位范数四元数）。3.2. 通过正则化器为了将缩放和旋转先验强加给Eq.（1），gDLS* 使用正则化器。添加这些正则化器会导致以下最小二乘成本函数：i=1J′=J（R，t，s，α）+λ（s-s）2+λg×Rg2002年，其中ri是指示从相机ci的位置到3D点pi的方向的单位向量;αi是深度s0gQW（三）点pi相对于摄像机位置ci的距离;α是保持深度的向量;R∈SO（3）是旋转矩阵;t∈R3是平移向量;s∈R是尺度;见图。2对于Eq的视觉表示（一）.其中s0是尺度先验;gQ和gW分别是多相机设置和世界的重力方向;符号×表示叉积运算符;λs和λg是控制尺度贡献的权重2213我x=x我我我我SG0我s0n和旋转先验。这些权重（即，λs和λg）必须大于或等于零。2尺度正则化子λ（s-s）通过偏离尺度先验s0而施加惩罚。另一方面为了重写正则化最小二乘代价函数（即，当量（3）尽可能明确地定义ei =αi（R）ri−（Rpi + t（R）−s（R）ci）旋转先验λg<$gQ×RgW<$2在变换后的世界重力方向=ηi+ kiηi=uWbri— Rpi — V Wb +SWbci（八）RgW和查询重力方向gQ。如前所述，求解姿态和缩放是将成本J′重写为仅取决于旋转矩阵的函数。为了做到这一点，在数学上可以方便地定义ki= λss0（lir − lt+ ln+1ci）.残差ei分为两项：ηi为考虑无约束项的剩余部分;以及k是考虑尺度先验相关项的残差部分。注意Σx =α1. . . αnS 别担心。（四）同样，当λs=0时，ki变为空，ei变为对应于gDLS的残差[43，44]。在th处评估的梯度。e最优x必须满足以下约束：J ′. =0。从这个约束，我们得到以下关系：使用Eq.（8），和规模，深度和平移关系中所示的方程。我们现在可以重写等式（7）中所示的正则化最小二乘成本函数。（3）如下：x =（A<$A+P）−1A<$Wb+（A<$A+P）−1Px0J′=J′+J′+J′DLSs g（九）U=SW b +λssolV（五）哪里=vec（R）M vec（R）+2d vec（R）+k哪里r1c1−Ip1′的gdlΣn=i=1i=Σni=1η ηi +2kηi+ kki。..。=vec（R）MgDLS vec（R）+2dvec（R）+kgDLSA= 0。-是的.. a，b =a。J′=λ（s-S（R））2的gdlrncn−Ipn%s % 0P=0n×nΣλs03× 3⊺Σ⊺R，W=1000. -是的-是的R（六）、=vec（R）Ms vec（R）+2d vec（R）+ksJ′=λg<$gQ×RgW<$2=vec（R）<$Mg vec（R）M=MgDLS+Ms+Mgd= dgDLS+ dsx0=⊺s003. 受gDLS的启发[43]，DLS [16]中，我们将（A<$A+P）−1A<$划分为三个矩阵U、S和V，使得深度、尺度和平移参数分别是U、S和V的函数这些矩阵和向量l可以通过利用矩阵A和P的稀疏结构以封闭形式计算;完整推导参见补充材料。当量（5）提供深度、比例和平移与旋转矩阵之间的线性关系。因此，这些参数作为旋转矩阵的函数计算如下：αi（R）= u<$Wb +λssolik=kgDLS+ ks。（十）Eq.的参数（9）（即，这是一个O（n）时间复杂度为O（n）的问题。这些参数的选择。一个重要的观察是，Eq。 （9）推广了等式（1）中所示的gDLS的无约束二次函数。（一）. 当两个先验都被禁用时，即，λg=λs=0，则J ′（R）=J（R）.此外，注意，权重λg和λs允许用户独立地控制每个先验的贡献。这为gDLS*提供 了极大的灵活性，因为它可以s（R）=SW b +λsoln+1t（R）=V W b +λso lt，J2214我（七）适 应 多种场景 。 例如，可以调整这些权重，使得gDLS* 反映对某些先验的置信度，减少先验中存在的噪声的影响，并且使得gDLS * 反映对某些先验的置信度。其中u是矩阵U的第i行，lj是向量l的第j项，并且lt对应于向量l的最后三项。请 注意，我们可以获得与Sweeney等人获得的深度，尺度和平移完全相同的关系。当λs=0时，对于gDLS [43，44]。或，并完全禁用一个优先级，但启用另一个。3.3. 旋转求解假定基于先验的姿态和尺度代价函数（即，当量（3））只依赖于旋转矩阵，下2215101101十比一10010010-210010010-2十比一10-2十比一10-210- 3十比一0 510十比一0 51010- 305 100 500 10000 500100010- 40 500 1000像素噪声标准Dev.像素噪声标准Dev.像素噪声标准Dev.通信数量通信数量通信数量(a) （b）作为样本大小函数的准确度图3.旋转、平移和缩放误差是（a）使用最小对应样本估计姿态和缩放时的像素噪声和（b）样本大小的函数。s-gDLS*、g-gDLS* 和sg-gDLS* 产生与gDLS相当的误差[43，44]。另一方面，gP+s [48]产生最高的错误。步骤是找到R，使得它最小化等式（九）、为了实现这一点，gDLS* * 使用四分之一表示旋转矩阵R数q=q1q2q3q4为了计算所有的极小化，当量（9），gDLS* 遵循[16，22，43，44]并构建多聚-编码一阶最优性条件和单位范数四元数约束的范数系统，即，.′J=0，-是的-是的、4qjqj（q<$q−1）=0，j=1，. -是的-是的、4.（十一）方程中所示的多项式系统（11）用以下编码单位范数四元数约束：（q<$q−1）2(b)噪音重力先验qj=qj（q<$q−1）=0，j.（十二）(c) 给定噪声先验的时间图4.（a）全球定位系统 *当量（12）产生有效的消除模板和小的ac-tion矩阵，它提供了高效的多项式求解器，如Kneip等人。[22]显示。事实上，gDLS* 采用了Kneip等人的高效多项式求解器。[22]当我们利用他们的旋转表示时，在规模之前的折痕。（b）gDLS*的精度几乎不受重力先验中的噪声的影响。（c）使用噪声尺度（左）和重力（右）先验时，时间不受影响。橙色线显示了gDLS+ [44]的最佳时间，这是我们实验中第二快的估计器。Σ22 2 2Σ⊺vec（R）=q一q二q三q四q一q二q一q三q一q四q二q三q四q四。（十三）4. 实验给定该表示，等式（1）中所示的正则化最小二乘成本函数的参数的维数为（9）M∈R10× 10，d∈R10，k∈R.因为gDLS* 使用Kneip等人的求解器。[22]它有效地计算了八次旋转。在计算这些解之后，gDLS* 丢弃具有复数的四元数，然后使用等式（1）恢复深度、尺度和平移。（七）、最后，gDLS* 使用计算出的相似性变换来丢弃映射相机后面的输入3D点的解决方案。我们的gDLS* 推导可以被推广。 通过正则化器施加尺度和平移先验是足够普遍的，以被基于最小二乘的估计器（例如，[22][23][24][25][26]这是因为正则化器是二次函数，可以不费力地将其添加到其推导中。本节介绍了使用（i）合成数据来证明gDLS* 的数值稳定性和鲁棒性以及（ii）真实数据来显示gDLS* 在将 SLAM 轨 迹 配 准 到 预 先 计 算 的 我 们 测 试 了 三 种gDLS* 配置：仅尺度正则化（s-gDLS*）、仅重力正则化（g-gDLS *）和尺度重力正则化（sg-gDLS*）。对于除消融研究外的所有实验，λs和λg固定为1。我们比较了几种最先进的姿态和尺度估计器：[ 48 ] gP+s[48]，gDLS [43]，gDLS+ [44]和UPPERT [22]。所有实现都集成到Theia-SfM中[45]。对于所有实验，我们使用一台机器，配备两个2.10 GHz Intel Xeon CPU和32GB RAM。数据集。对于SLAM轨迹配准，实验使用两个公开可用的SLAM数据集：[40]和KITTI数据集[10]。这些的gdlgDLS+gP+ss-gDLS*g-gDLS*sg-gDLS*的gdlgDLS+gP+ss-gDLS*g-gDLS*sg-gDLS*旋转误差翻译错误刻度误差旋转误差（a）噪声等级先验翻译错误刻度误差旋转误差[度]转换误差[m]刻度误差转换误差[m]旋转误差[度]刻度误差2216表2.刚性（s 0 = 1）和相似性（s 0 = 2）的gP+s [48]、gDLS [43]、gDLS+[44]、UPPEND [22]、s-gDLS *（s列）、g-gDLS*（g列）和sg-gDLS*（sg列）的估计时间（以秒为单位）。5）转型。前六行显示TUM数据集的结果，后六行显示KITTI数据集的结果。重力先验倾向于提供快速估计，而尺度先验会适度减慢估计。On the other hand, scale and gravity priors tend to bemodestly faster than gDLS+++.刚性变换[s0= 1]相似变换[s0= 2。五、[48个][四十三][第四十四届][22日]SGSG[48个] [四十三][第四十四届]SGSGFr1办公桌10.7715.385.799.608.113.395.8010.5415.385.798.123.826.89Fr1房间8.8612.234.515.526.662.854.708.5511.984.617.963.245.40Fr2大号无环5.638.102.762.232.522.012.106.468.252.822.492.402.39Fr1办公桌24.997.722.964.203.891.673.655.047.472.593.991.863.38Fr2先锋SLAM21.0627.7710.828.2712.086.488.0817.1025.429.3411.847.419.70Fr2 Pioneer SLAM 23.393.491.930.881.171.021.403.163.661.961.171.090.99.ΣDriv e110−2[sec]1.662.320.931.170.900.580.901.311.791.191.00.610.87驱动器90.320.490.230.140.340.230.280.350.480.220.500.220.26驱动器190.510.290.800.270.290.260.290.570.900.390.290.260.29开22号。Σ0.120.220.120.070.120.060.110.120.190.070.110.060.12Driv e2310−2[sec]3.404.722.142.182.191.452.043.254.712.072.341.551.94驱动器291.151.950.761.191.130.771.111.161.960.751.140.741.12数据集提供每帧加速度计估计，我们使用它来计算每个SLAM轨迹的一个重力方向。具体来说，我们对加速度进行低通滤波和平滑（因为重力加速度在高频噪声中是恒定的），以获得每个图像的重力矢量的估计。然后，我们取所有这些估计值的平均值，以获得最终的重力矢量估计值。最终结果是每个轨迹都有一个重力矢量。错误度量。所有实验都报告了旋转、平移和缩放误差。旋转误差是预期和估计旋转矩阵之间的角距离[13，17]翻译误差是预期翻译和估计翻译之间的L2最后，标度误差是预期标度值和估计标度值之间的绝对差。4.1. 对噪声合成数据本实验由三部分组成：（1）用最少的样本测量对像素噪声的鲁棒性（即，四个2D-3D对应）;（2）作为非最小样本尺寸的函数的测量精度（即，4个以上的2D-3D对应关系）;以及（3）测试尺度和重力先验中的噪声如何影响解的精度和运行时间。在所有的实验中，我们使用10个随机放置在立方体中的摄像机进行了1000次试验[-10，10]×[-10，10]×[-10，10]，300个随机3D[-5，5]×[-5，5]×[10，20]。对于每次试验，我们通过随机的逆变换3D点，生成的地面实况相似性变换（即，随机单位矢量方向和0°和360°之间的随机旋转角度、0°和5°之间的随机平移（x，y，z）以及0°和5 °之间的随机比例）。gDLS* 以最少的样本对像素噪声具有鲁棒性。 我们生成随机的最小样本与零均值高斯噪声添加到像素位置。我们在0和10之间改变噪声标准差，图5.评价方案：（1）使用Theia-SfM重建场景;（2）将重建分成查询（Q）和参考（W）部分;（3）使用相似性变换S变换Q;（4）对Q和W进行相似性变换S估计。旋转、平移和缩放误差。该实验的结果可以在图中看到。第3（a）段。我们观察到，当比较它们的旋转和平移误差时，s-gDLS*、g-gDLS* 和sg-gDLS* 与gDLS[43]和gDLS+ [44]的性能相似。此外，我们看到gP+s[48]产生的旋转和平移误差最高。所有方法产生相似的标度误差。gDLS* 的准确性在非最小样本的情况下提高。 对于该实验，我们将样品的大小从5个变化到1000个2D-3D对应，并将标准差固定为0。5表示零均值高斯像素噪声。图3（b）示出了s-gDLS*、g-gDLS* 和sg-gDLS* 产生与gDLS和gDLS+相当的旋转、平移和缩放误差。另一方面，gP+s产生的误差最大。gDLS* 数值稳定。从图3中，我们得出结论，s-gDLS*（绿色）、g-gDLS*（红色）、sg-gDLS *（青色）在数值上是稳定的，因为误差与gDLS+的误差类似。gDLS* 对尺度和重力先验中的噪声具有鲁棒性。对于这个实验，我们逐渐增加尺度和重力先验中的噪声。在图4（a）中，我们看到尺度先验中的噪声缓慢地增加了旋转、平移和2217错误错误表3. gP+s [48]、gDLS [43]、gDLS+ [44]、UPFS [22]和gDLS* 的旋转、平移和缩放误差使用单位尺度（即，s0= 1）和重力先验。前六行显示TUM数据集的结果，后六行显示KITTI数据集的结果。最小的错误以粗体显示。我们观察到，当比较旋转和平移误差时，gDLS* 和UPPEND的性能等同。然而，gDLS* 在姿态和尺度估计器中产生最低的误差（即，gP+s、gDLS和gDLS+）。刚性变换[s0= 1]R误差[deg]（10−1）t误差（10−2）s误差（10−3）[48个][四十三][第四十四届][22日]我们[48个][四十三][第四十四届][22日]我们[48个][四十三][第四十四届]我们Fr1办公桌2.782.582.721.891.572.021.921.911.361.191.461.331.290.68Fr1房间2.051.951.991.050.981.091.051.090.550.521.481.401.390.32Fr2大号无环1.901.611.621.351.326.775.776.014.704.454.044.154.391.39Fr1办公桌22.342.132.261.631.252.031.851.901.381.061.351.151.260.49Fr2先锋SLAM1.501.511.470.760.871.291.181.190.590.702.772.732.670.87Fr2 Pioneer SLAM 21.631.491.510.971.081.931.771.801.221.346.817.487.440.88驱动器10.440.400.420.340.330.270.250.240.170.160.720.660.610.02驱动器91.151.101.150.641.130.430.400.440.130.206.275.796.140.05驱动器193.423.573.302.483.040.830.850.800.630.734.995.645.540.01驱动器220.660.620.660.310.630.280.270.300.160.271.901.701.670.94驱动器230.740.580.620.840.560.190.180.190.120.091.281.161.280.03驱动器291.001.061.060.560.820.340.350.350.210.261.603.391.730.75表4. gP+s [48]、gDLS [43]、gDLS+ [44]和gDLS* 的旋转、平移和缩放误差（使用s0= 2的缩放先验）。5、重力优先。前六行显示TUM数据集的结果，后六行显示KITTI数据集的结果。最小的错误以粗体显示。我们看到，gDLS* 几乎在所有情况下都产生最小的误差。相似变换[s0= 2. 五、R[d e g]（10−1）t（10−2）s。10−3Σ[48个][四十三][第四十四届]我们[48个][四十三][第四十四届]我们[48个][四十三][第四十四届]我们Fr1办公桌2.772.592.722.235.505.215.224.553.593.273.231.56Fr1房间2.021.991.991.292.792.782.791.713.743.413.480.91Fr2大号无环1.901.571.621.4913.912.312.810.110.710.811.03.66Fr1办公桌22.292.132.261.774.374.144.323.283.222.883.141.37Fr2先锋SLAM1.431.481.471.173.673.443.502.426.986.816.681.65Fr2 Pioneer SLAM 21.841.491.511.275.234.494.583.6915.818.718.62.42驱动器10.430.400.420.330.470.440.430.281.731.621.540.05驱动器91.171.091.151.131.111.061.160.5015.714.415.30.12驱动器193.603.273.573.092.131.912.061.8014.614.014.10.04驱动器220.640.620.660.620.770.750.820.754.404.274.192.34驱动器230.750.590.620.570.580.510.560.243.132.873.200.14驱动器291.001.091.060.820.800.890.880.653.814.464.331.86比例误差相反，在图中。4（b），重力先验中的噪声对最终精度影响不大。最后，Fig。图4（c）显示噪声对求解时间的影响最小。4.2. SLAM轨迹配准该实验的目标是测量估计的相似性变换的准确性，该相似性变换将SLAM轨迹（来自移动相机的图像集合）配准到预先计算的3D重建。该实验使用gDLS* 的尺度和重力先验。该实验的一部分考虑了单位尺度的相似性变换，这使得它等价于刚性变换。在后一种情况下，该实验还包括UPPERT [22]，一种最先进的多相机姿态估计器，其仅估计刚性变换（即，没有规模估计）。对于每个数据集和方法组合，我们运行100审判每个估计器都包裹在RANSAC [9]中以估计。2218匹配变换，并且相同的参数用于所有的比例和姿态实验。RANSAC将具有超过4个像素的重投影误差的对应标记为离群值。因为我们使用RANSAC，所以所有方法都倾向于收敛到精确的解（表3和表4）;然而，收敛的速度可能会有很大的不同（表2）。虽然存在数据集和明确的方法来评估基于视觉的定位或SfM重建（例如，[5，38]），没有一个完善的方法来评估姿态和规模估计。先前评估过程（例如，[43，44]）主要显示摄像机位置误差，但忽略了方向和 比 例 误 差 。 为 了 评 估 一 个 SLAM 轨 迹 的registration，我们提出了一个新的evalu- ation程序，如图所示。5：（1）使用Theia-SfM重建轨迹;（2）移除具有其对应的3D点和轨迹的图像的子集以创建新的查询集（剩余的图像、点和轨迹被2219最佳基线s-gDLS* g-gDLS*sg-gDLS*0.250.20.150.10.051 23s/g参数值0.020.0150.010.0051 23s/g参数值(a) KITTI10- 31 2 3s/g参数值0.20.180.161 23s/g参数值0.060.0550.050.0450.041 23s/g参数值(b) TUM86421 2 3s/g参数值图6.在（a）KITTI和（b）TUM数据集上，最佳基线（给定度量的最佳性能基线）和gDLS* 的平均旋转、平移和缩放误差作为λs和λg的函数。重力先验（g-gDLS*）倾向于减少旋转和平移误差，并适度改善缩放误差。尺度先验（s-gDLS*）倾向于提高尺度准确性并适度减少翻译错误。比例和重力先验的组合（sg-gDLS*）倾向于减少平移和比例误差并改进旋转估计（见（b））。参考重建）;（3）应用相似性变换来描述具有不同尺度的不同参考系中的重建;以及（4）估计相似性变换。为了计算输入的2D-3D对应性，评估过程将来自查询图像的特征与参考重建的特征相匹配，并对其进行几何验证。根据这些匹配和重建，该过程通过首先使用相机位置计算指向对应3D点的射线来构建2D- 3D对应关系重力优先显著提高速度。表2显示了两种刚性（s0=1）和相似性（s0=2. 5）转型。我们观察到，这两个先验都有助于估计器比许多基线更快地找到解决方案（见SG列）。特别是，仅重力先验（参见g列）可以显著加速gDLS*，同时产生良好的估计（参见第12节）。4.3）。 另一方面，只有先验的尺度（见s列）可以适度加速gDLS*。重复缩放和旋转先验一致地提高准确性。表3和表4给出了100次试验的平均旋转、平移和尺度误差，分别估计刚性和相似性变换。两个表在顶部显示了六个TUM轨迹，在底部显示了六个KITTI轨迹。尺度先验s0显示在两个表的顶部。请注意，UPPERT不估计尺度，因此不包括在相似性变换部分中。表3显示，gDLS* 和UPFS产生最准确的旋转和平移估计，gDLS*产生最准确的尺度估计。表4显示，gDLS* 倾向于产生最准确的旋转和平移估计，并且gDLS* 产生最准确的尺度估计。4.3. 消融研究本研究旨在说明权重λs和λg变化时对估计精度的影响。我们使用与先前实验相同的TUM和KITTI数据集和RANSAC我们将权重从0. 25到3，增量为0。每种重量做100次试验。为了总结结果，我们平均旋转，平移和比例误差。当单独使用或一起使用时，先验提高了准确性和速度。图6显示了这项研究的结果。我们看到，平均而言，重力先验（g-gDLS*）显著改善了旋转和平移误差，同时适度改善了尺度误差。另一方面，尺度先验（s-gDLS*）平均显著改善尺度误差，同时适度改善翻译误差。最后，重力和尺度先验都改善了平移和尺度误差，并且可以帮助估计器改善旋转误差。从这些结果中，我们可以得出结论，准确的先验可以大大提高精度估计（从而也提高速度）。然而，我们知道从图。噪声先验也会降低准确性。因此，对于未来的工作，我们将探索如何根据先验的噪声自动设置λs和λg，以最大限度地提高精度和速度。5. 结论这项工作提出了gDLS*，一种新的姿态和规模估计器，利用规模和/或重力先验，以提高精度和速度。gDLS* 基于最小二乘重投影误差成本函数，其便于使用施加关于解空间的先验知识的正则化器这种gDLS*推导是通用的，因为这些正则化器是二次函数，可以很容易地添加到其他基于最小二乘的估计量。在合成数据和真实数据上的实验表明，gDLS* 提高了姿态和尺度估计的速度和准确性，给出了足够准确的先验。重力先验是特别有效的，但尺度先验也改善了平移和尺度估计。这些发现使gDLS* 成为许多惯性传感器可用的应用（如AR、3D映射和机器人）的出色估计器。确认Gang Hua 获 得 了 国 家 重 点 研 发 计 划 基 金2018AAA0101400和国家自然科学基金基金61629301的部分资助。10- 3旋转误差[度]刻度误差转换误差[m]旋转误差[度]转换误差[m]刻度误差2220引用[1] 青色空间锚。https://azure.microsoft.com/en-us/services/spatial-anchors/. 1[2] Martin Bujnak、Zuzana Kukelova和Tomas Pajdla。未知焦距相机p4p问题的一般解法。 在proc IEEE会议 计算机视觉和模式识别（CVPR），2008年。一、二[3] Federico Camposeco，Andrea Cohen，Marc Pollefeys，and Torsten Sattler.混合相机姿态估计。在IEEE Conf. 计算机视觉和模式识别（CVPR），2018。1[4] 陈楚松和张文燕。基于非透视n点问题的广义成像设备位 姿 估 计 。 IEEE International Conference on Roboticsand Automation（ICRA），2002年。2