1819不确定特征位置Dominik Muhle*<$，Lukas Koestler*<$，Nikolaus Demmel<$$>，Florian BernardDahl和Daniel Cremers<$波恩大学University of Bonn图1.所提出方法的说明。特征对应（左：线）呈现不同的位置误差分布（左：椭圆）。与正常核线约束（NEC）[34]相比，我们的概率正常核线约束（PNEC）通过加权（NEC）与未加权（PNEC）平均方案（右）。NEC对所有残差的权重相等（右：蓝色虚线），因此丢失了有价值的信息。相比之下，我们的PNEC考虑了单个残差的适当权重（右：绿虚线）。在KITTI数据集上，使用PNEC而不是NEC进行的相对姿态估计分别将RPE1和RPEn的仅旋转版本的误差降低了42%和55%[20]。摘要两个摄像机的相对姿态估计是计算机视觉中的一个基本问题。Kneip等人提出了通过引入法向极线约束（NEC）来解决这个问题。然而，他们的方法不考虑不确定性，使得估计的相对姿态的准确性高度依赖于目标帧中的准确特征位置。在这项工作中，我们引入了概率正常极线约束（PNEC），克服了这一限制占各向异性和非均匀的不确定性特征位置。为此，我们提出了一种新的目标函数，以及一个有效的优化方案，有效地最大限度地减少我们的目标，同时保持实时性能。在合成数据的实验中，我们证明了新的PNEC产生更准确的旋转估计比原来的NEC和几个流行的相对旋转估计算法。此外，我们将所提出的方法集成到一个最先进的单眼旋转里程计系统中，并在真实世界的KITTI数据集上实现了一致的改进结果。*同等贡献。项目页面：https://go.vision.in.tum.de/pnec1. 介绍从图像中提取场景的3D几何形状是计算机视觉中的一个长期问题，并且具有许多应用，包括增强和虚拟现实、自动驾驶或可以帮助日常生活的机器人。许多这样的方法的一个关键组成部分是估计场景的两个视点之间的相对姿态例如，相对姿态估计是几何视觉算法的基础，如运动恢复结构（SfM）或视觉里程计（VO）。全局SfM管道依赖于精确的成对相对姿态，用作全局运动平均中的固定在VO中，相对姿态估计用于从图像流构建轨迹。与所有里程计系统一样，相对姿态估计中的小误差导致VO的漂移。相对姿态估计最广泛使用的概念是校准情况下的基本矩阵[43]，或一般情况下的基本矩阵[25]。相应的方法依赖于特征点之间的对应关系，并且通常已知提供快速和准确的结果[24]。然而，基于本质矩阵的方法存在基本问题，最突出的是解的多重性[17，25]和平面退化[33]。为了解决这些问题，通常有必要考虑更复杂的解决方案策略，这也会导致更准确的相对姿势，如1820Kneip等人[33]在这项工作中。为此，Kneipet al. [34]提出了一个避免这些问题的约束。他们的核平面正常共面约束（在后来的作品只是正常核约束，NEC）允许独立于平移的旋转估计。Kneip和Ly- nen [33]的后期工作为NEC提供了一个快速可靠的基于特征值的这种方法已被纳入旋转-只有VO系统，估计旋转独立的平移，并导致有前途的结果[9，39]。然而，像许多VO系统一样，它们都没有考虑对应关系的质量。从特征匹配中去除离群值后，每个匹配对最终结果的贡献相等。然而，二维特征对应性表现出不同的误差分布，这取决于图像的内容和用于提取对应性的特定方法，这可以在图中看到二、位于边缘上的对应被精确地定位为垂直于边缘，并且平行于边缘具有更高的位置不确定性。这种关于匹配质量的细粒度信息被完全忽略。已经表明，考虑不确定性有利于基本矩阵估计[5]。而Kanazawaet al.[30]认为，不确定性需要足够的非均匀性才能看到上述好处，我们的实验表明，即使对于由于问题的几何形状引起的均匀不确定性，我们工作的主要目标是提高旋转估计技术的精度。我们做到了这一点基于以下技术贡献：• 我们引入了新的概率正常核线约束（PNEC），见图。1，这是第一次使人们有可能将不确定性信息纳入正常核线约束（NEC）。• We propose an efficient two-stage optimization strategyfor the PNEC that achieves real-time performance.• 我们分析PNEC能量函数中的奇异性，并用一个简单的正则化方案来解决它们。• 在实验中，我们将PNEC与几种流行的相对姿态估计算 法 进 行 了 比 较 ， 即 8pt [24] ， 7pt[25] ， Stewenius5pt[56]，Niste' r5pt[51]和NEC [33]，并证明我们的PNEC提供了更准确的旋转估计。此外，我们将我们的PNEC集成到视觉里程计系统中，并在真实世界的数据上实现了最先进的结果。• 我们公布了所有实验的代码，以方便未来的研究。2. 相关工作本文的重点是将特征位置的不确定性融入到帧间旋转估计中，并将其应用于视觉里程计。因此，我们限制我们的讨论相关的工作，相对姿态估计，不确定性的特征对应关系，和视觉odom的。对于更广泛的概述，我们建议读者参考Szeliski [57]和Hartley和Zisser-man[25]的优秀书籍以及更多特定主题的概述论文[6，59]。相对姿态估计。估计两个视点之间的相对姿态是计算机视觉中的一个长期存在的问题，Kruppa在1913年提出了第一个已知的解决方案[35]。大多数方法要么依赖于先前计算的特征对应性（基于特征），要么直接考虑两个图像之间的强度差异（直接）。虽然直接方法最近显示出有希望的结果[14，15]，但它们目前仅限于表现出照片一致性的图像，因此不能用于一般问题，例如。结构从运动。基于图像的方法对视点和外观的变化具有更强的鲁棒性。因此，我们在本文中使用特征对应。给定特征对应关系，许多方法[36，41，43，51，55]在校准相机的情况下估计基本矩阵，或者在一般情况下估计基本矩阵。Niste' r[51]提出了一种使用多项式和根括号的最小解，而Longuet-Higgins[43]提出的求解器是线性的，需要仔细的归一化才能获得良好的性能[24]。或者，可以使用四元数直接估计相对姿态[16]。本质矩阵约束在无噪声的零平移情况下恶化，因为它是零矩阵。大多数基于本质矩阵的算法仅隐式地估计正确的运动[33]。为了解决这个问题，最近的工作已经提出了可以独立于平移来估计旋转的算法[34，42]。我们的工作是基于正常核线约束（NEC）提出的Kneip等人。[34]以及后续论文中提出的直接优化方案[33]。 布里亚莱斯和 al. [4]展示了如何获得NEC的全局最小值，然而，他们的Shor松弛不适用于我们的非多项式能量函数。特 征 对 应 的 不 确 定 性 。 Kanade-Lucas-Tomasi（KLT）轨道[45，58]被广泛使用，并且位置不确定性已被广泛研究[19，53，54，65]。基于无迹变换[60]，位置不确定性也被直接集成到KLT跟踪[13]中。 Zeisl等人[64]表明获得SIFT [44]和SURF [1]特征的各向异性和非均匀协方差的方法。在摄影测量界[47]以及计算机视觉界[5，30]中，已经从统计学的角度[28，29]研究了将位置不确定性整合到Brooks等人[5]表明，如果估计的协方差足够准确，则可以有利地使用协方差信息Kanazawa等人[30]对covari的实际使用提出1821×∈∈∈ ǁ ǁ∈图2. KITTI序列中位置不确定性的协方差椭圆。07.轨迹是用KLT跟踪生成的。我们的PNEC正确地考虑了这种各向异性非均匀误差分布。出于可视化目的，仅示出了具有子采样和放大的协方差椭圆的子图像。方差信息，如果协方差矩阵太相似，几乎各向同性，但是，图。2清楚地表明，真实世界数据的协方差矩阵是高度不均匀和各向异性的。视觉里程计系统。大多数VO与滑动窗口公式一起接近真正的3D到2D对应尽管如此，相对姿态估计通常在初始化期间使用[49]，并且已经证明其本身提供了出色的结果[11，12]。基于对对应问题的不同解决方案 ， 人 们 提 出 了 许 多 他 们 包 括 PTAM [31]和 ORB-SLAM [49，50]与间接功能，与KLT跟踪[61]的方法，以及直接方法，如LSD-SLAM [15]和DSO [14]。这些方法的共同之处是在没有惯性数据的情况下纯旋转的性能恶化。最近已经提出了对纯旋转具有鲁棒性的多种仅旋转方法[9，10，39]。Chon- cha等。[10]使用NEC初始化比例一致的贴图，即使是纯旋转运动。Chng 等人[9]Lee和Civera [39]在NEC的基础上分别使用旋转平均和旋转束平差来进一步改进他们的结果。虽然这些方法在现有数据集上显示出有希望的结果，但它们都没有利用系统中特征对应的不确定性信息。我们的VO评估基于MRO [9]。3. 概率法向核线约束法向对极约束（NEC）[34]强制执行由特征对应构造的对极平面法向向量然而，功能correspons- dences表现出不同的错误分布，不accounted在NEC。例如，边缘状特征垂直于边缘而不是与边缘平行地被很好地定位，这也被称为孔径问题。图2清楚地显示了位置分布的各向异性和不均匀性。此外，众所周知，需要图像所有区域中的对应关系来充分约束3D几何[14，49]，因此我们不能简单地丢弃特征点。为了解决这个图3.法向对极线约束（NEC）的几何结构[34]。特征对应分别由主框架（O）和目标框架（O′）中的单位方位向量fi和f ′ i给出。 每对方位向量都跨越一个核平面（黄色、橙色、红色），并有一个相关的法向量ni，由方程式1.所有对极平面相交于平移t（虚线）所定义的直线。法向量跨越与t正交的对极法平面（灰色）。为了视觉清晰，我们只显示了三个特征对应关系。问题，我们提出了概率正态核线约束（PNEC），它是能够考虑到不确定性的特征位置相关联的各向异性的协方差矩阵，以每个特征点。记法。矢量用粗体字表示（例如，f）和以粗体字表示的矩阵（例如，Σ）。应用于向量uR3的帽子运算符给出了一个斜-对称矩阵uR3×3计算两个向量的叉积，即 uv=uv。上标T表示转置。刚体变换由旋转矩阵RSO（3）和单位长度平移tR3（t= 1是因为两视图问题是尺度不变的）表示。3.1. 背景在下文中，我们总结了[34]中提出的NEC的主要思想给定的是观察到至少五个特征对应的主帧和目标帧，所述特征对应分别由主帧和目标帧中的单位方位向量fi和f′i对定义（参见图1B）。（3）第三章。通过应用相对旋转R和平移ts.t.将目标帧中的3D点x'x=Rx′+t。在理想的、无误差的情况下，单个特征对应与两个视点一起创建由其法向量ni= fi × Rf ′i。（一）所有法向量都与平移正交，并且它们跨越极线法平面。通过强制法向量的共面性来估计旋转模型的残差由下式给出：1822我Σ我NΣeΣI=我我我归一化核线误差算法一：PNEC优化方案ei=|tTni|、（二）即法向量到对极法平面的欧几里得距离。能量函数E（R，t）=E2=E|tT（fi×Rf′i）|第二章（三）1 初始化权重σi，0←1ifors←1toSdo2在R上优化（参见秒4.3）Rs←OptRλmin（MP（R;{σi，s−1}i））3在t上优化（参见秒4.2）ts←OpttEP（R s，t）i i4更新权重（参见当量四、是由残差构成的为了更详细端σi，s←σi（Rs，ts）i推导，我们请读者参考原始文件[34]或最近的论文李和Civera [38]，其中提供了许多几何解释的NEC。3.2. PNEC的推导概率正常极线约束（PNEC）扩展NEC纳入不确定性。更具体地说，PNEC允许使用能量函数中特征位置的不确定性的各向异性和非均匀性质。在目标帧中考虑了特征位置误差，如图1所示。我们假设位置误差在具有已知协方差矩阵的图像平面中遵循2D高斯分布每个特征的D，i在补充资料中，我们展示了协方差矩阵可以从KLT轨迹中提取使用拉普拉斯近似的KLT能量函数给定目标帧中的特征位置的2D协方差矩阵，我们使用无迹变换[60]将其传播通过非投影函数，以便获得方位向量的3D协方差矩阵’。使用无迹变换确保满秩协方差，5联合精炼（cf. 秒4.4）使用（RS，tS）作为起始值R，t←OptR，tEP（R，t）4. 优化为了优化PNEC能量函数Eq.5.提出了一种由交替迭代优化和联合精化组成的两阶段优化方案。我们提出了这种两阶段方法，因为NEC [33]的基于特征值的优化不能简单地应用于我们推导的PNEC能量函数，我们在第2节中展示了4.1.在Alg中给出了整个PNEC优化。1，我们详细介绍了第一阶段的第二。4.2秒4.3，和第二阶段在SEC。4.44.1. 背景在[33]之后，NEC能量函数Eq.利用（对称和半正定）Gramian矩阵将3重写为E（R，t）=tTM（R）tfi变换后的矩阵。 我们得到的细节补充材料中的无味变换，M（R）=（fi我×Rf′i）（fi×Rf ′i）T.（六）展示定性的例子。将该分布表示为归一化的极线误差给出了残差的概率分布由于变换的线性因为能量在单位向量t中是二次型，所以可以解析地执行平移t上的优化，即，残差是单变量高斯分布（0，σ2），方差minR∈SO（3）t：t=1tTM（R）t= minR∈SO（3）λmin（M（R））。（七）σ2（R，t）= tTf <$R<$iRTf <$Tt.（四）我们将该方差集成到NEC的成本函数中，使得欧几里德距离变为Mahalono-bis距离[8]，并定义PNEC能量函数对应于M（R）的最小特征值λmin的特征向量使所有单位长度向量t上的瑞利商tTM（R）t最小。然后使用Levenberg- Marquardt算法[40，46]在旋转R上优化构造的子问题，而通过求解特征值问题获得平移tEP（R，t）=2|tT（fi×Rf′i）|2σ2tTf<$R<$RTf<$Tt、（五）4.2. 优化PNEC -翻译我我我我我我PNEC能量函数Eq.5是以下的总和1823这导致加权优化问题。在补充材料中，我们展示了上述推导的几何广义瑞利矩（GRQs）在平移t中，并且因此最优不像NEC那样简单地由本征值给出。优化GRQ的总和，1824ǁ ǁ----我→不我（fi×Rfi）（fi×Rfi）另一方面，分子涉及相同的项，因此。（fi×Rfi）5. 评价单位球最近已经在数据科学和无线通信的背景下被研究[2，66，67]，并且已经由Zhang等人证明。[67]自洽场（SCF）算法[26]优于通用流形优化方法。由于GRQ的和可以表现出许多局部极小值[2]，因此SCF迭代不能保证收敛到全局最优值，我们提出了一种简单而有效的全局化策略。为此，我们利用NEC PNEC正则化PNEC的内在低维的单位球在R3的，采样均匀分布的初始点tk有效地使用Fibonacci网格[21]。然后，我们选择具有最低目标函数的点，并应用SCF迭代N步。由于固有的并行性，结果优化过程可以有效地实现我们在补充材料中介绍了全球化战略的有效性以及SCF迭代的技术细节4.3. PNEC优化-轮换Kneip和Lynen [33]已经展示了如何优化方程。7有效地使用Levenberg-Marquardt算法，旋转参数化基于Cayley变换[7]。考虑到PNEC能量函数Eq. 5，我们采用了一种类似于流行的迭代重加权最小二乘（IRLS）算 法 的 优 化 方 案 [37]。 具 体 地 ， 给 定 旋 转 和 平 移（Rp，tp）的先前估计，我们为所有i计算固定权重σi=σi（Rp，tp），并定义加权图4. NEC、PNEC和PNEC的可视化在SEC中提出的正则化四点五分。该图显示了t在f的邻域中（在极坐标中），其中圆心对应于t=f。对于t=f，PNEC显示出有限的不连续性，其极限取决于方向。我们的正则化消除了这种奇异性，同时也保持了能量函数的整体形状并使用第一阶段的解作为起始值。因为R是旋转矩阵，所以我们使用流形优化[27]来优化特殊正交群SO（3）。对于平移t，我们使用半径固定为1的球坐标，以确保t= 1成立。我们要强调的是，这种联合调整不同于捆绑调整。最值得注意的是，它不需要计算特征的3D位置。4.5. PNEC的奇点PNEC能量函数Eq.如果平移t平行于方位向量f，则5具有奇点，因为矩阵方差2人因吸毒失踪我 . 上''TM （R;{σ}）=我σifit=fi×t=0（八）P i i我σ˜2能量函数是有界的，并且具有有限的离散度。连续性，如图。4.第一章的补充它只取决于旋转R旋转是一种...通过找到R使得MP（R;σ∈ii）的最小特征值最小而得到。 在基于Kneip和Lynen[33]的优化器这样做之后，用新的R，t更新权重σii。4.4. 优化PNEC -联合细化在第一阶段之后，我们使用联合细化来改进结果具体来说，我们使用最小二乘优化策略，这对于找到能量函数的局部最优值是有效的，给出了一个好的起点[52]。对于PNEC，我们优化了第二次世界大战EP （R，t）=材料，我们提出了推导的方向限制，能量功能。虽然不连续性是有限的，比无限不连续性问题更少，但它仍然构成挑战。首先，与函数值相反，能量函数的导数是没有界的，这对于联合细化是有问题的第二，矩阵MP与能量函数不同，它只在分母而不是分子中包含f。因此MP对t fi趋于无穷。为了解决这些问题，我们考虑形式为σi′2=σ2+c的方差，其中正则化常数c>0。 图图4示出了正则化子对能量函数的影响。我们评估PNEC的性能，并比较约束的最小二乘公式。Levenberg-Marquardt算法同时优化旋转R和平移t中的目标函数它在模拟数据上以及在真实世界数据上的视觉里程计设置中与原始NEC相关联。在模拟数据上，所提出的PNEC比、（9）我tTfRiR TfTt我我1825NECPNEC（我们的）·旋转翻译旋转0的情况。20的情况。10的情况。00 1 2 3 4噪音等级[pix](a) 实验w/翻译：腐烂200 1 2 3 4噪音等级[pix](b) 实验w/翻译：e t0的情况。20的情况。10的情况。00 1 2 3 4噪音等级[pix](c) 实验w/o翻译：erot图5.全方位摄像机实验结果平均超过10 000随机实例的各向异性非均匀噪声在不同的噪声强度。Our PNEC consistently leads tosmaller errors compared to the NEC [33] for all noise levels.这适用于图1中的一般情况下的旋转和平移估计。5a和图5b，以及在零平移情况下的旋转图。5c.第二个问题。0的情况。500的情况。25旋转翻译420的情况。2旋转0的情况。000 1 2 3 4噪音等级[pix](a) 实验w/翻译：腐烂00 1 2 3 4噪音等级[pix](b) 实验w/翻译：e t0的情况。00 1 2 3 4噪音等级[pix](c) 实验w/o翻译：erot图6.针孔摄像机实验。结果平均超过10 000随机实例的各向异性非均匀噪声在不同的噪声强度。对于图1中的全向相机，5，与NEC相比，我们的PNEC始终导致较小的误差[33]。对于针孔相机，与全向相机相比，两种方法的平均误差都更高。实验表明，我们的PNEC是可行的两个最常见的相机类型。NEC和其他几种流行的相对姿态估计算法。在KITTI上，我们将我们的方法与使用NEC进行旋转估计的MRO 算 法[9]进 行 为 了评 估 PNEC ， 我 们 用Kanade-Lucas-Tomasi （ KLT ） 轨 迹 [45 ， 58]替 换 MRO 中 的ORB特征，这允许进行第2.2节中讨论的不确定性提取。3.2，以及NEC与PNEC。在补充材料中，包括翻译误差在内的更详细分析表明，与NEC相比，PNEC不仅平均准确度明显更高，而且一致性也更高。对KITTI的消融研究表明，我们的优化方案的所有阶段都是必不可少的最佳结果。此外，我们详细说明了所有超参数的选择和详细的实验方案的重现性。5.1. 帧到帧仿真通过模拟实验，我们评估了PNEC在帧到帧设置中的性能。实验由两个已知对应的框架的随机生成的问题组成。我们使用erot：=f（RTRf），以及（10）et：=arccos（tTt）（11）作为基础真值R，t和估计值R，t之间的误差度量，其中（）返回旋转矩阵的角度全方位摄像头。 在这个实验中，我们严格遵循Kneip和Lynen [33]提出的实验大纲。我们与最初的实验在以下方面不同：我们仅将噪声添加到第二帧中的点;为了补偿第一帧中噪声的缺乏，我们将标准偏差缩放2倍;我们基于Brooks等人的分类用不同的噪声类型重新创建实验。[5]并为每个点生成单独的协方差矩阵。有关矩阵如何生成的详细描述，请参阅supple-marticles材料。为了证明PNEC的有效性，即使对于纯旋转也仍然成立，我们将平移差固定为零重复实验。图5示出了两个实验的各向异性非均匀噪声的结果。PNEC实现consis- tently更好的结果，在两个实验中的所有噪声水平的旋转。针孔摄像机。由于大多数相机被建模为针孔相机，我们也重复以前的实验针孔相机。帧的生成保持不变。在坐标的观察方向上对点进行采样NECPNEC（我们的）NECPNEC（我们的）NECPNEC（我们的）NECPNEC（我们的）erot[deg]NECPNEC（我们的）[度]腐烂et[deg]et[deg]腐烂 [度]腐烂 [度]1826Σ1E我O多方向P内孔W/ T W/ O T W/ T W/ O T噪音水平[px] 0.5公制[度]erot1.0et腐烂1.5 0.5 1.0 1.5 0.51.0et腐烂1.5 0.51.0 1.5et腐烂特罗腐烂罗特罗特et腐烂特罗腐烂腐烂[24]第25话：我的世界0.19 1.76 0.26 2.36 0.33 2.64 0.10 0.15 0.20 0.62 4.64 0.89 6.09 1.076.74 0.17 0.23 0.28+95%[56]第五十六话0.23 2.34 0.30 2.97 0.37 3.38 0.18 0.30 0.33 0.61 3.14 0.71 4.04 0.894.57 0.46 0.64 0.77 +137%[51]第51话1.61 6.82 1.64 7.55 1.92 8.42 0.29 0.39 0.42 3.26 8.72 3.46 9.80 3.76 10.39 0.51 0.67 0.83 +643%日本电气[33]0.11 1.90 0.15 2.10 0.17 2.11 0.11 0.15 0.18 0.25 2.41 0.34 2.78 0.412.91 0.19 0.25 0.29+24%PNEC（我们的） 0.08 1.29 0.12 1.60 0.14 1.66 0.09 0.13 0.15 0.20 2.06 0.28 2.38 0.342.54 0.15 0.21 0.25表1.不同算法的旋转和平移误差全向和针孔摄像机的实验结果，在各向异性和非均匀噪声的不同噪声水平上进行平移错误平均超过10000随机问题，每个10分。 对于没有平移的实验（W/O T），由于et未被定义为零平移，因此仅报告e rot。 对于除了我们的PNEC之外的所有其他算法，我们使用OpenGV的实现[32]。(7pt)对于非最小数量的10个对应，则返回到（8pt）。我们的PNEC始终实现最佳结果，优于NEC和几种流行的相对姿态估计算法。最后一栏给出了与预测无效应受损失率相比的平均误差增加。第一帧的nate系统。这些点被投影到世界坐标系中，然后使用针孔相机模型投影到两个帧中。在图像平面中添加噪声偏移。与全向相机实验一样，我们对纯旋转重复这个实验。图6示出了针对各向异性非均匀噪声的针孔相机实验的结果。虽然针孔摄像机的两种方法的总误差略高于全向摄像机，但PNEC仍然始终优于NEC。选项卡. 1给出了定量比较我们的PNEC其他相对姿态估计算法从文献中的实验图。图5和图6。我们的PNEC在有平移和无平移的实验中始终为两种相机模型实现最佳结果。对其他噪声类型的额外实验表明，即使在各向同性和均匀噪声的情况下，我们的PNEC也优于NEC。虽然协方差矩阵变化，我们比较了MRO的旋转估计，如[9]，KLT-NEC，使用KLT轨道和NEC，以及KLT-PNEC，建议的PNEC与KLT轨道。KLT-NEC和KLT-PNEC都使用相同的KLT轨迹进行相对旋转估计。建议的PNEC可以考虑近似遵循高斯分布的特征对应位置的不确定性。为了克服来自失败的KLT轨迹的异常值对应，我们使用与NEC相同的RANSAC [18]例程来估计Alg的第一循环中的旋转。1.一、图7示出了从MRO的旋转估计和我们的方法生成的轨迹。在选项卡中。2我们比较了所有方法在[9]中定义 的n 个相 机 姿 势 的 仅旋 转 版 本 的 相 对 姿 势 误差（RPE）中的5次运行的平均性能。RPE评估帧对上的旋转残差的均方根误差（RMSE）。“时间步长”的残差为相同，每个残差的方差由于问题的几何形状而此外，我们的PNECEi：=N（（RTiRi+ ）T（RTiRi+ ））。（十二）对错误估计的噪声参数是鲁棒的。我们目前的结果，这些实验中，材料。RMSE是在m：=n−1残差上计算的.ΣΣ 15.2. 视觉里程计除了模拟实验，我们还验证了RMSE（均方根）：=我们的评估使用1mMi=12二、（十三）真实世界数据的PNEC，即非常流行的KITTI里程数据集[20]。我们比较我们的结果与MRO算法Chng等人。[9]使用[33]中的优化。对于MRO和我们的算法，我们禁用旋转平均和循环闭合，以专注于局部旋转RPE1RPEn* =RMSE（1）和（14）n* =RMSE（均方根误差），（15）n∆=1估计我们的方法在两个方面不同于MRO。首先，我们使用[61]中使用的基于KLT的跟踪实现来提取特征关键点，而不是ORB特征。其次，我们取代NEC与我们的PNEC的相对旋转估计。为了捕捉两者以分别捕获局部帧到帧旋转误差和长期漂移结果显示如下：只有一个例外（Seq. 01），使用KLT轨迹代替ORB特征有利于NEC的相对旋转估计PNEC18275004003002001000−400 −200 0 200 400x [米]表3.平均帧处理时间（毫秒）。对于MRO来说，大部分时间都需要进行匹配。KLT-NEC和KLT-PNEC（Ours）在KITTI上实现了实时性能。6. 讨论和未来工作虽然所提出的优化方案有效地操作-图7.KITTI序列的定性轨迹比较08. 轨迹分别由MRO [9]和PNEC的估计旋转生成，并与地面真实平移结合以实现可视化。相对旋转计算与建议的PNEC导致一个显着减少漂移。MRO [9] KLT-NEC KLT-PNEC（我们的）Seq.RPE1视网膜色素上皮RPE1视网膜色素上皮RPE1视网膜色素上皮000.3608.670 0.1255.922 0.1193.42901*0.290 16.030 0.695 27.406 0.782 23.500020.290 16.030 0.0936.693 0.1229.687030.2805.470 0.0732.728 0.0591.411040.0401.080 0.0410.619 0.0380.463050.250 11.360 0.0794.489 0.0703.203060.1804.720 0.0733.162 0.0422.322070.2807.490 0.1054.640 0.0742.065080.2709.210 0.0705.523 0.0603.347090.2809.850 0.0883.533 0.0803.514100.380 13.250 0.0733.959 0.0724.094表2. KITTI的定量比较。MRO和KLT-NEC之间的巨大差距证实了使用KLT轨道的好处。KLT-NEC和KLT-PNEC之间的差异显示了我们的PNEC与NEC相比的有效性。* 以下依次列出。[61]的KLT实现失败，并且由于自相似结构而产生具有不正确协方差的许多错误轨道。在这两个指标上，11个序列中有8个都优于NEC不包括seq. 01时，PNEC平均将帧间旋转误差的RPE1提高了10%，将长期漂移的RPEn提高了19%。5.3. 运行时选项卡. 3显示了MRO、KLT-NEC和KLT-PNEC的KITTI数据集上的平均帧处理时间。实验在具有2.4GHz四核Intel Core i5处理器和8 GB内存的笔记本电脑上进行。对于MRO，我们使用与其演示相同的配置。结果显示了KLT轨迹不需要像ORB特征那样的特征匹配的运行时优势。虽然所提出的PNEC优化方案比更简单的NEC优化算法稍慢，但使用KLT-PNEC的里程计在KITTI上实时运行。优化了PNEC能量函数，它依赖于两个连续的阶段，因此比NEC [33]提出的优化方案更复杂。补充材料进一步详细说明了拟议办法的局限性。然而，我们在SEC中显示。5.3所提出的算法是实时的能力。正如我们在SEC中解释的那样。4.2，单独的翻译优化是一个积极研究的问题，没有简单的解决方案。然而，研究改进的优化方案，我们的PNEC能量函数是一个有前途的方向，为未来的工作。最近的研究表明，深度学习可以提高视觉里程计算法的性能[22，62，63]。然而，我们工作的重点是对相对姿态估计的不确定性进行正确建模，类似于[33，34]。因此，虽然在我们的工作中我们没有考虑深度学习，但我们相信将我们的想法整合到学习系统中可能是后续工作的一个有趣方向。例如，可以通过神经网络来预测2D特征位置协方差矩阵7. 结论本文展示了如何利用二维特征位置解算器从一对图像中获得更准确的相对姿态估计。为此，我们引入了概率正常极线约束（PNEC），我们提出了一个有效的优化方案，在实时运行。在合成实验中，PNEC给出了更准确的旋转估计比NEC和几个流行的相对旋转估计算法为不同的噪声水平和纯旋转的情况下。在KITTI上的结果表明，PNEC的相对旋转估计优于基于NEC的MRO，一个最先进的旋转只有VO系统，并可以用于，例如。用于SfM中的全局初始化确认我们对支持我们的同事和WARP学生团队 感谢刘租给我们供货。为[33]。这项工作得到了ERC AdvancedGrant SIMU-LACRON和慕尼黑机器学习中心的地面实况MROPNEC（我们的）y [米]MRO [9] KLT-NEC KLT-PNEC特征创建363030匹配120优化52347总时间16153771828引用[1] 赫伯特·贝、丁尼·图伊特拉尔斯和吕克·范古尔。冲浪：加快了强大的功能。在ECCV，2006年。2[2] Aohud Abdulrahman Binbuhaer 。 关 于 单 位 球 面 上Rayleigh商和的。博士论文，德克萨斯大学阿灵顿分校，2019年。5[3] Christopher M.主教模式识别和机器学习，第5 版。Springer，2007. 4[4] Jesus Briales，Laurent Kneip和Javier Gonzalez-Jimenez。非最小相对姿态问题的可证明全局最优解。在CVPR，2018年。2[5] M.J. Brooks ， W.Chojnacki ， D.Gawley 和 A. 范 登 亨 格尔。在估计视觉参数时，协方差信息有什么价值？载于ICCV，2001年。二、六[6] 塞萨尔·卡德纳、卢卡·卡隆、亨利·卡里略、亚西尔·拉蒂夫、大卫·斯卡拉穆扎、何塞·内拉、伊恩·里德和约翰·J·伦纳德。同时定位和绘图的过去、现在和未来：走向强健感知时代。IEEE Transactions on Robotics，32，2016。2[7] 亚瑟·凯利关于特征为零或素特征的域上正交群及其它典型群的代数结构。Reine Angewandte Mathematik，32，1846. 5[8] Mahalanobis Prasanta Chandra et al.关于统计中的广义距离。在印度国家科学研究所的程序，1936年。4[9] Chee-KhengChng ， A'lvaroParra ， Tat-JunChin 和YasirChaff。单眼旋转里程计与增量旋转平均和环路闭合。数字图像计算：技术与应用（DICTA），2020年。二三六七八[10] 艾尔·乔·孔查、米奇·艾尔·布里、杰·苏·布里亚莱斯、克里斯蒂安·福斯特和吕克·奥斯。移动增强现实的即时视觉里程计初始化IEEE Transactions on Visualization andComputer Graphics，2021年，第27期。3[11] IgorCvi sbesi c'，JosipC'esic'，I v anMar ko vi c'，I v anPetro vi c'。Soft-slam：自主无人机的计算高效立体视觉同时定位和映射。Journal of Field Robotics，2018。3[12] IgorCvi si c'，I v anMar ko v ic'，andI v anPetr o vi c'. 重新校准KITTI数据集摄像机设置以提高Odom-1的精度。2021年欧洲移动机器人会议（ECMR）。3[13] Leyza Baldo Dorini和Siome Klein Goldenstein。无迹特征跟踪。计算机视觉与图像理解，115，2011。2[14] J. Engel，V. Koltun和D.克莱姆斯直接稀疏odom-矩阵。IEEE Transactions on Pattern Analysis and MachineIntelligence，2018。二、三[15] J. Engel，T. Scho ¨ ps和D. 克莱姆斯LSD-SLAM：大规模直接单眼SLAM。2014年，在ECCV。二、三[16] Kaveh Fathian ， J Pablo Ramirez-Paredes ， Emily ADoucette，J Willard Curtis，and Nicholas R Gans.Quest：一种基于四元数的摄像机运动估计方法.IEEE Roboticsand Automation Letters（RAL），2018年3月。2[17] O.D. Faugeras和S.梅班克。点匹配运动：解的多重性。1989年，视觉运动研讨会。1[18] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。ACM通讯，24，1981年。7[19] Wolf g angFoürstnerandEberhardGuülch. 用于检测和精确定位圆形特征的不同点、角和中心的快速操作器1987年，ISPRS关于摄影测量数据快速处理的委员会间会议。2[20] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准套件。CVPR，2012。1、7[21] A'l v aroGonz a' lez. 测量球体上的面积斐波那契和数学地球科学，42，2010。5[22] W.尼古拉斯·格林和尼古拉斯·罗伊。使用学习的比例因子的公制缩放的单眼SLAM。IEEE机器人与自动化国际会议（ICRA），2020年。8[23] Richard Hartley ， Jochen Trumpf ， Yuchao Dai ， andHongdong Li. 旋 转 平 均 。 International Journal ofComputer Vision，103（3）：267-305，2013. 1[24] 理 查 德 一 世 哈 特 利 。 为 八 点 算 法 辩 护 。 IEEETransactionso
我的内容管理
展开
