平面环境下的线性RGB-D SLAM方法

平面环境下的线性RGB-D SLAMPyojin Kim1、Brian Coltin2和H. Jin Kim11ASRI，首尔国立大学，韩国2SGT公司，美国NASA艾姆斯研究中心{rlavywls，hjinkim}@ snu.ac.kr， brian.j. nasa.gov抽象。我们提出了一个新的配方，包括正交的plan-nar功能作为一个全球性的模型到一个线性SLAM方法的基础上顺序贝叶斯过滤。先前的平面SLAM算法在姿态图优化中估计相机姿态和多个界标平面然而，由于它是一个高维非线性优化问题，不能保证算法将收敛到全局最优。为了克服这些限制，我们提出了一种新的SLAM方法，该方法在线性卡尔曼滤波器框架内联合估计地图中的相机位置和平面地标。正是旋转使得SLAM问题高度非线性。因此，我们使用曼哈顿世界（MW）中的结构规律来解决相机的旋转运动，从而得到线性SLAM公式。我们在标准RGB-D基准以及附加的大型室内环境上测试我们的算法，在不使用昂贵的非线性优化的情况下，展示了与其他最先进的SLAM方法相当的性能。关键词：线性SLAM，曼哈顿世界，贝叶斯滤波1介绍视觉同时定位和地图构建（vSLAM）是估计六个自由度（DoF）的旋转和平移相机运动，同时从图像序列构建周围未知环境的地图的问题。它们是从自主机器人到虚拟和增强现实（VR/AR）的各种应用的基本构建块。许多典型的视觉RGB-D SLAM方法，例如DVO-SLAM [17]和ORB-SLAM 2 [23]，其基于姿势图优化[19]，已经在具有丰富纹理的环境中显示出有希望的结果。然而，它们在无纹理场景中表现不佳，这通常在具有大型平面结构的室内环境中遇到[13]。它们还依赖于姿态图优化方法，这在计算上是昂贵的，并且有时会失败。为了在低纹理环境中工作良好，最近的视觉SLAM方法ODS [13，20，33]利用附加的几何信息，如平面特征。他们将平面测量和场景布局与基于图形的SLAM方法[10，16]相结合，以提高鲁棒性和准确性。虽然这些SLAM2Pyojin Kim、Brian Coltin和H.宽镇图1.一、 线性RGB-D SLAM：L-SLAM使用线性卡尔曼滤波器框架而不是昂贵的姿态图优化来生成一致的全局平面地图。左：通过使用L-SLAM从估计的相机轨迹反向投影RGB-D图像来渲染累积的3D点云右图：检测到的正交平面特征覆盖在RGB图像的顶部请注意，为了便于查看，我们省略了天花板虽然这些方法对于低纹理环境显示出更好的准确性，但是存在一些限制：它们仍然依赖于姿态图优化，这是非凸和非线性优化问题[4]。由于他们的SLAM被公式化为用于联合细化6-DoF相机姿态和多个地标的高维非线性优化问题，因此不能保证该算法可以收敛到全局最优值[34]。此外，如果姿态图优化的非线性由于相机和地标的旋转分量而过高，则它们将无法找到真正的解决方案。为了解决这些问题，我们提出了线性RGB-D SLAM（L-SLAM），这是一种新颖的方法，该方法在线性贝叶斯滤波器内联合估计地图中的相机位置和平面地标，如图1所示。1.为了将对旋转运动估计的需要（其是SLAM公式化中的非线性的主要来源）与SLAM问题分开，我们首先使用来自VO算法[18]的曼哈顿世界（MW）假设[5]给定绝对相机定向，L-SLAM识别结构化环境中的水平和垂直平面，并且在每一帧处测量从当前相机姿势到这些正交平面的距离。随着从正交平面的距离测量，我们同时更新的3-DoF相机的平移和1-D距离的相关的全球平面在地图中的线性卡尔曼滤波器（KF）的框架内。我们提出了一个简单的线性KF SLAM公式，通过完全补偿从[18]获得的3-DoF旋转相机运动，从而实现非常低的计算复杂度，同时在无纹理区域中工作良好平面环境下的线性RGB-D SLAM3广泛的评估表明，L-SLAM产生可比的估计结果相比，其他国家的最先进的SLAM方法没有昂贵的SLAM技术（环路检测，姿态图优化）。此外，我们将L-SLAM应用于增强现实（AR），而无需任何外部基础设施。我们的主要贡献如下：– 我们开发了一个正交平面检测方法在结构化环境中的绝对摄像机方向时，给定的。– 我们提出了一个新的，线性KF SLAM制定本地化的相机平移和映射的全球无限平面。– 我们在RGB-D基准数据集上评估了从房间大小到建筑物大小的L-SLAM与其他最先进的SLAM方法。– 我们使用L-SLAM实现增强现实（AR）2相关工作在过去的二十年中，由于视觉SLAM方法从视觉SLAM中的大量文献中，我们提供了最先进的典型方法和利用平面结构的一些SLAM方法的简要概述。已经使用点特征（间接）或高梯度像素（直接）开发了许多成功的SLAM算法。他们的代表是直接LSD-SLAM [7]，DSO [30]和基于特征的ORB-SLAM 2 [23]。但在具有挑战性的低纹理环境中，它们的性能可能会严重下降SLAM早期的一些研究利用基于扩展卡尔曼滤波器（EKF）的SLAM方法内的平面[6]。在[8，9]中，将位于同一平面上的跟踪点[24]包括具有先验结构信息的EKF状态向量中的平面特征。[22]提出了EKF单目SLAM内的点和平面的统一参数化[31]在基于EKF的SLAM中使用从2D激光扫描仪提取的平面特征然而，这些利用平面特征的EKF-SLAM方法存在一些问题。它们不能避免局部线性化误差[2]，因为相机旋转和平移的估计一起导致测量模型的非线性。此外，由于距离和方向都用于表示平面特征，因此状态向量和协方差矩阵的大小（计算复杂度）随着时间的推移而快速增长。时间，这限制了应用程序到一个小的房间规模的环境。最近的几个平面SLAM研究应用基于图的SLAM [10，16，19]，这是一个非线性和非凸优化问题[4]。为了避免姿态图优化中的奇异性，[15]提出了无限平面的最小平面表示。在GPU的帮助下，[21]通过执行直接图像对齐和全局图优化来跟踪关键帧相机姿势和全局平面模型。[33]利用来自使用卷积神经网络（CNN）的场景布局理解的平面测量来执行基于图形的SLAM。在[13]中，执行基于关键帧的因子图优化以4Pyojin Kim、Brian Coltin和H.宽镇L-SLAMLPVO无漂移旋转跟踪翻译估算RGB深度点检测跟踪消失的方向线检测表面法线点云线性SLAM卡尔曼滤波器正交平面检测跟踪图二、完整L-SLAM算法的概述。仅在CPU上实现实时操作。尽管这些方法在结构化环境中展示了优越的估计结果，但是它们需要昂贵且困难的姿态图优化，因为它们一起估计相机旋转和平移[4]。与所提出的L-SLAM最相关的平面SLAM方法是[20]，其首先通过识别分段平面模型来估计3-DoF相机旋转，并利用图形SLAM优化来恢复2-DoF相机平移。然而，与估计全6-DoF相机运动的所提出的L-SLAM不同，存在相机的平移运动总是平面的假设。3该方法我们提出的L-SLAM方法建立在先前的基于线和平面的视觉里程计（LPVO）算法上[18]。然而，虽然LPVO不能避免漂移随着时间的推移，由于VO的性质，我们将其扩展到SLAM配方中的平面特征直接建模为地标，以进一步约束相机运动，并显着减少平移漂移。我们首先简要介绍一下前面的LPVO算法。3.1.作为第一个贡献，我们提出了一种方法，在结构化环境中检测正交平面。3.2，这在我们的SLAM方法中起着重要的作用。接下来，我们介绍了L-SLAM，一种新的SLAM方法，使用正交平面特征的线性卡尔曼滤波器（KF）的框架内，在第二节。3.3.图2示出了L-SLAM的概览。3.1基于直线和平面的视觉里程计我们简要总结了LPVO算法（有关完整细节，请参阅[18]）。LPVO有两个主要步骤：1）跟踪结构规则性（曼哈顿框架）以平面环境下的线性RGB-D SLAM5用SO（3）流形约束的均值漂移算法得到无漂移旋转;以及2）它通过最小化来自跟踪点的反旋转再投影误差来估计平移。LPVO中无漂移旋转估计的核心是通过利用环境规律从线和平面联合跟踪给定高斯球S2上直线和平面法线的消失方向的密度分布，LPVO通过高斯核的切平面R2中的均值偏移算法来推断围绕每个主曼哈顿框架轴的方向矢量分布的均值。通过均值偏移找到的模式被投影到SO（3）流形上以保持正交性，从而得到相机相对于曼哈顿世界的绝对取向估计。对于平移估计，LPVO通过利用前一步骤中的无漂移旋转估计将连续帧之间的特征对应关系变换为纯平移LPVO通过最小化来自跟踪点的反旋转重投影误差来估计相机的3-DoF平移运动，所述反旋转重投影误差仅是平移相机运动的函数。3.2正交平面检测一旦已经从LPVO建立了场景相对于相机姿态的曼哈顿世界取向，我们就可以容易地识别当前结构化环境中的主导或正交平面。给定当我们在LPVO中跟踪曼哈顿帧时使用的每个像素的表面法线，我们在每个曼哈顿帧轴的圆锥截面内找到相关的法向量我们使用与跟踪的曼哈顿帧的每个轴附近我们将飞机模型[29]描述为：nxu+nyv+nz=w（u=X，v=Y，w=l）（1）Z Z Z其中X、Y、Z表示3D坐标，u、v、w对应于归一化图像坐标和在该坐标处测量的视差。nx、ny、nz是表示平面的距离和取向的模型参数。平面RANSAC的误差函数是3D点与平面之间的距离。我们在最小二乘意义上将平面拟合到来自平面RANSAC的给定内围层3D点。如果该平面的法向量与三个曼哈顿帧轴之一之间的角度差小于5度，则我们再次将该平面重新拟合为一组视差值（w），该视差值（w）受到其必须平行于对应的曼哈顿帧轴的约束。我们在最小二乘意义上计算最佳比例因子，使以下各项最小化：s=arg mins（r u+r v+r）−w（2）sx y z其中s是表示从平面到原点的距离（偏移）的倒数的比例因子，并且rx、ry、rz表示对应的坐标系的单位向量。6Pyojin Kim、Brian Coltin和H.宽镇y=2，km2，kyky1，kXK{Cg}m1，kPKy1，k{Ck}y2，k图三. 正交平面检测的结果覆盖在RGB图像的顶部（左）。在三维空间（中）和俯视图（右）中绘制了颜色编码的正交平面特征每个变量的详细说明、状态向量的定义和测量模型在第2节中给出三点三曼哈顿坐标轴。以这种方式，我们可以找到场景中的正交平面特征，其法线与跟踪的曼哈顿帧对齐，如图1所示。3.第三章。3.3线性RGB-D SLAMKF状态向量定义。KF中的状态向量由相机的当前3-DoF平移运动和地图中的正交平面特征的1-D表示我们用X及其相关协方差P表示状态向量X=Σpm···mΣ⊤ ∈R3+nP =ΣPPPΣPpm∈R（3+n）×（3+n）（3）1nPmpPmm其中p =Σx y zΣ∈R3表示全局曼哈顿地图帧中的3-DoF相机平移，其中相机的旋转被完全补偿。与之前的平面SLAM方法不同，我们不将相机取向包括在状态向量中，这是增加的主要因素。SLAM问题中的非线性[4]，因为我们已经获得了精确的以及从LPVO的无漂移相机旋转（秒）。第3.1条地图mi =[oi]∈R1表示正交平面特征在全局曼哈顿地图框架中距原点的1-D距离（偏移），并且n是全局地图中正交平面的数量虽然每个正交平面特征在Sec.3.2由1-D距离和曼哈顿帧的对准组成，我们仅跟踪和更新距离，因为正交平面的对准不随时间改变新检测到的正交平面特征m_new在状态向量的最后一个映射分量之后被附加地增强注意，在状态向量X中不存在与相机或平面取向相关的变量，从而导致线性KF公式化。平面环境下的线性RGB-D SLAM7+△p.表1. L-SLAM优于现有EKF-SLAM方法L-SLAM（我们的）[9]第一章[八]《中国日报》[24日][22日]状态尺寸3 +n7 + 7n7 + 9n15 +3n12 + 10n线性线性非线性非线性非线性非线性在SLAM中使用卡尔曼滤波器（KF）的问题之一是特征数量的二次更新复杂度，其可以限制使用多个测量的能力[26]。由于我们仅对每个平面具有单个变量的大的和占主导地位的平面结构（诸如墙壁或地板）进行建模，因此与表1中所示的其他EKF-SLAM方法相比，状态向量X的大小非常小虽然表1中的其他EKF-SLAM方法[8，9，22，24]使用3至10-D向量表示平面，但所提出的方法仅用一个参数（偏移）对平面特征进行建模，从而导致非常低的复杂度。 如果平面特征的数量（η）是 10，则所提出的方法的状态大小大约是Martiez的E K F _ S L A M 方 法 [2 2 ] 的 最 小 值 ， 这 意 味 着 E K F 更 新 预期 快 约 1 0 0 倍 。过程模型我们基于从连续帧之间的LPVO估计的3-DoF平移运动来预测下一状态。 我们传播3-DoF相机平移，并且假设地图不改变。我们的流程模型可以写成如下形式：Xk = FXk−1Σ⊤k，k−101×nΣ⊤（四）其中，F表示单位矩阵，△pk，k−1是来自LPVO的k和k−1个图像帧之间的估计3-DoF平移运动。测量模型我们通过观察当前检测到的正交平面特征与当前相机姿态之间的距离来更新KF中的状态向量。用于m，i的测量模型y由下式定义：m1−x−10 0 1 0 0···m2−yy== HX∈RmH =ξ∈R（m）×（3+n）（5）m3−z。.。..... ... .. . . .其中H是将状态空间映射到观察空间的观察模型，并且m是匹配的正交平面特征的数量。为了呈现的目的，我们假设每个正交平面特征对应于等式1中的曼哈顿坐标系的x或y或z轴。（五）、的值测量模型y是用当前状态向量计算的距正交平面特征的观测距离我们执行KF更新8Pyojin Kim、Brian Coltin和H.宽镇在一些实施例中，所述方法可针对与地图中的全局平面相关联的所有正交平面进行SLAM（SLAM）。由于所有公式和计算都是完全线性的，(3)到（5），不存在局部线性化误差，并且我们可以容易地计算最优卡尔曼增益[25]。以这种方式，我们可以一致地跟踪3-DoF相机平移和1-D平面地图位置，有效和可靠。我们的KF SLAM算法依赖于来自LPVO [18]的无漂移旋转估计。3.1，其在结构化环境中显示出精确和稳定的旋转跟踪性能（平均约0.2度误差）。该小的定向误差被卡尔曼滤波器视为测量噪声，这消除了明确考虑相关性的需要[3]。测量噪声不仅包括方位误差，还包括RGB-D相机的距离测量噪声。目前，测量误差手动调整为2厘米。平面地图管理。在L-SLAM的开始，我们初始化状态向量及其协方差与在第一帧检测到的正交平面特征在构建全局平面地图时，我们仅利用具有足够大面积的正交平面，以便准确地识别当前结构化环境中的主要结构特征，例如墙壁，地板和天花板我们执行平面匹配使用的距离（偏移）和对齐从当前检测到的正交平面特征和全局平面图的状态向量。如果两个平面之间的度量距离小于某个长度（在我们的实验中，10cm），并且它们具有相同的对齐，则将检测到的平面特征与现有的全局平面图相关联以更新状态向量。当检测到新的正交平面时，可以递增地扩展全局平面图。4评价我们在平面环境的各种RGB-D数据集上评估了所提出的L-SLAM，从– ICL-NUIM[11]是一个房间大小的RGB-D数据集，提供在合成客厅和办公室中渲染的RGB和深度图像，具有地面实况相机轨迹。由于深度图像中的低纹理和人工噪声，准确地估计相机姿态是具有挑战性的– TUM RGB-D[28]是用于VO/vSLAM评估的事实上的标准RGB-D数据集，由地面实况相机姿态和在具有各种对象的房间规模环境中捕获的RGB-D图像组成– 作者收集的RGB-D数据集包含使用华硕Xtion RGB-D相机在大型建筑物规模平面环境中以30 Hz的RGB和深度图像我们在相同的位置开始和结束，以评估循环闭合和一致性，因为地面实况轨迹和地图不可用。我们将我们的L-SLAM与其他最先进的RGB-D SLAM和平面SLAM方法进行比较，即ORB-SLAM 2 [23]、DVO-SLAM [17]、CPA-SLAM [21]。平面环境下的线性RGB-D SLAM9[13]和DPP-SLAM [20]。与所提出的基于线性公式的L-SLAM不同，它们都执行高维非线性姿态图优化。与LPVO [18]相比，我们的新SLAM方法建立在LPVO的基础上，我们还表现出了改进。请注意，我们使用作者提供的原始源代码测试每个SLAM方法，同时我们包括直接从[13]中获取的CPA-SLAM和KDP-SLAM的结果。我们实现了建议的L-SLAM在未优化的MATLAB代码的快速原型。我们的L-SLAM在整个序列中以高于20 Hz的频率在具有Intel Core i5（3.20 GHz）和8 GB内存的台式计算机上操作，表明所提出的方法在C/C++中实现时的潜力4.1ICL-NUIM数据集表2. ATE RMSE评估结果（单位：m）ICL-NUIM基准序列lr-kt0n lr-kt1nlr-kt2nlr-kt3nof-kt0n of-kt1nof-kt2n of-kt3nORB-SLAM20.0100.1850.0280.0140.0490.0790.0250.065DVO-SLAM0.1080.0590.3750.4330.2440.1780.0990.079CPA-SLAM0.0070.0060.0890.009––––KDP-SLAM0.0090.0190.0290.153––––LPVO0.0150.0390.0340.1020.0610.0520.0390.030L-SLAM（我们的）0.0120.0270.0530.1430.0200.0150.0260.011我们在表2中报告了具有噪声的所有客厅和办公室序列的摄像机轨迹的绝对轨迹误差（ATE）[28]的均方根误差（RMSE）突出显示每个序列的最小误差该办事处的CPA-SLAM和KDP-SLAM结果不可用。虽然CPA-SLAM需要GPU进行昂贵的计算，但在大多数客厅序列中显示出最好的定量结果，但L-SLAM提供了可比较的估计结果。我们使用图1B中的图4，示出了L-SLAM与没有非线性姿态图优化的其他最先进的SLAM方法相当在办公室序列中，L-SLAM实现了比其他SLAM方法更准确或类似的性能，因为办公室环境由足够的或多方面的区域组成。办公室设备的接收结果如图所示。5.尽管ORB-SLAM 2由于-kt 2n’的充分利用而表现最好，但是L-SLAM2也同样容易地执行。L-SLAM的平均ATE RMSE为0。038，而ORB-SLAM 2，DVO-SLAM，CPA-SLAM，KDP-SLAM和LPVO为0。057，0。197，0。028，0. 053和0。046分别在仅CPU的RGB-D和平面SLAM方法（除了CPA-SLAM，其需要GPU）中，L-SLAM呈现最低平均轨迹误差。在图1中绘制了使用L-SLAM的所得相机轨迹4、10Pyojin Kim、Brian Coltin和H.宽镇图4.第一章ICL-NUIM数据集中所提出算法的选定运动估计结果。 第一列示出了相对于当前跟踪的曼哈顿世界的每像素表面法线贴图。第二列和第三列示出了用于在所提出的SLAM算法中映射和定位相机位置的正交 垂直表面为红色或绿色，水平表面为蓝色，具体取决于其方向。第四列中的洋红色线和黑线分别表示估计轨迹和地面实况轨迹示出了具有高效和线性KF的L-SLAM与其他最近的SLAM方法相当，特别是对于高度平面的环境。4.2TUM RGB-D数据集我们在平面特征充分存在于TUM RGB-D数据集中的环境中选择几个RGB-D序列[28]。表3比较SLAM方法的估计结果ORB-SLAM 2的性能优于提议的 和 在 诸 如 “fr 3/strtexfar” 之 类 的 高 速 缓 存 中 使 用 的 SLAM方法，这是完全可以预期的，因为L-SLAM利用便宜得多的方法。虽然L-SLAM即使在图1B的不良特征环境中也显示出相当的性能。6，ORB-SLAM 2的精度急剧下降，轨迹估计失败（表3中标记为×）。虽然L-SLAM中不准确的平面距离测量有时会导致LPVO的轻微性能下降，但平均而言，L-SLAM通常比LPVO更准确平均of-kt3nof-kt2nof-kt1nlr-kt0n平面环境下的线性RGB-D SLAM11图五、左：来自ICL-NUIM数据集的办公室的合成场景3D重建，显示具有估计（洋红色）和地面实况（黑色）轨迹的平面和非平面区域。右，按顺时针顺序：颜色输出、曲面法线贴图、仅具有灰度的非平面区域和仅具有RGB比例的正交平面区域。为了便于查看，未显示天花板表3. A T E RMSE评估结果（单位：m）基于TUM RGB-D基准序列fr3/str notex 远fr3/str notex 附近fr3/strtex 远fr3/strtex 附近fr 3/机柜fr 3/大柜ORB-SLAM20.2760.6520.0240.019×0.179DVO-SLAM0.2130.0760.0480.0310.6900.979LPVO0.0750.0800.1740.1150.5200.279L-SLAM（我们的）0.1410.0660.2120.1560.2910.140图六、由所提出的L-SLAM算法从“fr 3/str notex near”（左）生成的全局3D平面地图的顶视图和侧视图。正交平面特征以顺时针顺序（右）覆盖在相应场景的原始图像的顶部L-SLAM的ATERMSE为0。168，而ORB-SLAM 2、DVO-SLAM和LPVO是0。230，0。340和0。205，分别。图7示出了使用L-SLAM从3/1大容量相机估计的轨迹， 其 中 其 他 S L A M 方 法 在 低 纹 理 场 景 中 表现 不 佳 ， 但 所 提 出 的 方 法 则 不 然 。12Pyojin Kim、Brian Coltin和H.宽镇见图7。对于TUM RGB-D数据集，具有L-SLAM（洋红色）和地面实况（黑色）的所得相机轨迹：fr3/str notex far、fr3/str notex near、fr3/str tex far和fr3/largecabinet。见图8。在正方形走廊序列中，在作者收集的RGB-D数据集上使用所提出的（左）和其他SLAM方法（右）估计的轨迹我们在黑色圆圈中标记的相同位置开始和结束，以检查循环闭合和所得轨迹的一致性在底部，示出了来自不同位置的两个图像，这两个图像看起来相同并且破坏了ORB-SLAM 2我们的L-SLAM正确识别当前结构化环境的方向，而无需昂贵的SLAM技术（循环闭合，姿态图优化）。4.3作者收集的RGB-D数据集我们提供了由L-SLAM生成的定性3D重建结果，其中其他LAM方法具有一定数量的序列，其中序列长度为90 m，如图1所示。8. L-SLAM保持正交平面结构，并且与DVO-SLAM和LPVO相比，显著减小了最终位置的漂移误差。ORB-SLAM 2在姿态图优化中执行错误的循环闭合，导致整个估计的相机轨迹断裂。尽管DPP-SLAM [20]示出了第二好的轨迹估计结果，但它仅在相机高度几乎没有变化的这种2-D环境中工作良好平面环境下的线性RGB-D SLAM13见图9。在作者收集的RGB-D数据集上以长走廊序列显示的累积3D点云和估计轨迹（洋红色）。随着时间的推移，带有门的长走廊的3D几何形状蓝色的天花板未显示在三维点云中以便于查看。否则，在ICL-NUIM和TUM RGB-D数据集的所有序列中均失败。使用L-SLAM，起始点和结束点几乎匹配，而无需循环闭合检测;而其他人则不然我们的最终漂移误差低于0.1%。图图9示出了大约120m长的走廊轨迹，其由向前的相机运动和现场旋转组成。我们证明了L-SLAM可以准确地跟踪摄像机的姿态和全球无限平面在地图中，通过保持室内环境的平面几何结构，在一个更有效和更便宜的方式在线性KF框架。4.4线性RGB-D SLAM增强现实我们进一步将建议的L-SLAM应用于增强现实（AR），以有效地证明其在实际应用中的有用性。目前，大多数商业VR/AR产品，如OculusRift和HTC Vive，必须使用外部设备来跟踪头部的3-DoF平移运动。然而，使用所提出的L-SLAM算法实现的AR仅使用与HoloLens类似的板载RGB-D传感器实现完整的6-DoF头部跟踪，HoloLens是最先进的AR耳机之一。所提出的方法只需要高度平面化的环境，这样的几何特征可以很容易地在大多数结构化的室内环境中找到。为了更好地进行感知评估，我们仔细选择了固定在测试环境中的墙壁或地板上的3D对象我们从3D空间站获得了国际空间站（ISS）、Elk的图图10显示了3D模型的一致视图，无论我们从哪里看，这都要归功于精确的6自由度相机运动跟踪。14Pyojin Kim、Brian Coltin和H.宽镇见图10。ICL-NUIM数据集（左）和作者收集的RGB-D数据集（右）上的增强现实（AR）实现结果，包括ISS，Elk的头和广岛沙发3D模型。注意，可以使用任何任意的3D模型。从所提出的SLAM方法的受约束的环境，表明在VR/AR应用的潜力。请参阅随本文提交的视频剪辑，其中显示了有关实验的更多15结论我们提出了一个新的，线性KF SLAM制定，共同估计相机的位置和全球无限平面的地图，通过补偿旋转运动的相机在曼哈顿世界的结构规律。通过测量与正交平面特征的距离，我们更新3- DoF相机平移和地图中相关全局平面的位置。广泛的评估表明，所提出的SLAM算法在各种平面环境中的优异性能，特别是在保持其效率，而不使用昂贵的非线性SLAM技术。未来的工作将进一步考虑更一般和宽松的平面环境，包括多组曼哈顿框架，例如曼哈顿框架（MMF）[27]和亚特兰大世界（AW）[14]的混合物。确认这项工作得到了三星智慧校园研究中心（0115- 20170013）和三星研究院的支持，三星电子公司公司特别感谢Phi-Hung Le对DPP-SLAM代码的帮助。1视频可在https://youtu.be/GO0Q0ZiBiSE平面环境下的线性RGB-D SLAM15引用1. https://3dwarehouse.sketchup.com/? hl=en2. Bailey，T. Nieto，J.，Guivant，J.，Stevens，M.，Nebot，E.：EKF- SLAM算法的一致性。在：智能机器人和系统（IROS），2006年IEEE/RSJ国际会议（2006年）3. Camposeco，F.，Pollefeys，M.：利用消失点改进视觉惯性里程计。在：机器人与自动化（ICRA），2015年IEEE国际会议（2015年）4. 卡隆湖，特隆河Daniilidis，K.，Dellaert，F.：用于3D SLAM的初始化技术：旋转估计及其在姿态图优化中的应用。在：机器人与自动化（ICRA），2015年IEEE国际会议（2015年）5. 考夫兰，J.M.，Yuille，A.L.：曼哈顿世界：从一个罪恶的罗盘方向-通过贝叶斯推 理 得 到 图 像 。 IEEE International Conference on Computer Vision （ ICCV ）（1999）6. Davison，A.J.，里德身份证纽约州莫尔顿市Stasse，O.：MonoSLAM：实时单摄像头SLAM。IEEE Transactions on Pattern Analysis Machine Intelligence（2007）7. En g el，J.， Scho¨ps，T.， Cremers，D. ：LSD-SLAM：Large-scaledi ctmo cularSLAM。欧洲计算机视觉会议（2014）8. 天啊AP Chekhlov，D.，Calway，A. Mayol-Cuevas，W.：在视觉SLAM中发现更高级别的结构IEEE Transactions on Robotics（2008）9. 天啊AP Chekhlov，D.，Mayol-Cuevas，W.W.，Calway，A.：在视觉SLAM中发现平面和折叠状态空间。英国机器视觉会议（2007）10. Grisetti，G.，Kummerle河Stachniss角Burgard，W.：基于图的SLAM教程。IEEE智能交通系统杂志（2010）11. Handa，A.，Whelan，T. McDonald，J.， Davison，A.J.： RGB- D视觉里程计、3D重建和SLAM的基准。在：机器人与自动化（ICRA），2014年IEEE国际会议（2014年）12. Hassner，T.，阿西夫湖，沃尔夫湖：当标准RANSAC不够时：假设相关性的跨媒体视觉匹配。机器视觉与应用（2014）13. Hsiao，M.，Westman，E.，张，G.，Kaess，M.：基于关键帧的密集平面SLAM。在：机器人与自动化（ICRA），2017年IEEE国际会议（2017）14. Joo，K.，T.H. Kweon，Is. Bazin，J.C.：亚特兰大帧估计的全局最优内点集最大化。在：IEEE计算机视觉和模式识别会议论文集（2018）15. Kaess，M.：无限平面的同时定位和映射在：机器人与自动化（ICRA），2015年IEEE国际会议（2015年）16. Kaess，M.，Ranganathan，A.，Dellaert，F.：iSAM：增量平滑和映射。IEEETransactions on Robotics（2008）17. Kerl，C.，Sturm，J.，Cremers，D.：用于RGB-D相机的密集视觉SLAM。在：智能机器人和系统（IROS），2013年IEEE/RSJ国际会议（2013年）18. Kim，P.，Coltin，B. Kim，H.J.：通过解耦旋转和平移运动的结构化环境中的低漂移视觉里程计。在：机器人和自动化（ICRA），2018年IEEE国际会议（2018）16Pyojin Kim、Brian Coltin和H.宽镇19. Kuümmerle，R.， G.，G.， Strasdat，H. K.，K.， 布拉格路，W. ：g2o：图优化的通用在：机器人与自动化（ICRA），2011年IEEE国际会议（2011年）20. Le，P. H、 Koˇsecka，J. ：定义表是用于存储设备的RGB-DSLAM表。在：智能机器人和系统（IROS），2017年IEEE/RSJ国际会议（2017）21. 马，L.， Kerl，C.， Stu¨c k le r，J.， Cremers，D. ：CPA-SLAM：用于直接RGB-D SLAM的互补平面模式在：机器人与自动化（ICRA），2016年IEEE国际会议（2016年）22. Mart´ınez-Carranza，J.，Calway，A.：在单块SLAM中统一平面映射和点映射。英国机器视觉会议（2010）23. Mur-Artal，R.， 你好J D. ：ORB-SLAM2：用于单目、立体和RGB-D相机的非操作性SLAM系统IEEE Transactions on Robotics（2017）24. 仆人，F.，Marchand，E.，Houlier，P.，马沙尔岛：增强现实中基于视觉平面的同时定位和模型精化。In：Pattern Recognition，2008.ICPR 2008年。第十九届国际会议。IEEE（2008）25. Simon，D.：最佳状态估计：卡尔曼，H ∞和非线性方法。02 The Dog（2006）26. Strasdat，H.，Montiel，J.，Davison，A.J.：实时单眼SLAM：为什么要过滤？在：机器人与自动化（ICRA），2010年IEEE国际会议（2010年）27. Straub，J.，Rosman，G.，Freifeld，O.莱纳德杰杰Fisher，J.W.：曼哈顿框架的混合：曼哈顿世界之外。在：IEEE计算机视觉和模式识别会议论文集（2014）28. Sturm，J.，Engelhard，N. Endres，F.， Burgard，W. Cremers，D.： RGB-DSLAM系统评估基准。在：智能机器人和系统（IROS），2012年IEEE/RSJ国际会议（2012年）29. 泰勒，C.J.，考利，A.：使用RGB-D影像解析室内场景。在：机器人：科学与系统（2013）30. 王，R.， Schwo¨re r，M.， Cremers，D. 立体定向系统：利用立体相机的立体IEEEInternational Conference on Computer Vision（ICCV）（2017）31. Weingarten，J.，西格瓦特河：使用平面段的3D SLAM。在：智能机器人和系统（IROS），2006年IEEE/RSJ国际会议（2006年）32. 是的 ， M 。 是 的 ， Forrstner ， W. ： 在 POIN T CLOUD 数 据 库 中 进 行PLANDETE C TION。In：在波恩举行的第二届机器控制制导国际会议上发表论文（2010年）33. 杨，S.，Song，Y.，Kaess，M.，Scherer，S.：弹出式SLAM：用于低纹理环境的语义单眼平面SLAM。在：智能机器人和系统（IROS），2016年IEEE/RSJ国际会议（2016）34. 赵，L.，Huang，S.，（1996年），中国科学院，Dissanayake，G.：线性SLAM：基于子图连接的基于特征和姿态图的线性算法。在：智能机器人和系统（IROS），2013年IEEE/RSJ国际会议（2013年）