基于归一化信息距离的直接单目SLAM算法

1NID-SLAM：基于归一化信息距离的Geof fre yPascoe、WillMaddern、MichaelTanner、PedroPinie's和PaulNe wman牛津机器人研究所英国牛津大学{gmp，wm，mtanner，ppinies，pnewman}@ robots.ox.ac.uk摘要我们提出了一种直接的单目SLAM算法的基础上归一化信息距离（NID）度量。与目前最先进的基于光度误差最小化的直接方法相比，我们的信息理论NID度量提供了对由于场景中的照明，天气和结构变化而引起的我们展示了成功的本地化和映射在照明变化与合成室内场景，并在天气变化（阳光直射，雨，雪）使用从车载摄像头收集的真实世界的数据。我们的方法使用OpenGL在消费者GPU上实时运行，并提供与最先进的光度测量方法相当的定位精度，但在对外观变化的鲁棒性方面明显优于直接和基于特征的方法。1. 介绍实时单目同时定位和地图绘制（SLAM）是实现增强和虚拟现实应用[3]; 3D测量和重建[7];以及机器人技术，特别是微型航空器（MAV）导航[9]的关键技术。单目SLAM方法通常使用对有限的照明、比例和视点变化鲁棒的描述符来跟踪匹配的视觉特征的稀疏集合。通过使用稀疏关键点匹配和有效的束调整，基于特征的方法以降低的准确性和鲁棒性为代价提供了计算节省，因为每个图像中包含的大部分信息被丢弃[6]。直接最小化图像和标测图之间的光度误差的最新方法旨在解决这些限制[32]，提供更高的准确性、密集重建以及对视点变化和模糊的一些鲁棒性[7，24]。然而，这些方法的关键限制是光度误差度量所需的静态场景照明的隐式假设;这仅适用于受控的室内环境或过短的图1. 使用NID-SLAM在不断变化的条件下实现稳健的单目SLAM。在穿越室外环境（红色）并构建关键帧深度图之后，我们能够使用鲁棒的归一化信息距离度量在不同的照明（橙色）和天气（绿色）条件下重新定位和细化地图投影到图像中的深度图（中心）显示了对齐，相机截头体（底部）显示了跟踪的sim（3）姿势。户外的时间。这严重限制了光度视觉SLAM方法的应用，因为地图只能在生成它们的光照条件下使用。在本文中，我们解决了长期的视觉SLAM在户外照明，天气和结构场景变化的存在下我们提出了一种基于归一化信息距离（NID）度量的单目SLAM方法，称为NID-SLAM，并演示了R-SLAM方法。14351436如图1所示，在出现随时间变化的情况下的胸围定位和映射。1.一、与光度误差不同，NID度量不是图像的强度的函数，而是它们的熵的函数;因此，在显著不同的照明、天气和季节条件下收集的图像可以相对于公共图被局部化，并且用于更新深度图，而不管外观变化。使用合成和真实世界的数据，我们证明了NID-SLAM提供了超过最先进的基于特征的方法的鲁棒性，同时保持了与最先进的直接光度测量方法相当的精度。最后，我们提出了我们的实时便携式OpenGL实现的细节，并解决了一些限制的方法，在非常chal-令人不安的条件。1.1. 相关工作大多数单目SLAM方法是所谓的间接方法;它们依赖于基于特征的前端来确定稀疏关键点和描述符（例如，[17、28]）使用基于滤波器[5，13]或基于优化[14，31，22]的后端来估计相机姿态。然而，间接方法完全依赖于特征检测器来确定图像的哪些部分对定位有用（通常忽略提供有用线索的边缘和其他几何形状[15]），以及依赖于特征描述符来提供对由于比例、视点和照明引起的外观变化的鲁棒性[21]。特别是，特征描述符匹配对于由较长时间段内的强烈照明变化、天气条件和季节变化引起的室外外观变化不具有鲁棒性[12，34]。最近提出了许多直接方法，这些方法通过最小化相机帧与密集[32，24]或半密集[7，10]深度图之间的光度误差来对像素强度进行操作，而无需显式特征提取这些方法声称对视点变化和运动模糊更鲁棒，并且由于使用了整个图像，因此与间接方法相比可以提供更高的[6]中的最新结果说明了显式光度校准和曝光/增益补偿对于精确视觉里程计（VO）的优势，但这些方法仍然依赖于光度方法固有的潜在静态场景[1]中的最新直接VO方法将光度误差扩展到一组在不断变化的条件下，图像对齐的一个有效的全局度量是互信息（MI），通常用于对齐多个模态的图像[19，36]。基于MI的度量已被用于相机姿态跟踪跟踪和映射：10Hz新的Key-N帧？Y电流关键帧当前全球地图图像上一个关键帧回路结案？YNID跟踪优化：1HzFAB-MAP姿势图优化深度转移NID深度更新光度深度更新NID跟踪光度跟踪图2. NID-SLAM管道。通过稳健的基于NID的方法（红色）增强了用于摄影跟踪和映射（绿色）的关键组件使用FAB-MAP [4]检测环路闭合，并使用基于NID的鲁棒跟踪来生成约束以构建一致的全局地图。我们使用OpenGL在10Hz的GPU上执行跟踪和映射，并在1Hz的CPU上并行运行循环闭合检测和优化。相对于先前的地图[2，27]，并且已经证明了对改变室外照明条件、结构变化、模糊图像和长时间段的遮挡的鲁棒性[37，30，26]。我们相信我们的方法是第一个将鲁棒的全图像MI度量纳入单目SLAM框架的方法，在存在照明、天气和结构场景随时间变化的情况下提供鲁棒的相机跟踪和深度图更新。1.2. 贡献在本文中，我们提出了构成NID-SLAM关键组件的三个新贡献，如下所示：使用NID的强大直接跟踪：我们提出了一种实时方法，用于最小化候选图像和关键帧深度图之间的NID，以恢复sim（3）相机姿态。与以前的方法相比，我们明确地将企业深度不确定性纳入NID评分中.多分辨率跟踪使用直方图金字塔：我们提出了一种新的直方图-金字塔方法，用于使用NID进行鲁棒的粗到细跟踪，该方法增加了鲁棒性和收敛盆，同时减少了较小尺度下的计算时间。使用NID的直接深度图细化：我们提出了一个每像素的关键帧深度图细化方法，使用NID，它允许在连续遍历的地图维护和深度更新，尽管外观随时间的变化。2. 使用NID的图2提供了NID-SLAM系统的概述，突出了与现有系统相比的新颖组件。1437照明或短时间户外。更鲁棒的基于NID的对准度量定义如下：arg minNID（Ir（pi），Ic（qi））（3）pi∈图3.相对于参考im跟踪当前图像Ic非线性互信息NID（·）：R|CITD|×R|CITD|→R+是一个由[0， 1]限定的真度量，它满足三角形-不等式，并且不依赖于分布中的总信息量[35]。NID度量定义如下：2H（Ir，Ic）− H（Ir）− H（Ic）年龄Ir与相关联的逆深度图Dr和方差Vr。 一NID（Ir，Ic）=（四）H（I，I）参考图像Pi中的点被投影到当前图像R中Cqi使用等式2中的加权函数ω（·） 1，这取决于相对姿态εsim（3）。 对于光度跟踪，仅需要强度Ir（pi）和Ic（qi）;对于NID跟踪，还使用点q i周围的邻域N（qi）。其中H（Ir，Ic）∈R+是图像Ir和Ic中相应样本的联合熵，H（Ir）∈R+和H（Ic）∈R+是边缘熵，定义如下：使用光度单目SLAM方法。在本节中，我们详细介绍了NID-SLAM的组件，特别是基于NID的跟踪和深度更新。H（Ic）=−Σna=1pc（a）log（pc（a））（5）2.1. 鲁棒的直接NID跟踪对于以下部分，我们采用[7]的关键帧和地图表示：关键帧由IM组成，H（Ir，Ic）=−ΣnΣna=1b=1pr，c（a，b）log（pr，c（a，b））（6）年龄I：λ→R+，逆深度图D：λ→R+和逆深度方差V：λ→R+，其中λ∈R2是归一化的像素坐标。我们选择每个图像的子域，其中，所有位置都具有足够的梯度，以提供有意义的深度估计。我们采用来自[7]的3D投影扭曲函数ω的表示法，其通过相机姿态ω∈sim（3）来变换图像点pi∈ΩD和相关联的参考逆深度Dr（pi）∈R+，以产生新的相机帧点qi∈R2，如图2所示。第三章：qi=ω（pi，Dr（pi），ω）（1）当前图像Ic相对于参考图像Ir的光度对准通常通过解决以下针对相对位姿的最小化问题来执行：其中，H（Ir）的定义类似于等式五、边缘分布pc∈Rn和联合分布pr，c∈Rn×n用n-bin直方图表示，其中a，b为单个bin指标.由于pr和pc都可以从pr得到，c通过在边缘化中，NID-SLAM中的主要计算是根据从关键帧投影到当前图像I c中的点集合p ∈ D来计算联合分布p r，c及其导数。我们采用采样方法来计算联合分布r，c，如图所示。4.第一章与先前的基于NID的定位方法相比，我们以逆深度方差Vr（pi）的形式将深度图不确定性明确地并入到姿态估计中。贡献-来自每个样本pi∈D的t_ion被添加如下：Σ¨ ¨p（a，b）←pβ（a，b）+.qi，N（j）Σ（qi）（七）arg min？2-（2）r，cr，ckVr（pi）pi∈wi（i）<$（Ir（pi）−Ic（qi））<$δ这里β.Σqi，N（j）（ qi）∈R+表示二维三次B-其中，图像采样函数I（·）：R2→R+返回子像素位置处的标量强度值加权函数wi（ω）∈R+基于深度不确定性来缩放残差，并且鲁棒核函数ω·ωδ减少了残差。ξpiN（qi）QIIrDr（pi）V（p）IcR i1438样条函数，其对像素j在4 × 4邻域N（qi）基于对子p∈i x ell的接近。奥辛奇岛 对权重进行归一化，使得jβqi，N（j）（qi）=1，注意，通过采样异常值的影响（例如，Huber norm）。然而，照片-度量误差度量固有地局限于外观随时间保持恒定的环境，这限制了对具有受控的qi的j个相邻像素N（j）（qi），我们从不采样亚像素位置的Ir或Ic;与光度测量相反方法，不需要像素强度之间的插值。 三次B-样条导致直方图函数1439.β qi，N（j）（qi）pia=B（Ir（pi））Ir（pi）Ic（N（qi））Bpr，c图4.从一个点p i对联合分布pr，c的贡献。 使用相对姿态角将点投影到当前图像Ic中的子像素位置qi，并且检索位置qi周围的4 × 4邻域N（qi）。对于邻域中的每个像素j，B样条函数β（·）∈R+基于与q i的接近度对关节的成对贡献进行加权（如蓝线所示）。函数B（·）∈N基于像素强度计算每个成对贡献的binindex x图中显示了bin直方图注意，对于参考图像Ir，直方图bina=B（Ir（pi））对于所有邻域像素j是恒定的;因此，对于每个点pi，将更新联合pr，c的至多一列。这是C2连续的，允许它在基于梯度的优化框架中使用。直方图箱指数（a，b）计算如下：图5. 3个金字塔级别的NID变化，具有与地面真实姿态的（左）平移和（右）旋转偏移，在New Tsukuba数据集的10个图像上取（一）简单地缩小输入图像不能提供任何好处，但是多级直方图表示H（l）（b）在更高的金字塔级产生更平滑的成本表面和更宽的收敛盆地，从而增加鲁棒性。我们已经发现基于NID的跟踪优于photomet-.a=B（Ir（pi）），b=BIc.ΣΣN（j）（qi）（八）RIC跟踪的准确性和鲁棒性，用随机深度值初始化的第一个关键帧其中B（·）：R+→N返回由I（·）提供的强度值的对应直方图仓。由于参考图像箱索引a=B（Ir（pi））对于所有邻域像素j是恒定的，因此一个样本将至多更新n在图1中示出的联合pr，c中的仓。4.第一章最后，常数k将单个样本pi的贡献归一化如下：2.2. 多分辨率NID跟踪为了增加鲁棒性和收敛盆地，许多直接光度测量方法使用由粗到细的图像金字塔方法[24，7]。我们尝试了一种简单的降尺度方法，但发现它并不能提高鲁棒性，如图所示。五、相反，我们提出了一个多分辨率直方图表示，其中他的-k=1|Ω| Σ1（九）V （p）对像素图而不是像素强度进行平均。我们建立一个n通道直方图图像的金字塔，Dp i∈DRi在计算pr，c（以及因此pr和pc）之后，可以将这些代入等式：5和6计算边际和对于金字塔层级l，记为H（l）。基本水平H（0）的每个通道a从输入图像I计算如下：.联合熵，然后代入4以产生NID值。通过微分方程。3相对于H（0）（pi，a）=1、a =B（I（pi））0，否则（十一）相对姿态参数k，我们构建了一个优化问题，该优化问题试图通过迭代地更新相对姿态估计k来最小化图像和关键帧之间的NID：通过下采样产生连续水平，如下所示：k+1=.NID（I r（pi），I c（N（qi）.H（l+1）（pi，a）=1Σ44 j=1H（l）.ΣN（j）（2·pi），a（十二）.pi∈D（十）其 中 ， αk∈R+ 是 与 鲁 棒 线 搜 索 的 步 长 距 离 ， 并 且QIξ（一）（b）第（1）款∂ξ1440αk∈R6×6是使用BFGS方法[29]，优化后无需额外费用。其中N（pi）返回2×2邻域内的像素在PI。直方图下采样过程如图所示。六、Eq.的联合分布更新7被取代由多分辨率直方图的形式，如图所示。7，如下：1441RCr，cC.r，cR. 里河DpiI（pi）H（0）（pi，a）H（1）（pi，a）H（2）（pi，a）图6.多分辨率直方图表示。首先将图像I转换为多通道二进制图像H（0），其中索引a在n个直方图箱中进行选择。H（0）的每个通道使用2×2块平均连续下采样，其中H（l）表示下采样l次的直方图通过对直方图表示进行下采样，而不是从下采样的图像Ic，在较低的图像分辨率下保留更多的信息。piH（l）（pi，a）βqi，N（j）（qi）H（l）（N（qi），b）γ（l）（a，b）≥0B（l）r，c使用来自每一级的最终姿态来初始化下一级的跟踪2.3. NID深度图更新在求解了估计的相机姿态估计之后，直接方法通常使用来自当前图像的小基线立体测量来Ic[7].对于光度误差，这可以使用有效二次函数针对每个像素pi∈D图7.使用多分辨率n-箱直方图表示的来自单个点pi的对水平-l联合分布p（l）的贡献。 来自参考直方图H（l）（p，a）的每个样本和当前直方图H（l）N（j）（q，i），b中的邻域像素j由（a，b）索引以确定成对贡献。在等式（1）中定义的成对直方图加权函数γ（114对于任何容器索引（a，b）可以是非零的，并且因此与图14中4，可以针对每个点P1更新联合中的所有元素。优化 然而，当在长时间的照明和外观变化足以使局部光度深度更新不可能。我们提出了一种全局的方法来关键帧深度更新使用NID度量鲁棒地维护和改进跨外观变化的深度估计。对于摄像机姿态，我们计算逆深度梯度，|Ω|如下所示：..Dr（NID（I r（pi），I c（N（qi）.（十五）γ（l）（a，b）β q，N（j）（q）r（pi）.n，p∈np（l）（a，b）←p（l）（a，b）+i ii Dr，cr，ckV（l）（p）新估计的参考逆深度图D是Ri（十三）其中成对直方图加权函数γ（l）（a，b）：N×N→R+定义如下：R然后使用BFGS方法迭代更新，类似于Eq.十：.<$D<$ r（p）k+1=D<$ r（p）k−αDk<$Dk<$Dr（p）（16）γ（1）（a，b）=H（1）（pi，a）H（1）N（j）（qi），b（十四）+|ΩD|其中α Dk E ∈R是一个步长，且<$Dk∈R ×重要的是，加权函数γ（1）对于箱索引（a，b）的任何组合可以是非零的，并且因此等式13可以更新联合分布中的多达n2个直方图箱R|CITD|是k次迭代后估计的深度协方差，通常是稀疏的。在优化之后，如下更新逆深度Dr和逆深度方差Vr：p（l）与Eq. 7 .第一次会议。 这在-对于每个级别，通过恒定因子增加计算，但是更高的金字塔级别二次地减少样本的数量，这导致总体计算节省。我们还观察到对初始较差的鲁棒性增加-D（p）=Dr（p）kVr（p）+Dr（p）diag（Dk）Vr（p）+diag（diagDk）（十七）QIξp1442r，cp这证明了额外的计算负荷，如图所五、粗到精跟踪是通过连续求解Eq.对于p（l）的连续级l，Vr（p）=.Vr（p）−1+ diag（ΔDk）Σ−1−1+诊断. σ2I（十八）1443p参数值直方图区间（n）16直方图金字塔水平（l）3深度的最小梯度5每个关键帧的5最小关键帧重叠百分之四十每级50最大行搜索迭代次数20表1. NID-SLAM参数其中，σ 2是Hadamard（逐元素）乘积，σ2是与[7]中的更新类似的过程噪声项，以确保逆深度方差不会变得过于自信。在实践中，我们发现NID深度更新对深度初始化和样本数敏感;当如[ 7 ]中那样初始化具有随机深度值的关键帧时，它将不能收敛。因此，我们建议仅在外观改变之后重新访问先前初始化的关键帧时执行NID深度图更新;光度深度更新目前对于差的深度估计更鲁棒，因此在初始化新的关键帧时更有效。但是请注意，我们仍然使用基于NID的跟踪，即使是第一次访问关键帧。2.4. 姿势图优化为了从互连的关键帧构建一致的全局地图，我们采用了[7]中的尺度感知姿态图优化方法。我们使用FAB-MAP [4]从当前图像向关键帧提供环路闭合候选，然后执行多分辨率NID相对姿态优化以确定环路闭合约束。这些约束与关键帧姿势一起被优化以形成全局地图。我们的直接NID跟踪在长时间内在室外环境中建立环路闭合约束时特别有效，因为在阳光、阴影和遮挡物体的存在下，表观变化是不可避免的。3. 结果我们将NID-SLAM的性能与其他两种最先进的单目SLAM方法ORB-SLAM 2 [23]和LSD-SLAM [7]进行比较。我们使用两个不同的数据集进行评估，即合成室内新筑波数据集[20]和室外Oxford RobotCar数据集[18]的部分，如图所示。8. 不像著名的KITTI数据集[11]，牛津机器人汽车数据集提供了在不同时间对同一路线的多次遍历。每个数据集包括在不同照明或天气条件下的相同路线的多次穿越;新筑波数据集还提供了地面实况轨迹和深度图数据，用于精度评估。我们在Oxford RobotCar数据集中选择了同一地点的六个500米的遍历来代表室外在变化的条件下运行。我们对室内数据集和室外数据集分别进行了16次和36次实验。每个实验涉及来自两种不同条件的两次连续遍历，其中目标是针对在第一次遍历期间构建的SLAM地图成功地定位和跟踪第二次遍历为了评估跟踪性能，我们手动将第二次遍历开始时的第一个活动关键帧设置为第一次遍历的地图中的第一个关键帧（以便我们不依赖于初始跟踪的循环闭合）。我们将第二次遍历的成功率报告为成功跟踪的帧相对于第一次遍历生成的关键帧的百分比。NID-SLAM 的 实 现 采 用 了 OpenGL Shad- ingLanguage 1（GLSL），以实现不同平台间的可移植性;我们使用一个台式AMD R9 295 x2 GPU实现10 Hz跟踪和映射更新。对于ORB-SLAM 2和LSD-SLAM，我们使用可用的开源实现2，3，修改为支持多会话映射的主动关键帧初始化。我们还实现了LSD-SLAM的曝光补偿，[8]以提高在室外环境中的性能表1列出了本评价中使用的参数。3.1. 鲁棒室内跟踪对于室内New Tsukuba数据集，我们使用地面实况姿势将sim（3）关键帧变换缩放为SE（3）变换，并以公制单位报告轨迹误差。 表2列出了每种方法的RMS平移和旋转误差以及定位成功率，其中定位失败由每种算法自行报告（例如，跟踪收敛失败）或真实绝对误差大于0.5m。NID-SLAM为除两个实验外的所有实验提供了最可靠的跟踪估计，其中ORB-SLAM提供了略微更高的成功率（例如，100% vs 99.3%）。至关重要的是，当针对在不同条件下构建的地图进行跟踪时，NID-SLAM通常超过80%的成功率（对于良好照明的遍历超过95% ） ， 其 中 LSD-SLAM 从 不 超 过 50% ， 而 ORB-SLAM从小于10%到超过80%变化很大。除了偶尔的离群值，所有三种方法提供的RMS误差始终低于100 mm和5μ m。所有三种方法都无法使用手电筒遍历对使用灯遍历构建的地图进行定位;我们将此归因于这两个遍历的组合中的低强度非均匀照明。1https://www.opengl.org/sdk/docs/man4/2https://github.com/raulmur/ORB_SLAM23https://github.com/tum-vision/lsd_slam1444(a)（b）第（1）款图8. 用于评估的室内新筑波和室外牛津RobotCar数据集的示例图像。从左上方顺时针：（a）在日光、荧光灯、闪光灯及电灯照明下的办公室环境;（b）在晴天、阴天、黄昏、夜晚、下雪和下雨的情况下的市区环境。选择这些数据集是为了为单目SLAM提供一系列具有挑战性的条件z3.2. 深度图细化表2.新筑波数据集的室内跟踪结果为了评估第2.3节中的NID深度图更新方法，我们比较了第二次遍历之前和之后的深度图误差，使用NewTsukuba数据集中提供的地面真实深度图计算。 表3呈现用于室内评估的深度图误差。前导对角线列出了每个条件下第一次遍历的中值深度误差，而非对角线元素列出了不同条件下第二次遍历后的深度误差NID深度图更新成功地减少了深度误差高达6%的第二次遍历的所有日光，荧光灯和灯的条件。然而，涉及闪光灯条件的遍历提供了15%的误差减少和15%的误差增加;我们将其归因于遍历期间的高度动态照明条件（因为场景中的所有光都是从相机的视角发出的）。由于一次仅照亮场景的一小部分，因此可用于更新可靠的基于NID的深度更新所需的直方图的样本较少表3. New Tsukuba数据集上的深度图细化。所有测量值均为以毫米为单位的中值深度图误差;括号中的百分比表示第二次遍历后错误的变化。3.3. 鲁棒的室外跟踪对于室外RobotCar数据集，在遍历之间不提供度量地面实况，但是每个遍历的立体视觉里程计可用。我们根据沿路线的累计度量距离生成了数据集之间的近似关键帧对应关系，并将定位失败分类为自我报告（如上所述）或超过zzzzTra versal1中国2zzz%日光RMSE（毫米）RMSE（o）%荧光RMSE(mm)（o）%灯RMSE（毫米）RMSE（o）%手电筒RMSE（毫米）RMSE（o）NID99.34.70.2296.77.80.5873.967.914.2474.664.22.25日光LSD96.136.41.9348.659.82.9326.133.21.5325.589.54.40ORB100.025.51.2081.421.40.209.520.90.910.112.80.48NID95.012.01.0599.78.50.4185.359.45.3995.827.90.80荧光LSD55.552.62.4496.514.70.5338.676.53.6729.770.03.80ORB85.418.40.2699.715.90.647.1291.11.5110.7125.23.39NID88.333.81.3993.625.20.9593.119.60.7384.372.83.98灯LSD6.690.25.0146.893.24.3071.78.00.0511.972.32.80ORB35.421.40.6524.627.80.5783.118.50.621.624.40.25NID23.841.20.8892.238.51.720.00不适用N/A92.024.61.17手电筒LSD15.791.04.5427.288.44.910.00不适用N/A88.736.41.93ORB19.417.20.2930.024.70.250.00不适用N/A22.750.81.28◗◗1◗2◗◗日光荧光灯手电筒日光60.965.256.558.0（-4.25%）（-5.99%）（-2.84%）荧光60.868.157.767.3（-0.16%）（-3.99%）（+12.73%）灯59.964.660.167.9（-1.64%）（-5.14%）（+13.74%）1445❜2❜1❜NID阴天LSDORBNID黄昏LSDORBNID雪LSDORBNID孙LSDORBNID雨LSDORBNID晚上LSDORB阴天10076.2810096.60.342.685.30.312.97.90.00.14.30.00.00.00.00.0黄昏88.210.6810099.364.147.821.818.515.221.91.720.14.20.370.00.00.00.0雪97.30.00.191.74.9457.899.940.545.70.10.80.10.00.00.00.00.00.0孙10.10.20.10.00.00.111.40.00.198.79.271000.00.00.00.00.00.0雨6.40.80.14.20.00.10.01.20.10.00.10.194.15.00.00.00.00.0晚上1.90.10.10.10.20.15.70.00.00.00.00.11.00.10.00.00.00.0表4.使用Oxford RobotCar Dataset的户外跟踪成功率与预期活动关键帧相差3个关键帧（绝对误差约为10m）。表4显示了每个室外实验的定位成功率。室外遍历明显比室内实验更复杂;只有NID-SLAM成功地在前五个条件下的第一次遍历上完全生成了地图。尽管增加了曝光补偿，LSD-SLAM只成功地绘制了阴天、黄昏和下雪穿越的一小部分，而ORB-SLAM由于雨滴对相机镜头的模糊影响，未能绘制出雨天穿越的地图。没有一种方法可以成功地产生SLAM地图使用夜间遍历。NID-SLAM再次提供了最可靠的跟踪估计，除了黄昏对雪地图之外，前三次穿越的所有组合的定位成功率都超过80%，但是对于更具挑战性的穿越（太阳，雨和夜晚），它很难提供超过10%的成功率ORB-SLAM在少数穿越中提供了令人印象深刻的100%成功率，但在许多更具挑战性的条件下，成功率不到0.1%。不出所料，LSD-SLAM提供了最不可靠的跟踪估计，因为遍历之间（甚至同一遍历中的帧之间）的外观变化强烈违反了光度误差最小化所需的静态场景照明假设。3.4. 限制与ORB-SLAM和LSD-SLAM两者相比，NID-SLAM在存在外观变化的情况下提供稳健且准确的跟踪和映射;然而，如上文所说明，其并非没有限制。NID度量对深度误差的鲁棒性较低，并且依赖于良好初始化的深度样本。目前，我们使用光度跟踪来初始化第一个关键帧，并使用光度深度更新来首次访问每个关键帧，以便为后续遍历提供良好初始化的深度图。如第3.3节所示，室外夜间数据集期间的黑暗、高像素噪声、苛刻的动态照明和运动模糊的组合导致所有方法都无法映射第一次遍历;即使NID度量对于这些最具挑战性的照明条件也是不够的。FAB-MAP提供的回路闭合允许出现变化，前提是系统已在然而，如[12]中所报告的，即使描述符匹配在大的外观变化下也会失败。我们希望以下列其中一种方法取代这一筹备阶段基于MI的方法[25]或卷积网络方法[33]。最后，由于使用密集的全局度量，NID-SLAM的计算成本高于ORB-SLAM和LSD-SLAM。我们的便携式OpenGL实现目前在桌面GPU上提供10 Hz更新（适用于机器人或汽车应用）;我们期望在不久的将来来自即将到来的移动图形处理器的类似计算性能。4. 结论我们提出了一个强大的单目SLAM方法的基础上归一化信息距离，我们称之为NID-SLAM。与现有的基于特征的直接光度测量方法相比，NID-SLAM使用全局外观度量来解决相对于关键帧深度图的相机姿态，我们提出了三个主要贡献：（1）基于NID的跟踪方法，其将深度不确定性明确地并入估计的位姿解中;（2）用于基于NID的跟踪的多分辨率直方图表示，其增加了用于姿态估计的收敛盆;以及（3）基于NID的深度图更新方法，其允许长期的图细化和维护，而不管外观变化。我们的方法提供了跟踪和映射精度媲美最先进的功能为基础的和直接光度的方法，并显着优于这些方法的鲁棒性，在室内和室外环境中的外观变化我们希望NID-SLAM能够解锁广泛的AR/VR和机器人应用，这些应用需要强大而准确的长期视觉SLAM功能。引用[1] H. Alismail，M.凯斯湾Browning和S.露西使用二进制描述符在弱光下的直接视觉里程计。IEEE Robotics andAutomation Letters，2（2）：4442[2] G. Caron，A. Dame和E.马尚直接模型为基础的视觉跟踪 和 姿 态 估 计 使 用 互 信 息 。 Image and VisionComputing，32（1）：54-63，2014. 21446[3] H. Chen，中国山核桃A. S.李，M。Swift和J. C.唐基于HoloLens和Skype端点的3D协作方法。第三届国际沉浸式媒体体验研讨会论文集，第27-30页。ACM，2015. 1[4] M. Cummins和P.纽曼FAB-MAP：出现空间中的概率定位 和 映 射 。 The International Journal of RoboticsResearch，27（6）：647二、六[5] A. 戴 维 森 岛 D. Reid ， N. D. Molton 和 O. 斯 塔 塞MonoSLAM：实时单摄像头SLAM。IEEE Transactionson Pattern Analysis and Machine Intelligence，29（6）：1052-1067，2007。2[6] J. 恩格尔河谷Koltun和D.克莱姆斯直接稀疏测距法。arXiv预印本arXiv：1607.02565，2016年。一、二[7] J. Engel，T. Scho ¨ ps和D. 克莱姆斯LSD-SLAM：大规模直接单眼SLAM。欧洲计算机视觉会议，第834-849页。Springer，2014. 一、二、三、四、五、六[8] J. Engel，J. Stückle r和D. 克莱姆斯大规模的直接猛击与立体摄像机。在智能机器人和系统（IROS），2015年IEEE/RSJ国际会议上，第1935-1942页。IEEE，2015年。6[9] M. Faessler，F.丰塔纳角，澳-地Forster，E.米格勒湾Pizzoli和D.斯卡拉穆扎使用四旋翼微型飞行器进行基于视觉的自主飞行和实时密集3D测绘Journal of Field Robotics，1，2015。1[10] C. Forster，M. Pizzoli和D.斯卡拉穆扎SVO：快速半直接单眼视觉里程计.在2014年IEEE国际机器人与自动化会议（ICRA）上，第15-22页。IEEE，2014。2[11] A. Geiger，P. Lenz，C. Stiller和R.乌塔松视觉与机器人技术的结合：KITTI数据集。机器人研究国际杂志，第0278364913491297页，2013年。6[12] A. J. 格洛弗，W。P. Maddern，M.J. Milford和G.F. 惠氏FAB-MAP+ RatSLAM：一天中多个时间的基于外观的SLAM。在机器人和自动化（ICRA），2010年IEEE国际会议上，第3507IEEE，2010。二、八[13] H. Jin，P. Favaro，and S.索阿托点特征的实时3D运动和结构：基于视觉的控制和交互的前端系统。计算机视觉和模式识别，2000年。诉讼IEEE会议，第2卷，第778-779页。IEEE，2000年。2[14] G. Klein和D.默里用于小型AR工作空间的并行跟踪和映射。混合和增强现实，2007年。ISMAR 2007。第6届IEEE和ACM国际研讨会，第225-234页。IEEE，2007年。2[15] G. Klein和D.默里提高了基于关键帧的SLAM的灵活性.欧洲计算机视觉会议，第802-815页Springer，2008. 2[16] C. 刘，J.Yuen，和A.托拉尔巴筛流：场景间的密集IEEE Transactions on Pattern Analysis and MachineIntelligence，33（5）：978 2[17] D. G.洛从尺度不变的关键点中提取独特的图像特征。International Journal of Computer Vision，60（2）：91-110，2004. 2[18] W. 马登恩湾帕斯科角Linegar和P.纽曼1年，1000公里：Oxford RobotCar 数 据 集 The International Journal ofRobotics Research，36（1）：3-15，2017。6[19] F. Maes，D. Vandermeulen和P. Suetens基于互信息的医学图像配准。Proceedings of the IEEE，91（10）：1699-1722，2003. 2[20] S. Martull，M. Peris和K.福井逼真的CG立体图像数据集与 地 面 真 实 视 差 图 。 在 ICPR Work-shop ： TrakMark2012，第111卷，第117-118页6[21] K. Mikolajczyk和C.施密特局部描述符的性能评估。IEEE Transactions on Pattern Analysis and MachineIntelligence，27（10）：1615-1630，2005。2[22] R.Mu r-Artal ， J. 蒙 铁 尔 和 J 。 D.塔尔多。 ORB-SLAM：一种多功能且精确的单目SLAM系统。IEEETransactions on Robotics，31（5）：1147-1163，2015.2[23] R. Mu r-Artal和J. D. 太晚了。ORB-SLAM 2：一个开源的SLAM系统，用于单目、立体和RGB-D相机。arXiv预印本arXiv：1610.06475，2016年。6[24] R. A.纽科姆，S。J.Lovegrove和A. J·戴维森DTAM：实时密集跟踪和映射。在国际计算机视觉会议上，第2320IEEE，2011年。一、二、四[25] G.潘迪McBride，S. Savarese和R. M. Eustice基于互信息的地点识别。2014年IEEE机器人与自动化国际会议（ICRA），第3185-3192页IEEE，2014。8[26] G. 帕斯科，W。Maddern和P.纽曼在不断变化的城市环境中对道路车辆进行直接视觉在IEEE计算机视觉研讨会国际会议论文集，第9-16页，2015年。2[27] G.帕斯科，W。Maddern和P.纽曼使用标准化信息距离的 鲁 棒 直 接 视 觉 定 位 。 在 英 国 机 器 视 觉 会 议（BMVC），斯旺西，威尔士，第3卷，第4页，2015年。2[28] E. Rublee，V. Rabaud，K. Konolige和G.布拉德斯基ORB：SIFT或SURF的有效替代方案。国际计算机视觉会议，第2564-2571页。IEEE，2011年。2[29] D. F.山诺关于布洛伊登-弗莱彻-戈德法布-山诺方法。Journal of Optimization Theory and Applications ， 46（1）：87-94，1985. 4[30] A.斯图尔特使用先前结构的外观进行本地化。博士论文，牛津大学，牛津，英国，2014年。2[31] H. Strasdat，J. Montiel和A. J·戴维森尺度漂移感知的大尺度单目SLAM。机器人：科学与系统VI，2010年。2[32] J. Stuhme r，S. Gumhold和D. 克莱姆斯从手持摄像机实时密集在联合模式识别研讨会上，第11-20页。施普林格，2010年。一、二[33] N. Sünderhauf，S. Shirazi，F. 达尤布湾Upcroft，以及M.米尔福德基于convnet特征的地点识别性能研究。在智能机器人和系统（IROS），2015年IEEE/RSJ国际会议上，第4297-