基于光场相机的视觉里程计的Niclas Zeller1， 2， 3和Franz Quint2和Uwe Stilla11Technisch eUniversitaütMuünchen{niclas.zeller，stilla}@ tum.de2卡尔斯鲁厄应用科技franz. hs-karlsruhe.de3伟世通，卡尔斯鲁厄抽象。提出了一种新的基于微透镜阵列的光场相机的直接视觉里程计算法。 该算法计算其环境的详细的，半密集的3D点云。 这是通过基于不同记录的微图像之间的立体观察建立概率深度假设来实现的。 跟踪是在一个由粗到精的过程中进行的，直接对记录的原始图像进行处理。 跟踪考虑了变化的照明条件，并且利用线性运动模型以更鲁棒。提出了一种新的规模优化框架它估计的场景规模，关键帧的基础上，并通过过滤，ING在多个估计优化整个轨迹的规模该方法是基于一个多功能的数据集组成的具有挑战性的室内和室外序列进行测试，并进行比较，以国家的最先进的单眼和立体的方法。该算法显示出恢复场景的绝对尺度的能力，并且在尺度漂移方面显著优于最先进的单目算法关键词：光场，全光相机，SLAM，视觉里程计。1介绍在过去的几年中，单眼视觉里程计（VO）以及同时定位和映射（SLAM）取得了显着的改善传统上，跟踪单个摄像机的任务是通过间接方法解决的[1]。这些方法从记录的图像中提取一组几何兴趣点，并基于这些点估计底层模型参数（3D点坐标和相机取向）最近，研究表明，直接作用于像素强度的所谓直接方法显著优于间接方法[2]。这些最新的单眼VO和SLAM方法在多功能和具有挑战性的环境中取得了成功。然而，本质上，对于所有单目算法仍然存在显著的缺点这是一个纯粹的monocular- ular VO系统将永远无法恢复场景的规模。相比之下，光场相机（或全光相机）是单传感器相机，其能够从单个图像获得深度，并且因此也可以从单个图像获得深度。2N. Zeller和F. Quint和U. 斯蒂利亚图1.一、通过所提出的尺度优化全光测距（SPO）算法计算的点云的示例估计的摄像机轨迹显示为绿色。恢复现场的规模虽然，相机仍然具有类似于单目相机的尺寸。在本文中，我们提出了规模优化的全光里程计（SPO），一个完全直接的VO算法。该算法直接对由聚焦全光相机记录的原始图像起作用它可靠地跟踪相机运动，并建立一个概率半密集的三维点云的环境。同时，它获得相机轨迹的绝对比例，从而获得3D世界的比例。图图1通过示例的方式示出了由算法计算的3D图1.1相关工作在过去的几年中，发表了几种间接（基于特征）和直接VO和SLAM算法。间接方法将整个任务分为两个连续的步骤。从图像中提取几何特征，然后仅基于这些特征估计相机位置和场景结构[3，4，1]。直接方法直接基于像素强度来估计相机位置和场景结构[5-8，2]。这样，所有图像信息都可以用于估计，而不是仅使用符合某个特征描述符的那些区域。在[9]中，提出了与基于特征的优化后端相结合的直接跟踪前端。基于光场的算法只有少数基于光场表示的VO方法[10-12]。 而[10]和[11]不能直接作用于基于光场相机的视觉里程计的3对于全光相机的原始数据，[12]中提出的方法直接在聚焦的全光相机的记录的微图像上执行存在基于其他传感器的各种方法 这些包括例如 立体相机[13 - 16]和RGB-D传感器[17-19，15]。然而，这些不是如这里提出的方法的单个传感器系统。1.2贡献所提出的尺度优化的全光测距（SPO）算法对现有技术增加了以下两个主要贡献：– 一个强大的跟踪框架，能够在多功能和具有挑战性的环境中准确跟踪摄像头。直接在记录的微图像上以由粗到细的方法执行跟踪通过补偿照明条件的变化并执行受线性运动预测约束的加权高斯-牛顿优化来实现鲁棒性– 一个尺度优化框架，它基于关键帧连续估计场景的绝对尺度.在多个估计值上对其进行过滤以获得全局优化的尺度。该框架允许重新覆盖绝对比例，并且同时显著减少了沿着轨迹的比例漂移。此外，我们基于多功能和具有挑战性的数据集评估了SPO[20]并将其与最先进的单眼和立体VO算法进行比较。2聚焦全光相机与单目相机相比，聚焦全光相机不仅捕获2D图像，而且捕获场景的整个光场作为4D功能。这是通过简单地将微透镜阵列（MLA）放置在图像传感器的前面来实现的，如图所示。第2段（a）分段。MLA具有在传感器上形成多个微图像这些微图像对关于由相机前方的场景发射的光线的空间和角度信息进行编码。在本文中，我们将集中于所谓的聚焦全光相机[21，22]。对于这种类型的相机，每个微图像是包含整个场景的一小部分的聚焦图像相邻的显微图像从略微不同的视角显示了相似的部分（参见图1B）。第2段（b）分段）。因此，可以从微图像中的对应关系恢复特定物点的深度[23]。此外，使用该深度，能够合成所谓的虚拟图像的强度（参见图2）。（2）创造了一个由主透镜[22]。这种图像被称为全聚焦（或全焦点）图像（图）。第2段（c）分段）。4N. Zeller和F. Quint和U. 斯蒂利亚0 10 1传感器MLA主透镜虚拟图像对象B bL0fLbLfLzC（一）（b）（c）图二.聚焦全光相机。(a)横视图：MLA放置在传感器前面，并创建虚拟主透镜图像的同一点的多个聚焦微图像。（b）由聚焦全光相机记录的原始图像（c）从原始图像计算的全此映像是虚拟映像。3SPO：规模优化的全光里程计秒3.1介绍了一些符号，这些符号将在本节中使用。更多>> SEC图3.2给出了整个比例优化全光Odometry（SPO）算法的概述然后，详细介绍了该算法的主要组成部分。3.1符号在下文中，我们用粗体、小写字母和矩阵来表示向量用粗体大写字母G表示对于定义点的向量，我们不区分-在齐次和非齐次表示之间进行选择。然而，这一点从上下文中应该是清楚的。框架姿态在G∈SE（3）（3D刚体变换）或S∈Sim（3）（3D相似性变换）中定义：G：=ΣRtΣandS：=ΣsRtΣwithR∈SO（3），t∈R3，s∈R+.（一）这些变换由各自李代数的相应切空间向量表示这里，指数映射及其逆映射表示如下：G= expse（3）（ξ）ξ= logSE（3）（G）其中ξ∈R6且G∈SE（3），（2）S= exp sim（3）（S）<$= log Sim（3）（S）其中<$∈ R7且S ∈ Sim（3）。（三）3.2算法概述SP0是直接VO算法，其仅使用聚焦全光相机的记录来估计相机运动和环境的半密集3D图该算法的整个工作流程在图中可视化3，由以下主要部件组成：基于光场相机的视觉里程计的5新LF图像(raw图像）选择KF？是否创建新KF– 将深度传播到新KF– 与新KF– 计算TF图像更新KF量表过去的KF姿势-KF姿态ξk∈sim（3），k∈ {0，1，. . . }替换KF更新KF当前关键帧跟踪参考KF=关键帧LF=光场TF=完全集中添加KF姿势图3.第三章。比例优化的全光测距（SPO）算法的流程图– 连续跟踪新记录的光场图像这里，估计新图像相对于当前关键帧的姿态ξ∈se跟踪受线性运动模型的约束，并考虑到不断变化的照明条件。– 除了其原始光场图像之外，对于每个关键帧，还存储两个深度图（微图像深度图（用于映射）和虚拟图像深度图（用于跟踪））以及完全聚焦的强度图像（参见图1B）。（五）。虽然已经可以从单个光场图像估计深度，但是基于相对于新跟踪的图像获得的立体观察来逐渐细化深度图。– 缩放优化框架估计每个重新放置的关键帧的绝对缩放。通过在多个尺度估计上进行滤波，获得全局优化尺度。过去关键帧的姿态被存储为3D相似变换（ξk∈sim（3），k∈ {0，1，. . . }）中。通过这种方式，可以简单地更新它们的比例。由于缺乏深度信息，初始化一直是单目VO的问题。对于SPO不是这种情况，因为已经可以针对第一记录图像获得深度。3.3相机模型和校准在[12]中，提出了用于全光相机的新模型 该模型在图中可视化。第4（a）段。在此，全光相机被表示为具有非常窄的视场的相机的虚拟阵列，在距主透镜的距离zC0处zC0fL·bL0=.（四）fL−bL0跟踪新图像-估计姿态相对于当前KF，更新当前KF– 估计深度关于新形象– 更新深度图– 计算TF图像优化规模– 当前卡尔曼滤波估计尺度– 优化过去KF的规模6N. Zeller和F. Quint和U. 斯蒂利亚MLc（1）MLCC主透镜对象传感器MLAc（2）C（2）我主透镜c（1）我|zC|zC′CB bL0(a)多视图投影模型（b）斜视微透镜见图4。SPO中使用的全光相机模型。(a)[12]中提出的聚焦全光相机的模型如图所示，全光相机实际上形成具有非常窄的视场的相机的虚拟阵列的等效物（b）全光相机中的微透镜斜视。 经常声称，可从由全光相机记录的白色图像估计的微图像中心cl将等效于MLA中的微透镜的中心cML。事实上，情况并非如此，因为远离光轴的微透镜斜视，如图所示。Ineq. （4）fL是主透镜与真实MLA之间的距离和主透镜与真实MLA之间的距离的函数。由于该模型形成标准相机阵列的等效物，因此可以在记录的微图像中直接找到来自不同视角的光场图像之间的立体对应。在该模型中，物点的规则3D相机坐标XC= [XC，yC，zC]T与虚拟相机（或投影微透镜）的图像中的对应2D点的齐次坐标Xp=[Xp，yp，1]T之间的关系如下给出：xC：=z′·xp+pML=x′+pML。（五）由方程式(5)，pML= [pMLx，pMLy，-zC0] T是特定虚拟光学系统的光学中心。C am e ra. 向量x′=[x′，y′，z′]表示该向量的全局有效性C C C对象点的坐标有效的摄像机坐标有其原点在相应的虚拟相机中心pML中。下面，我们将分别使用真实微透镜中心和原始图像坐标的定义c_ML和x_R，而不是它们的投影等效物p_ML和x_p。然而，由于从一个表示到另一个表示的映射是唯一定义的，因此我们可以简单地在两个表示之间切换。这些映射的定义以及关于模型的进一步细节可以在[12]中找到。对于SPO，该模型通过真实全光相机的一些特性来扩展。由于真实全光相机中的微透镜斜视（参见图1B）。4（b）），在相机模型中考虑该效应。因此，可以从记录的白图像[24]检测到的微图像中心c1虚拟相机阵列z基于光场相机的视觉里程计的7B(a)IML（xR）（b）DML（xR）（c）DV（xV）（d）IV（xV）图五、为每个关键帧存储的强度图像和深度图（a）记录的光场图像（原始图像）。(b)在原始图像坐标上建立的深度图（该深度图在映射过程中被细化（c）虚拟图像坐标上的深度图（该深度图可以从（b）计算并用于跟踪）。（d）完全聚焦的强度图像（表示虚拟图像的强度在（d）中，对于红色像素（（c）中的黑色像素），没有计算深度值，因此没有计算强度并且相应的微透镜中心cML定义如下：cMLxbL0土 卫九bL0cML=cMLy=cIbL0L0+B=cIybL0+BbL0.（六）+BcI和cML都被定义为3D坐标，其原点位于主透镜的光学中心。此外，我们定义了一个标准的镜头失真模型[25]，考虑径向对称和切向失真，直接在记录的原始图像（在原始图像坐标XR上）。虽然在本文中使用了[12]的全光相机表示，但在[26]中描述了类似的表示。3.4关键帧中的深度图表示SPO为每个关键帧建立两个单独的表示：一个在原始图像坐标xR（原始图像或微图像表示）上，一个在虚拟图像坐标xV（虚拟图像表示）上。原始强度图像IML（XR）（图5（a））是由全光相机记录并且由数千个微图像组成的图像对于图像中具有足够高的强度梯度的每个像素，建立深度估计，并且基于关键帧和新的跟踪帧之间的立体观察来逐渐细化深度这与[12]类似该原始图像深度图D_ML（XR）在图1B中示出5（b）。虚拟图像表示在对象空间和原始图像表示之间存在一个一对多映射，因为一个对象点是8N. Zeller和F. Quint和U. 斯蒂利亚DCD映射到多个微图像。从原始图像表示，虚拟图像表示，由虚拟图像坐标中的深度图DV（XV）组成（图1）。图5（c））和对应的全聚焦强度图像IV（XV）（图5（d））。这里，对应于相同对象点的原始图像点被组合，并且因此，对象和图像空间之间的一对一映射被建立。虚拟图像表示用于跟踪新图像，如将在第2节中描述的。三点七概率深度模型不是将深度表示为绝对值，而是将它们表示为概率假设：D（X）：=N。d，σ2Σ，（7）其中确定了两个表示中的一个点的i_v_s_effect_i_d_e_p_h_z′-1。以类似于[12]的方式建立深度假设，其中基于视差误差模型计算方差〇2，该视差误差模型考虑多个误差源。3.5最终地图表示最终的3D图是虚拟图像表示以及组合到全局图的相应关键帧姿势的集合。关键帧姿态是3D相似性变换的级联，其中相应的尺度由尺度优化框架优化（第22节）。3.8）。3.6选择关键帧当选择跟踪图像成为新的关键帧时，在新图像中执行深度估计。然后，将当前关键帧的原始图像深度图传播到新的深度图，并合并深度假设。3.7跟踪新的光场图像对于新记录的帧（索引j），通过直接图像对准来估计其相对于当前关键帧（索引k这个问题是解决在一个由粗到细的方法，以增加收敛的区域。我们通过简单地合并像素来构建当前关键帧的新记录的原始图像IMLj（XR）和虚拟图像表示{IVk（XV），DVk（XV）}的只要原始图像像素在某个金字塔级别上的大小小于微图像，则分辨率降低的图像仍然是有效的光场图像。在像素大小超过微图像大小的粗略级别，原始图像变成（稍微模糊的）中心透视图像。基于光场相机的视觉里程计的9σ2VnV我¨L（i，l）R¨δ.（a）第一阶段（b）第四阶段（c）第六阶段（d）第九 阶段图六、跟踪各种迭代次数后的残差该图示出了跟踪参考的虚拟图像坐标中的残差。灰度值表示跟踪残差的值。黑色表示具有高绝对值的负残差，白色表示具有高绝对值的正残差红色区域是无效深度像素，因此没有残差。在每个金字塔层级处，定义能量函数，并且相对于ξkj∈se（3）进行优化：是的r（i，l）Σ2¨KJr（i，l）：=IV k。x（i）Σ−IMLj.πMLG（ξ）π−1（x（i）），c（l）ΣΣ，（9）.（i，l）Σ2V二、1NKJΣ。r（xV，ξkj）.2+V V ML（一）σr：=σn+1K.d（xV）σd（xV）。（十）在此，πML（xC，cML）定义了从相机坐标XC到原始图像坐标XR的投影，以及从虚拟图像坐标XV到相机坐标XC的虚拟投影。为了从XV中计算XC，需要对应的深度值DV（XV）。该投影的详细定义可以在[27，eq. (3)- （6）]。表达式·δ是鲁棒Huber范数[28]。由方程式(8)第二被加数表示运动先验项，如将在等式（1）中定义（十二）、参数τ相对于光度误差（第一被加数）对运动进行加权。由方程式(10)第一被加数定义残差上的光度噪声，而第二被加数是由深度估计中的噪声产生的几何噪声分量。强度值IVk（XV）（等式1）(9))在关键帧的虚拟图像中的微图像强度被计算为多个（Nk个）微图像强度的平均值。考虑到不同微图像中的噪声是不相关的，噪声的方差比新的原始图像中的强度值IMLj（XR）小Nk传感器噪声σ2的方差在整个原始图像上是恒定的仅对于最终（最精细）金字塔层级，单个参考点X（i）被投影到新帧中实际看到该点的所有微图像。这通过等式中的对l的求和来建模（八）、通过这种方式，我们能够将新的光场图像的显微图像中的视差隐含地并入到新的光场图像中。E（ξ）=的+τ·E运动（ξKJ），（8）10N. Zeller和F. Quint和U. 斯蒂利亚VML˜˜VVVML优化.对于所有其他水平，省略l上的和，并且x（i）被投影到l上，直到接近最小值。 Fig. 图6示出了在粗金字塔级别上的优化中的不同迭代的重复。运动先验基于线性运动模型的运动先验用于约束优化。这样，收敛区域被转移到最优解更可能位于的区域。ξkj的线性预测ξkj∈se（3）从先前图像的姿态ξk（j−1）获得如下：〜ξkj=l〇 gSE（3）。expse（3）（ξj−1）·expse（3）（ξk（j−1））Σ。（11）Ineq. （11）ξj−1∈se（3）是最小向量或最小向量。使用该概率ξkj，我们找到子最多的信息量Emotion（ξkj），以便约束跟踪：Emotion（ξkj）=（δξ）Tδξ，其中hδξ = l〇 gSE（3）。expse（3）（ξkj）·expse（3）（~ξkj）−1Σ。（十二）对于粗金字塔级别，我们非常不确定正确的帧姿态，因此在等式中选择高权重τ。（八）、该权重随着优化在金字塔中向下移动而减小。在最终级别上，权重被设置为τ= 0。这样，运动预测中的误差不会影响最终估计。照明补偿为了补偿当前关键帧和新图像之间变化的照明条件，当量通过参考强度IVk（XV）的仿射变换来扩展等式（9）r（i，l）：=IVk。x（i）Σ·a+b−IMLj。πMLG（ξ）π−1（x（i）），c（l）ΣΣ（十三）在优化过程中还必须估计参数a和b。我们基于从强度图像IVk（XV）和IMLj（XR）计算的一阶和二阶统计来如下初始化参数：ainit：=σIMLj/σIVk和binit：=IMLj−IVk。（ 十四）由方程式IMLj和IVk分别是整个图像上的平均强度值，而σIMLj和σIVk是经验标准偏差。KJ基于光场相机的视觉里程计的113.8优化全球规模尺度估计可以被视为基于光场帧自身的虚拟图像深度图DV（XV）来跟踪光10N. Zeller和F. Quint和U. 斯蒂利亚（i） 2.VVρΣρ=¨¨VVML关于σ2..·σd（x（i））2。（十八）.σ（m+l）Σ2.σ（m+l）Σ2Rn.CN−1−2ρi（一）V然而，不是优化所有姿态参数，而是优化对数化尺度（对数尺度）参数P。我们在对数尺度ρ上工作，以将应用于3D相机坐标xC的尺度s=eρ变换到欧几里得空间中。至于跟踪方法（Sec. 3.7），定义能量函数E（ρ）：是的r（i，l）Σ2¨我 l=0σ（i，l）Rδr（i，l）：=IMLk。πMLπ−1（x（i））·eρ，c（0）ΣΣ-IMLK.πMLπ−1（x（i））·eρ，c（l）ΣΣ，（16）.Σ2V V ML. r（i，l）（x，ρ）.VDVσ（i，l）：=2σ2 +σ2（x（i））。（十七）σd（x（i）） .代替相对于全聚焦图像的强度定义光度残差r，在中心微图像与仍然看到虚像点x（i）的所有周围微图像之间定义残差。这样，影响完全聚焦图像中的强度的错误初始尺度不会对优化产生负面影响。结合对数尺度估计ρ，计算其方差σ2：N.ρi=0σρi. d（xV）.远点对可靠的尺度估计没有贡献，因为对于这些点，微透镜立体基线与有效物距之间的比率′=d−1becomesnegligiblysmall. 因此，使用N点来查找空间方差仅是最接近的N个点，或者换句话说，具有最高反有效深度d。由于细化的深度图从关键帧传播到关键帧，因此后续关键帧的尺度高度相关，并且它们之间的尺度漂移是微不足道的。因此，可在多个关键帧上过滤所估计的对数尺度P我们用公式表示以下估计器，其计算在关键帧的n个或h个上的具有最小值x1b的中心帧的经滤波的对数尺度值ρ（l）−1MMρ（l）=Σρ（m+l）·cρ|m|· ΣC|M|.ρ好吧（十九）由方程式在等式（19）中，变量m是关键帧中的离散时间索引参数c（0≤c≤ 1）定义后续关键帧之间的相关性既然我们2zE（ρ）=，（15）σ2=m=−Mm=−M12N. Zeller和F. Quint和U. 斯蒂利亚数目的序列数目的序列SSSSSPO SPO（no.选择）ORB（stereo）[15] ORB（mono）[15] DSO10 10105 55011号。05 1. 11 号。15 1.2ABS.刻度误差d′（乘数）011号。05 1. 11 号。15 1.2刻度漂移e′（乘数）00 1 2 3 4对齐误差ealign（%）图7.第一次会议。基于同步的立体和全光测量获得的累积误差图VO数据集[20]。d′和e′是乘法误差，而e以百分比% s % s对齐的序列长度。本质上，对于单目方法，没有获得绝对尺度误差。考虑高相关性，c将接近1。当每个对数尺度估计ρ（i）（i∈{0，1，. . . .，k}），则更远离感兴趣的关键帧（索引1）的k个帧的估计被c的相应幂向下加权。参数M定义滤波器的影响长度。由于滤波器的线性，它可以以类似于卡尔曼滤波器的方式递归地求解4结果除了所提出的SPO之外，没有在具有挑战性的环境中成功的这同样适用于评估此类算法的数据集。因此，我们将我们的方法与基于新数据集的最先进的单眼和立体VO方法进行比较[20]。[20]中呈现的数据集包含由全光相机和立体相机系统记录的各种同步序列，全光相机和立体相机系统都安装在单个手持平台上。数据集由11个序列组成，全部记录在30fps的帧速率。与[29]中呈现的数据集类似，所有序列都以一个非常大的循环结束，其中序列的开始和结束捕获相同的场景（见图11）。（八）。因此，VO算法的准确度可以通过整个序列上的累积漂移来测量。将SPO与单眼和立体VO中的最新技术进行比较，即与DSO [2]和ORB-SLAM 2（其单眼和立体版本）[1，15]进行比较。对于ORB-SLAM 2，我们禁用了重定位和循环闭合检测，以便能够测量算法的累积漂移。图7将关于数据集[20]的结果示出为累积误差图。也就是纵坐标对算法性能优于abscissa的轴上的值x的序列的数量进行计数。该图显示了吸收率d′、吸收率d′和校准率。所有 这些方法的计算方法如[20]中所定义。数目的序列基于光场相机的视觉里程计的13(a)路径长度= 25 m; d′= 1。02; e′= 1。04;e= 1。百分之七十五% s % s对齐(b)路径长度= 117 m; d′= 1。01; e′= 1。05;e= 1。百分之二% s % s对齐见图8。SPO计算的点云和轨迹。左：整个点云和轨迹。右：显示轨迹开始和结束的子部分在右侧的点云中，从开始到结束的累积漂移清晰可见。估计的摄像机轨迹显示为绿色。与SPO相比，立体声算法具有低得多的绝对缩放误差。然而，立体声系统也确实受益于大得多的立体声基线。此外，基于立体数据获得地面实况比例尺。因此，立体系统的绝对比例误差更确切地反映了地面实况数据的准确性。对于大多数序列，SPO能够以10%或更好的精度该算法的执行显着更好的规模优化比没有。关于整个序列的尺度漂移，SPO显著优于现有的单眼方法。关于对准误差，SPO似乎表现得与DSO同样好或仅略微差于DSO[2]。然而，全光图像具有比常规相机中的一个小得多的视场（参见[20]）。图图8举例示出了由SPO估计的两个完整轨迹这里，从开始到结束的累积漂移清晰可见。与单目方法相比的主要缺点是全光相机的焦距不能自由选择，而是直接影响相机的深度范围。因此，全光相机将具有总是小于单目相机的视场的视场。虽然这使得跟踪更具挑战性，但另一方面，它意味着全光相机的地面采样距离比单目相机的更小。14N. Zeller和F. Quint和U. 斯蒂利亚(a) SPO（b）LSD-SLAM见图9。同一场景的点云：（a）通过SPO计算和（b）通过LSD-SLAM计算。由于其窄视场，全光相机具有小得多的地面采样距离，这进而导致比单目相机更详细的3D地图。然而，作为结果，重建的地图不太完整。图10个。SPO在各种环境中计算的点云示例绿线是估计的摄像机轨迹。因此，SPO通常导致比其单眼（或基于立体相机）等效物更详细的点云。这可以从图中看出。9.图10示出了SPO的进一步结果，证明了算法的质量和通用性。5结论在本文中，我们提出了规模优化的全光里程计（SPO），它是一种直接和半密集VO算法，用于聚焦全光相机的记录。与基于全光相机和其他光场表示的先前算法[10-结果表明，SPO是能够恢复一个场景的绝对规模与10%的准确度，更好地为大多数的测试序列。SPO显着优于国家的最先进的单目算法的规模漂移，同时显示出类似的整体跟踪精度。在我们看来，SPO是一个有前途的替代现有的VO和SLAM系统。一个新的通用程序。该研究由Baden-WuürtembergStif-tung gGmbH和联邦教育与研究部（德国）在其项目FHProfUnt中资助。基于光场相机的视觉里程计的15引用1. Mur-Artal，R.， Montiel，J. M. M.， 你好J D. ：ORB-SLAM：一种视觉和精确的单目SLAM系统。IEEE Transactions on Robotics 31（5）（2015）1147-11632. Engel ， J. ， Koltun ， V. Cremers ， D. ： 直 接 稀 疏 测 距 法 。 IEEETransactionso nPaternAnalys andMac hi neIntellige40（3）（2018）6113. 克莱因，G.，Murray，D.： 用于小型AR工作空间的并行跟踪和映射。IEEE和ACM混合和增强现实国际研讨会（ISMAR）。 第6卷。（2007年）2254. Eade，E.，德拉蒙德，T.：单眼SLAM中的边缘标志Image and VisionC〇m puti ng27（5）（2009）5885. Newcombe，R.A.，Lovegrove，S.J.，Davison，A.J.：DTAM：实时密集跟踪和映射。IEEE International Conference on Computer Vision（ICCV）（2011年）6. Engel，J.，Sturm，J.，Cremers，D.：单目摄像机的半密集视觉里程计。IEEE International Conference on Computer Vision（ICCV）（2013）14497. S cho¨ps，T.， Engel，J.， Cremers，D. ：Semi-dev是用于智能电话上的智 能 电 话 。 IEEE International Symposium on Mixed and Augmented Reality（ISMAR）. （2014）1458. Engel ， J. ，S cho¨ps ， T. ， Cremers ， D. ：LSD-SLAM ： Large-scaledictmocularSLAM。 In：在C〇mputerVisin（ECCV）上的E 〇 p e a nC 〇 n fe re n c e。（201 4）8349. 福斯特角Pizzoli，M.，Scaramuzza，D.： SVO：快速半直接单眼视觉里程计。IEEE International Conference on Robotics and Automation（ICRA）机器人与自动化国际会议（2014）1510. Dansereau，D.，马洪岛皮萨罗岛Williams，S.：全光流：用于光场相机的闭 合 形 式 视 觉 里 程 计 。 In ： IEEE/RSJ International ConferenceonIntelligentRobotsandSystems（IROS）. （2011）445511. 董，F.，Ieng，S.H.，Savatier，X.，Etienne-Cummings，R. Benosman，R.：实时机器人中的全光相机。国际机器人研究杂志32（2）（2013）20612. Zeller，N.，Quint，F.，Stilla，U.：从光场相机的校准到直接全光测距法。IEEE Journal of Selected Topics in Signal Processing11（7）（2017）100413. Engel ， J. ，Stu¨ckler ， J. ，Cremers ， D.： Large-saledictSLAMwithsteocameras. IEEE/RSJ 智 能 机 器 人 与 系 统 国 际 会 议（IROS）（2015）19 3514. Usenko，V.， Engel，J.， Stu¨ckler，J.， Cremers，D. ：直接使用立体摄像机。机器人与自动化国际会议（International Conference on Robotics andAutomation，ICRA）（2016年）15. Mur-Artal，R.， 你好J D. ：ORB-SLAM2：用于单目、立体和RGB-D相机的非操作性S L A M系统。IEEE Transactions on Robotics 33（5）（2017）1255-126216. 王，R.， S chwo¨rer，M.， Cremers，D. 立体定向系统：利用立体相机的立体定向测量。国际计算机视觉会议（ICCV）。（2017年）17. Izadi，S.，Kim，D.，Hilliges，O.，Molyneaux，D.，纽科姆河Kohli，P.，Shotton，J.，Hodges，S.，Freeman，D.，Davison，A.，Fitzgibbon，A.：KinectFusion ： 使 用 移 动 深 度 相 机 的 实 时 3D 重 建 和 交 互 。 In ： 24thAnnualACMSymposiumonUserInterfaceSoftwareandTechnology， ACM（ 2011）55916N. Zeller和F. Quint和U. 斯蒂利亚18. Kerl，C.，Sturm，J.，Cremers，D.：用于RGB-D相机的密集视觉SLAM。IEEE/RSJ智能机器人与系统国际会议（IROS）（2013）210 019. Kerl，C.， Stu¨ckler，J.， Cremers，D. ：使用滚动快门RGB-D相机进行实时跟踪和处理。在：IEEE国际计算机会议（ICCV）中。（20 15）226420. Zeller，N.，Quint，F.，Stilla，U.：同步的立体和全光视觉odom-camera数据集。在：arXiv. （2018年）21. Lumsdaine，A.，Georgiev，T.：全分辨率光场渲染。Adobe Systems，Inc.技术报告（2008年）22. Perwaß 角Wietzke ，L.：单 镜头3D 相机 ，具有 扩展的景 深。在 ： SPIE8291，人类视觉和电子成像XVII。（2012年）23. Zeller，N.，Quint，F.，Stilla，U.：从聚焦平面光学相机建立概率深度图。 In：InternatinalConf erenceon3 D Vision（3DV）. （2015）9124. Dansereau，D.，皮萨罗岛Williams，S.：基于小透镜的全光相机的解码、校准和校正。在：IEEE计算机视觉与图像处理会议（CVPR）中。（2013）102725. 布朗，哥伦比亚特区：透镜的偏心畸变。摄影测量工程32（3）（1966）44426. 米格纳德-代比斯湖Restrepo，J.，Ihrke，I.：用于光场相机的统一一阶模型 ： 等 效 相 机 阵 列 。 IEEE Transactions on ComputationalImaging3 （ 4 ）（2017）79827. Zeller，N.， 诺乌里角一、 Quint，F.， 你好，C.，在美国， Dhome，M. ：基于3D校准目标的聚焦全光相机的校准。摄影测量、遥感和空间信息科学年鉴ISPRSCongress2016）III-3（2016）449-45628. Huber，P.J.：位置参数的鲁棒估计。The Annals ofMathematicalStatistics35（1）（19 64）7329. Engel，J.，Usenko，V.，Cremers，D.：单目视觉里程计的光度校准基准。在：arXiv：1607.02555中。（2016年）
我的内容管理
展开
