6250学习捆绑调整：图网络方法车载SLAM光束法平差的快速优化田中哲也*Socionext Inc.socionext.comSasagawa*Socionext Inc.sasagawa. socionext.com冈谷孝之东北大学大学院情报科学研究科/理化学研究所AIP研究中心okatani@vision.is.tohoku.ac.jp摘要束平差（BA）占用SfM和可视SLAM的大部分执行时间。最近几个关键帧上的局部BA在视觉SLAM中起着至关重要的作用。 它的执行时间应该足够短，以便进行鲁棒跟踪;这对于具有有限计算资源的嵌入式系统尤其关键。本研究提出了一个基于学习的捆绑调整器使用的图形网络。它的工作速度更快，可以用来代替传统的基于优化的BA。图形网络在由关键帧和地标的节点以及表示地标的可见性的边缘组成的图形上操作图网络接收参数的初始值作为输入，并预测它们对最优值的更新。它在内部使用输入的中间表示，我们受Levenberg-Marquardt方法的正规方程的启发而设计。它使用重投影误差的总和作为损失函数进行训练。实验结果表明，该方法的参数估计精度略低于传统BA方法，其时间可比性为1/60-1. 介绍运动恢复结构（SfM）和视觉SLAM（同时定位和映射）已经成功地用于计算机视觉、机器人、增强现实和相关领域的许多现实世界应用中[25，29]。为了提高3D重建的准确性和鲁棒性，研究人员考虑了几种不同的方法，例如基于特征点的方法[27]，直接方法[7]，基于学习的方法[24，23]及其混合方法[3]。其中，基于特征点的方法是目前比较成熟的方法。[2]这些作者对这项工作的贡献是相等的(a)（b）第（1）款图1.限制本地BA的计算时间预算导致频繁的跟踪失败。左：没有限制。右：有限制。详见正文。最广泛使用的。视觉SLAM通常用于具有有限计算资源的嵌入式系统中，从而将选择缩小到使用轻量级特征描述器（诸如ORB-SLAM）的那些系统[16，17]。许多SfM系统也使用基于特征点的方法;它们被用于估计多视图立体的后续步骤的相机姿态，在所述后续步骤中，重建对象/场景的密集表面。虽然它是相对较小的，基于特征点的方法仍然具有较高的计算成本。在它们的执行时间中占主导地位的是包调整（BA）步骤。它优化了未知参数，与特征点和相机姿态相关联的地标的3D位置，改进其初始值以获得准确的估计。这个步骤通常是视觉SLAM和SfM系统的速度方面的瓶颈。以ORB-SLAM为例，它经常在几个关键帧及其相关的地标上本地执行BA，保持最近重建的准确性。BA占用映射操作所需的执行时间的大约60更重要的是，本地BA的速度决定了6251SLAM系统的鲁棒性。当存在空间上较密集的关键帧时，例如ORB-SLAM等基于关键帧的SLAM系统可更稳定地跟踪地标。ORB-SLAM采用的策略是发出足够多的关键帧，然后剔除不必要的关键帧。然而，由于因果关系，在本地BA运行时不能创建新的关键帧。因此，快速完成局部BA的能力对于密集地发布关键帧是必要的，并且它是鲁棒SLAM的基础。这一要求对于具有低速处理器的嵌入式系统更为关键。补救措施是对局部BA的计算预算设置限制，以平衡SLAM的准确性和跟踪的鲁棒性例如，我们可以设置局部BA的最大然而，如图1所示，这在实践中并不能很好地工作。在本文中，我们考虑了一种基于学习的方法，可以更快地执行BA。BA基本上是平方和的非线性最小化，并且常规地采用Levenberg-Marquardt方法该方法迭代求解线性方程以获得小的参数更新，并更新参数直到收敛。当把整个过程看作一个黑盒子时，它接收初始参数值并输出它们的最优值，我们用图网络的计算来代替它[30，28]。具体来说，我们用一些视频的一组输入-输出对来训练图网络，即，输入到BA的初始值及其优化值，目的是在较短的时间内计算出最优参数值。我们报告了我们专注于单眼SLAM的实验结果，其中我们使用OpenVSLAM [22]作为测试平台，并在KITTI数据集[8]上评估该方法。 在实验中，我们训练了我们的图网络在数据集中的几个序列上，并在其他序列上进行测试。我们通过常规BA的输入（即，g2o [13]）应用于训练序列。使用它们，我们使用重投影误差的总和作为损失来训练图网络。我们的方法取得了略低的精度与1/60-2. 相关工作2.1. 加速光束调整BA是SfM和视觉SLAM的核心元素它计算相机姿势和地标位置，使重投影误差的总和最小化，通常使用Levenberg- Marquardt方法。它的一般算法从初始值开始，迭代地更新参数直到收敛，其中通过求解具有参数大小的法方程来计算更新。在BA的情况下，方程该程序使可以将法方程转换为简化的相机系统（RCS），其更小并且可以更有效地求解[15，10]有几种算法可用于求解RCS，最快的算法因问题大小而异。随着SfM规模的不断扩大，如何求解 一个大规模的问题，导致基于共轭梯度（CG）方法的不精确求解器[1]。对于小型到中型问题（即，根据[1]的几百个图像），精确求解器是优越的，其使用密集或稀疏Cholesky分解。与此同时，研究人员还研究了最佳利用CPU和GPU并行性的算法的实现[12，26]。另一种方法在由相机姿态和地标组成的因子图上使用置信传播（BP）算法，主要是循环BP（诸如高斯BP），旨在估计每个参数的边缘分布[19，6]。当在CPU或GPU中实现时，它无法产生与上述方法相当的性能。然而，最近已经表明[18]，图形处理器（即，Graphcore我们的方法是一种基于学习的方法，它使用一个图网络，它与上述任何方法都是正交的，尽管它们之间有一些相似之处。该方法从给定的初始值迭代地更新参数，如LM方法一样。但它不解正规方程;它直接预测来自几个输入的更新（即，最新的参数和一些导出项），其设计受到Levenberg-Marquardt更新的启发。这一点是标准BA加速的主要因素。图网络建立在基于BP的BA中使用的2.2. 用图网络图网络（GN）[5]是一种类型的图神经网络[21]。接收图形作为输入，GN输出具有相同形状但在其节点和边缘处具有不同属性值的图形。在从输入到输出的传播过程中，节点和边之间以消息传递的形式交换信息。通过使用成对的输入和输出来训练GN，它可以表示从多个实体之间的交互中出现的各种现象，其中如何传递消息是经过调整的。这种方法已被证明是有效的学习复杂的前向动力学，如刚体碰撞[4]，基于粒子的复杂物理模拟[20]，机器人控制[14]，仅举几例，以及非物理系统的行为。使用机器学习模型来执行复杂的物理模拟的想法并不新鲜[9]。它学会了-6252（H）（）下一页（g）=迭代估计的相机姿势/地标初始相机姿势/地标GN块正在更新值（）+GN块正在更新值（）+估计的相机姿势/地标步骤S步骤1使用观测值作为训练数据来重新发送两个时间点之间的状态转换它的目的是避免传统的基于物理模型的仿真的困难，如计算的复杂性或物理模型然而，使通用ML模型在高维状态空间中学习具有大自由度的映射并不简单。GN的成功归因于通过图对实体之间的交互的刚好足够的表示我们将GN应用于BA，其中输入是相机姿势和地标的指定初始值，并且输出是它们的优化值。我们使用因子图组成行对应于-th地标行对应于-th关键帧初始相机姿势/地标Hessian矩阵更新值梯度摄像机姿势和地标的组合来构建GN并定制消息传递的输入，其灵感来自Levenberg-Marquardt方法中使用的Hessian，从而实现端到端学习。3. 该方法3.1. 学习捆绑调整给定相机姿态和地标地标的图像坐标。视觉SLAM系 统经 常 在 内部 进 行 小型 / 中 型BA， 其通 常 使 用Levenberg-Marquardt方法。它通过求解线性方程迭代地更新估计 其计算复杂性随着参数的数目而增加; 5-15个更新是必要的，直到收敛。为了在更短的时间内完成此BA计算，我们用基于学习的方法代替Levenberg-Marquardt方法。具体来说，我们训练一个模型，该模型接收相机姿势和地标的初始值，并输出它们的估计值。这种模型需要满足以下要求：它可以处理可变数量的输入/输出，即，M个相机姿态和N个地标，其中M和N在每个时间不同提供的观察结果也不同。它可以尽可能准确地预测参数，尽管从输入到输出的映射有很大的自由度。为了满足这些要求，我们采用了图网络框架[5]。它使用一个图来利用手头问题的归纳偏差并对其进行推理;根据输入自适应地创建图形。在这项研究中，我们使用流行的BA图表示，即，两种类型的节点之间的二分图关键帧（即，相机姿态）和地标，其边缘反映来自关键帧的地标的可见性。这个图处理所有可能的交互(a) 基于Levenberg-Marquardt方法(b) 基于学习的图网络图2.基于Levenberg- Marquardt方法的标准BA与所提出的基于学习的方法的比较关键帧和地标，使得在我们的问题中使用归纳偏差然而，在设计图形网络中的组件时仍然存在很大的自由我们应该如何选择合适的设计？我们的解决方案是模仿Levenberg-Marquardt方法;参见图2。由于如果我们执行精确的计算将不会有助于加速，因此我们考虑使用可学习的模型来绕过Levenberg-Marquardt计算的一部分。我们的初步测试发现，它可以训练一个模型来预测Hessian矩阵的块对角元素和梯度的参数更新。按照Levenberg-Marquardt方法，我们多次更新参数，而更新的次数是固定的，而不是我们设计了一个图网络（GN）块来更新参数一次，并将它们堆叠起来以执行多次更新。我们训练GN块的堆栈因此，请注意，我们并不试图或期望使每个块预测Levenberg-Marquardt更新。··6253Σ⊤=IRWWR， （5b）iκκiκ iκΣg=2IRWe.（5c）iκ我的天----ααMRg=2IRW e，（3b）αjjαj αjκακκκκκκκ11κκ1κκκκκκκκN∆t1来预测这些更新，使得更新的S产生最优参数，最小化重新κακαααα联系我们ΣNΣΣ3.2. 预测参数更新Levenberg-Marquardt方法的更新方程写为（H+λI）Δξ=g，（1）其中H是Hessian矩阵1; g是梯度向量;并且Δξ是参数ξ的更新。 我们使用hxx（α=Ntt Tκκ κi=1Ntκi=1我们使用H的这些块对角分量和ω t tωttαα是g的相关联的块分量，以预测上1、. . .，N）和hκκ，hκκ，hκκ，hκκ（κ= 1，. . .，M）来表示H的对角块。省略非对角块和梯度下降项λI，我们重写左手侧（1作为地标的日期和相机的姿势。具体来说，我们使用预测器LM来预测地标的更新为∆xα=LM（hxx，gx）。 我们使用预测器KF来预-hxx∆x将旋转和平移分量的更新描述为[∆ωκ，∆tκ]=K F（hωω，hωt，htω，htt，gω，gt）。F或. . .NNHH.∆x∆ω1工作;细节将在下面给出。 我们训练LM和KFhxxHHϕ ϕ. . .ωωHωt.H投影误差hMMhMM∆ωM3.3. 使用Graph Networktω ttmm MM∆tM（二）我们使用图实现了基于学习的BA其中ΔxαDinates和∆ωκ、∆tκ是相机姿势的那些。块hxx和g的相关联分量如下：hxx=ΣIαjRjWαjWR，（3a）网络架构[5]。人们可能认为它接收到了具有初始参数值的图形，并输出相同的图形图，但具有最佳参数值。如上所述，我们的图是其顶点是关键帧（即，相机姿态）和地标;其ααj=1Mαjj边连接这两种类型的顶点标志的可见性，如图3所示。xαj=1其中Iαj〇，1指示来自第j个相机姿态的第α个地标的可见性;Rj是第j个的旋转矩阵我们分别用VKF表示第k个关键帧顶点，用VLM表示第a个我们使用Eακ来表示连接VKF和VLM的边（如果有的话）。顶点VKF和VLM保留参数值（Rκ，tκ），摄像机姿态;W是从第α个计算的3×2αj界标和第j个相机姿态;并且eαj是从重新投影的图像点和其观测的差。块hωω和hωt以及相关联的分量xα作为它们的属性。它们中的每一个还保留名为un-fixed的标志，我们使用该标志来控制要锁定哪个关键帧或界标以解决量规自由度。如BA中通常所做的。边缘E保持正常-g的κκ κκ如下所示Nακ关键点的标准化图像坐标（即，的观察地标）作为其属性。hωω=Iiκ（xi−tκ）×RκWiκWiκRκ{（xi−tκ）×I}，（4a）i=1hωt=ΣIiκ（xi−tκ）×RκWiκWR，（4b）如图2所示，参数值由一系列SGN块更新。我们使用相同的GN块，包括所有块的可学习权重。图-κκi=1Niκ κ图3示出了单个GN块的设计它接收整个图，即，图的结构和参数gω= 2Iiκ（xi−tκ）×RκWiκeiκ，（4c）i=1其中xi是第i个界标，并且tκ是第k个相机姿势。存储在顶点处的值它由五个部分组成两个顶点预测器KF和LM，其在上面解释，两个顶点聚合器ρKF和ρLM，以及一个边缘预测器E。后三个（即，ρKF、ρLM和E）do类似地，块htωg的分量是：NH每一个预测器，我们使用一个四层神经网络-ωω11ωt11ωt11TT11、6254κκ和htt和相关联的没有可学习的权重;它们的存在是为了计算输入根据图形结构，将其转换为KF和LM它们还支持从最终输出反向传播梯度htω=IiκRκWiκWiκRκ{（xi−tκ）×I}，（5a）i=1[1]这里我们指的是完全海森函数的高斯-牛顿近似通过GN块的堆栈输入。更具体地说，E在每个边缘上独立操作，如图4（a）所示，接收作为输入的（Rκ，tκ）6255KF顶点预测器埃特克斯LM顶点预测器埃特克斯LM顶点聚合器KF顶点聚合器边缘边缘预测器−21表1.用于两个顶点预测器的神经网络的设计V预测器隐藏单位/激活输出LM12/ReLU 9/ReLU 9/ReLU 3VKF42/ReLU 18/ReLU 18/ReLU 6图3. GN模块概述。(a) 边缘预测器地标关键帧(b) 顶点聚合器图4.（a）边缘预测器E和⑹顶点聚合器ρLM和ρKF的信息流。和xα，并计算在（3）、（4）和（5）的右手侧共享的分量项，即，eακ、RκWακ和（xαtκ），它们被馈送到ρLM和ρKF。如图4所示，顶点聚合器ρLMop.在每个界标顶点上独立地迭代，以在连接的关键帧顶点j = 1，. . . ，M，如在⑶中。类似地，PKF独立地对每个关键帧顶点进行操作以在i = l，. . . ，N，如⑷和⑸中。这些聚合器的输出被馈送到两个顶点预测器LM和KF，它们预测向上的顶点日期为∆xα=LM（hLM，gLM）和[∆ω权重仅存在于这些预测器中。图5示出了图示GN块的更多细节的图。3.4. 训练图网络我们按如下方式训练图网络。选择单目图像序列，我们首先将常规SLAM系统应用于它并提取局部BA运行;每个运行拥有多视图系统，该多视图系统由若干关键帧和从它们观察到的地标、参数的初始值来自关键帧的界标图像坐标）。我们将每个BA运行视为独立的训练样本。我们根据多视图系统的结构构造一个图，将其与初始参数值一起馈送到图网络，获得它们的更新估计;参见图6。如前所述，图网络是一个SGN块的堆栈，每个块都是相同的，包括两个顶点预测器中的可学习权重由于它只预测参数更新，因此我们将它们添加到初始值以获得参数估计值。然后我们计算损失的估计。对于损失，我们使用标准BA中使用的重投影误差的总和，即，通过来自其观察的估计计算的界标的图像坐标的差的和。在ORB-SLAM之后，我们采用Huber损失来确保存在错误点对应的鲁棒性，其由下式给出L（ex，ey）=ρ（ex）+ρ（ey）（6a）1e2为|e|01-02 - 03 -02|e|-2δ）否则，其中ex和ey是图像中X和y方向上的重投影误差;我们将δ设置为2.0，如在ORB-SLAM中一样。我们在一个小批量中计算多个BA运行的损失值之和，并使用Adam优化器[11]来减少损失。ααα κ κKF（hωω，hωt，htω，htt，gω，gt）分别为κκ κκ κκ κκκ κ早些时候。对于每个预测因子，我们采用四层MLP（多层感知器）;其细节示于表1中。它在第一层和三个线性层采用层归一化[2]，然后是ReLU和一个线性层用于输出。数字表示隐藏的单位和输出的MLP。请注意，可学习4. 实验结果我们进行实验来测试所提出的方法。4.1. 实验配置我们评估了所提出的方法在来自KITTI数据集[8]的单目视频序列上的性能ρ（e）=（6b）.6256最初的摄像机姿势和地标输入图顶点输出更新图估计的相机姿势和地标GN Block GN Block数据集计算重投影误差之和计算Huber损失地标输入图形输出图形顶点未定影二维图像坐标LM顶点聚合器LM顶点预测器位置更新未定影归一化关键点边缘预测器3x2矩阵KF顶点聚合器未定影关键帧顶点三维世界坐标KF顶点预测器未定影轮换更新翻译更新图5. GN块的内部结构。S步图6.在训练时，信息从图网络的输入流到输出它包含在不同城市街道上行驶的车辆的多个独立序列我们从中选择一些序列来训练我们的图网络，并在其他序列上进行测试我们采用OpenVSLAM [22]，这是一种使用g2o [13]的基于ORB的视觉SLAM，用于BA [15]作为测试平台。我们用我们的方法替换了g2o：：SparseOptimizer类（g2o中的相关类和函数执行BA），并通过g2o评估和比较其与原始BA的性能。为此，我们首先在所选序列上运行具有g2Q的视觉SLAM，并提取局部BA的所有运行。我们使用它们来训练我们的图形网络。在Sec. 4.2，我们以与上述相同的方式从其他序列并报告最终估计的剩余Huber损失。在SEC的实验在图4.3中，我们报告了完整SLAM系统的性能我们运行它的KITTI序列从开始到结束（或直到跟踪丢失），并评估其准确性。我们在下面报告了残余Huber损失，其是在水平图像大小（即，1，226像素）被归一化为1。0的情况。我们使用Graph Nets库[5]来实现图网络。对于使用Adam优化器的训练，我们将初始学习率设置为1 .一、0×10−2，学习率衰减= 0。九十九。：每个向量/矩阵6257→0.010.0080.0060.0040.00201 2 3 4 5步骤1.20E-031.00E-038.00E-046.00E-044.00E-042.00E-040.00E+00图7.不同数量GN块的剩余Huber损失。4.2. 作为捆绑调节器如上所述，我们首先评估所提出的方法的性能时，应用到每个BA运行提取的测试序列。我们在这里使用KITTI序列K05用于训练，K06、K08、K10、K11和K12用于测试。我们选择这些序列，因为它们包含相对更频繁的场景变化。前者有850个BA运行，后者有3030个BA运行。4.2.1GN步长和误差减小正如在第二节中所解释的。3.3中，我们的方法使用由共享相同参数的GN块的S-栈组成的图网络。图7示出了不同S的它随着S的增加而减少，但在S= 5时增加。类似的现象在将图网络应用于物理模拟的先前研究中被报道[20];更大数量的步骤导致更差的结果。我们从结果中选择S= 4，并在下面的实验中使用它。4.2.2个人BA成绩图8示出了对于所提出的方法和原始g2Q BA，在每个序列的所有BA运行上平均的残余Huber损失可以看出，所提出的方法减少了所有序列的损失，尽管它稍微比g2Q BA差。注意，在测试序列之间存在一定量的间隙。该评价验证了所提出的方法的泛化能力。对于训练和测试的不同序列组合，我们得到了类似的结果。4.2.3计算时间我们还评估了我们的方法的计算时间。我们测量了在具有Intel Core i7- 2600 K CPU@3.40GHz的PC上运行的每个BA从开始到结束的经过的实时时间图9示出了所提出的方法和g2Q BA的经过时间的直方图。实验结果表明，该方法仅需约1/60K06 K08 K10 K11图8.对于初始值g2Q和所提出的方法，每个序列的局部BA运行上的平均（残余）Huber损失。3503002502001501005000.0001 0.001 0.01 0.1 1 10完成BA的时间[秒]图9.由所提出的方法和g2Q BA运行的每个BA所需的计算时间（迭代的实时）。g2oBA所需的时间（0.2 ± 0.003sec）。由于g2 Q BA每次运行需要5-15次迭代，因此将其迭代限制为1/10以节省计算时间是不现实的。如图1（b）所示，对计算预算的甚至更温和的约束导致频繁的跟踪失败。所提出的方法运行速度快五倍（即，从直方图峰值中的0.2秒到0.04秒）。4.3. 完整SLAM单独BA运行上的性能将不完全表示整个SLAM系统工作得有多好。因此，我们测试了用所提出的方法替换g2Q BA的SLAM系统。该评估是重要的，因为所提出的方法在单个BA运行上显示出比原始BA稍差的性能。更差的性能可能导致错误的积累，甚至跟踪失败。我们在这里评估在每个帧处跟踪的地标的残余Huber损失。如果所提出的方法不能优化参数，则剩余损耗将随着时间的推移而增加。图10示出了序列K07的示例，同时训练图网络。输入G2O预测剩余Huber损失G2O预测0.003sec0.2sec剩余Huber损失直方图62580.0010.00080.00060.00040.000200.0010.00080.00060.00040.000200 50 100连续关键帧编号(a) 关键帧1到179180 230 280连续关键帧编号(b) 关键帧180到350150330(a)（b）第（1）款图11.通过（a）常规BA（g20）和（b）所提出的方法重建的轨迹和界标。图10.跟踪标志的（平均）剩余Huber损失如何在序列内变化的示例（KITTI K07）。在K04、K05和K06上。 可以看出，残余胡贝尔损失从帧1到帧20暂时增加。然而，在那之后它降低到合理的水平（即，从帧21到35），这表明所提出的方法很好地优化了参数。还可以看出，偶尔出现非常大的误差，例如，在帧37、45、80、118、137、256和334处;这些主要是由这些帧处的大的外观变化引起的我们的方法可以很好地处理这些情况。总体而言，剩余损耗被控制在较低范围内。图11示出了利用原始g2o BA和所提出的方法由SLAM系统估计的轨迹和地标。图12显示了使用地面实况飞行器轨迹测量的绝对轨迹误差。具有原始g20BA的系统的RMSE为8.26m，并且所提出的方法的RMSE为11.90m。虽然所提出的方法产生略差的轨迹精度，结果表明，所提出的方法作为一个有效的束调节器。检查其性能上的各种组合的序列训练和测试，我们确认所提出的方法的鲁棒性，在成本的精度略低。5. 结论在这项研究中，我们探讨了用基于学习的方法代替BA的标准Levenberg-Marquardt方法为了精确地建模在局部BA中处理的多视图系统的结构，我们设计了一个图网络，其实现由关键帧和地标的节点以及与地标的可见性相对应的边我们训练它来预测几何参数。我们将图网络设计为多个相同GN（图网络）块的堆栈对于GN(a)（b）第（1）款图12.（a）常规BA（g20）和（b）所提出的方法的估计轨迹的误差。块，我们采用的方法启发的正常方程的Levenberg-Marquardt方法。我们使用其组件（即，Hessian和梯度的块对角元素）作为输入的我们设计了两个顶点预测器，预测关键帧和地标参数，并将其实现为神经网络。我们还设计辅助组件来计算预测器的输入然后，我们训练整个图网络来预测参数更新，以最小化重投影误差的总和。我们已经证实，通过实验的KITTI数据集，所提出的方法工作良好，作为一个束调整器。它在几何参数的估计方面比标准BA稍差，但工作稳健。我们将在未来的更多种类的训练和测试数据中检查所提出的方法的性能。仍有很大的改进空间，例如更优的网络结构和馈送到预测器的输入的中间表示的更好设计（即，神经网络）。确认这项工作得到了JSPS KAKENHI资助号20H05952和JP19H01110的部分支持。引用[1] 放大图片创作者：David M. Seitz和Richard Szeliski。大捆调整。在Kostas Daniilidis，Petros Maragos和NikosParagios的编辑中，G2O预测G2O预测RMSE=8.26RMSE=11.90剩余Huber损失剩余Huber损失6259计算机视觉-ECCV 2010，第29-42页，柏林，海德堡，2010年。施普林格柏林海德堡。[2] 吉米·雷·巴，杰米·瑞安·基罗斯，杰弗里·E·辛顿.层归一化。arXiv预印本arXiv：1607.06450，2016。[3] Dan Barnes ， Will Maddern ， Geoffrey Pascoe ， andIngmar Posner.分心的：城市环境中鲁棒单眼视觉里程计 的 自 我 监 督 干 扰 学 习 。 CoRR， abs/1711.06623 ，2017。[4] 彼得 巴塔利亚Razvan 帕斯卡努 马修 Lai，DaniloJimenez Rezende，and Koray kavukcuoglu.交互网络用于学习物体、关系和物理。第30届神经信息处理系统国际会议论文集，NIPS'16，第45094517页，Red Hook，NY，USA，2016。Curran Associates Inc.[5] Peter W.杰西卡？巴塔利亚Hamrick，Victor Bapst，Al-varo Sanchez-Gonzalez ， Vinicius Zambaldi ， MateuszMa- linowski，Andrea Tacchetti，David Raposo，AdamSan- toro ， Ryan Faulkner ， Caglar Gulcehre ， FrancisSong，Andrew Ballard，Justin Gilmer，George Dahl，Ashish Vaswani，Kelsey Allen，Charles Nash，VictoriaLangston，Chris Dyer，Nicolas Heess，Daan Wierstra，Pushmeet Kohli，Matt Botvinick，Oriol Vinyals，YujiaLi，还有拉兹万·帕斯卡努关系归纳偏差、深度学习和图形网络。https://github.com/deepmind/graph_nets.git，2018.[6] D. Crandall，A. Owens，N. Snavely和D. Huttenlocher基于运动的大型结构离散-连续优化。CVPR 2011，第3001-3008页，2011年[7] Ja k obEngel，ThomasSch o¨ ps，andDanielCremers. Lsd-slam：大规模直接单眼slam。在David Fleet、TomasPajdla 、 Bernt Schiele 和 Tinne Tuytelaars ， 编 辑 ，Computer Vision施普林格国际出版社.[8] A. Geiger，P. Lenz，和R.盖革，等.乌塔松我们准备好了吗？Kitti Vision基准套件。在2012年IEEE计算机视觉和模式识别会议，第3354-3361页[9] 拉德克·格热什丘克，德米特里·特佐普洛斯，杰弗里·辛顿.Neuroanimator：快速神经网络仿真和基于物理模型的控制。在Proceedings of the 25th Annual Conference onComputerGraphicsandInteractiveTechniques ，SIGGRAPH’98，page 920，New York，NY，USA，1998中。计算机协会。[10] Y.郑，D. Nister，D.斯蒂利河Szeliski和我奎恩推进光束法 平 差 的 现 代 方 法 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，34（8）：1605[11] Diederik P. Kingma和Jimmy Ba。Adam：A method forstochastic optimization，2017.[12] 科特·科诺利格稀疏光束法平差。在英国机器视觉会议的Proceedings中，第102.1-102.11页。BMVA Press，2010. doi：10.5244/C.24.102。[13] R. Kmmerle，G. Grisetti，H.斯特拉斯达特湾Konolige和W. Burgard G2o：一个用于图优化的通用框架。在2011年IEEE机器人和自动化国际会议上，第3607-3613页[14] Y. Li，Ju，J. Zhu，J. B. Tenenbaum，A. Torralba和R.泰德瑞克部分观测下基于模型控制的传播网络在2019年国际机器人与自动化会议，第1205-1211页[15] 马诺利斯岛A. Lourakis和Antonis A. Argyros SBA：通用稀疏光束法平差软件包ACMTrans. Math.软件。，36（1），Mar. 2009年[16] R. 穆尔-阿塔尔M. M. 蒙铁尔和J。D. 笨蛋Orb-slam：一个多功能和精确的单目slam系统。IEEE Trans-actionson Robotics，31（5）：1147[17] R. Mur-Artal和J. D.笨蛋Orb-slam 2：一个用于单眼、立体 和 rgb-d 相 机 的 开 源 slam 系 统 IEEE Transactions onRobotics，33（5）：1255[18] J. Ortiz，M.Pupilli，S.Leutenegger和A.J. 戴维森图形处理器上的束调整。在2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）上，第2413-2422页[19] Ananth Ranganathan，Michael Kaess和Frank Dellaert。傻 山 姆 在 第 20 届 国 际 联 合 会 议 的 会 议 记 录 上 ，IJCAI'07，第21912196页，旧金山，加利福尼亚州，美国，2007年。摩根·考夫曼出版公司[20] Alvaro Sanchez-Gonzalez 、 Jonathan Godwin 、 TobiasPfaff、Rex Ying、Jure Leskovec和Peter W.巴塔利亚学习用图网络模拟复杂物理，2020年。[21] F. Scarselli，M. Gori，A. C. Tsoi、M. Hagenbuchner和G.蒙 法 迪 尼 图 神 经 网 络 模 型 。 IEEE Trans- actions onNeural Networks，20（1）：61[22] 住仓信也涩谷干谷樱田健Openvslam 第27届ACM多媒体国际会议论文集，2019年10月。[23] K.塔泰诺角，澳-地通巴里岛Laina和N.纳瓦布Cnn-slam：具有学习深度预测的实时密集单眼slam。在2017年IEEE计算机视觉和模式识别会议，第6565-6574页[24] Sen Wang ， Ronald Clark ， Hongkai Wen ， and NikiTrigoni. Deepvo：使用深度递归卷积神经网络实现端到端视觉里程计。CoRR，abs/1709.08429，2017。[25] Ying-mei Wei，Lai Kang，Bing Yang，and Ling-da Wu.运动恢复结构的应用：调查。浙江大学学报科学版C，14（7）：486[26] C. Wu，S. Agarwal，B. Curless和S. M.塞茨多芯光束法平差CVPR 2011，第3057-3064页，2011年[27] E.吴湖，加-地Zhao，Y. Guo，W. Zhou和Q.王.基于关键特 征 点 选 取 的 单 目 视 觉 系 统 。 在 The 2010 IEEEInternationalConferenceonInformationandAutomation，第1741-1745页[28] Zonghan Wu ， Shirui Pan ， Fengwen Chen ， GuodongLong，Chengqi Zhang，and Philip S. Yu.图神经网络综述。CoRR，abs/1901.00596，2019。[29] Khalid Yousif，Alireza Bab-Hadiashar，and Reza Hosein-nezhad.视觉里程计和视觉冲击概述：应用于移动机器人。Intelligent Industrial Systems，1（4）：289[30] Jie Zhou，Ganqu Cui，Zhengyan Zhang，Cheng Yang，Zhiyuan Liu，and Maosong Sun.图神经网络6260方法和应用的回顾CoRR，abs/1812.08434，2018。
我的内容管理
展开
