半合成视觉-惯性数据集评估鲁棒视觉惯性里程计VIO算法

图形模型126（2023）101172一种改进的半合成视觉-惯性里程数据集SamSchofield，Andrew Bainbridge-Smith，Richard Green新西兰坎特伯雷大学计算机科学与软件工程系A R T I C L E I N F O保留字：视觉惯性里程计半合成数据集机器人虚拟现实A B S T R A C T捕获户外视觉惯性数据集是开发鲁棒视觉惯性里程计（VIO）算法的一个具有挑战性但至关重要的方面。一个重要的障碍是高精度地面实况系统（例如，运动捕捉）对于户外使用是不实用的。一种解决方案是使用“半合成”方法，将渲染图像与真实IMU数据相结合。这种方法可以产生包含具有挑战性的图像和准确的地面实况的序列，但与完全合成的序列相比，模拟数据较少。现有的方法（由流行的工具/数据集使用）记录来自视觉惯性系统的IMU测量值，同时使用运动捕获测量其轨迹，然后沿着该轨迹渲染图像。这项工作确定了该方法的一个主要缺陷，特别是单独使用运动捕捉来估计机器人/系统的姿态，导致产生不一致的视觉惯性数据，不适合评估VIO算法。然而，我们表明，它是可能的，以产生高质量的半合成数据的VIO算法评估。我们这样做使用开源的全批优化工具，以结合两个mocap和IMU测量时，估计IMU的轨迹。我们证明，这种改进的轨迹的IMU数据和渲染图像之间的一致性更好的结果，所得到的数据提高了79%的VIO轨迹误差相比，现有的方法。此外，我们还研究了视觉惯性数据不一致的影响（如轨迹噪声的结果）对VIO性能的影响，为未来针对实时应用的工作提供基础。1. 介绍机器人长期以来一直用于工厂和仓库等室内环境的自动化。最近，在自然环境中使用机器人的想法越来越受欢迎，例如在精准农业和林业中。进入这些控制较少的环境需要机器人的视觉算法（用于自主操作）更加强大。然而，在预期环境中测试这些算法的鲁棒性（以及它们与系统其余部分的集成）是一个具有挑战性的问题，因为可能难以获得准确的地面实况数据。此外，在现场进行测试时，通常需要考虑安全、访问和时间/开销因素。避免这些挑战的最常见的解决方案是使用模拟环境（图1）。1（b））。然而，一个系统从模拟到现实世界的转换能力在很大程度上取决于环境，机器人和传感器被准确地模拟，这绝不是一个简单的任务。为了避免高度逼真模拟的复杂性，最近的工作[1到机器人。机器人在运动捕捉实验室中运行，在那里测量它的位置和方向，然后用于渲染反映机器人运动的合成图像。 由于使用的是实际机器人，因此无需考虑模拟车辆动力学、电池消耗或来自摄像头以外设备的传感器数据的合法性。这种方法具有额外的好处，允许机器人在可访问的受控环境中操作，在该环境中可以获得高精度的地面实况，同时提供任何期望的环境/场景的合成图像（见图11）。①的人。有可能受益于VR方法（或离线环境中的“半合成”方法）的一类视觉算法是视觉惯性里程计（VIO）。VIO是使用机载IMU和相机估计机器人运动的过程。 VIO通常用于无人机（UAV），当GPS不可用时或无法提供足够的精度时进行姿态估计。是∗通信：计算机科学和软件工程系，20柯克伍德大道，上里卡顿，基督城8041，新西兰。电子邮件地址：sam. pg.canterbury.ac.nz（S。Schofield），安德鲁canterbury.ac.nz。班布里奇-史密斯），www.example.comrichard.green @canterbury.ac.nz（R。绿色）。https://doi.org/10.1016/j.gmod.2023.101172在线预订2023年1524-0703/© 2023作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表图形模型期刊首页：www.elsevier.com/locate/gmodS. Schofield等人图形模型126（2023）1011722Fig. 1. 来自真实（a）和合成（b）校准序列的等效图像。合成图像是根据实际相机的测量姿态绘制的。虽然这个例子显示了类似的真实和合成图像，可以使用任何虚拟场景在实践中特别适用于无人机，因为与纯VO相比，由于添加了IMU数据，因此对快速运动具有鲁棒性最先进的VIO算法在相对受控环境中的性能已经得到了很好的确立[4然而，对具有挑战性的环境和运动具有鲁棒性的算法的开发是一个持续的问题[9]。生成此类算法的一个重要方面是创建高质量的数据集，这些数据集能够捕捉到要解决的挑战的本质。为了使这些数据集发挥作用，它们必须提供高精度的地面实况轨迹数据，以便在评估VIO算法时使用-这是一项在远离受控实验室环境的室外可能很困难的任务。例如，森林、水下和地下环境对获取地面实况轨迹测量提出了重大挑战，因为它们不适合于传统的地面实况系统，如运动捕获或RTK-GPS。虽然使用全合成方法来创建VIO基准数据集是可能的，但是半合成方法是有吸引力的，因为它消除了对模拟车辆动力学和IMU数据的需求。消除对IMU仿真的需要是特别感兴趣的，因为VIO算法固有地对IMU数据质量敏感，因此对IMU仿真的准确性敏感。当无人机使用VIO算法作为IMU测量误差（特别是角速度误差）对振动敏感时，这个问题会被放大[10]，而振动可能在无人机上大量存在，并且不一定直接模拟。虽然VR/半合成方法可以（理论上）减少完全模拟的缺点，但它并非没有自己的局限性。主要的问题是，如果机器人的姿态没有被准确地估计（如图1所示），2），渲染的图像将与机器人的运动或其其他传感器的测量不一致。在VIO的情况下，这种数据不一致性将导致算法不太准确或者甚至完全发散。我们猜想，当真实系统和合成数据之间的高度一致时，是必需的.我们发现，现有的，广泛使用的，半合成的方法（单独使用运动捕捉来估计系统的姿态）容易出现这种数据的不一致性，是不适合评估VIO算法。我们证明，这是可能的，以弥补这个问题，使用全批量优化的mocap和IMU测量，以产生一个更准确的轨迹，因此，更一致的半合成视觉惯性数据。此外，我们还研究了数据不一致（由于轨迹误差）对VIO性能的影响，为未来针对实时性能的工作提供基础2. 相关工作在本节中，我们参考了一些最著名的VIO数据集，以鼓励使用半合成数据。据我们所知，只有三篇论文使用半合成方法，所有这些论文都使用相同的数据生成方法。这些半合成方法在第2.3节中讨论。图二. IMU实际轨迹和估计轨迹的比较。注意两条路径之间在大约54 s处的差异。在此期间，虚拟相机（沿着估计的路径行进）和IMU将测量不同的轨迹，导致数据不一致。2.1. 真实数据集许多真实的VIO数据集牺牲了地面实况的准确性或覆盖范围 以进入更有趣或更具挑战性的环境。EuRoC数据集[11]提供了一些运动捕捉地面实况，它的序列。然而，在更大的“机器大厅”中记录的序列需要激光跟踪设备来提供地面实况-该系统不测量方向，并且据报道在测量非常动态的运动时降低了准确性。TUM-VI数据集[12]提供了多个序列，通过各种潜在的具有挑战性的场景捕获图像和IMU数据。然而，它们仅在相机系统处于其运动捕捉系统的视野内时提供每个序列的开始和结束的地面实况数据。其他数据集，如UZH-FPV [13]，PennCOSYVIO [14]和KITTI [15]也牺牲了一些地面实况的准确性，以换取更具有挑战性的环境。在[16]中使用了另一种方法。作者没有试图在具有挑战性的环境中获得准确的地面实况数据，而是选择在可以使用运动捕捉系统的室内创建具有挑战性的场景（涉及移动物体）。这种方法受益于准确的地面实况，但对于森林或水下环境等2.2. 合成数据地面实况问题的一个常见解决方案是使用合成数据（通过数据集或实时模拟器提供）。合成数据提供了高精度的地面实况和对环境的精确控制，但也有其自身的局限性AirSIM [17]和Flightmare [18]等仿真环境提供实时物理仿真和渲染。这些模拟器的实时特性提供了灵活性，因为它允许在创建场景后以很少的额外努力测试许多射束。但是，由于渲染时间有限，实时操作会对图像质量造成限制。它们还需要额外的计算资源来运行，这可能会影响VIO性能[19]。轻型视觉惯性模拟器也存在[4，7]。然而，这些方法删除了管道的渲染组件，而是选择将稀疏的随机3D点投影到图像平面上，从而显著降低了数据的真实性合成视觉惯性数据集[5，9]提供地面实况准确性和对环境的控制，但在使用过程中以灵活性换取更少的计算开销。他们还可以使用较慢的渲染方法来生成更逼真的图像。虽然合成数据S. Schofield等人图形模型126（2023）101172301������与真实数据相比，合成数据提供了许多好处，主要关注的是合成数据是否准确地代表了它所模拟的传感器和环境，这种现象被称为“合成差距”2.3. 半合成数据最近，广泛使用的工作[1FlightGoggles [2]提供了一个为无人机创建虚拟现实环境的管道。游戏引擎内的虚拟相机的姿态使用真实UAV的运动捕获估计来设置。 来自无人机的真实IMU数据和合成图像然后可以用于姿态估计、碰撞检测和路径规划。该方法在[1]中得到了验证，该方法表明，当在回路中使用虚拟图像时，无人机可以以90%的成功率飞行。作者还对真实图像和合成图像上的VIO性能进行了初步比较。然而，分析并不是特别深入。 值得注意的是，由于这些方法是实时操作的，它们不能使用本工作中提出的全批优化。然而，它们容易受到我们的实验所强调的视觉惯性数据不一致的影响。一种在线方法，作为卡尔曼滤波器，可以用于融合IMU和运动捕获测量，以更准确地估计系统BlackBird数据集[3]使用FlightGoggles软件创建测试无人机感知的大量序列与飞行不同，图三. 在整个论文中使用的参考框架。 请注意，在全局（真实）和Blender（虚拟）框架中的等价物������ 和������ 是BlackBird数据集没有实时约束，因此可以利用全批优化。3. 符号以下参考框架贯穿全文。图中给出了一个直观的表示。3.第三章。见图4。用于生成半合成视觉惯性序列（M1）的现有方法。此方法使用运动捕捉测量来设置渲染器内的摄影机姿势。这表示将轨迹中的每个姿势预先乘以常数变换。类似地，可以通过乘以常数变换来修改• {1}是重力对齐的全球惯性系。• {0}是运动捕捉系统使用的帧。它近似于{\displaystyle {\frac{0}}，但不一定与重力对齐。��������� =������◦��� ������.• {x}是用于使用运动捕获系统测量IMU• {}是IMU帧。���• {X}是对应于相机的光轴的相机帧， 真正的相机• {}是AprilGrid [21]框架，位于AprilGrid的左上角。• {x}是渲染软件Blender中使用的坐标框架。• {x}是对应于光轴的虚拟相机帧Blender中的虚拟相机刚体变换遵循[22]中的约定。从帧{n}到帧{n}的变换是固定帧旋转后接平移矩阵，表示为4 × 4变换矩阵������ ������=[������������������]。轨迹被指定为表示帧{n}内的帧{n}的轨迹的帧{n}。���������轨迹由每个时间步{n}的变换序列n（n）���������= {���(���),���(���), .., ������（4. 数据集创建4.1. 半合成数据本文中使用的半合成序列使用两种方法生成。第一种方法（M1）遵循与先前工作[1第二种方法（M2）是所提出的方法。两种方法的视觉概述在图1和图2中给出。4和5.在高层次上，这两种方法非常相似。首先，使用运动捕获来测量视觉惯性系统的轨迹，同时记录其IMU读数（包括线加速度和角速度测量）。然后对轨迹进行处理（参见第4.3节）并导入Blender（同时考虑坐标系差异和所需的相机-IMU外部参数）。接下来，使用轨迹中的每个姿势渲染和标记图像。最后，将渲染的图像与记录的IMU数据组合以形成半合成序列。这两种方法之间的唯一区别是如何估计IMU4.2. 全合成数据由于测量运动捕获系统对IMU轨迹的估计中的误差是不实际的������������������该轨迹的估计值表示为Δθ。轨迹的参考系可以通过预处理来改变乘以常数偏移变换：���������=���������◦���������.完全模拟的数据。首先，使用IMUSim [23]沿已知轨迹生成合成IMU数据。IMUSim被配置为生成具有与所使用的IMU相似的噪声特性的IMU数据在TUM-VI或EuRoC数据集中，这取决于实验。 然后用已知量的噪声扰动轨迹，S. Schofield等人图形模型126（2023）1011724������������图五. 提出了用于生成半合成视觉惯性序列（M2）的方法。这种方法在原始运动捕获和IMU测量上使用优化步骤，以提供更准确的相机路径。用于图像渲染。然后将合成图像和IMU数据组合成一个序列进行评估。这种方法使 IMU轨迹估计误差的仿真在以下实验中，给出了对应于完美估计的IMU轨迹（Sim-完美）和具有运动捕获系统的（近似）误差特性的IMU轨迹（Sim-真实）的完全合成数据的结果。通过将拉普拉斯噪声添加到已知轨迹来生成“真实"轨迹。根据经验确定差异（见图1）。8（a））通过近似运动捕捉系统中的噪声（细节在第5.2节中给出）。虽然这是模拟运动捕捉误差的简单方法（取决于各种因素，如捕捉区域内的位置[24，25]），但足以突出生成一致的半合成数据的重要性。数据一致性实验（第5.3节）使用表3中给出的误差，而VIO准确度实验（第5.4节）使用表2。4.3. IMU轨迹估计流水线中的第一步是估计IMU的轨迹（���轨迹������）。本节详细介绍了现有的工作（方法1）和建议的方法（方法2）如何做到这一点。方法1（M1）将由运动捕捉系统测量到的原始轨迹（M1���������）与从全局到运动捕捉帧的变换（���������）和从刚体到IMU的变换（���������）相结合，以提供全局帧内的IMU轨迹的估计������（M1）。见图6。来自其中一个VIO评估序列的示例合成图像。使用真实相机的测量姿态渲染图像表1混合器中用于外部校准和VIO评价实验的传感器/环境设置的总结。外部校准VIO评价分辨率（mm× mm）512 × 512 748 × 480帧速率（Hz）20 20采样率（每像素）512 512相机型号Equsolid针孔失真NA无传感器尺寸（mm）6.4 6.4焦距（mm）3.2 3.9FOV（水平，度）175 117场景室（图。 6）AprilGrid（图1 （b））真实IMU数据以形成半合成序列。首先，将上一步的坐标系转换为Blender坐标系，并添加所需的IMU到虚拟相机的转换 以提供渲染（渲染）期间使用的摄影机路径。��������� 通过将Blender相机的位置设置为每个姿势来渲染图像在弹道上。用于实验的相机设置和环境的总结在表1中给出。使用来自TUM-VI-calib-IMU序列的IMU和mocap数据生成外部校准序列（第5.3���̂���1=���������◦���̂������◦��� ������[12]，并安排场景，使AprilGrid在相机VIO评估本身-请注意，这些对齐变换（对齐变换和对齐变换）是在方法2期间获得的，并用于两种方法（M1/M2）。������通过在这两种方法中使用相同的extrinsics，我们可以确保这些方法之间的任何性能差异都是由于轨迹的准确性而不是extrinsics的不准确性。然后，在用于渲染之前，以20 Hz对轨迹进行采样方法2（M2），即所提出的方法，使用[26]中提供的开源工具（和默认参数）来生成轨迹（������102）使用运动捕捉和IMU测量。该工具执行使用mocap和IMU测量来估计IMU轨迹以及变换的全方位-全方位批量优化，������������方法1中也使用了这种方法。姿态估计是间隔的，为了提供20 Hz的频率（虚拟图像的期望帧速率照相机）。由于这项工作的目的只是为了表明有可能生成一致的半合成数据，而不是提出一种新的轨迹估计技术，有关轨迹估计过程的更多信息，请参考[26]4.4. 图像渲染下一步是渲染两个摄影机路径（摄影机1，摄影机2）的图像序列。一旦图像被渲染，使用来自EuRoC V1- 01、02、03序列的数据生成序列（第5.4节）[11]。VIO序列在具有大量视觉纹理的场景中渲染（图6），并且尺寸与原始EuRoC Vicon房间的尺寸大致相同5. 评价5.1. 轨迹精度我们首先比较两种轨迹估计方法的精度。测量地面实况系统的精度是一个挑战性的问题，因为如果没有更精确的地面实况系统，就没有办法直接测量地面实况误差。[26]使用模拟来表明他们的方法（用于生成M2）比单独的动作捕捉更准确。我们通过估计TUM-VI calib-IMU序列中存在的静止AprilGrid的速度来验证这些结果。1（a））。通过首先使用图像上的透视n点算法估计相机-AprilGrid变换来计算速度。 然后使用来自评估轨迹的估计相机姿态自从AprilGrid已知是平稳的，则非零速度估计是误差。������������S. Schofield等人图形模型126（2023）1011725������������表2EuRoC（V1_01、02、03）序列的M1和M2轨迹之间相对轨迹误差的平均绝对偏差。序列翻译MAD。（m）旋转MAD。（ 度）x y z滚转俯仰偏航粤ICP备05011764号-1粤ICP备05016888号-1粤ICP备05016888号-1见图7。使用TUM-VI-calib-IMU序列评估的AprilGrid平均速度误差（使用轨迹2和轨迹1���表3TUM-VI-calib-IMU序列的M1和M2轨迹之间相对轨迹误差的平均绝对偏差。序列翻译MAD。（m）旋转MAD。（ 度）x y z滚转俯仰偏航0.0009 0.0008 0.2381 0.2367 0.18140.0009 0.0009 0.00120.0006 0.0005 0.0007 0.1383 0.1812 0.14070.0006 0.0004 0.0008 0.1647 0.1891 0.1482������������运动捕捉误差（例如使用精确校准的机器人臂或首先，对两个轨迹进行采样以使用相同的时间戳（因为M2轨迹被优化工具下采样到20 Hz）。接下来，将轨迹时间戳与最接近的图像时间戳进行匹配，并过滤任何差异大于0.005 s的匹配。选择该差异阈值是因为其在估计数量（保持90%）和时间戳差异引起的速度误差（小于0.01m/s）之间提供了良好的平衡。然后估计AprilGrid首 先 ， 使 用 透 视 n 点 算 法 为 每 个 图 像 计 算 从 相 机 到 AprilGrid（AprilGrid）的变换。���������然后，将来自轨迹的匹配的IMU姿态估计（IMU姿态估计������������然后使用摄像机姿势来估计全局帧（AprilGrid）内AprilGrid的位置。������������������∕������=���������∕������◦���������然后，使用所述平均速度估计来计算每帧速度。���对M1和M2轨迹都执行该过程最后，执行离群值去除步骤。存在速度误差的三个潜在原因：AprilGrid的姿态的不准确估计、时间戳未对准（导致AprilGrid和相机姿态估计之间的未对准）和相机姿态估计中的误差。 AprilGrid和时间戳误差不指示轨迹准确性，并且对于两个轨迹是共同的。因此，如果两个轨迹同时产生大的、相似的速度估计，则该估计被移除，因为它可能是由一个（或两个）共同误差引起的。速度估计实验的结果（图1）。7）表明，使用M2（建议）轨迹估计的速度是一致的，明显低于M1轨迹-表明M2轨迹更准确。5.2. 运动捕捉噪声在其余实验中，使用全合成数据（表示为M1- Sim/M2-Sim）验证半合成结果（M1/M2）。通过将已知量的噪声引入用于渲染的轨迹来执行验证（如第4节所述）。理想情况下（M2-sim）不会引入噪声，而M1-Sim使用运动捕捉系统中存在的近似噪声通过计算对齐的M1和M2轨迹的连续测量之间的相对变换误差[27]来测量运动捕捉系统中存在的测量噪声的近似值。虽然这不是测量滑块），我们的结果与现有工作[28]所提出的结果一致。此外，这些值仅用于通知模拟运动捕捉误差的数量级。图8示出了根据EuRoC数据计算的不同轨迹分量的误差的概率密度，而表2和表3分别示出了EuRoC和TUM轨迹的平均绝对偏差。结果表明，误差均近似为零均值、对称、各向同性。例外的是旋转的偏航分量，它的标准偏差大约是俯仰和滚转分量的一半。这种差异可能是由于惯性的性质。 - 在M2轨迹的估计中使用的数据（其不能直接观察围绕重力矢量的偏航/旋转，因此在优化期间被给予较少的权重）。由于M1和M2之间的相对轨迹误差仅是M1中的真实误差的近似值，因此忽略该差异，并且假设运动捕捉系统的噪声特性对于所有旋转轴都是相同的。请注意，第5.5节比较了mocap噪声的旋转和平移分量如何单独影响VIO性能5.3. 相机-IMU一致性接下来，评价IMU数据和合成图像之间的一致性。一个典型的视觉惯性系统假设相机和IMU之间的刚性连接。这种刚性连接允许传感器 以测量相同的轨迹（在考虑传感器之间的任何固定偏移之后）。对于半合成系统，传感器连接的刚性取决于IMU轨迹的测量精度。这种依赖性是由IMU测量实际轨迹而虚拟相机测量该轨迹的估计引起的。估计中的任何误差都会导致两个传感器测量不同的轨迹，从而导致数据不一致通过使用Kalibr [29]对两组半合成序列（使用M1和M2生成）执行外部校准并检查结果来测量IMU图像一致性。相机-IMU外部估计的目的是在给定一组IMU和图像（地标）测量的情况下找到相机和IMU之间的固定空间和时间偏移。由于偏移被假设为恒定的，因此在校准序列期间传感器的空间偏移的变化不断变化的偏移将导致高平均残差，因为将找不到好的解决方案结果显示在Fig. 10显示方法1的平均重投影误差显著高于方法2（提出）-表明视觉和惯性数据之间可能由运动捕获测量引起的S. Schofield等人图形模型126（2023）1011726图八、 EuRoC（V1_01，02，03）序列的M1和M2轨迹分量之间帧间差异的概率分布。图第九章Kalibr在TUM-VI校准上的平均每帧重投影误差残差，IMU2序列，用于���IMU2和IMU1轨迹。������实际（原始）序列的结果可供参考。���������错误.用完全合成的数据（模拟真实/模拟完美）获得类似的结果，即，将噪声引入到用于渲染的轨迹中导致性能的显著降低结果还表明，M2和Sim-perfect具有非常相似的性能。事实上，半合成方法的性能略优于完全合成方法。这一发现表明，M2成功地消除了数据不一致性，因为Sim-perfect使用了完全一致的数据。性能的轻微变化可能是由于真实和合成IMU数据的质量差异。有趣的是，原始数据在所有序列中提供了最佳结果。此结果可能是由于几个因素，如在Blender中使用的渲染设置或相对于相机的校准目标的放置每帧的残差（图图9）示出了使用方法1生成的序列的误差具有几个大的尖峰。定性地，当并排查看两个序列时，误差尖峰对应于图像中明显的方向抖动，这表明见图10。Kalibr对使用M1和M2方法生成的半合成序列的平均重投影误差残差。使用TUM-VI-calib-IMU序列以提供用于生成轨迹的数据。提供真实（原始）序列以及完整合成变体（模拟现实/模拟完美）的结果以供参考。（表3中给出），因为对于给定的幅度和场景深度，重投影误差对旋转误差比平移误差5.4. VIO评价接下来，使用这两种半合成方法，使用来自EuRoC ViconRoom1数据集的mocap和IMU数据创建序列。两组半合成序列、全合成序列和原始（ 真 实 ） 数 据 用 于 评 价 几 种 VIO 算 法 （ Kimera [5] 、 MSCKF [6] 、OpenVins（OV）[7]和VinsFusion（VF-单声道/VF-立体声）[8]）。每个算法都在原始M1和M2以及模拟现实/模拟完美序列生成估计值���������������������运动捕捉估计中的方向噪声可能是原因。������������这一观察结果与运动捕捉误差���2、−���������������������和���������−���������������������������的分析一致。������然后将每个估计值进行比较������������������S. Schofield等人图形模型126（2023）1011727表4原始/真实、半合成（M1和M2）和全合成（模拟现实和模拟完美）序列上的RMS绝对轨迹误差（ATE）。M1和M2列对应于是否使用M1或M2弹道序列数据生成Kimera MSCKF OpenVINS VF-单声道VF-立体声M1 M2 M1 M2 M1 M2 M1 M2V1_02模拟完美0.04 0.031 0.043 0.036 0.032 0.02 0.029 0.016 0.029 0.0140.081 0.077 0.078 0.076 0.065 0.059 0.081 0.081 0.121 0.120电话：+86-510 - 8888888传真：+86-510 - 8888888电话：0755 - 8888888传真：0755 - 8888888模拟现实0.224 0.235 0.125 0.1280.061 0.051 0.043 0.044 0.045 0.037 0.038 0.036 0.038 0.0240.102 0.079 0.120 0.121 0.074 0.068 0.116 0.108 0.1100.069 0.056 0.173 0.174 0.052 0.042 0.036 0.033 0.071 0.0550.192 0.197 0.198 0.200 0.056 0.057 0.183 0.181 0.085 0.087见图11。当对EuRoC V1_01序列变体（M1、M2和原始/真实）进行评价时，VIO估计值与原始（mocap）轨迹之间的绝对轨迹误差。提供真实（原始）序列以及完整合成变体（模拟现实/模拟完美）的结果以供参考。请注意，红色垂直箭头标记算法无法估计给定序列的轨迹的位置。到M1（轨迹1）和M2（轨迹2），以计算绝对������������弹道���误差���[27]。������见图12。在增加噪声水平的情况下生成的序列的绝对轨迹误差被添加到轨迹的平移分量的每个轴，图11中的结果表明，VIO的准确性明显优于 在使用方法2（建议）生成的序列上，无论其评估的轨迹如何。这一结果突出了数据一致性对VIO性能的重要性;数据生成方法之间的性能差异远远大于计算绝对轨迹误差时使用不同轨迹引起的差异。全合成序列的结果显示出相同的趋势，Sim-perfect始终优于Sim-realistic。此外，方法2的真实序列和半合成序列之间的差异通常比方法1小得多。此外，使用方法2生成的半合成序列通常优于原始序列。然而，这一发现可能是由于合成图像更容易（即具有更多的视觉信息，更少的运动模糊等）。比他们真正的对手。为完整起见，其他序列的VIO算法结果见表4。5.5. 数据一致性对VIO精度的影响分析最后一个实验检验了VIO算法渲染。垂直虚线标记V1_01，02，03序列的最大平均绝对偏差，如第5.5节所述。用于半合成管道。为了更好地理解视觉-惯性数据不一致（由不准确的轨迹估计引起）如何影响VIO性能，我们需要能够量化轨迹由于没有更准确的地面实况系统，这是不实际的，我们求助于模拟。首先，IMU数据沿着指定的轨迹轨迹进行仿真。接下来，将随机噪声应用于该轨迹以产生随机噪声。轨迹的平移和旋转分量的噪声水平���然后，将图像处理用于生成合成图像，然后将合成图像与IMU数据组合（如第4节所述），并用于评估VIO算法（如第5.4节所述）。图图12和图13分别示出了在具有不同水平的位置和旋转噪声的情况下生成的数据上运行VIO算法的结果。结果表明，平移和旋转噪声都增加了VIO误差。然而，旋转误差的合理量（在5.2节中确定）的影响比平移的影响更显著（如图5所示）。13）。 为此，特别M1M20.5110.0380.5090.0290.3310.0620.3240.0570.1330.0340.1250.0260.2280.0610.230.060.0570.0480.0550.045V1_01模拟现实0.240.240.1830.179––0.1350.1290.0710.069M1M21.1330.0561.1180.0490.7510.2730.7570.2740.1420.050.140.0420.4710.0910.4730.0810.7750.0810.7710.068V1_03模拟现实0.3830.3840.2180.218––––2.3252.321S. Schofield等人图形模型126（2023）1011728图十三. 随着添加到用于渲染的轨迹的旋转分量的每个轴的噪声级别的增加而生成的序列的绝对轨迹误差。垂直虚线标记V1_01，02，03序列的最大平均绝对偏差，如第5.5节所述。注意，三角形标记表示 如果无法完成所有序列，则为每个算法的最后一次成功运行当产生用于评估VIO算法的半合成数据集或VR系统6. 结论这项工作确定了流行的半合成工具/数据集用于评估VIO算法的现有方法中的一个主要缺陷。也就是说，单独使用运动捕捉来估计机器人/系统的姿态会导致产生不一致的视觉惯性数据，这不适合于评估VIO算法。 对运动捕捉系统中的误差进行了分析，结果表明，旋转估计中的误差是导致数据不一致的主要原因。结果表明，全批次优化可用于融合运动捕捉和IMU测量，以提供对系统姿态的更准确估计，从而获得更一致的数据并显着提高VIO性能。未来的工作应该使用卡尔曼滤波器或固定滞后平滑器将这些发现应用于实时环境，因为这将提高FlightGoggles等机器人VR类型系统的性能。CRediT作者贡献声明Sam Schofield：概念化，方法论，软件，验证，调查，数据管理，写作-原始草稿，可视化。安德鲁·班布里奇-史密斯：监督，写作理查德·格林：监督，写作确认本文中报告的研究是作为“使无人机（无人机）能够在复杂的动态环境中使用工具UOCX 2104”的一部分进行的竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]T. Sayre-McCord，W.Guerra，A.安东尼尼Arneberg，A. Brown，G.卡瓦列罗，Y. Fang，中国茶青冈A.Gorodetsky，D.McCoy，S.Quilter，F.Riether，E.Tal，Y.泰尔齐奥卢，L. Carlone，S. Karaman，视觉惯性导航算法开发使用真实感相机模拟在回路中，在：2018年IEEE机器人和自动化国际会议，ICRA，IEEE，ISBN：978-1-5386-3081-5，2018年，pp.2566https://ieeexplore.ieee.org/document/8460692/http://dx.doi.org/10.1109/ICRA.2018.8460692[2]W. Guerra，E. Tal，V. Murali，G. Ryou，S. 卡拉曼，FlightGoggles：使用摄影测量 和 虚 拟 现 实 的 感 知 驱 动 机 器 人 的 Photore-alistic 传 感 器 仿 真 ， 在 ： 2019IEEE/RSJ国际会议上智能机器人和系统，IROS，IEEE，ISBN：978-1-7281-4004-9，2019年，pp.6941ieeexplore.ieee.org/document/8968116/http://dx.doi.org/10.1109/IROS40897.2019.8968116[3]A.安东尼尼Guerra，V. Murali，T. Sayre-McCord，S. Karaman，The blackbirddataset：A large-scale dataset for UAV perception in aggressive flight，2018年国 际 实 验 机 器 人 研 讨 会 ， ISER ， 2018 年 ， pp 。 130 -http://link.springer.com/10.1007/978-3-030-33950-0_12。http://arxiv.org/abs/1810.01987网站。[4]V. Usenko，N. Demmel，D. Schubert，J.Stuckler，D. Cremers，具有非线性因子恢 复 的 视 觉 惯 性 映 射 ， IEEE 机 器 人 。自 动Lett.5 （ 2 ） （ 2020 ）422ieeexplore.ieee.org/document/8938825/http://dx.doi.org/10.1109/LRA.2019.2961227[5]A. 松香醇，M. Abate，Y. 昌湖，澳-地 Carlone，Kimera：一个开源库 用于实时度量语义定位和映射，在：IEEE Intl. Conf. on Robotics and Automation，ICRA，2019，URL：http://arxiv.org/abs/1910.02490.[6]K.孙，K. 莫赫塔湾 Pfrommer，M. Watterson，S. Liu，Y. Mulgaonkar，C.J.Taylor，V. Kumar，Robust stereo visual inertial odometry for fast autonomousflight ， IEEE Robot. 自 动 Lett. 3 （ 2 ） （ 2018 ） 965 http://dx.doi.org/10 。1109/LRA.2018.2793349，http://arxiv.org/abs/1712.00036。https：//ieeexplore. ieee.org/document/8258858/网站。[7]P. Geneva，K. Eckenhoff，W.李，Y。Yang，G. Huang，OpenVINS：视觉惯性估计的研究平台，见：IEEE机器人与自动化国际会议论文集，法国巴黎，2020年，URL：https://docs.openvins。com.[8]T. Qin，P. Li，S. Shen，VINS-Mono：A robust and versatile monocular visual-inertialstateestimator ， IEEETrans.Robot.34 （ 4 ） （ 2018 ）1004https://ieeexplore.ieee.org/http://dx.doi.org/10.1109/TRO.2018.2853729[9] W. Wang，中国山杨D.Zhu，X.Wang，Y.Hu，Y.Qiu C.Wang，Y.Hu，黄毛菊A.卡普尔，S. Scherer，TartanAir：一个突破极限的数据集 的 视觉 SLAM， 在： 2020年IEEE/RSJ智能机器人和系统国际会议，IROS，IEEE，ISBN：978-1-7281-6212-6，2020年，pp. 4909 http://dx.doi。org/10.1109/IROS45743.2020.9341801，http://arxiv.org/abs/2003.14338。http：//ieeexplore.ieee.org/document/9341801/网站。[10] H. 温伯格