基于优化的单目VIO与变化相机IMU的时间偏移建模与校准

基于优化的视觉惯性里程计中Yongen Ling，Linchao Bao，Zequn Jie，Fengming Zhu，ZiyangLi，Shanmin Tang，Yongsheng Liu，Wei Liu，and Tong Zhang腾讯人工智能实验室，中国ylingaa@connect.ust.hk，{linchaobao，zequun.nus，fridaju}@ gmail.com，{tzeyangli，mickeytang，kakarliu}@ tencent.com，wl2223@columbia.edu，tongzhang@tongzhang-ml.org抽象。组合相机和惯性测量单元（IMU）已被证明在运动跟踪中是有效的，因为这两种感测模式提供了适合于融合的互补特性。虽然大多数作品都集中在全局快门相机和同步传感器测量上，但消费级设备大多配备有卷帘快门相机，并且遭受不完美的传感器同步。在这项工作中，我们提出了一种基于非线性优化的单目视觉惯性里程计（VIO）与变化的相机IMU的时间偏移modeled作为一个未知变量。我们的方法能够以统一的方式处理卷帘快门效应和不完美的传感器同步此外，我们还引入了一种基于动态规划和红黑树的有效算法，以加快优化过程中IMU在变长时间间隔上的集成速度。一个不确定性感知的初始化也提出了启动VIO鲁棒。Euroc数据集和手机数据的最先进的方法的比较，以验证我们的方法的有效性关键词：视觉惯性里程计，在线时间相机IMU校准，滚动快门相机。1介绍在线、鲁棒和准确的定位是许多应用的首要组成部分，例如移动机器人的自主导航、在线增强现实和基于实时定位的服务。由一个IMU和一个相机组成的单目VIO特别适合于此任务，因为这两个传感器便宜、普遍存在且互补。然而，VIO仅在视觉和惯性测量两者在空间和时间上对准时才起作用。这要求两个传感器测量是同步的，并且传感器之间的传感器外性质是已知的。虽然在线传感器外部校准在最近的工作中得到了大量的讨论，但不完全同步的VIO很少被探索。历史上，一些作品[12，14]离线校准传感器时间偏移，并假设这些参数不变Ling等2稀疏特征关键帧窗口非关键帧窗口t关键帧姿态速度偏移非关键帧姿势速度偏移相机-IMU时间偏移相机-IMU外部惯性约束动态视觉约束图1：我们模型的图形表示。关键帧窗口和非关键帧窗口中的所有变量（圆圈）和约束（正方形）都涉及优化。注意，对每个帧的相机-IMU时间偏移进行在其他情况下，由于不同的相机-IMU时间偏移，因此视频同步不属于我们的现代化“动态同步”。在下一轮。在实际情况下，由于系统处理有效载荷和传感器抖动的变化，时间偏移随时间变化。其他作品[18，10，21]在扩展卡尔曼滤波器（EKF）框架中在线校准传感器时间偏移然而，这些方法遭受基于滤波的方法的固有缺点。它们需要关于初始系统状态（诸如姿态、速度、偏置、相机IMU外在/时间偏移）的良好先验，使得在每个更新步骤处的估计收敛到接近全局最小值。与基于滤波的方法相比，基于非线性优化的方法[13，17，40，4]迭代地重新线性化来自视觉和惯性约束的所有非线性误差成本，以更好地处理潜在的非线性，从而提高跟踪鲁棒性和准确性。然而，在非线性优化框架中引入时间偏移是不平凡的，因为视觉约束是变化的，因为它们取决于在迭代之间变化的估计的时间偏移。VIO的另一个关键问题是滚动快门相机的使用不像全局快门相机在一个时刻捕获所有行的像素，滚动快门相机在不同的时刻捕获每行像素。如果系统移动快，则对捕获图像的卷帘快门效应导致显著的几何在不考虑卷帘快门效应的情况下，估计性能迅速下降。不幸的是，大多数消费级相机（如手机上的相机）都是滚动快门相机。如果我们优化相机的姿态在每个读出时间的卷帘快门相机，计算复杂度将是棘手的。据我们所知，我们是第一个提出一个非线性优化的VIO，以克服上述困难。我们的模型的图形表示如图所示。1.与基于非线性优化的现有VIO算法不同，我们针对每个相机图像并入未知的、动态变化的时间偏移（在图1中示出为黄色圆圈）基于优化的VIO中摄像机-IMU时偏建模31). 时间偏移与其他变量（如姿势、速度、偏差和相机-IMU外部）一起被联合优化。我们表明，通过建模的时间偏移作为一个随时间变化的变量，不完美的相机IMU同步和卷帘快门效果可以处理在一个统一的配方（节。4.1和Sect. 4.2）。在引入新变量后，我们推导出优化中涉及的雅可比矩阵（Sect. 4.3），并且示出了变化的时间偏移在可变长度的时间间隔上带来姿态计算的计算挑战。提出了一种基于动态规划和红黑树的有效算法来缓解这些困难（Sect.4.4）。最后，由于非线性优化是基于线性化的，因此需要初始猜测来进行优化引导。不良初始化可导致VIO稳健性和准确性的降低。为了提高系统自举的鲁棒性，我们提出了一个初始化方案，该方案考虑了传感器测量的不确定性，并更好地模拟了潜在的传感器噪声。本文的主要贡献如下：– 我们提出了一种基于非线性优化的VIO与不同的相机IMU的时间偏移建模为一个未知变量，在一个统一的框架来处理卷帘快门效应和在线时间相机IMU校准– 为了加快IMU在变长时间间隔内的积分速度，我们设计了一种基于动态规划和红黑树的有效算法，这是优化过程中需要的。– 我们引入了一个不确定性感知的初始化方案，以提高VIO引导的鲁棒性。定性和定量的结果与模拟的相机IMU的时间偏移和现实世界的手机数据的Euroc数据集，证明了所提出的方法的有效性。2相关工作VIO的思想至少可以追溯到Roumeliotis等人基于滤波提出的工作[35]以及Jung和Taylor基于非线性优化提出的工作[13]。随后，基于基于滤波的方法的示例性实施方式（称为EKF [33，19，11，27]）已经发表了大量工作EKF使用IMU测量来预测最新的运动，并且根据来自视觉测量的重投影误差来执行更新。为了限制算法的复杂性，许多作品遵循松散耦合的方式[38，26，33，24，25，23]。首先分别通过IMU传播和运动算法的视觉结构来估计相对位姿。然后将它们融合在一起进行运动跟踪。替代地，以紧密耦合的方式的方法它们考虑了不同传感器内部状态之间的关系，从而获得了比松散耦合方法更高的估计精度，但代价是更高的计算复杂度。另外，为了受益于由重新线性化提供的增加的精度，基于非线性Ling等4Y方法迭代地最小化来自惯性测量和视觉测量的误差[17，40，4]。基于非线性优化的方法的主要缺点是由于重复线性化而导致的高计算复杂性，这可以通过限制优化变量和利用视觉惯性问题的结构稀疏性来减少[17]。最近的VIO方法考虑空间或时间相机IMU校准的问题。相机-IMU相对变换使用批量优化离线校准[6]，或通过将其包含到系统状态中进行优化在线校准[19，38，39]。相机和IMU之间的时间校准是较少探索的主题[12，14，18，10]。 Jacovitti等人[12]通过搜索使不同传感器测量的相关性最大化的峰值来估计时间偏移。Kelly等人。 [14]首先独立地估计来自不同传感器的旋转，然后在旋转空间中暂时对齐这些旋转。然而，两个[12，14]都不能估计时变时间偏移。 Li等人[18]采取了不同的方法。它们假定在局部轨迹周围的速度是恒定的时间偏移被包括在估计器状态向量中，并且在EKF框架内与其他状态变量一起被而不是显式优化的时间偏移，郭等人。[10]提出了一种插值模型来解释由时间偏移引起的姿势位移。虽然VIO上的大多数作品使用全局快门相机，但消费者设备上的部署推动了使用卷帘快门相机的需求处理卷帘快门效应的一种直接方法是校正图像，就好像它们是由全局快门相机捕获的一样，例如Klein和Murray提出的工作[15]为了更准确的建模，一些方法扩展相机投影功能以考虑滚动快门效果。它们使用零阶参数化[18，20]或高阶参数化[36]表示局部轨迹。不是模拟轨迹，[22]使用IMU传播预测轨迹，并对估计轨迹的预测误差进行建模。这些误差被表示为时间基函数的加权和。3预赛在本节中，我们简要回顾了我们的模型中使用有关详细推导，请参见[32，17]。我们不给任何东西。我们将IDER（·）视为特定的内部框架，并将（·）b和d（·）c分别视为IM框框架和框框架，同时将其保存为第k个图像。我们用px，vx，和rx为了表示3D位置，Y Y y速度和帧Y相对于帧X的旋转相应的四元数（qX =[qx，qy，qz，qw]）的旋转是在我们的哈密顿符号配方。我们假设单目摄像机的内禀是预先标定的，具有已知的焦距和主点。的相对平移以及单目相机和IMU之间的旋转是pc和qc。的B b系统记录的用于拍摄第k个图像的时刻是tk，而图像基于优化的VIO中摄像机-IMU时偏建模5KJk+1ΣcΣk+1k+1k+1k+1k+1k+1我我Xz它实际上是在tk=tk+ttoo时捕获的，而现在没有一个未知数可以关闭ttoo由于K不准确的时间戳注意，时间偏移Δ toK通常被视为作为一个已知的常数在其他基于优化的VIO算法，而它被建模为一个未知的变量为每个图像在我们的模型。在滑动窗口非线性优化框架中，全状态通常是ally编码为X=[xb... X B ... XB我...我... fw pb qb]，其中子状态0kn 0jmcCxb= [pw， vw， qw， bbk， bbk]由位置、速度、旋转、线性kbkbkbka ωtk处的加速度偏差和角速度偏差，fw是3D欧几里得位置在世界坐标中的特征j，并且pb以及qb是相机IMUC c外物找到状态参数的MAP估计值相当于最小化所有测量误差的Mahalanobis范数之和：minX||2个以上||2+zkΣ∈Si||ri(zˆk、X）||2Kk+1Σ+zik∈Sc||2||2、（1）k+1其中bp和Hp是通过边缘化获得的先验[17]，Si和Sc是IMU和相机测量的集合，具有相应的惯性和visualconstratmdedbyreialfunctionsri（zk，X）andrc（z（ik，X），re-分别为。相应的协方差矩阵表示为Σk和Σc。为了导出inertialresidualtermri（zk，X）在Eq. (1)，IMU propa-首先需要从运动学方程推导出一个gation模型，即pw= pww1周2次wkbk+1bk+vbk∆tk−2gtk+ Rbkαk+1，vw= vw− gw∆t +Rwβk、（二）bk+1bkkqw= qwqk，bkk+1k+1k +1其中re∆tk=tk+1−tk，gw=[0，0，9. 8]这是一个巨大的风险，或在他的inertialframe，anddzk={αkk k+1kk+1 }及其协方差Σk可以通过对线加速度abt和角速度进行积分来获得ωbt [5]的文件。然后，惯性残差项可以导出为：Rbk（pw-pw−vw∆t+1gwt2）−α kr（zkW，X）=bk+1bkbk wbkk2w wkk+1k。（三）我k +1Rw（vbk+1−vbk+g∆tk）−βk+1（qk）−1（qw）−1qwk+1bkbk+1这两个向量都是Eq中的一个理想向量。（1）利用ST角点检测器得到的跟踪稀疏特征的预jectionerror来确定[34]并使用稀疏光流[1]在连续图像上进行跟踪注意，为了处理卷帘快门效应，在对应关系建立期间，可以采用广义对极几何[3]假设世界坐标中的特征fw，遵循针孔模型，其在k帧上的投影uk为：xck/zckck我uk=ii，其中f ck = yck = R c（R bk（f w− p w）− p b）。（四）iyck/zckiibwibkci ick我，β，qLing等6k+1ΣK∆∆̃IMU读出时间摄像机读出时间卷帘快门的每个卷帘快门行的读出时间轨迹方差地面实况等速我们的第一/最后一行读出时间图图2：具有卷帘式快门凸轮的相机-IMU传感器套件的图示，并且改进了相机-IMU系统的性能。 我们使用滚动快门读出时刻，并使用在滚动快门相机（顶部）的中间读出时刻捕获的滚动快门图像（顶部）来近似滚动快门图像（顶部）。该最小化轨迹的位置被选择为projectionerrorisrc（zik，X）=uk−uk，其中uk是在ure处的trackedfe我我我位置.协方差矩阵Σc根据以下的跟踪精度来设置：特征跟踪器。通过线性化方程中的成本函数，(1)在相对于误差状态δX的当前最佳估计X®处，非线性优化问题通过迭代地最小化δX上的以下线性系统并通过X®← X®+δX更新状态估计X®直到收敛来解决：ΣMin||bp−Hp（X+δX）||2个以上δXkk+1∈Si||ri(zˆk，X（）+HkδX||2Kk+1Σ+||rc（zik，X）+HiδX||2、（五）zik∈SckΣc其中Hk和Hi是惯性和视觉残差函数的雅可比行列式。4摄像机-IMU时间偏差变化的在本节中，我们首先示出了卷帘快门效应可以通过对相机-IMU时间偏移进行建模来近似补偿（Sect.4.1）。 然后，我们提出我们的时变模型的偏移（节。4.2）以及在引入时间偏移变量之后用于优化的Jacobian的推导（Sect. 4.3）。最后，描述了一种有效的算法来加速可变长度时间间隔上的IMU积分（Sect. 4.4），所需的优化。4.1卷帘快门效应图二、(a)显示了具有卷帘快门相机和不完美相机-IMU同步的相机-IMU套件系统记录的获取………不………不z基于优化的VIO中摄像机-IMU时偏建模7KKωKK˙KKBK第k个图像是tk，它作为我们检索IMU数据的时间参考由于不完美的传感器同步（或不准确的时间戳），图像它实际上是在tk=tk+tto0处捕获的，其中一个未知数不等于tto0。WithaK K滚动-shuttercam era，这意味着t~k是与camer a在一起的时间开始逐行读出像素 代替使用恒定速度[10，15，20]对局部轨迹进行建模，我们使用恒定姿势对它们进行建模，这些姿势是局部轨迹的预期姿势（图2）。2）的情况。利用这种近似，可以将在时间间隔内捕获的具有相同偏移量的滚动剪切力视为一个目标。在t~′时捕获的图像 当我离开时，我会说：在下面，我们很高兴K通过替换∆to′滥用符号与∆ tooK和dt~’ � � 我们的产品和RbkinEq. （4）通过p~w和R~bk，因为该年在时间点被评估wbkwt~k。为了计算t~k处的位置，我们使用IMU从tk处的位置开始进行迭代：p~w =pww o1w o2wbkBKq~wbk+ vbk∆tk−2g=qwqbk，（k）+Rbkαck，（六）BKαbk=∫b∫kCkRbk（abt−bbk）dt2，cktt∈[tk，t~k]∫Σ1，bt一bk，btbk（七）qbk=-ω−bω ×ω-bωqbkdtCkt∈[tk，tck]−（ωbt−bbk）T0bt其中abt/ωbt是瞬时线加速度/角速度。由于只有离散的IMU作为u元素在IMU上是可用的，因此αbk和qbkin（7）是prox-ck ck使用数值积分（即，中点积分）。我们的恒定姿态近似的好处是额外的变量，即速度和卷帘快门行时间不需要用于估计，这导致计算复杂度的大幅降低。4.2相机-IMU时间偏移从前面的小节中，我们看到时间偏移Δto是两部分的相加。第一部分是相机-IMU时间偏移，其由于系统有效载荷变化和传感器抖动而平滑变化。第二部分是由卷帘效应近似引起的补偿时间偏移，其根据局部轨迹的变化而平滑地变化我们将∆to视为一个缓慢时变的量，并将其建模为高斯随机游走：O∆tk= no，其中no为零均值高斯噪声，协方差为Σo。以来我们优化的时间偏移是在离散时刻，我们在滑动窗口中的两个连续帧之间的时间间隔[tk，tk+1]：to=to+no，o=tko，其中no和do是cretenosek+1kk k k k k和协方差。因此，我们在等式中加入了to−too(1)为所有k+1kk连续帧。通过包括连续时间偏移之间的约束，我们避免2Ling等8KKKKKWBKK我BKWKBKCkCk=K4.3相机-IMU时间偏移未知时的优化我们在时刻tk的状态向量读作xb = [pw， vw， qw， bbk， bbk，∆to]，kbkbkbka ωk其中Δ t。是动态变化的相机-IMU时间偏移，其对卷帘快门效应的近似补偿和不完美的传感器同步进行建模。在Δ t为0时，线性化的误差状态δX变为δX=[δ p wδ v wδθwδ b bk δ b bk δpcδθcδ fwδ to]，其中我们采用最小误差BKBKAωbbikΣwΣ旋转表示（δθb，δθc∈R3）：qw=qwδθbk，qc=qcΣδθcΣkbbkbk1b bB. 其他误差状态变量δ p w、δ v w、δ b b k、δ b bk、δ p c、δ f w和δ∆to为1bkbkaωbik标准加性误差在引入δ∆to。之后，等式（1）中的惯性残差函数的雅可比矩阵Hk被表示为(5)保持与之前相同，而V的雅可比矩阵H i通常是独立的函数，因此可以用于多变量。Denting（·）从非线性优化的最后一次迭代获得的数据，雅可比矩阵Hi可以写成ck1ck−xircrcckckHi ==iiCkzi Ck J，δXf01−yiickziCkzi，，J=[−RcRbk-RcRbktoRcRbkfw−p~w03×6 RcfckRcR~bkJδ∆t]，BWB焕光Bwibk×bi×bWJc，bk，R~bk（（fw−p~w）+R~bkvw+gw∆t（o）），δ∆t= Rb（ω×w我bkWbkk其中，所述记录器不包括向量的所述新的y_r_i_i_c_i_x。请在此按钮上查看-tionp~w 并且，在J表中的R~b上的R~b在t~k的时间内被计算oftk，whhichdependsonvariablele∆to并且在优化的每次迭代中变化我在我在。此外，在执行以下操作时，将执行以下操作k-将p~w和R~bk上的字符串定义为Eq中的字符串。（4），whichhichasosoerecomputedwhenenn∆tochanges. 我们在此基础上选择了一个新的目标根据客户的需求进行设计，并通过灵活的访问权限来实现高效的组件p~wandRbkasthetheestimatedimeoffset∆tvaries during the theiterations.焕光4.4可变长度时间间隔在anaiveimementation的情况下，αbk的计算和dqbk由方程式(7)是─在整个过程中，请检查并重新确认数据是否已被重新计算，以避免数据丢失的优化。为了重用中间的集成结果，我们将集成分解为两个步骤（图1）。3）：首先，计算由t_k和t_k构成的积分;然后，计算由t_k和t_k构成的积分。 因此，在不失一般性的情况下，我们假设ti是最接近的IMU读出时刻bef或tk。这种 分解方法首先使结果可用，因为积分是在可变但规则的时间间隔上计算的。我们设计了一个基于离散动态规划[16]和红黑树的算法[16] 以在可变长度的时间间隔上执行有效的积分。K基于优化的VIO中摄像机-IMU时偏建模9不∆′̃+1树-2IMU读出时间估计摄像机读出时间F ig. 3：将t~k处的姿态从t~k处的姿态分解为两个姿态（左）：首先，计算t i处的姿态，其中ti是t ~ k处最接近的IMU测量时间，并且最小化t~k;因此，将t~k处的姿态分解为ti处的姿态。我们设计了一个基于动态规划和红黑树（右）的高效索引算法来加速第一步。具体来说，我们为每个时刻t k构建一个表（实现为红黑树[16]），以存储从t k开始的IMU积分的中间结果（图16的右部分）。（3）第三章。树中的每个节点存储键-值对，其中键是IMU读出时间ti，并且值是使用等式（1）计算的从tk到ti（七）、注意，该积分独立于在tk处的姿态和速度，因此当在等式（1）中的姿态和速度被更新时，所存储的结果不需要被更新。(6)因为tk改变。在优化过程中，每次需要计算从tk到ti的积分时（回想一下，ti是可变的根据t~k），我们首先要在tk处进行归档，以确保数据集完整ti的结果。如果查询失败，则改为搜索是否存在另一个IMU读出时间ti′的记录，使得ti′

下载后可阅读完整内容，剩余1页未读，立即下载