仿射对应估计多相机系统相对位姿的新解决方案及其准确性评估

6068利用仿射对应计算广义相对位姿的极小情形邦雷关1， 季兆*： Daniel Barath2and Friedrich Fraundorfer弗里德里希·弗劳恩多夫3，41国防科技大学航天科学与工程学院2苏黎世联邦理工学院计算机科学系计算机视觉与几何组3奥地利格拉茨科技大学计算机图形与视觉研究所4德国航空航天中心遥感技术研究所guanbanglei12@nudt.edu.cnzhaoji84@gmail.comdbarath@ethz.chfraundorfer@icg.tugraz.at摘要我们提出了三种新的求解器，用于从仿射对应（AC）估计多相机系统的相对姿态。一个新的约束，解释AC和广义相机模型的关系。使用，ING的约束，我们证明了两种类型的运动假设有效的求解器。考虑到相机进行平面运动，我们提出了一个最小的解决方案，使用一个单一的AC和求解器与两个AC，以克服退化的情况。此外，我们提出了一个最小的解决方案，使用两个AC与已知的垂直方向，例如，一个IMU由于所提出的方法比现有技术的算法需要显著更少的对应性，因此它们可以在RANSAC内有效地用于离群值去除和初始运动估计。求解器进行了测试，无论是合成的数据和现实世界的场景从KITTI odom- etry基准。结果表明，估计的姿态的准确性是优于国家的最先进的技术。1. 介绍从相机或多相机系统的两个视图进行相对姿态估计被认为是计算机视觉中的基本问题[22，10，45，46，51]，其在同时定位和映射（SLAM）和从运动恢复结构（SfM）中起重要作用。因此，提高相对位姿估计算法的准确性、效率和鲁棒性一直是重要的研究课题[30，50，1，16，6，12，31]。受多相机系统可用于自动驾驶汽车、微型飞行器或AR头戴式耳机的事实的启发，本文研究了从仿射对应（AC）估计多相机系统的相对姿态的问题1.一、由于多摄像机系统包含多个单独的*通讯作者。图1.在连续帧k和k +1之间的相机Ci中的仿射对应。局部仿射变换A涉及点对应（xij，x′ij）周围的无穷小块通过固定到单个刚性体连接的双摄像机，其具有大视场和高精度的优点[47，14]。多摄像机系统和标准针孔摄像机的主要区别在于没有单个投影中心[41]。由于不同的相机模型，多相机系统[24]的相对姿态估计问题与单目相机[39，18]不同，这导致不同的方程。为了去除异常匹配，大多数使用多相机系统[21，23]的现有技术SLAM和SfM流水线在鲁棒估计框架中重复应 用 相 对 姿 态 估 计 算 法 ， 例 如 随 机 样 本 一 致 性（RANSAC）[13]。该异常值去除过程必须是有效的，这直接影响SLAM和SfM的实时性能。RANSAC过程的计算复杂度以及因此的处理时间指数地取决于多相机系统的相对姿态估计所需的点的数量因此，探索用于多相机系统的相对位姿估计的最小解具有重要意义，并且受到持续关注[24，32，10，25，33，50，28]。导出极小解的思想6069用于多相机系统的相对姿态估计的方法可以追溯到St ew e´ nius等人的工作。六个方法[24]。随后提出了其他经典工作，例如17点线性方法[32]和基于迭代优化的技术[27]。通过考虑额外的运动约束[29]或利用来自其他传感器的测量，如惯性测量单元（IMU）[30，48，49，34，36]，可以进一步减少必要点的最小数量通常，平面运动的假设或考虑已知的垂直方向对于自动驾驶汽车和地面机器人是常见的[9，20，18，44，31]，这使得异常值去除更有效并且在数值上更稳定。所有先前提到的相对姿态解算器从一组点对应（PC）估计姿态参数，例如，来自SIFT [35]或SURF[7]探测器。由于包含比PC更多的关于底层表面几何形状的信息，AC使得能够从更少的对应来估计在本文中，我们专注于从AC，而不是PC的多相机系统的相对姿态估计。本文的贡献是：一个新的约束条件，解释的AC和广义相机模型的关系该约束可以容易地被一般化到多相机运动的特殊情况，例如：平面运动和已知的垂直方向。当运动是平面的（即，当摄像机被固定到其上时，主体在平面上移动; 3D 0 F），单个AC足以恢复多相机系统的平面运动。为了处理退化的情况下，1AC求解器，我们还提出了一种新的方法来估计相对姿态从两个AC。基于点的求解器[29]需要至少两台PC，并且需要Ackermann运动模型来保持。第 三求 解器 被 提出 用于 当 垂直 方向 是 已知 的（4D0F）时的情况，例如：从附接到多相机系统的IMU。我们表明，两个AC是足够的恢复相对姿态。相反，基于点的求解器需要四台PC [30，48]。2. 相关工作由于不存在单个投影中心，多相机系统的相机模型不同于标准针孔相机。Pless提出将光线表示为Plücker线，并提出了广义相机模型，该模型已成为多相机系统的标准表示[41]。 Ste w e'niusetal. 提出了第一个最小的解决方案，以估计的相对姿态 一个由6台PC组成的多摄像头系统，可生成多达64个解决方案[24]。Li等人提供了几种线性解算器来计算相对姿态，其中最常用的一种需要17台PC [32]。 Kneip等人 提出基于特征值最小化的相对姿态估计的迭代方法[27]。Ventura等人使用旋转的一阶近似来简化问题，并根据6个PC [50]估计相对姿态。通过考虑附加运动约束或使用由IMU提供的附加信息，可以进一步减少所需PC的数量。Lee等人提出了一种具有两个PC的最小解决方案，用于多相机系统的自我运动估计，其通过Ackermann运动模型约束相对运动[29]。另外，当多相机系统的共同方向已知时，即IMU提供多相机系统的横滚角和俯仰角时，已经提出了各种算法。已知垂直方向的相对姿态估计需要至少4个PC [30，48，34]。最近已经提出利用除了图像坐标之外的附加仿射参数用于单目相机的相对姿态估计，这显著地减少了所需点的数量。Bentolila等人估计了三个AC的基本矩阵[8]。Ra- poso等人使用两个AC计算单应性和本质矩阵[43]。Barath等人导出了局部仿射变换与本质矩阵之间的约束关系，并从两个AC中恢复了本质矩阵[4]。Hajder等人 [20]和Guan等人 [18，19]提出了在平面运动假设或垂直方向知识下来自单个AC的相对姿态的几个最小解上述工作仅适用于单目透视相机。对于多相机系统，Alyousefi等人最近提出了一种线性求解器，用于使用6个AC [2]估计相对姿态。Guan等人通过利用一阶旋转近似[17]从2个AC估计相对姿态。在本文中，我们专注于最小数量的AC估计的相对姿态的多相机系统。表1显示了求解器的摘要，包括运动的自由度、特征类型和所需的点数。表1.多相机系统的相对姿态解算器求解器[32个][27日][24日][二]《中国日报》[30个][48个][34个]1AC平面2AC平面2AC垂直运动6DOF4DOF3DOF4DOF特征PCsACSPCsACS点编号17864123. 来自AC的多相机系统由由C1表示的各个相机组成，如图1B所示。1.一、以同一摄像头看到的AC为例。几何约束可以容易地推广到AC被不同相机看到的情况。在多相机参考系中表达的相机C1的外部参数被表示为（ Ri，ti）。对于一般运动，在时间k和k+1处的两个参考系之间存在3D0F旋转和3D0F平移。使用Cayley参数化的旋转R···6070×−z×个我不×个我IJIJXyzij（1：2）ij（1：2）IJIJIJIJR，0ΣRTRRiRTRti+RTt−RTtiΣΣ Σ（2）并且平移t可以写为：R=1.1+q2+q2+q2其中[RitCi]=R[ti]×RT+[t]×[ti]×。本质矩阵E和局部仿射变换A的关系公式如下[4]：x y z1+q2−q2−q22qxqy−2qz2qy+2qxqz222（ETx′）=−（ATEx）、（7）2qx qy+ 2qz1−qx+qy−qz2qy qz− 2qx，2qxqz− 2qy2qx+ 2qyqz1−q2−q2+q2哪里、T′ ′x y z（一）尼伊季Exij和nij，Exij表示极线不t=tx ty t，其中[1，qx，qy，qz]T是齐次四元数向量。注意，在Cayley参数化中禁止180度旋转，但这对于连续帧是罕见的情况3.1. 广义相机模型在时间k和k +1处的相机Ci的帧中以其隐式形式的线。 下标1和2分别表示方程组的第一和第二方程。Ais一个33矩阵：A=[A0;00]。 通过替换Eq。（6）进入当量（7），我们得到：（RTRT[RitCi]TRix′）（1：2）i×ij（八）我们简要描述了广义相机模型（GCM）[41]。让我们将连续帧k和k+1之间的相机Ci中的AC表示为（xi j，x′i j，A），其中xij和x′i j是归一化齐次图像坐标A是一个2×2的局部仿射变换。=−（ATRT[RitCi]×RRixi j）（1：2）。基于等式在等式（3）中，将上述等式重新公式化并展开如下：（RT（[t]RT+RT[t]−R[t]）p′）=第 索引i和j是相机和点索引，re-ii××i ×ij（1：2）（九）分别为。相关的局部仿射变换A是2 2线性变换，它将xij和x′ij周围的无穷小块联系起来[3]。在多相机参考系中表示的归一化的同质图像坐标（pij，p′ij）被给出为（ATRT（R[ti]×+[t]×R−[ti]×R）pi j）（1：2）.当量（9）解释局部仿射变换在两个帧k和k+1之间对来自多相机系统的第i个相机隐含的新的对极约束。p =R x，p′=R x′.（三）对于每个AC（xij，x′ij，A），我们得到三个多项式国际新闻国际新闻基于Eqs。 （4）和（9），见补充材料在多相机参考系中表示的光线的单位方向（uij，u’ij）被定义为：uij=pij/pij，u’ij=p’ij/p’ij。对应于射线的6维向量Plu¨ c ker线表示为lij=[uT，（ti× t）]有关详细信息受自动驾驶汽车、地面机器人或AR耳机等场景的启发，我们研究了多相机运动的相关特殊情况，即：、平面运动和已知垂直方向的运动，见图1。二、我们表明，两种特殊情况下，可以有效地解决与AC。uij）T]T，l′ =[u′T，（ti×u′）T]T. 广义极线约束写成[41]l′TΣ[t]×R，RΣlij= 0，（4）4. 平面运动其中，l′T和lij是在时间k和k + 1处两个连续帧之间的Plu-ker线。3.2. 仿射变换约束我们将连续帧k和k+1之间的相机坐标系Ci的转移矩阵表示为（RCi，tCi），其表示为：(a) （b）已知垂直方向图2.多相机运动的特殊情况：（a）顶视图中的平面有三个未知数：偏航角θ、平移方向φ和平移距离ρ。（b）已知的动议ΣRCitCiΣ=ΣRitΣ−1ΣRtΣ ΣRtiΣ垂直方向有四个未知数：a Y轴旋转Ry01010101（五）我我6071我以及3D平移~t=[t~x，t~y，t~z]T。=iii ii第0页，共1页相机Ci的两个帧的基本矩阵E被给出为：E= [tCi]×RCi=RT[RitCi]×RRi，（6）当假设相机系统刚性固定到其上的身体在平面表面上移动时（如图1B中所示）。在图2（a）中，在参考系k和k + 1之间仅存在Y轴旋转和2D平移。类似于Eqs。在等式（1）和（2）中，旋转R=Ry和平移t6072yyz2--yyy.Σ1联系我们y2M21M22M23tz=0，（11）（i，j∈[1，3]）是系数矩阵的元素i=0时yyIMUl′×个yyΣΣΣRimu=RpRr从帧k到k+1的等式被写为：使用两个AC来估计相对姿态。例如，第一AC的第一约束和第二约束，以及第二AC的第二约束。1−q20−2qyRy=1+q20 1+qy0，2qy0 1−q2（十）三个未知数的方程，正如Eq。（十一）、解决方案-操作过程保持不变，只是不t= t x0t。其中，q y=tan（θ），t x=ρsin（φ），t z=ρ cos（φ），ρ是两个多相机参考系之间的距离。4.1.一次多项式化通过替换Eq。（10）转化为Eqs.利用方程（4）和（9），我们得到了一个关于三个未知数qy，tx和tz的三个多项式的方程组。由于AC通常为相对姿态提供三个独立约束，因此单个AC足以恢复多相机系统的平面运动。在将qy与tx、tz分离之后，来自AC形式的矩阵方程的三个独立约束：1M11M12M13tx构造系数矩阵M（q，y）的步骤被替换。5. 已知垂直方向的相对姿态在本节中，提出了使用两个AC的最小解决方案，用于具有已知垂直方向的多相机系统的相对运动估计，参见图2。第2段（b）分段。在这种情况下，IMU与多相机系统耦合，并且IMU与参考系之间的相对旋转是已知的。IMU为参考系提供已知的侧倾角和因此，参考系可以与测量的垂直方向对准，使得对准的参考系的X-Z平面平行于地平面，并且Y轴平行于垂直方向。用于将参考系对准到经对准的参考系的旋转Rimu被写为：yM31M32M331100`xr rM（qy）=0cos（θ p）sin（θ p）−sin（θ r）cos（θ r）0，0−sin（θp）cos（θp）0 01M（q y）和由多项式系数和一个未知变量q y形成，详见补充材料。由于M（q ， y）是方阵，因此等式（11）只有当M（qy）/（1+q2）的行列式为零时才有非平凡解. det（M（q， y）/（1+q，2））=0的展开得到如下的4次单变量多项式quot（ 6wiqi，q2+1）=0，（12）其中，“（a，b）”表示计算a除以b的商，w0，. . . ，w6是由对应特征点之间的Plücker线对应和仿射变换形成的注意，系数由q2+1划分，其其中θr和θp是由下式提供的侧倾角和俯仰角：耦合的IMU。因 此，在时间k和k +1处的对准的多相机参考帧之间仅存在要估计的Y轴旋转R=R′ y和3D平移~t=R′imut=[t~x，t~y，t~z]T。在本节中，我们展示了第3节中的几何约束可以是一般化到具有已知垂直方向的多相机运动5.1. 广义相机模型让我们将来自时间k和k+1处的两个对应的多相机参考帧的横滚角和俯仰角的旋转矩阵表示为Rimu和R’imu。两个参考系之间的相对旋转为降低了多项式次数，提高了求解效率。一元多项式Eq.（12）引线R=（R′imu）TRyRIMU.（十三）到一个显式的解析解与最大的4真正的我们取代Eq.（13）到Eq.（4）产率：根一旦qy的解发现了，剩下的，.ΣR′0ΣΣTΣΣ~tΣR RΣ通过计算零向量来求解线性系统0R'imuIJRy0最后，旋转矩阵Ry从等式（1）中恢复。（十）、然而，我们证明了使用单个AC的求解器具有退化情况，即。，运动平面和相机的光学中心之间的距离相等，参见l'ijRimu00RimuΣlijΣ=0，（十四）补充材料的细节。这种退化的情况可能发生在自动驾驶场景中，这将导致平移方向和平移尺度的变化其中~lij~l′ij`lijx是对应的Plu¨ c ker线ex-无法使用一个AC计算为了克服这个问题，按下对齐的多相机参考帧。第二AC的第一约束也堆叠成三个1+q2其中MIJ通过将qy代入M（qy）来求解已知的tx和tz`6073yΣΣ第0页，共1页M4142岁M43男性44日木蒂穆Rimu0Ritiyi=0时yyΣΣ伊穆~15.2. 仿射变换约束在这种情况下，相机坐标的转换矩阵第一AC的三个约束和第二AC的第一约束被堆叠成4个未知数的4个等式连续帧k和k+1之间的源系统Ci是M~12M~13M~14t~x表示如下：CICI=IMU我我1M~21y~M~22~M~23~M〜 24t〜y=0，（22）ΣR t Σ.ΣR′第0页，共1页0ΣΣRtΣΣ−11+q2M~31M~32M~33M~34t~zΣRy~tΣ.ΣRimu0ΣΣRitiΣΣ。（十五）`M（qy）x010101其中元件M~ij（i = 1，. . . ，4; j =l，. . . ，4）的我们表示R~imu~timu =Rimu0Riti 、010101Σ˜ ′˜′ Σ Σ′ Σ第0页，共1页第0页，共1页第0页，共1页（十六）系数矩阵M~（q， y）由多项式形成Mial系数和一个未知变量Qy，详见补充材料。 由于M~（qy）/（1+q2）是方阵，因此等式（1） 仅当det（M~（qy）/（1+q2））=0时，等式（22）才具有非平凡解。测定结果的扩展quot（Σ8 wiqi，q2+1）=0，（23）RCitCi第0页，共1页Σ（R~′imu）TRyR~imu（R~′imu）T（Ry~timu+~t−~t′imu）Σ第0页，共1页（十七）.其中w~0，. . . ，w~8由两个Plu-ker直线对应和对应特征点之间的两个仿射变换形成。这个一元多项式导致最大值为6解决方案等式（23）可以通过以下等式有效地求解：两个帧之间的基本矩阵E被给出为E=[tCi]×RCi=（R~′imu）T[R~′imutCi]×RyR~imu，（18）伴随矩阵法[11]或Sturm括号法[39]。一旦已经获得qy，旋转矩阵Ry从等式（1）恢复。（十）、对于在时间k处的两个多相机参考帧之间的相对姿态和其中[R’imutCi]×=Ry[~timu]×RT+[~t]×−[~t′]×。通过k+1，旋转矩阵R从等式（1）恢复。（13）和平移由t=（R′）计算）T~t。用等式代替。（18）到Eq.（7）我们得到IMU（R~TRT[R~′tCi]TR~′x′）（1：2）=6. 实验IMUyIMU×个伊季伊斯兰运动（十九）-（A（T（R~′im u）T[R~′im utCi]×RyR~im uxij）（1：2）。我们将在对齐的多相机参考系中表达的归一化的齐次图像坐标表示为（p~ij，p~′ij），其被表示为在本节中，我们对合成数据和真实数据进行了广泛的实验，以评估所提出的方法的性能。我们的求解器相比，国家的最先进的技术。对于平面运动下的相对位姿估计，提出了第0页，共1页=.Nant方程给出6次单变量多项式：通过替换Eq。（16）到Eq。（15）我们得到=6074--IMUyyyIMUIJp~ij=R~imuxij，p~′ij=R~′im ux′ij。（二十）在第4节中被称为1AC平面法和 2AC平面法。该accu-基于上述等式，Eq.（19）改写为活泼 的 1AC平面和 2AC平面比较（R~T（[~timu]×RT+RT[~t]×−RT[~t′]×）p~′）（1：2）=与 的 方法 17pt-Li[32]， 8pt-Kneip[27]，6pt-Stew ′enius[24]和6AC-Ventura[2]。（AT（R~′imu）T（Ry[~timu]×+[~t]×Ry[~tim u]×Ry）p~i j）（1：2）（二十一）5.3.一次多项式化基于Eqs.根据公式（14）和（21），我们得到四个未知数qy、t~x、t~y和t~z的三个多项式的方程组。回想一下，这里提供了三个独立的约束一个AC因此，需要可以从第二AC取得原则上，一个任意方程可以从Eqs.（14）和（21），例如对于具有已知垂直方向的相对姿态估计，第5节中提出的求解器被称为2AC垂直方法。我们比较了2AC垂直 与 方 法 17pt-Li[32] ， 8pt-Kneip[27] ，6pt-Stew´enius[24]，4pt-Lee[30]， 4pt-Sweeney[48]， 4pt-Liu[34]和6AC-Ventura[2]。建议的求解器1AC平面、2AC平面和2AC垂直拍摄3.6, 3.6和17.8在C++中分别为μs。 由于空间限制，6075×个----−在补充材料中提供了效率比较和稳定性研究在实验中，所有的求解器集成在RANSAC拒绝离群值。对于基于点的求解器，仅使用AC的点坐标。选择产生最高数目的内点的相对姿态。RANSAC的置信度被设置为0.99，并且内点阈值角度被设置为0。1◦遵循OpenGV中的定义[26]。我们还展示了我们的方法在KITTI数据集上的可行性[15]。这个实验表明，我们的方法非常适合在道路驾驶场景中的视觉里程计。6.1. 合成数据我们制作了一个模拟的双摄像机钻机系统，如下-0.40.30.20.100 0.51图像噪声（像素）(a) 带图像噪声的εR10.500 0.51非平面运动噪声（度）0.060.040.0200 0.51图像噪声（像素）(b) 带图像噪声的εt0.10.0500 0.51非平面运动噪声（度）1.510.500 0.5 1图像噪声（像素）(c)带图像噪声的21.510.500 0.5 1非平面运动噪声（度）KITTI自动驾驶平台 基线（d）具有平面运动的εR（e）具有平面运动的εt（f）平移方向两个模拟摄像机之间的长度设置为1米，并且摄像机安装在不同的高度。多-噪声噪声平面运动噪声误差摄像机参考系设置在摄像机机架的中心，并且两个多摄像机参考系之间的平移为3米。相机的分辨率为640 -480像素，焦距为400像素。主点被设置到图像中心（320、240）。合成场景由一个地平面和50个随机平面组成。所有3D平面在-5至5米（沿X轴和Y轴）和10至20米（Z轴方向）的范围内随机生成，其在多相机参考系的相应轴中表示我们从接地平面随机选择50个AC，从每个随机平面随机选择一个AC对于每个AC，来自平面的随机3D点被重新投影到两个相机上以获得图像点对。相应的仿射变换通过以下过程获得首先，选择四个点作为视图1中的正方形的顶点，其中正方形的中心是AC的点坐标。正方形的边长设置为20或40像素。较大的边长导致较小的仿射变换噪声。第二，通过地面真值同态计算视图2中的四个对应点。第三，四个采样点对被高斯噪声污染，这类似于添加到图像点对坐标的噪声。第四，使用四个采样点对估计噪声噪声仿射变换是噪声单应性矩阵的一阶近似。该过程实现了向仿射变换添加噪声的间接但几何上可解释的方式[5]。在合成实验中总共进行了1000次试验。在每个测试中，随机生成100个AC。随机选择用于方法的AC，并且在RANSAC方案内产生最多内点的相对姿态上测量误差。这也允许我们通过在类似RANSAC的过程中计算其内点的图3.平面运动下的旋转和平移误差。（a-c）：在理想平面运动下变化的图像噪声。（d-f）：改变平面运动噪声，固定1。0像素标准图像噪声误差的中值用于评估旋转和平移误差。 旋转误差被计算为地面真实旋转和估计旋转之间的角差：εR=arccos（（trace（RgtRT）1）/2），其中Rgt和R是真实和估计的旋转矩阵。根据[42，30]中的定义，翻译误差被定义为：εt=2（tgtt）/（tgt+t），其中tgt和t是基础事实和估计的平移。6.1.1平面运动估计在这种情况下，多相机系统的平面运动由（θ，Φ）描述，参见图1B。第2段（a）分段。两个角度的大小范围为10◦至10◦。我们使用高斯-西安图像噪声的标准偏差范围从0到1个像素。图3（由于仿射变换的噪声大小受采样点的支持区域的影响，因此在相同的图像噪声大小下，基于AC的方法具有更大的支持区域，具有更好的性能。可以看出，即使正方形的大小是20个像素，2AC平面在完美平面运动下也比其他比较方法表现得更好。1AC平面方法在旋转估计方面优于基于PC的方法和6AC-Ventura方法，但在平移估计方面性能较差如图在图3（c）中，我们绘制平移方向误差作为附加评估。有趣的是，当正方形的边长为40个像素时，1AC平面方法在平移方向估计方面比基于PC的方法和6AC-Ventura方法表现得更好。17pt-Li8pt-Kneip6pt-Stewenius6AC-Ventura（20*20）6AC-Ventura（40*40）1AC平面（20*20）1AC平面（40*40）2AC平面（20*20）2AC平面（40*40）旋转误差（度）旋转误差（度）翻译错误翻译错误翻译错误（度）翻译错误（度）6076--我们还评估了所提出的方法1AC平面和2AC平面增加平面运动噪声的准确性。为了测试这样的噪声，我们向多相机系统的运动添加了小的随机生成的X轴、Z轴旋转和YZ平面平移[9]。非平面运动噪声的幅度范围为0◦到1◦，图像噪声的标准差设置为0。50.80.60.40.200 0.5 1图像噪声（像素）0.80.60.40.200 0.5 1旋转噪声（以度为单位）（俯仰）10.500 0.5 1旋转噪声（以度为单位）（滚动）象素图3（(a) 带图像噪声的εR(b) εR与桨距角（c）εR，其中滚动角1AC平面法和2AC平面法。方法17 pt-Li、8 pt-Kneip、6pt-Stew′enius和6AC-Ventura处理6自由度运动情况，在平面性假设下可以看出，2AC平面法的旋转精度较好0.080.060.040.0200 0.51图像噪声（像素）噪声0.080.060.040.0200 0.51旋转噪声（以度为单位）（俯仰）噪声0.10.0500 0.5 1旋转噪声（以度为单位）（滚动）当平面运动噪声小于0. 2◦.由于图1中的2AC平面方法的平移方向的估计精度比图2中的2AC平面方法的平移方向的估计精度低。3（f）的性能令人满意，但平移估计性能差的主要原因是度量尺度估计对平面运动噪声敏感。相对于2AC平面方法，1AC平面方法在旋转估计中具有平移精度随着平面运动噪声的增加而显著降低。1AC平面和2AC平面方法都比比较方法具有显著的计算优势，因为4次多项式方程的高效求解器仅需约3.6µs。此外，由于仅需要单个AC，所以IAC平面方法具有有效地检测正确的内点集的优点，其然后可以用于具有非线性优化的精确运动估计。详见补充资料。6.1.2已知垂直方向的运动在这组实验中，选择两个多相机参考系的平移方向以产生向前、侧向或随机运动。第二个参考框架围绕三个轴随机旋转，角度范围从10◦到10◦。假设已知的横滚角和俯仰角，多相机参考系与垂直方向对准。由于空间限制，我们只显示随机运动的结果其他结果见补充材料。图图4（a）和（d）示出了具有完美IMU数据的2AC垂直对抗图像噪声的性能该方法对图像噪声具有较强的鲁棒性，且性能优于其他方法。图 图4（b，e）和（c，f）示出了在随机运动情况下2AC垂直对抗IMU噪声的性能，而图像噪声的标准偏差固定为0。5像素。注意，方法17 pt-Li、8pt-Kneip、6pt-Stew´enius和6AC-Ventura不受IMU噪声的影响，因为这些方法不（d）具有图像噪声的ε t （e）εt 具有俯仰角（f）εt，具有滚转角噪声噪声图4.已知垂直方向的随机运动下的旋转和平移误差上排：旋转错误。底行：翻译错误。（a，d）：变化的图像噪声。（b、e）和（c、f）：改变IMU角度噪声并且固定1. 0像素标准图像噪声使用已知的垂直方向作为先验。方法4pt-Lee、4pt-Sweeney和4pt-Liu使用已知的 很有趣的是在随机运动的情况下，即使IMU噪声在0左右，所提出的方法也优于比较方法。4◦.在向前和侧向运动下的结果还表明，2AC垂直方法对图像噪声的表现基本上优于所有比较方法，并且为增加IMU噪声提供了相当的精度。6.2. 真实数据我们在KITTI数据集[15]上测试了我们的方法的性能，该数据集由来自前向立体相机的连续视频帧组成。地面真实姿态由内置GPS/IMU单元提供。我们忽略了它们视场中的重叠，并将其视为一般的多相机系统。将标记为0至10的序列（其具有基础事实）用于评估。因此，在总共23000个图像对上测试该方法。通过应用ASIFT [38]检测器来建立每个相机中的连续帧之间的AC。AC的提取也可以通过MSER [37]、GPU加速或从后续视频帧的SIFT特征近似AC来加速。跨两个相机的AC不匹配，并且由于连续帧之间的移动很小，所以不估计度量尺度。此外，对来自IMU的加速度随时间的积分更适合于恢复刻度[40]。所有的求解器已被集成到一个RANSAC计划。17pt-Li 6pt-Stewenius 4pt-Sweeney 6AC-Ventura（20*20）2AC垂直（20*20）8pt-Kneip 4pt-Lee6AC-Ventura（40*40）2AC立式（40*40）翻译错误旋转误差（度）翻译错误旋转误差（度）翻译错误旋转误差（度）6077序列17pt-Li [32]8pt-Kneip [27] 6pt-St. [24日]4pt-Lee [30]4pt-Sw. [48个]4pt-Liu [34]6AC-Ven. [二]《中国日报》2AC平面2AC垂直εRεtεRεt εRεtεRεtεRεtεRεt εRεtεRεtεRεt00（4541图像）0.139 2.4120.130 2.4000.229 4.007 0.065 2.469 0.050 2.190 0.066 2.5190.142 2.499 0.280 2.243 0.031 1.73801（1101张图片）0.158 5.2310.171 4.10241.19 0.137 4.782 0.125 11.91 0.105 3.7810.146 3.654 0.168 2.486 0.025 1.42802（4661张图片）0.123 1.7400.126 1.7390.186 2.508 0.057 1.825 0.044 1.579 0.057 1.8210.121 1.702 0.213 1.975 0.030 1.55803 (801图像）0.115 2.7440.108 2.8050.265 6.191 0.064 3.116 0.069 3.712 0.062 3.2580.113 2.731 0.2381.8490.0371.88804 (271图像）0.099 1.5600.116 1.7460.202 3.619 0.050 1.564 0.051 1.708 0.045 1.6350.100 1.725 0.116 1.768 0.020 1.22805（2761张图片）0.119 2.2890.112 2.2810.199 4.155 0.054 2.337 0.052 2.544 0.056 2.4060.116 2.273 0.185 2.354 0.022 1.53206（1101图像）0.116 2.0710.118 1.8620.168 2.739 0.053 1.757 0.092 2.721 0.056 1.7600.115 1.956 0.137 2.247 0.023 1.30307（1101图像）0.119 3.0020.112 3.0290.245 6.397 0.058 2.810 0.065 4.554 0.054 3.0480.137 2.892 0.173 2.902 0.023 1.82008（4071张图片）0.116 2.3860.111 2.3490.196 3.909 0.051 2.433 0.046 2.422 0.053 2.4570.108 2.344 0.203 2.569 0.024 1.91109（1591图像）0.133 1.9770.125 1.8060.179 2.592 0.056 1.838 0.046 1.656 0.058 1.7930.124 1.876 0.189 1.997 0.027 1.44010（1201张图片）0.127 1.8890.115 1.8930.201 2.781 0.052 1.932 0.040 1.658 0.058 1.8880.203 2.057 0.223 2.296 0.025 1.586表2.KITTI序列上的旋转和平移误差（单位：度）。方法17pt-Li [32] 8pt-Kneip [27]6pt-St. [24日]4pt-Lee [30]4pt-Sw. [48个]4pt-Liu [34]6AC-Ven.[二]《中国日报》2AC平面2AC垂直平均时间52.8210.3679.760.850.630.456.830.070.09标准偏差2.621.594.520.0930.0570.0580.610.00710.0086表3.RANSAC在与不同求解器组合的KITTI序列上平均的运行时间（单位：s）。将所提出的方法2AC平面和2AC垂直与 17 pt-Li[32]、8 pt-Kneip[27]进行比较，6pt-Stew´enius[24]，4pt-Lee[30]，4pt-Sweeney[48]，4pt-Liu[34]和6AC-Ventura[2]。由于KITTI数据集是由具有相同高度的两个相机的立体装置捕获的，这是1AC平面方法的退化情况，因此在实验中不执行。对于2AC平面方法，还将结果与6D0F相对姿态的地面实况进行比较，即使该方法仅估计具有平面运动假设的两个角度（θ，Φ）。对于2AC垂直方法，从GPS/IMU单元获得的滚动角和俯仰角用于将多相机参考系与垂直方向对准[44，18，31]。为了确保实验的公平性，还为方法4pt-Lee[30]，4pt-Sweeney[48]和4pt-Liu[34]提供了滚转角和俯仰角，这些方法使用已知的垂直方向作为先验。表2示出了旋转和平移估计的结果。每个单独序列的中值误差在与不同求解器组合的KITTI序列上平均的RANSAC的运行时间在表3中示出。 所报告的运行时间包括不具有特征提取的鲁棒相对姿态估计，即采用RANSAC算法结合最小解算器恢复相对位姿所提出的2AC垂直方法提供了所有方法中最好的整体性能。6pt-Stew′enius方法在序列01上表现不佳，因为该序列是一条几乎没有易处理的近距离物体的高速公路，并且该方法在RANSAC方案中的前向运动下总是无法从多个解中选择 此外，有趣的是2AC 平 面 方 法 的 平 移 精 度 基 本 上 优 于 6pt-Stew′enius方法，即使平面运动假设不适合KITTI数据集。为了使比较结果可视化，在补充材料中绘制序列00的估计轨迹。由于计算效率的好处，2AC平面方法和2AC垂直方法都非常适合于找到正确的内点集，然后将其用于视觉里程计中的精确运动估计。7. 结论通过利用几何约束来解释AC和广义相机模型之间的关系，我们提出了三种解决多相机系统相对位姿估计的方法。在平面运动的假设下，我们提出了两个求解器来恢复多相机系统的相对姿态，包括使用单个AC的最小求解器和基于两个AC的求解器。此外，提出了具有两个AC的最小解来求解具有已知垂直方向的多相机系统的相对位姿平面运动和已知的垂直方向假设在自动驾驶场景中都是现实的。我们评估所提出的求解器的合成数据和真实的图像序列数据集。实验结果清楚地表明，所提出的方法提供了更好的效率和准确性的相对姿态估计相比，国家的最先进的方法。致谢本 工 作 得 到 国 家 自 然 科 学 基 金 部 分 资 助（11902349，11727804）。6078引用[1] Sameer Agarwal 、 Hon-Leung Lee 、 Bernd Sturmfels 和Rekha R.托马斯关于极矩阵的存在性。InternationalJournal of Computer Vision ， 121 （ 3 ） ： 403-415 ，2017。一个[2] Khaled Alyousefi和Jonathan Ventura具有仿射对应的多相机运动估计在图像分析和识别国际会议上，第417二、五、八[3] 丹尼尔·巴拉斯。未标定摄像机的五点基本矩阵估计在IEEE计算机视觉和模式识别上，第235-243页，2018年。三个[4] Daniel Barath和Levente Hajder。从两个仿射对应中有效地 恢 复 基 本 矩 阵 IEEE Trans- actions on ImageProcessing，27（11）：5328-5337，2018。二、三[5] 丹尼尔·巴拉斯和祖扎娜·库克洛娃。基于两个方向和尺度协变特征的单应性在IEEE International Conference onComputer Vision，第1091-1099页，2019年