基于模板形状的卷帘快门姿态和自我运动估计

基于模板形状的卷帘快门姿态和自我运动估计Yizhen Lao，Omar Ait-Aider和Adrien BartoliIstitutPasal，Uiverite ClermontAuver gne/ CNRS，France邮箱：lyz91822@gmail.comomar. uca.fr，adrien. gmail.com抽象。我们提出了一种新的方法，绝对相机的姿态问题（PnP）处理滚动快门（RS）的影响。 不同于所有现有的方法，执行3D-2D注册后，增强的全局快门（GS）投影模型与速度参数下的各种运动模型，我们建议使用局部微分约束。这些是通过与模板塑形（SfT）进行类比来建立的。的主要思想包括在考虑RS失真，由于在图像采集过程中的相机自我运动可以被解释为由GS相机捕获的模板的虚拟变形一旦使用SfT恢复了虚拟变形，就通过在原始模板上配准变形场景来计算相机姿态和自我运动该3D-3D配准涉及基于欧几里德点距离的3D成本函数，其比先前工作中使用的基于重新投影误差或代数距离的成本函数在物理上更有意义 合成和真实数据的结果表明，所提出的方法优于现有的RS姿态估计技术的准确性和稳定性的性能在各种配置。关键词：卷帘门;姿态估计;模板形状1介绍许多现代CMOS相机配备有滚动快门（RS）传感器，与全局快门（GS）传感器相比，滚动快门（RS）传感器成本相对较低并且在电子方面具有优势。然而，在RS采集模式下，像素行从图像的顶部到底部顺序曝光。因此，由移动RS相机捕获的图像产生失真（例如，失真）。摆动，歪斜），其击败3D计算机视觉中的经典GS几何模型。因此，非常需要适合于RS相机的新方法。最近，已经设计了许多方法来适应RS相机应用，诸如对象姿态计算[1-3]、来自立体钻机的3D重建[3相机姿态估计（PnP）是从η个3D-2D对应关系计算校准的相机的姿态的问题相机位姿估计是重要的并且广泛地用于机器人的同时定位和地图构建（SLAM）、对象或相机定位以及增强现实（AR）。最2Y. Lao，O.Ait-Aider和A. 巴托丽现有的工作集中于基于具有至少三个点匹配的GS模型[12- 15]来解决最小问题给定这样的最小解，RANSAC和非线性优化是进一步提高鲁棒性和准确性的两个框架[16]。然而，用GS模型估计RS相机姿态没有给出令人满意的结果[17]。一些工作集中在RS相机姿态估计[18，17，19]。这些都试图通过在投影模型中结合相机自我运动来扩展基于GS的PnP解决方案。相比之下，我们在RS投影中提供了一个全新的视角，并提出了一种新的解决方案来同时估计RS相机姿态和自我运动（RS-PEnP）。我们的解决方案是基于与模板形状（SfT）的类比。这是从3D模板和单个图像重建可变形表面形状的问题[20]。我们表明，理论上RS图像失真所造成的相机自我运动可以表示为虚拟变形的三维形状捕获的GS相机。因此，想法是首先使用SfT检索虚拟形状变形，然后通过估计相机自我运动，由于新的3D-3D配准技术，将这些变形重新解释为RS效应。通过将RS PEnP问题转换为3D-3D配准问题，我们证明了我们的RS-PEnP解决方案比现有的工作更鲁棒和稳定[17]，因为要最小化的约束在物理上更有意义，并且都以相同的度量维度表示。1.1相关工作和动机解决遥感几何问题的关键问题之一是将可行的摄像机自运动纳入投影模型。Saurer等人[18]提出一种最小求解器，以基于仅平移模型估计RS相机姿态，其中至少5个3D-2D对应。然而，该解决方案限于特定场景，诸如向前移动的车辆。这对于大多数应用是不可行的，例如手持式相机，无人机或移动机器人，其中自我旋转对RS效应有显著影响[7，21]。Albl等人[19]提出另一个最小求解器，它也需要至少5个3D-2D匹配它是基于一个统一的自我运动模型。然而，它还需要惯性测量单元（IMU）的帮助，这使得算法依赖于附加的传感器。Albl等人还提出了RS-PEnP问题的最小和非迭代解决方案，称为R6 P [17]，通过使用近似的双重线性化模型，可以实现比标准P3 P [12]更高的精度。该近似要求摄影机帧和世界帧之间的旋转很小。因此，需要首先旋转所有3D点以满足基于来自IMU测量或P3P的粗略估计的双线性化假设。该预处理步骤使得R6P遭受对附加传感器的依赖性或P3P给出不令人满意的粗略估计的风险。此外，R6P给出了多达20个可行的解决方案，并且没有提供完美的配方来选择正确的方案，这可能导致性能不稳定。Magerand等人[22]提出了一个多项式投影模型的遥感相机，并提出了有 约束的 全局优化其参数的手段基于模板形状的卷帘快门姿态和自我运动估计3Fig. 1. 所提出的姿态和自我运动估计方法的概述：步骤1：给定RS图像和已知的3D模板，我们使用SfT重建虚拟变形的形状。步骤2：通过在虚拟变形形状和模板之间执行3D-3D配准，同时获得RS相机姿态和自我运动。利用广义矩量法得到了半定规划问题的一个新的性质。与其他方法相反，它们的优化不需要初始化，并且可以被考虑用于RANSAC框架中的自动特征匹配。不幸的是，解决方案是留给一个自动的，但计算昂贵的求解器。总之，一个新的高效和稳定的解决方案，以估计姿态和自我运动的RS相机下一般的运动，而不需要其他传感器，仍然是缺乏从文献中。许多潜在应用高度需要这样的解决方案。1.2投稿与论文组织本文的主要贡献是：• 我们表明，并证明第一次RS效应可以解释的GS为基础的投影的一个虚拟变形的形状。因此，我们展示了SfT和RS-PEnP问题之间的相似性。• 我们提出了一种新的RS-PEnP方法，如图所示。1，其首先使用SfT恢复虚拟模板变形，然后使用3D-3D配准计算姿态和速度参数。我们首先介绍RS投影模型和RS相机姿势问题的制定在第2节。然后，我们在第3节中简要介绍SfT问题。SfT和RS-PEnP问题之间的联系在第4节中进行了分析。在第5节中，我们展示了如何通过使用3D-3D配准来检索RS相机姿态和自我运动在第6节和第7节中给出了对所提出的方法和结论的评价4Y. Lao，O.Ait-Aider和A. 巴托丽Z˜我我2RS位姿与自我运动问题2.1RS投影模型在静态情况下，RS相机相当于GS相机。它遵循经典的针孔相机投影模型，该模型由世界坐标系和相机坐标系之间的内参数矩阵K、旋转R∈SO（3）和平移t∈R3定义[23]：qi=Σ GS（K[R t]P~i）=Π GS（KQi）（1）其中，GS是GS投影算子，其被定义为GS（[X Y Z] Z）=1[X Y] Z，P i是3D点P i=[Xi，Yi，Z i] Z在世界坐标中的齐次坐标，其通过相机姿态变换为相机坐标作为Q i。最后，q i=[ui，vi]是它在图像中的投影。对于移动的RS相机，在帧曝光期间，每行将依次被捕获并且因此具有不同的姿态，从而产生新的投影算子ΠRS。因此，Eq. (1)变成：qi=Π RS（KQi）=Π GS（KQRS）=Π GS（K[R（Vi） t（vi）]P~ i）（2）其中R（vi）和t（vi）定义当获取索引vi的图像行时的相机姿态因此，世界坐标中的静态3D点P1被变换成相机坐标中的QRS而不是Q12.2RS姿态和自我运动估计（RS-PEnP）除了[24]，所有现有的RS方法都是基于在图像采集期间通过旋转和平移速度参数来增强投影模型。考虑到一帧的扫描时间通常非常短，考虑不同的运动学模型以表达R（vi）和t（vi）。不幸的是，这些附加参数在投影模型中带来非线性。然后，应该找到一个折衷的运动模型的准确性和可能性之间找到一个优雅的和有效的解决方案的RS-PEnP问题。真实的简化模型是在每次图像采集期间的均匀运动（即，恒定的平移和旋转速度）。3从模板生成形状SfT是指基于模板的单目3D重建的任务，其通过使用不同的基于物理的变形规则来估计可变形表面的3D形状[25，20]。图2示出了SfT的几何建模。3D模板τR3通过3D变形Ψ∈C1（τ，R3）变换为变形形状SR3如果ΩR2是一个二维空间，通过展平一个三维模板τ得到，那么一个未知的变形嵌入C1（Ω，R3）将一个二维点p∈Ω映射到Q∈S。最后，Q可以通过已知的基于模板形状的卷帘快门姿态和自我运动估计5布吕普图二、SfT的几何建模基于GS的投影函数Ω和I之间的已知变换表示为η。它是使用如[26]中的B样条从3D-2D点对应获得的。SfT的目标是在给定p、q和在p处的光流的一阶导数，即λ η（p）。用于求解SfT的变形约束可以分类为：• 等轴测变形测地线距离通过变形保持[20，25-28]。这种假设通常适用于纸、布和立体物体。• 共形变形等距约束可以放松到保形变形，这保留了角度并可能处理各向同性可扩展表面，例如气球[20]。• 弹性变形线性[29，30]或非线性[31]弹性变形用于约束可延伸表面。弹性SfT没有局部解，与等距SfT相反，且需要边界条件可用，作为一组已知3D表面点。4在RS下移动对象还是在GS下变形模板？4.1RS投影与地表变形的等价性在本文中的主要思想是，在RS图像中的相机自我运动引起的失真可以表示为一个GS相机捕获的三维形状的虚拟变形。我们首先对变形Ψ之后的已知3D形状的GS投影进行建模：mi =GS（K（Pi））（3）如果我们将变形定义为ΨRS（Pi）= R（Vi）Pi+ t（Vi），则等式(3)与Eq相似。（二）：mi =ΠGS（KΨRS（Pi））=ΠGS（K（R（Vi）Pi+t（Vi）=ΠRS（KQi）⑷6Y. Lao，O.Ait-Aider和A. 巴托丽图三.刚性物体的RS投影和虚拟变形模板的GS投影之间的等价性。见图4。由RS相机在不同的原子自我运动（第一行）下捕获的3D模板形状（绿色）产生失真的RS图像（第二行）。也获得完全相同的图像作为对应的虚拟变形的图像的投影。3D形状（蓝色）到GS相机（第三行）。给出了相应的虚拟变形类型，详见正文。当量(4)图3显示了由移动的RS相机观察到的3D形状等效于由GS相机拍摄的相应变形的3D形状。我们将该虚拟对应变形ΨRS命名为等效RS变形，并且将虚拟变形形状ΨRS（Pi）命名为等效RS变形形状。4.2虚拟遥感器变形形状的重建在显示RS-PEnP和SfT问题之间的联系后，我们专注于如何通过使用SfT重建等效RS变形形状。由于模板的物理性质的假设在解决SfT问题中起着至关重要的作用，我们应该确定哪一个变形约束可以最好地描述等效RS变形。任何RS自我运动都可以被视为六种原子自我运动的组合：沿X（dx），Y（dy），Z（dz）轴的平移和围绕X（dx），Y（dy），Z（dz）轴的旋转。基于模板形状的卷帘快门姿态和自我运动估计7X（ωx），Y（ωy），Z（ωz）轴。图4示出了由不同类型的RS自我运动产生的RS图像和等效RS变形形状。Albl等人[19]和Rengarajan等人[32]示出了由相机自我运动产生的四种不同类型的RS效果（2D变形）。不同的是，我们专注于虚拟3D变形。图4还示出了通过假设3D模板的垂直扫描方向，(i) 水平摆动：沿x轴的平移、沿y轴和z轴的旋转在这种情况下，距离仅沿水平方向保留，而角度在变形期间改变。(ii) 垂直收缩/延伸：沿y轴的平移或沿x轴的旋转产生类似的效果，其沿扫描方向（垂直）收缩或延伸3D形状。该变形保留沿水平方向的距离，但改变角度。因此，与弹性变形不同，在垂直方向上拉伸表面将不会在水平方向上引入压缩。(iii) 垂直摆动：除了水平摆动之外，沿着z轴的旋转也导致在垂直方向上的摆动。沿水平方向的距离保持不变，而角度动态变化重要的是要注意，虚拟变形不遵循任何基于经典物理学的SfT表面模型，诸如等距、一致性或弹性：等距表面变形保留沿着所有方向的距离，而等效RS失真仅保留沿着水平方向的距离。保形变形是等距模型的松弛，其允许局部各向同性缩放并且在变形期间保持角度。然而，它不能描述虚拟变形角度如何变化。弹性表面在一个方向上拉伸并且通常在正交方向上产生延伸。相反，在等效RS变形期间，沿水平方向不发生收缩或延伸。我们专注于基于等距和保形变形来重建等效RS变形形状，原因如下：• 等轴测约束沿三维形状上的水平方向保持不变由于图像采集时间通常较短，三维形状的拉伸和压缩效果有限，这使得等距模型在实践中起作用。或者，适形模型可以重建可扩展的3D形状[20]。因此，作为等距模型的松弛的共形模型在理论上可以被认为是等效RS变形的更好近似。• 当RS相机处于一般的自运动时，会产生复杂的等效RS变形形状，一般的自运动是由六种原子自运动组成的。因此，形状上的不同曲面片可以处于不同的3D变形下。重要的是，我们从[20]中使用的等距和共形SfT解利用局部微分约束并独立地恢复形状上每个点周围的假设我们8Y. Lao，O.Ait-Aider和A. 巴托丽J.Σn（n−1）JJJ图五、从共形SfT中选择最佳等效RS形状因此，隐含地使得相机投影在每个邻域中为GS事实证明，这是一个非常温和和有效的假设。• 在[20]中报告了使用等距和共形模型的SfT的分析解，因此其更快并且显示出形成实时应用的潜力[27]。相比之下，弹性模型的现有解决方案变得更慢[29，30]，并且需要RS-PEnP中不可用的边界条件等轴测变形Bartoli等人证明了只有一个解等轴测表面重建从一个单一的看法，并提出了第一个分析算法[20]。后来提出了等距SfT的稳定解决方案框架[28]。由于现有的等距算法，我们可以稳定和有效地获得一个单一的重建等效RS变形的形状RS（Pi）。共形变形与等距情况相反，基于保角的SfT理论上产生一组小的离散解（至少两个）和全局尺度模糊度[20]。因此，我们获得多个重建的等效RS变形形状，通过使用解析SfT方法下的共形约束。然而，只有一个重建接近真实等效RS变形形状ΨRS（Pi）。因此，我们拿起最实际合理的重建的基础上保持沿水平方向的距离。我们假设总共m个重构形状ΨRS（P），j=1，2…m得到。如图5将图像中在扫描方向上彼此靠近的二维点分割成b组Gk，k ∈ [1，b]，每组Nk个点。在实验中，如果两个2D点的行索引的差异低于阈值（实验设置为5个像素），则将它们分组到同一组中。然后，我们计算每个重建的等效RS的全局比例因子sj变形的形状到模板通过使用sj=2Σ′i ∈[1，n]，ii′dii′/dii′，J当检索到的是三维图形和图形之间的隐藏和不透明时，对应的重构3D点ΨRS（Pi）和dΨ RS（Pi’）的欧几里得距离。 我们选择i，i′∈[1，n]，并对该平均值进行自定义和自适应计算。基于模板形状的卷帘快门姿态和自我运动估计9JIIBIIΣ¨¨最后，我们选择具有沿着每个等效RS变形形状xdj’和已知3D模板xdii’之间的水平方向的距离差的最小和的重建Ψ RS（P）作为最佳解：arg minΣΣj∈[1，m]k=1′|（五）|(5)i，i∈[1，Nk]，′i/=i5摄像机位姿和自我运动计算5.1运动学模型与遥感投影由于帧的采集时间通常很短，因此通常可以假设统一的运动学模型（具有恒定的平移和旋转速度）。此外，通过考虑小的旋转角度，我们获得了所谓的线性化模型，该模型已用于许多应用[22，17，8，10]。通过使用线性化的RS自我运动模型，在Eq.(2)变成：R（vi）=（I+[ω]×vi）R0t（vi）= t0 + dvi（六）其中R0和t0是第一行的旋转和平移，我们设置为帧的参考姿态，d和ω=[ω1，ω2，ω3]分别是平移速度和旋转速度。因此，在获取期间的旋转可以由R〇drigues的针对m u la的定义为aa（1-cos（v i ω））+ I cos（v i ω）+ [a] X sin（v i ω），其中ω=| ω|，a =ω/ω。在短捕获时间的假设下，通过第一次泰勒展开，可将多路接收机的R_（odr）方向简化为I + v_i [ ω ]×，其中[ω] ×是ω的反对称矩阵。5.2三维-三维配准在获得等效RS形状ΨRS（P）之后，我们使用RS自我运动模型将虚拟通过迭代地最小化已知3D模板与重建的等效RS形状之间的距离误差，我们可以同时获得相机姿态narg min R（vi）Pi + t（vi）-ΨRS（Pi）（7）R0，t 0，ω，di=1其中，使用经典的PnP方法[34]来初始化R0和t0实际上，我们简单地假设该虚拟变形表面的3D点与模板的对应3D点拟合。这可以被看作是一种配准，其中恢复的参数不仅仅是刚性变换，而是具有恒定速度的局部运动10Y. Lao，O.Ait-Aider和A. 巴托丽见图6。在六种类型的相机自我运动下，通过AnIRS（品红色点）和AnCRS（绿色十字）与地面真实结构（蓝色圆圈）相比重建等效RS变形形状。自我运动参数（ω，d）通过以下两个步骤初始化：（1）将图像点分组为垂直闭合点的集合（使得RS效应可以被忽略）并且针对每个集合运行P3P。(2)通过计算组之间的相对平移和旋转并除以扫描时间来初始化d和ω。或者，我们可以通过将变形表面的点分组为通过3D点变换配准的近3D点的子集来在相同的过程中操作[35]。然而，在许多实际情况下，将d和ω的初始值设置为0更方便，更有效，在我们的实验中，这总是允许收敛到正确的解。6实验在我们的实验中，使用解析等距解[28]1（AnIRS）和解析保角解（AnCRS）[20]1分别在等距和保角约束下重建合成和真实平面和非平面模板的等效Levenberg-Marquardt算法用于来自等式（1）的非线性姿态和自我运动估计（七）、6.1合成数据我们模拟了一个校准的针孔相机，分辨率为640× 480 px，焦距为320px相机随机位于半径为20个单位的球体上，并指向模拟表面（10×10个单位），平均扫描角度从0到90度不等我们在表面上随机绘制n个点以形成3D模板。具有标准偏差σ的随机高斯噪声也被添加到2D投影点q。恢复等效RS变形形状。我们首先评估AnIRS和AnCRS在等效RS变形形状上的重建精度。由于变形的类型取决于RS自我运动的类型，因此我们测量了在六种原子自我运动类型下重建的3D点与3D模板上的对应点之间的距离的平均值和标准偏差（第4.2节）。对于每种运动类型，我们运行200次试验以获得统计数据。我们将3D-2D匹配的数量从10变化到121，并且1http://igt.ip.uca.fr/ab/研究基于模板形状的卷帘快门姿态和自我运动估计11DxDyDzωxωyωz|0的情况。|0. 0130283 0的情况。01136290. 00011830. 0023273 0的情况。0020031 0的情况。1338190|0.0052104|0.0040963 0.00521040.00090370.0000921 0.00084930.0008417σI0.00018100.0000943 0.0000014 0.00008340.0007209 0.0393570σC0.0000318 0.00005290.00003100.0000206 0.0003639 0.0001201Table1. n（|eI|、|eC|）和六种摄像机自运动下AnIRS和AnCRS的等效RS变形形状的单位重建量（σ I，σ C）.使用噪声水平σ= 1 px。在每次试验中，自我运动速度随机设置如下：平移速度从0到3个单位/帧变化，旋转速度从0到20度/帧变化。结果表明，该方法是可行的。6显示AnIRS和AnCRS两者均提供稳定的并且对于等效RS变形形状重建具有高精度结果。表1中的定量评估表明AnCRS通常比AnIRS表现更好。具体而言，它表明AnCRS的优点是显着的情况下，自我旋转沿x或z轴。唯一的例外是沿z轴的平移，其中等效RS变形具有比其他类型相对较小的延伸/收缩。因此，AnIRS给出比AnCRS更好的结果。然而，所有的观察结果证实了我们在4.2节中的分析，即共形曲面通常可以更好地模拟等效RS变形的可扩展性。姿势估计。我们将AnIRS和AnCRS在相机姿态估计中与GS PnP解决方案GS-PnP2 [13]和使用R6 P [17]的RS-PEnP解决方案RS-PnP3进行了由于相机姿态的地面真实值是已知的，因此我们测量了旋转（度）和平移（单位）的绝对误差• 准确度与自我运动速度。我们将3D-2D匹配的数量固定为60，将噪声水平固定为σ= 1 px。我们将平移速度和旋转速度从0逐渐增加到3个单位/帧和20度/帧。在每个配置中，我们使用随机速度方向运行100次试验，并测量平均姿态误差。结果表明，该方法是可行的。图7（a，b）示出了与GS-PnP和RS-PnP相比，AnIRS和AnCRS都提供了对具有所有自我旋转配置（ωx、ωy和ωz）的相机取向和平移的显著更准确的估计。在三种自平移情况下，AnIRS和AnCRS在摄像机旋转估计方面表现出明显的优势，在摄像机平移估计方面的表现如预期的，一旦自我运动强，基于GS的GS-PnP在姿态估计中失败。相比之下，RS-PSTK在平移方面比GS-PSTK获得了更好的结果，但两者都在相同程度上提供了对相机旋转的不准确估计• 精度与图像噪声。 在这个实验中，我们评估了四种解决方案对不同噪声水平的鲁棒性。因此，我们将摄像头固定在2MATLAB中的estimateWorldCameraPose函数3http://cmp.felk.cvut.cz/alblcene/r6p12Y. Lao，O.Ait-Aider和A. 巴托丽见图7。AnIRS、AnCRS、GS GS-PnP和RS-PnP在不同的自我平移（a）、自我旋转（b）、图像噪声水平（c）和匹配数量（d）下的位姿估计误差。平移和旋转速度为1单位/帧和5度/帧。具有从0到2px变化的水平的随机噪声被添加到60个图像点。结果表明，该方法是可行的。图7（c）示出了AnIRS和AnCRS两者对于增加的图像噪声都是鲁棒的。相反，GS-PnP和RS-PnP对图像噪声相对敏感。• 准确度与匹配数量3D-2D匹配的数量对Pests问题有很大的影响。因此，我们评估了所提出的方法与不同数量的3D-2D匹配的性能以1单位/帧和5度/帧的平移和旋转速度固定相机将图像噪声水平设置为lpx。然后我们将比赛数量从10场结果表明，该方法是可行的。图7（d）示出了所有四种方法的估计精度随着匹配的数量而增加。然而，AnIRS和AnCRS提供了更好的结果，在旋转和平移估计相比，GS-PSTs和RS-PSTs。6.2真实数据增强现实与RS视频。利用实际遥感影像对这四种方法进行了进一步的评价提供64个3D-2D匹配的平面标记由手持罗技网络摄像头捕获强RS效应是基于模板形状的卷帘快门姿态和自我运动估计13见图8。通过不同的摄像机姿态和自我运动估计对重新投影的对象边界进行视觉比较。erp是3D标记点的重投影误差。图9.第九条。与真实RS视频的姿态配准的结果：（a）输入RS图像的示例（b）每个帧的旋转和平移误差（c）与地面实况相比，由GS-PnP、RS-PnP、AnIRS和AnCRS估计的由于快速的任意摄像机自我运动而出现在记录的视频上。这种情况可能发生在许多AR应用中。在获得相机的姿态和自我运动后，校准板的边界被重新投影到RS图像中。如图如图8（c）所示，如果姿态和自我运动被准确地恢复，则重新投影的矩阵边界可以完美地拟合平面标记。除了视觉检查之外，每帧的3D标记点的重投影误差的平均值被用作定量测量。在第一帧中，由于小的RS效应，所有四种方法都获得了可接受的重投影矩阵边界。然而，找到更多的内点并不能确保检索到真实的姿态和自我运动，因为RS-PnP产生20个几何上可行的解决方案，并且选择真实的解决方案是具有挑战性的例如图图8（a）示出了我们的AR数据集中的估计姿态，其中仅选取静态相机帧（没有自我运动）。图8（b）显示R6P给出14Y. Lao，O.Ait-Aider和A. 巴托丽分布式位置和巨大的自我运动高达5米/帧，而P3 P和我们的方法给出了类似的姿势。在第二帧中，随着相机快速移动，RS-PnP和基于GS的方法GS-PnP提供相机姿态的不稳定估计。相比之下，所提出的方法AnIRS和AnCRS都显著优于GS-PnP和RS-PnP。值得注意的是，AnCRS实现比AnIRS稍小的再现误差。这与合成实验中的观察结果一致，并证实了4.2节的理论分析，即共形约束更适合于解释等效RS变形。使用真实RS视频进行姿势注册。我们测试了用于SfM重建的姿态配准的四种方法。使用公共数据集[7]，其由安装在钻机上的RS和GS相机捕获。通过对GS图像执行SfM来获得3D点。3D-2D对应关系可以通过将RS图像与GS图像匹配来获得。结果如图所示。9.对于大多数帧，所提出的方法AnIRS和AnCRS给出比GS-PnP和RS-PnP运行时间。实验在2.8GHz的i5 CPU上进行，具有4G RAM。平均而言，AnIRS需要约2.8秒（等距重建为0.1秒，3D-3D配准为2.7秒），AnCRS需要14.6秒（适形重建为10.6秒，3D-3D配准为4秒由于所提出的方法是在MATLAB中实现的，因此在使用C++和GPU加速时可以预期改进，如[27]所示。7结论我们提出了一种新的方法，从一个新的角度解决RS-PEnP问题：使用SfT。通过分析SfT和RS-PEnP问题之间的联系，我们已经表明，RS效应可以解释由GS投影的一个虚拟的变形形状。因此，RS-PEnP问题被转换成3D-3D配准问题。实验结果表明，所提出的方法优于现有的RS-PEnP技术的准确性和稳定性。我们解释这种改进的准确性的结果，从3D-2D配准的问题转化为3D-3D配准的问题。这使得我们能够使用3D点距离而不是重投影误差，重投影误差具有更多的物理意义并使误差项均匀。我们的工作的一个可能的扩展是推导出精确的微分性质的等效RS变形。谢谢。这项工作已经由法国政府研究计划“Inv e s t i s e m e n t s d ' Av e nir”通过ID E X-I S I T E i t i t i v e 16-IDEX-0001（CAP 20-25）、IMobS 3 卓 越 实 验 室 （ ANR-10- LABX-16-01 ） 和 RobotEx 卓 越 设 备（ANR-10-EQPX-44）赞助这项研究也是由欧盟通过区域竞争力和就业计划-2014-2020-（ERDF AURA地区）和AURA地区资助的。这项研究已经通过ERC研究拨款307483 FLEXABLE获得了EU FP7的资助基于模板形状的卷帘快门姿态和自我运动估计15引用1. Ait-Aider，O.，Andreff，N.，Lavest，J.M.，Martinet，P.：使用来自滚动快门 相 机 的 单 个 视 图 的 同 时 对 象 姿 态 和 速 度 计 算 。 In ：EuropeanConferenceonCom up uterVisin，Spr inger（2006）562. Ait-Aider，O.，Bartoli，A.，Andreff，N.：来自单个卷帘快门图像中的线的运动学。在：2007年IEEE计算机视觉和模式识别会议，IEEE（2007）1-6中3. Ait-Aider，O.，Berry，F.：结构和运动学三角测量与滚动快门立体钻机。IEEE International Conference on ComputerVis ion（Iccv）（ 2009）18354. Saurer，O.，Pollefeys，M.，Hee Lee，G.：从卷帘快门图像进行稀疏到密集的三维重建。IEEE计算机视觉与模式识别会议(June（2016年）5. Saurer，O.，Koser，K.，Bouguet，J.Y.，Pollefeys，M.：滚动快门立体声。计算机视觉（ICCV），2013年IEEE国际会议（2013年）6. Hed borg，J.， Ringay，E. Fors'en，P. E、 Felsberrg，M. ：从滚动快门视频中获取的Structureandmotione-mation。在：计算机视觉研讨会（ICCV工作室）。（2011年）7. Hedborg，J.，Forssen，P.E.，Felsberg，M.，Ringaby，E.：卷闸管束调整。计算机视觉与模式识别（CVPR）（2012年）8. 戴，Y.，Li，H.，Kneip，L.：卷帘快门相机相对姿态：广义对极几何。在：IEEE计算机视觉和模式识别会议论文集中。（2016）41329. Kim，J.H.，卡德纳角Reid，I.：滚动快门相机的直接半密集猛击。2016年IEEE国际机器人与自动化会议（ICRA）（2016年1月）130 810. Albl，C.，Sugimoto，A.，Pajdla，T.：卷帘式超稳电机的简并性。In：Euro-peanConferenceonComuterVision，Spr inger（201 6）3611. Ito，E.，Okatani，T.： 基于自标定的卷帘结构临界运动序列的运动分析方法。在：计算机视觉和模式识别（CVPR），2017年IEEE会议上12. Haralick，R.M. Lee，D.，Ottenburg，K.，Nolle，M.：三点透视位姿估计问题的分析与解决。In：Computer Vision and Pattern Recognition，1991. 请参见CVPR' 91 .，I.PuterSocietyConferenceon，I. Pute r S o nfe re n c o n，I.（1991）59213. Gao，X.S.，Hou，X.R.，唐，J.，Cheng，H.F.：透视三点问题的完全解分类IEEE模式分析与建模学报25（8）（2003）93014. 吴，Y.，胡，Z.：Pnp问题重新讨论。数学成像与视觉杂志24（1）（2006）13115. 全湖，加- 地Lan，Z.：线性n点相机姿态确定。IEEE TransactionsonPatterna n a nalys andMac hi nei n e intellige nce21（8）（1999）77416. Leng，D.，（1986 - 1990），美国医学博士，Sun，W.：寻找pnp问题的所有解。In：Imaging SystemsandTech niques，2009. 我是09年的。IEEEInternati onalWor kshopon，IEEE（2009）34817. Albl，C.，Kukelova，Z.，Pajdla，T.：卷帘快门绝对相机姿势。IEEE计算机视觉和模式识别会议论文集。（2015）229216Y. Lao，O.Ait-Aider和A. 巴托丽18. Saurer，O.，Pollefeys，M.，Lee，G.H.：滚动快门姿态估计问题的最小解In：Intelligent Robots and Systems（IROS），2015 IEEE/RSJInternatioiC〇 nference〇 n，IEEE（2015）132819. Albl，C.，Kukelova，Z.，Pajdla，T.：已知垂直方向的卷帘门绝对姿势问题。在：ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition中。（2016）335520. Bartoli，A.，你好 Chadebecq，F.， Collins，T.， Pizarro，D. ：这是一个模 板 。 IEEE Transactions on pattern analysis and machine intelligence 37（10）（2015）20 9 9-211821. Duchamp，G.，Ait-Aider，O.，Royer，E.，Lavest，J.M.： 一种用于局部计算和恢复的卷帘快门兼容方法。 In：VISAPP⑶。（2015）27722. 马格兰德湖Bartoli，A.，Ait-Aider，O.，皮萨罗，D.：利用自动2D-3D图 像 处 理 从 单 个 卷 帘 快 门 图 像 全 局 优 化 对 象 姿 态 和 运 动 。In ：EuropeanConferenceonComuterVisin，Spr inger（2012）45623. 哈特利河齐瑟曼，A.：计算机视觉中的多视图几何。剑桥大学出版社（2003）24. 马格兰德湖Bartoli，A.：一种通用的卷帘快门相机模型及其在动态姿态估计中的应用。在：3D数据处理，可视化和传输国际研讨会。（二零一零年）25. Salzmann，M.，Fua，P.：可变形表面单目重建的线性局部模型。IEEETransactions on Pattern Analysis and MachineIntelligence33（5）（2011）93126. Brunet，F.，Bartoli，A.，Hartley，R.I.：基于单目模板的3D表面重建：凸不可拓与非凸等距方法。ComputerVisi n andImageU nder st andi ng125（2014）13827. Collins，T. Bartoli，A.：[poster] realtime shape-from-template：系统和应用 。 In ： Mixed and Augmented Reality （ ISMAR ） ， 2015 IEEEInternationalSystem，IEEE（2015）11628. Chhatkuli，A.，Pizarro，D.Bartoli，A.，柯林斯，T.：基于曲面积分的等 轴 测 模 板 形 状 生 成 的 稳 定 分 析 IEEE Transactions onPatterna nalysandmac hi neintellige nce39（5）（2017）83329. Malti，A.，Bartoli，A.，哈特利，R.：弹性模板成形的线性最小二乘解在：IEEE计算机视觉和图像处理会议论文集中。（2015）162930. Malti，A.，Herzet，C.：具有空间稀疏变形力的弹性模板形状在：IEEE计算机视觉和模式识别会议论文集中。（2017）333731. Haouchine，N.，Dequidt，J.，伯杰作案手法科廷，S.：单视图增强3D弹 性 物 体 在 ： 混 合 和 增 强 现 实 （ ISMAR ） ， 2014IEEEInternatinalSystemyposiumn，IEEE（2014）229- 236中32. Rengarajan，V.，Balaji，Y.，Rajagopalan，A.：展开快门：CNN校正运动 失 真 。 In ： Proceedings of the IEEE Conference on Computer VisionandPatternRecognitio n.（2017）229133. Zhuang，B.，Cheong，L.F.，Lee，G.H.：滚动快门感知差分sfm和图像校 正 。 In ： ProceedingsoftheIEEEInternationalConferenceonComputerVis in.（2017）94834. Haralick，R.M. Lee，D.，Ottenburg，K.，Nolle，M.：三点透视位姿估计问题的分析与解决。In：Computer Vision and Pattern Recognition，1991. 请参见CVPR' 91 .，IEEEComputerSo cietyConferenceon，IEEE（19 91）592基于模板形状的卷帘快门姿态和自我运动估计1735. Horn，B.K.，Hilden，H.M.，Negahdaripour，S.：非线性数学中绝对方向数的封闭解JOSAA5（7）（1988）1127