The first effect leads to research in RS geometry [9, 14,26, 43] and the second effect to methods for RS imagerectification [15, 27, 38, 40]; see section 2 for a review.All these works, with a few exceptions [28], are basedon certain types of motion assumptions, e.g., kinematicmodels [6, 9, 26, 43, 45], trajectory fitting with polynomi-als [35,37,40] and B-Splines [13,21,30,33,34], pose inter-polation [12,17,38], or homography mixtures [15].In this paper, we tackle the RS absolute pose problem,that is to estimate all the scanline poses from a single RSimage given a template and RS image rectification.Wespecifically consider the case of planar objects, where thetemplate is a 2D Euclidean object model [1, 2, 4, 6, 23, 31].This problem admits a closed-form solution by using a con-stant kinematic motion model [1]. However, as we shallshow in this paper, it is not trivial at all to solve the problemwithout motion assumptions. In this work, we only requirethe camera motion to be smooth; this stems from the RS im-age being a time-coherent set of scanlines rather than jaggedfragments. Aside from this, we do not impose any assump-tion on the actual type of motion the camera undergoes, i.e.,89930滚动快门平面绝对姿态的扫描线单应性0Fang Bai * †，Agniva Sengupta *，Adrien Bartoli * ENCOV，TGI，InstitutPascal，UMR6602 CNRS，Universit´e Clermont Auvergne，法国0fang.bai@yahoo.com，i.agniva@gmail.com，adrien.bartoli@gmail.com0摘要0便携设备上的相机采用滚动快门（RS）机制制造，其中图像行（也称为扫描线）按顺序读取。成像过程中的未知相机运动引起了所谓的RS效应，这些效应在文献中通过运动假设得到解决。在这项工作中，我们提供了一种在没有运动假设的情况下解决绝对姿态问题的解决方案。我们明确地证明，唯一的要求是相机运动的平滑性，而不是对相机运动的更强约束。为此，我们提出了一种针对观察平面场景的RS相机的新数学抽象，称为扫描线单应性，它是一个具有5个自由度的3×2矩阵。我们建立了扫描线单应性与相应的平面单应性之间的关系，平面单应性是一个具有6个自由度的3×3矩阵，假设相机已经校准。我们使用由B样条驱动的平滑图像变形来估计RS帧的扫描线单应性，然后恢复平面单应性以获得基于运动平滑性的扫描线姿态。我们通过各种实验证明了我们的论断。代码和新数据集：https://bitbucket.org/clermontferrand/planarscanlinehomography/src/master/。01. 引言0许多便携设备使用基于CMOS传感器的相机，配备滚动快门（RS）机制，因为它具有低功耗、低价格和高帧率的特点。在RS相机中，每个扫描线在成像过程中按顺序曝光和读取[14]。这与基于CCD传感器的相机不同，后者大多使用全局快门（GS）机制，可以同时读取所有像素行。当成像高动态环境或相机本身在读取这些扫描线时进行高速运动时，RS机制会变得麻烦。一般而言，这些效果有两个方面：0* 同等贡献, † 通讯作者0GS图像 RS图像矫正 RS图像0图1. 使用GS图像作为模板的RS图像矫正。02）RS相机可以生成带有意外伪影（例如畸变和模糊）的图像。89940运动可以是简单的运动学，复杂的动力学，甚至是随机的噪声运动。此外，我们扩展了模板类，包括通过相机的主轴与平面场景垂直的GS图像的情况（见图1），这在实践中很容易获得。最近，有工作[28]试图解释RS图像为变形的GS图像，基于等距和共形的形状模板（SfT）方法[8]。其基本思想是，当RS沿着某个方向移动，例如从上到下的y方向，沿x方向的变形保持相对距离不变，导致x方向上的共形变形约束。然而，一般的（等距或共形）SfT方法同时约束了x和y方向，导致RS运动过约束。为了解决上述问题，我们提出了一种新颖的RS相机几何概念，称为扫描线单应性。RS图像的扫描线单应性集定义了一个图像变形，沿y方向（RS方向）具有任意的灵活性，可以容纳所有可能的相机运动。变形的x方向受到唯一可接受的几何约束，即第y条扫描线是从模板平面上的一条线成像的。本文的主要贡献是建立扫描线单应性理论，具有以下关键点：0•我们提出了扫描线单应性，一种新颖的RS几何概念，给出一个3×2矩阵，将一个RS扫描线上的点映射到模板平面上的一条线。0•我们建立了扫描线单应性和其对应的平面单应性之间的基础单应性方程，该方程由模板到RS图像定义。0•我们通过解闭合形式的凸优化问题，估计由B样条参数化的沿RS方向的扫描线单应性，以适应灵活的相机运动。0•我们提出了一种方法来解决模糊的基础单应性方程，以恢复扫描线姿态，使用一个关节平面单应性参数化和一个受运动平滑启发的GS单应性初始化。0•我们设计了各种实验来证明所提出理论的有效性，从绝对姿态估计到图像矫正。02. 相关工作0RS几何。从Geyer等人[14]对RS几何建模的第一次尝试开始，已经有各种工作被提出。0扩展经典的GS多视角几何技术到RS情况，例如RS极线约束[9]，RS单应性约束[26,44]，RS光流方程[43]，RS束调整[17]，RS立体摄像机[5,39]以及RS立体摄像机的三角测量[3]。0RS绝对姿态。RS绝对姿态问题是从已知模板的单个RS图像中估计扫描线姿态的问题。当模板是欧几里得点云且相机标定已知时，该问题被称为RS透视n点（RS-PnP）问题[1, 2,4, 6, 23,31]。通常，这方面的工作假设RS相机在图像采集过程中以恒定的线性和角速度移动。Ait-Aider等人[1]提出了一个投影RS-PnP公式，通过非线性最小二乘法最小化重投影误差。对于平面对象，也给出了一个使用单应性约束的闭合形式解。[2]中给出了对线对应关系的扩展。Magerand等人[31]提出了使用线性化的Rodrigues公式进行旋转参数化的全局最优解。通过构建一组多项式方程，并通过Gloptipoly求解器进行最小化。已经有工作推导出有效的最小RS-PnP解，用于RANSAC方案。具体而言，Albl等人[6]提出了R6P，第一个非迭代的最小RS-PnP求解器，使用双线性化的RS模型和Gröbner基求解器来解决多项式方程。在[23]中进一步提高了R6P的效率。在[4]中研究了旋转的Cayley参数化。最近，在[24]中考虑了具有未知焦距和径向畸变的RS-PnP问题。0RS图像矫正。有一系列专门用于消除RS畸变的工作，参见[7,29]，用于仅考虑相机平移的早期工作。在使用手机进行拍照的情况下，相机平移通常可以忽略与场景深度相比，因此仅基于旋转建模的工作[15, 27,38]具有启发性。Ringaby等人[38]使用平滑曲线和SLERP（球形线性插值）参数化相机旋转，并使用非线性最小二乘法估计参数。另一项代表性工作来自Grundmann等人[15]，他们提出了一种无需校准的方法，使用混合单应性。Su等人[40]使用图像模糊来恢复潜在的GS图像和相机运动，这些相机运动使用多项式参数化，统一公式。已经利用了场景的几何信息，例如，直线的直线度[37]和曼哈顿世界中的正交消失方向[35]。Lao等人[27]通过首先拟合从恒定速度模型生成的参数曲线，然后在RANSAC方案中从拟合曲线中提取运动参数来改进[35,37]。基于多层3D场景模型的[41]考虑了遮挡。提出了数据驱动的方法q ∝ H(y) p,(1)p ∝ H−1(y) q ∝ xa1(y) + ya2(y) + a3(y).(2)p ∝ J(y)�x1�,(3)J(y)def= [a1(y), ya2(y) + a3(y)]def= [j1(y), j2(y)]. (4)J(y)�x1�= M(y)q ∝ p.(5)H(y)M(y)q ∝ q,(6)(H(y)M(y) − sI)q = 0,(7)89950RS图像平面0平面场景0模板平面0GS图像或物体0RS图像变形0第y个扫描线0物体点0X0X0Y0Y0Z0x0y0W0J ( y )0H ( y )0ℓ ( y )0p0q0图2. RS平面绝对姿态的扫描线几何。0学习运动运动学[36]，或者深度也可以处理模糊[45]，使用传统的神经网络。这些方法适用于训练场景，但不能推广到所有情况。最近，Albl等人[5]展示了如何从具有不同RS方向的RS装置中获得无畸变的GS图像。03. 扫描线单应性模型03.1. 通用点，平面单应性0我们考虑物体是平面的情况，参见图2。我们的模板可以是平面欧几里得物体或其在GS相机中的图像，其主轴与物体平面垂直。在这两种情况下，模板平面上的点可以写成[X; Y]∈ R2，并以齐次形式参数化为p = [X; Y; 1] ∈R3。我们用[q; y]表示RS图像平面上的相应点，并用q = [x;y; 1] ∈R3表示其齐次表示。不失一般性，我们规定RS方向为y轴。因此，对于每个y坐标，沿x坐标的像素同时读出，这些像素受相同的相机姿态影响，称为第y个扫描线姿态。对于第y个RS扫描线上的RS图像点q，q与其对应的模板点p之间存在平面单应性[16]的关系：0其中∝表示相等，直到非零比例。平面单应性H(y)被定义为从模板帧到RS图像帧的映射，因此可以分解以获得第y个扫描线姿态。方程（1）对于第y个RS扫描线上的所有q都成立，并且仅对于第y个扫描线有效。03.2. 扫描线单应性0推导。我们检查RS图像中的第y个扫描线，该扫描线由RS相机在同一时间拍摄的点组成。与该扫描线对应的模板中的点集为p ∝H^(-1)(y)q。由于每个q具有相同的y坐标，因为它位于第y个扫描线上，我们仅使用其x坐标参数化q。为此，我们首先将H^(-1)(y)的列表示为H^(-1)(y) ∝ [a1(y), a2(y),a3(y)]，并写成：0上述内容可以简洁地写成每条扫描线的形式：0我们引入一个新的矩阵 J ( y ) ，称为扫描线单应性：0扫描线单应性矩阵 J ( y ) 定义了一个映射，将 RS图像上的第 y 条扫描线上的点 q 映射到模板平面上的对应点p。显然，这样的映射对于每条扫描线是唯一的，但在不同的扫描线之间是不同的。我们正式地将这个映射表示为一个矩阵 J ( y ) ∈ R 3 × 2 ，称为第 y条扫描线的扫描线单应性。很容易看出，扫描线单应性在尺度上是定义不确定的，因此有 5 个自由度。0扫描线几何。扫描线单应性 J ( y ) 将 RS 图像中的第 y条扫描线映射到模板平面上的一条线，该线由点 x j 1 ( y )+ j 2 ( y ) 参数化，其中 x 可以是任意值。0扫描线单应性的 5个自由度。对于已标定的相机，扫描线单应性的 5个自由度对应于扫描线的部分姿态的 5个参数。这可以从几何上理解。模板平面上的线 ℓ ( y ) 在 1自由度的旋转模糊下被定义，也就是说，在应用 H ( y )之前，我们可以任意沿着线本身旋转 ℓ ( y ) 。03.3. 基本单应性方程0我们引入矩阵 M ( y ) = [ j 1 ( y ) , 0 , j 2 ( y)]，并将方程（ 3 ）重写为：0将方程（ 1 ）和（ 5 ）结合起来，我们得到：0该方程对于第 y 条扫描线上的每个 RS 图像点 q都成立。我们将这个方程明确地重写为：̸[H(y)j1(y)−se1, −se2, H(y)j2(y)−se3]xy1 = 0, (8)N(y) = [e1, ye2 + e3] =100y01 ,(10)H(y)J(y) = sN(y) ⇔ H(y)J(y) ∝ N(y).(11)Γ(y) : R → R5,J(y) =γ1(y)γ4(y)γ2(y)γ5(y)γ3(y)12. (14)89960其中 s � = 0是一个未知的标量。展开上述矩阵形式，我们有：0该方程对于所有给定的 y 和 x 都成立。这意味着 H ( y ) j 1( y ) − s e 1 = 0 。因此我们得到： � �0通过引入一个矩阵：0我们得到基本单应性方程：0该方程将扫描线单应性和相应的平面单应性在相反方向上定义连接起来。基本单应性方程（ 11 ）提供了 5个约束，因为它在尺度上是定义不确定的。03.4. 扫描线单应性估计0扫描线单应性 J ( y ) 是位于 5 维射影空间 P 5中的一个元素。如果底层相机运动平滑，J ( y ) 在参数化为y 的扫描线之间平滑变化，形成 P 5中的平滑曲线。该曲线定义了从 RS图像平面到模板的平滑非线性图像变形。在射影空间中，有许多参数化曲线的方式。这里我们提供一种如下的参数化方式：0�，(12)0其中Γ(y)=[γ1(y), γ2(y), γ3(y), γ4(y),γ5(y)]�是在R5中定义的曲线，以y为参数化。J(y)的右下角元素设置为1以限制尺度。我们认为这样做是合理的，因为如果该元素消失，RS图像点q=[0; y;1]将被映射到模板中的无穷远点，这是一个不可行的事件。在R5中定义的曲线因此在射影空间P5中引出一条曲线。我们使用多项式和B样条[10, 13, 21, 30, 33,34]来参数化Γ(y)，也可以选择其他选项，例如多项式[35,37, 40]、插值[12, 17,38]或混合模型[15]，这些都被广泛利用。无论如何，我们假设每个γj(y)都可以写成：0γj(y)=ϕj(y)�wj，(13)0其中ϕj(y)∈Rm表示给定基函数的集合，wj∈Rm表示要估计的权重参数。给定一组点对{p�q}，我们从方程(3)中给出的扫描线单应性定义中估计Γ(y)。基于参数化(12)，我们制定了以下“代数”成本[16]：0min Γ0�0p � q0� x − xX 1 x − xY 10� Γ(y) − �XY0�����0对于形式为方程(13)的Γ(y)，问题(14)在wj(j=1,...,5)上是线性最小二乘问题，因此可以通过闭合形式求解。在实践中，我们实现了1)对于没有错误匹配的输入对应关系的线性最小二乘求解器，以及2)对于可能受到错误匹配污染的输入对应关系的M-估计器。03.5. 扫描线单应性作为图像变形0所有扫描线上的平滑扫描线单应性J(∙)形成了从RS图像平面到模板平面的非线性图像变形W：0W([x; y;1])定义为J(y)乘以x10�对于RS图像中的所有(x, y)。0变形W捕捉到由相机运动引起的所有可能的图像畸变，假设J(∙)在RS方向y上足够灵活。需要注意的是，到目前为止，我们还没有对相机运动做出任何假设。这与之前的工作[6, 9,12, 13, 15, 17, 21, 26, 30, 33-35, 37, 38, 40, 43,45]根本不同，在这个阶段对可能的运动做出了明确的假设。扫描线几何关系断言第y个扫描线对应于模板平面上的线ℓ(y)=j1(y)×j2(y)。这是我们在RS相机成像过程中能够确定的唯一几何关系。事实上，跨越扫描线的任何几何关系都需要额外的运动假设。这导致了之前的等距和共形基于RS图像变形的明显缺陷[28]，其中变形在x和y两个方向上都受到限制。不用说，沿y方向的约束是无效的，因为它显然是与运动无关的。最后，由扫描线单应性引起的RS图像变形W受到扫描线几何关系的约束，即扫描线是从一条线上拍摄的。等距和共形约束是对这种扫描线几何的近似，因此基于等距和共形的变形[8,28]也是对W的近似，同时它们限制了可能的相机运动。04. 扫描线姿态估计0我们将第y个扫描线的姿态表示为P(y)=[R(y),t(y)]，其中R(y)=[r1(y), r2(y), r3(y)]是10a01b00c89970其中R(y)是旋转矩阵，t(y)是平移向量。我们假设相机已经校准，因此H(y)是所谓的欧几里德单应性，具有6个自由度[11, 32,42]。我们将在第4.1节中从扫描线姿态P(y)给出H(y)的两种参数化方法。根据方程(11)，J(y)对H(y)只提供了5个约束，因此我们无法从方程(11)中解出唯一的H(y)。我们在第4.2节中通过一个优化公式使用近似的GS初始化来解决这个歧义。恢复的H(y)完全满足方程(11)，并且位于初始化的附近，这确保了平滑性。04.1. 平面单应性参数化0模板是一个欧几里得对象。在这种情况下，扫描线姿态P(y)是在对象的XYZ-欧几里得坐标系中定义的。不失一般性，我们假设平面对象在XY平面上定义（即Z=0）。平面单应性采用以下形式：0H Object(y) = [r1(y), r2(y), t(y)]. (15)0模板是一个GS图像。在这种情况下，扫描线姿态P(y)是相对于GS图像的相机姿态定义的。我们考虑GS相机的主轴与平面欧几里得对象正交的情况。平面单应性为：0H Frame(y) = [r1(y), r2(y), r3(y) + t(y)]. (16)0统一的参数化。通过注意到r1(y)，r2(y)，r3(y)构成欧几里得坐标系的一组基，我们可以在该坐标系中对平移t(y)进行参数化，并写成t(y) = t1r1(y) + t2r2(y) +t3r3(y)。根据这个思路，平面单应性H Object(y)和HFrame(y)可以写成：0H(y) = [r1(y), r2(y), ar1(y) + br2(y) + cr3(y)]. (17)0上述H(y)具有以下结构：0H(y) = R(y)S(y)，其中S(y) =0� , (18)0这是一个旋转矩阵和上三角矩阵的乘积。给定H(y)，可以通过H(y)的QR分解获得旋转分量R(y)和平移分量S(y)。04.2. 扫描线姿态估计0将方程(18)代入方程(11)，我们有：0R(y)S(y)J(y)∝N(y)，(19)0这是扫描线姿态估计的基本方程。不幸的是，方程(19)只提供了5个约束，而R(y)和S(y)总共包含6个参数。因此，由于缺少1个自由度，从方程(19)中恢复R(y)和S(y)的过程不是唯一的。为了继续进行，我们首先将方程(19)的解集重写为以下优化问题的最优解：� �0min s(y), R(y), S(y)∥s(y)R(y)S(y)J(y) - N(y)∥2F0s.t. R(y)�R(y) = 1, det(R(y)) = 1,(20)其中s(y)∈R是待确定的尺度因子。问题(20)的最优值始终为零，但最优解不唯一。起初，从方程(19)到问题(20)似乎没有取得任何成果。然而，它给了我们在解决方案中进一步约束的可能性，例如通过初始化或正则化。我们提出了一种基于初始化的方法，它在初始化附近精确地解决方程(19)。我们使用近似GS姿态作为初始化，而其他初始化（例如来自恒定速度模型的初始化）也可以轻松地替代。04.2.1 近似全局快门姿态0如果我们忽略RS效应，所有的扫描线姿态都是相同的，对应于近似GS姿态，其中我们用H GS = R GS S GS表示相关平面单应性。具体而言，在GS近似中，H(y) = HGS对于所有的y都成立。在这种情况下，根据方程(4)，J(y)的第一列与y无关，因此可以用来确定尺度。我们假设J(y)已经通过其第一列进行了归一化，使得∥j1(y)∥2 =1。GS近似中的方程(11)变为：0H GS J(y) = N(y)，对于每个y. (21)0给定一组扫描线y1，y2，...，yn，我们可以闭式地估计HGS如下：0HGS = JN†，(22)0其中J = [J(y1), ..., J(yn)]，N = [N(y1), ...,N(yn)]。我们最终分解HGS以获得RGS和SGS。04.2.2 交替求解扫描线姿态0从给定的近似GS姿态RGS，SGS开始，我们交替估计R(y)和S(y)以找到问题（20）的解。这个过程涉及到给定S(y)解决R(y)，以及给定R(y)解决S(y)。幸运的是，这两个子问题都可以闭式求解。0102000.51.1.2.3.4.5.689980给定S(y)的s(y)和R(y)的估计。这是缩放的特殊正交Procrustes问题[18-20]，其解为：0R(y) = V diag(1, 1, det(VU�)) U�，(23)0其中S(y)J(y)N(y)� =UΣV�是S(y)J(y)N(y)�的奇异值分解（SVD）。最优缩放因子s(y)如下所示：0s(y) = t0tr(S(y)J(y)J(y)�S(y)�)。(24)0给定s(y)和R(y)的S(y)的估计。这是线性最小二乘问题，其解为：0S(y) = I + � 10s(y)R(y)�N(y) - J(y)�v(y)†[0, 0, 1]，0(25)其中v(y) = [0, 0,1]J(y)，v(y)†为其Moore-Penrose伪逆。0算法。从RGS，SGS开始，我们在方程（23，24）和（25）之间交替迭代，直到收敛，以获得第y条扫描线的姿态。重要的是，我们在不需要任何运动假设的情况下实现了上述结果，但是需要RS图像与GS图像相似，这在实践中始终成立。05. 图像矫正0根据前面的介绍，我们已经给出了不需要运动假设的RS平面绝对姿态的解决方案。计算得到的扫描线姿态可以用于矫正RS图像，使得所有的扫描线都处于相同的相机姿态。我们选择任意扫描线y0的姿态作为锚点，并将其平面单应性表示为H(y0)。然后对于每个RS图像像素坐标q在第y条扫描线上，我们得到其矫正后的图像坐标，表示为q'，如下所示：0q'∝H(y0)p∝H(y0)H(y)−1q。(26)0我们使用方程（26）处理所有的扫描线，以获得矫正后的图像。对于图像，由于q'是分数，我们使用基于双线性核的插值的方程（26）进行处理。06. 实验结果06.1. 姿态估计0我们使用来自[12]的合成数据集，具体是来自house transrot1B40序列的12个RS图像。房屋的正面是平面的（见图1的示例）。我们使用GS图像frame09作为模板。该数据集是通过沿扫描线的恒定速度模型进行模拟的，并提供了真实值（GT）的扫描线姿态。0-0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.2 0.25 归一化后的y值0!(y)0未归一化的J(y)0-0.25 -0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15 0.2 0.25 归一化后的y值0!(y)0归一化的J(y)0图3.估计的扫描线单应性J(y)的示例。我们用γ6表示J(y)中的右下角元素，其中γ6在等式（12）中为1，如左图所示。对于校准相机，我们知道J(y)的第一列具有单位范数，请参见第4.2.1节。因此，我们通过其第一列的范数对J(y)进行归一化，并在右侧显示归一化的J(y)。0扫描线单应性的参数化。对于校准相机，根据方程（17）和（4），我们知道J(y)的第一列具有单位范数。因此，我们首先在图3中展示了这种归一化约束如何影响估计的扫描线单应性的复杂性。这个结果显示了简单的J(y)参数化如何暗示更复杂的归一化J(y)。因此，我们建议使用简单的参数化J(y)而不是高级的参数化。扫描线姿态估计和RS图像矫正。我们在图4中报告了两种典型的J(y)参数化的姿态估计误差，即多项式（用p.....表示）和B样条（用p.....c.....表示）。p后面的序列表示多项式的次数，c表示B样条中的控制点数，分别对应于每个曲线γj。结果显示，简单的参数化，例如p11111、p11122和p11111-c33333，在大多数情况下几乎足够，而其他复杂的参数化在对应关系较少时容易过拟合。我们在图1中提供了图像矫正的示例，使用多项式参数化p11122。尽管场景不是严格的平面，但我们可以看到这并没有严重违反平面模型，如图像矫正结果所示。06.2.图像矫正0我们在图5中提供了关于RS图像矫正的其他示例，使用扫描线单应性参数化p11122和p22222-c44444。由于现有的研究并没有专门处理GS图像模板，我们使用基于恒定速度模型的RS平面相对姿态解决方案[26]将模板视为RS图像。我们可以看到处理GS图像模板的特定绝对姿态问题是有用的，特别是当2468101200.0020.0040.0060.0080.01246810120123456 #10 -3246810120.511.5 #10 -3p11111p11122p22222p22233p33333p11111 c33333p11122 c33344p22222 c44444p22233 c44455p33333 c5555589990旋转RMSE0平移RMSE0J(y)的适应度0图4.序列house trans rot1 B40[12]的扫描线姿态估计误差，沿x轴绘制了12帧。我们使用相对姿态误差（RPE）[25]来避免标度变换。p后面的序列表示Γ(y)中每个曲线的多项式次数。c后面的序列表示B样条参数化中的控制点数。扫描线单应性J(y)估计的适应度计算为方程（14）的最优代价的均方根误差（RMSE）。0GS图像模板RS图像我们的：poly：p11122我们的：bs：p22222-c44444 [26]0图5.从前视全局快门图像模板进行滚动快门图像矫正。我们使用手工制作的GS图像作为前三行的模板（来自[17]的图像）和真实的GS图像作为最后一行（来自[22]的图像）。我们将我们的RS平面绝对姿态解决方案与基于恒定速度模型的RS平面相对姿态解决方案[26]进行比较。对应关系以绿色点的形式绘制。0对应关系是稀疏的，例如最后两行。话虽如此，虽然在大多数情况下简单的多项式p11122似乎足够，但先进的B样条参数化可以处理更大的畸变，例如由p22222-c44444矫正的木地板。06.3.处理任意滚动快门运动0为了测试所提出方法的极限，我们使用具有任意RS相机运动的合成数据。数据集生成。我们在图6中使用任意运动模拟了三个具有挑战性的RS图像。三个不同的纹理0将纹理映射到密集采样的平面表面，从而得到从表面到纹理的简单双射映射。使用在R3中使用Bézier曲线生成的任意平滑运动来变换这个模板平面。每个扫描线将描绘这种运动的图像序列组合在一起，得到最终的合成RS图像。0姿态估计。我们在图7中报告了扫描线姿态估计误差，使用与图4中相对姿态误差相同的相对姿态误差。有趣的是，我们发现对于沿X和Y轴的运动，姿态估计结果非常准确，而对于沿Z轴的运动仍然存在一定的精度损失（见附录材料）。RS1RS2RS300.20.40.60.811.21.41.6 #10 -3RS1RS2RS30123456 #10 -3RS1RS2RS300.10.20.30.40.5p11111p11122p22222p22233p33333p11111_c33333p11122_c33344p22222_c44444p22233_c44455p33333_c55555p33333_c66666p33333_c77777p33333_c88888p33333_c9999990000RS图像由GT姿态生成 我们的结果：poly:p33333 我们的结果：bs:p33333-c99999 RSPnP [6]0图6.使用3D物体模板的滚动快门图像矫正。我们模拟任意相机运动，并使用一组均匀分布的参考标记。使用GT姿态获得的矫正结果在第二列中给出。我们报告了我们方法的两个结果，即poly:p33333和bs:p33333-c99999。我们与基于线性化运动模型的标准RS-PnP方法[6]进行比较。RS-PnP方法[6]在RANSAC方案中使用，并且由RS运动模型接受的内点以红色绘制。0旋转RMSE0平移RMSE0J(y)的适应度0图7. 使用与图4中解释的相同度量标准的所有参数化的扫描线姿态估计误差。0补充材料）。然而，这并不会对图像矫正的准确性产生很大影响。0图像矫正。我们在图6中报告了图像矫正结果。尽管存在复杂的运动和荒谬的RS畸变，但我们的方法可以与GT矫正结果几乎完全相同。0以上结果证实了所提出的方法能够处理任意运动，假设底层畸变被对应关系捕捉到。我们发布了我们的代码和数据以供未来比较。更多结果请参见补充材料。07. 结论0我们提出了扫描线单应性，这是一种用于平面RS几何的新的数学抽象。扫描线单应性将RS图像中的扫描线映射到模板平面上的一条线。这样的几何约束引发了图像变形，可以设计成沿RS方向足够灵活，以捕捉任何相机运动。我们建立了关键方程来恢复底层平面单应性和扫描线姿态。绝对姿态估计和图像矫正的实验证实了我们的说法。未来的工作将扩展我们的方法到非平面物体和相对姿态估计。[1] Omar Ait-Aider, Nicolas Andreff, Jean Marc Lavest, andPhilippe Martinet. Simultaneous object pose and velocitycomputation using a single view from a rolling shutter cam-era. In European Conference on Computer Vision, pages 56–68. Springer, 2006. 1, 2[2] Omar Ait-Aider, Adrien Bartoli, and Nicolas Andreff. Kine-matics from lines in a single rolling shutter image. In 2007IEEE Conference on Computer Vision and Pattern Recogni-tion, pages 1–6. IEEE, 2007. 1, 2[3] Omar Ait-Aider and Franc¸ois Berry. Structure and kinemat-ics triangulation with a rolling shutter stereo rig. In 2009IEEE 12th International Conference on Computer Vision,pages 1835–1840. IEEE, 2009. 2[4] Cenek Albl, Zuzana Kukelova, Viktor Larsson, and TomasPajdla.Rolling shutter camera absolute pose.IEEEtransactions on pattern analysis and machine intelligence,42(6):1439–1452, 2019. 1, 2[5] Cenek Albl, Zuzana Kukelova, Viktor Larsson, Michal Polic,Tomas Pajdla, and Konrad Schindler. From two rolling shut-ters to one global shutter. In Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition,pages 2505–2513, 2020. 2, 390010参考文献0[6] Cenek Albl，Zuzana Kukelova和TomasPajdla。R6P-滚动快门绝对相机姿态。在IEEE计算机视觉和模式识别会议上的论文集中，第2292-2300页，2015年。1，2，4，80[7] Simon Baker，Eric Bennett，Sing Bing Kang和RichardSzeliski。消除滚动快门抖动。在2010年IEEE计算机视觉和模式识别会议上，第2392-2399页。IEEE，2010年。20[8] Adrien Bartoli，Yan G´erard，Francois Chadebecq，TobyCollins和DanielPizarro。模板形状。IEEE模式分析与机器智能交易，37（10）：2099-2118，2015年。2，40[9] Yuchao Dai，Hongdong Li和LaurentKneip。滚动快门相机相对姿态：广义极线几何。在IEEE计算机视觉和模式识别会议上的论文集中，第4132-4140页，2016年。1，2，40[10] Carl De Boor和Carl DeBoor。样条的实用指南，第27卷。springer-verlag纽约，1978年。40[11] Olivier D Faugeras和FrancisLustman。在分段平面环境中的运动和运动结构。国际模式识别和人工智能杂志，2（03）：485-508，1988年。50[12] Per-Erik Forss´en和ErikRingaby。从手持设备矫正滚动快门视频。在2010年IEEE计算机视觉和模式识别会议上，第507-514页。IEEE，2010年。1，4，6，70[13] Paul Furgale，Timothy D Barfoot和GabeSibley。使用时间基函数的连续时间批量估计。在2012年IEEE国际机器人与自动化大会上，第2088-2095页。IEEE，2012年。1，40[14] Christopher Geyer，Marci Meingast和ShankarSastry。滚动快门相机的几何模型。第6届全向视觉研讨会，1：4，2005年。1，20[15] Matthias Grundmann，Vivek Kwatra，DanielCastro和IrfanEssa。无校准滚动快门去除。在2012年IEEE国际计算摄影会议上，第1-8页。IEEE，2012年。1，2，40[16] R. I. Hartley和A.Zisserman。计算机视觉中的多视图几何。剑桥大学出版社，ISBN：0521540518，第二版，2004年。1，3，40[17] Johan Hedborg，Per-Erik Forss´en，MichaelFelsberg和ErikRingaby。滚动快门束调整。在2012年IEEE计算机视觉和模式识别会议上，第1434-1441页。IEEE，2012年。1，2，4，70[18] Berthold KPHorn。使用单位四元数的绝对定向的闭合形式解
我的内容管理
展开
