自标定卷帘结构下的简并运动序列问题及补救措施

4321基于自标定的卷帘结构伊东和冈谷赤之，东北大学980-8579仙台，宫城县，日本日本东京都中央区日本桥1-4-1{ito，okatani}@ vision.is.tohoku.ac.jp摘要在本文中，我们考虑临界运动序列（CMSs）的卷帘快门（RS）SfM。本文采用线性化纯旋转的RS相机模型，证明了RS畸变可以近似地表示为“假想”相机的两个内部参数加上类似于镜头畸变的然后，我们重新制定的问题作为自校准的假想相机，其中它的倾斜和纵横比是未知的，并在图像序列中变化。在公式中，我们导出了CMS的一般表示。我们还表明，我们的方法可以解释最近在文献中报道的CMS，然后提出了一个新的补救措施来处理简并。我们的理论结果与实验结果符合得很好;它解释了当我们使用朴素的光束法平差时观察到的退化，以及如何用我们的方法重新解决它们。1. 介绍大多数消费成像设备，如智能手机和运动相机，都使用CMOS传感器，其中大多数使用卷帘快门。近年来，越来越多的注意力已经被用于从具有由滚动快门（RS）产生的失真的多视点图像 已经提出了许多方法，可以在几个不同的问题设置中处理RS失真[7，1，12，6，3]。 标准公式是RS光束法平差（BA），其是假设RS失真模型，并在光束法平差的框架内优化其模型参数以及标准相机参数[12，11，24]。尽管对RS SfM的研究很多，但对其简并性的研究却很少。唯一的例外是Albl等人最近的研究。[4]的文件。他们证明了RS SfM中存在简并情况，然后解释了它产生的机制。然而，该研究仅涉及一个单一的，特定的简并性案例因此，仍然有几个悬而未决的问题，例如，是否有更多的简并和临界情况？这项研究背后的一个核心动机是回答这些问题。我们希望得到RS SfM中简并度的一般表示。然而，这不是一个简单的任务，因为RS SfM是一个高度非线性的问题，有许多未知数。为了减轻这个困难，在本文中，我们将注意力限制在一种简单但实际上重要的RS失真类型上，然后借用经典的相机自校准公式，其中CMS被广泛地研究具体地说，我们首先假设引起RS失真的相机运动是具有恒定角速度的纯旋转，这可能与视点的相机姿态无关进一步假设旋转是小的，可以线性化，然后我们表明，RS失真可以表示为两个内部参数，具体地说，歪斜和纵横比，一个虚构的相机，以及一个参数的非线性变换，这是类似的（并可被视为一种特殊类型的）镜头畸变。 假设这个模型，我们表明，RS SfM可以重铸为自校准的假想相机的情况下，上述参数是未知的，并在图像序列中变化。 在这个自校准公式中，我们将推导出临界运动序列（CMS）的一般表示。我们还导出了一个显式表示的CMS，它与文[4]中导出的CMS一致，并提出了一种新的处理方法，最后通过一系列的实验结果来说明我们方法2. 相关工作已经进行了许多研究来处理单视图或多视图图像中的RS失真。 根据问题的类型，它们被分为绝对姿势问题[1，18，3，23]，相对姿势问题[5]，多姿势问题[6]。视图优化（光束法平差）[11，12，24]，立体[2，22]，以及整流/稳定[6，21，16，9]。801802X与我们的研究关系最密切的是Albl等人的研究[4]的文件。 他们的研究首次表明RSSfM存在退化。具体而言，采用最广泛使用的RS模型与线性旋转和恒速平移，他们显示了CMS的存在。CMS是“所有图像都由具有相同y的相机捕获（即，RS读出）空间方向”。他们证明了这些图像也可以用RS相机和场景都位于一个平面上来解释，这意味着简并。我们的研究不同于他们的研究，因为我们推导出了CMS的一般表示，尽管我们假设了仅旋转相机运动的RS模型。我们还证明了我们的方法可以解释与[4]相同的CMS，但以不同的方式，然后提出了一种新的方法来处理它。另一个不同之处是我们的推导需要线性旋转近似之外的因此，严格地说，我们的结果表明，至少在我们的近似是有效的范围内，RS SfM将满足其中R是旋转矩阵，p是3向量（相机位置的世界坐标）。 假设在帧捕获期间相机运动恒定，滚动快门（RS）失真通过下式建模：阿利什卡R（rφ）R{X（p+rv）}，（2）1其中，c和r是列（x）和行（y）坐标，因此，快门按以下升序关闭：r; R（rφ）和v表示相机运动的旋转矩阵和平移向量;φ=[φ1，φ2，φ3]是旋转的轴和角度表示。注意，R和p是当快门在r = 0处关闭时的相机姿态。假设φ的角度很小，我们近似当量(2)如下所示：阿利什卡r同样的简并性。然而，考虑到所采用的近似的性质，它可能至少会有超过这个范围的不稳定性这些结果与我们的实验结果吻合得很好。哪里1×0φ3φ2[φ]×=φ30φ1φ。（四）如前所述，我们的方法的中心思想是制定的问题作为相机的自校准。从20世纪90年代到21世纪初，相机的自校准被广泛研究[19，14，20，13，15]。研究表明，当所有图像的摄像机内部参数都未知时，无法解决SfM重建中出现的投影模糊问题。 然后表明，如果偏斜为零或如果至少一个内部参数是未知的，但恒定的图像之间，投影模糊可以解决和自校准是可行的。然而，这些结果只能保证自校准是可行的，如果相机运动是一般的。当摄像机运动是CMS时，问题会退化，自标定不再可行。由于CMS因不同而不同-φ2φ10该模型与以前的研究略有不同（例如，[3]）在帧捕获期间相机运动的平移分量的表示中我们的模型参数化了相机在空间中的位置，与其旋转无关，这在物理上更自然。3.2. 仅旋转运动模型下面我们考虑v很小且可以忽略不计的情况。这通常是一个很好的近似，除非相机靠近场景中的对象。设置v = 0，并使用Eq. (1)其中x =[x，y，z] x，等式(3)可以重写如下：输入自校准设置，只有少数设置，阿利什卡x′实际上很重要的是很好的研究[26，17]，如<$r<$$>（I+r[φ]）<$y<$$>（I + r [φ]）<$y′<$，（5）当焦距未知且变化时，1z×1已知参数[27]。在本文中，我们考虑的情况下，歪斜和纵横比是未知的和变化的，所有其他的是已知的。 这种设置没有考虑以前可能是因为缺乏其实用性，我们是第一次尝试在文献中的自校准。3. 卷帘快门失真建模其中x′=x/z，y′=y/z。3.3. 一种基于仿射相机逼近的当量(5) 对以恒定速度旋转透视相机引起的RS失真进行建模。现在，我们用一个近距离的摄像头，3.1. 匀速运动模型cx′x′rφy′+rφ23r设X<$[X，Y，Z]<$和x<$[x，y，z]<$表示世界′′和相机坐标。坐标trans1这两者之间的形成由下式给出：1φx′rφ3y′+rφ 2′1+ε′rφ2x+rφ1y+1φx′rφ3y′+rφ2=（1+ε）<$rφ3x+yrφ1（1+ε），（六）x = R（X p），（1）1+ε11×803111其中ε=rφ2x′+rφ1y′。该模型捕获了RS失真的“主要分量”，因为当x ′、y ′和r较小时，近似值将是准确的在以下情况下，对于主点周围的图像点也是如此：一般照相机或在具有长焦镜头的照相机的情况下用于任何点然而，请注意，我们将不使用这种用于SfM中所使用的投影模型的透视相机近似;关于从（c，r）到图像坐标（u，v）的投影，我们将使用标准的透视相机模型，如等式（1）中所示。（十二）、因此，在上述近似中，我们简单地忽略了RS失真模型内的图像坐标的二阶项的影响。（补充材料中给出了另一个不使用这种有限相机假设的证明第5节将通过实验证明这种近似模型的有效性。当量(6)给出变换f：[x′，y′] → [c，r]。我们表明，f可以近似由两个变换的组合1.提案 当φ1， φ2， φ3 如果f：[x′，y′]→[c，r]很小，则可以近似为：ffp fd，（7）其中fd：[x′，y′]→[x′′，y′]定义为4.1. 问题公式化第二个提案。假设SfM来自具有已知内部参数的相机捕获的图像。假设RS相机模型由等式2给出。（7）-（9），每个图像的运动参数未知。然后，SfM问题相当于具有未知的、变化的偏斜和纵横比以及变化的特殊类型的镜头失真的假想相机的自校准。证据我们的两步模型f=fp<$fd的第一个分量fd可以解释为一种透镜畸变。最广泛使用的镜头畸变模型是x′′=x′+x′（k1λ2+k2λ4）+2p1x′y′+p2（λ2+2x′2）（11a）y′′=y′+y′（k1λ2+k2λ4）+p1（λ2+2y′2）+2p2x′y′， （11b）其中x′<$x/z和y′<$y/z;λ2<$x′2+y′2。右手边的第二项表示径向畸变，第三和第四项表示切向畸变。方程的变换f d。(8) 具有类似的形式;有二阶加法项y′2和x′y′，它们出现在切向畸变项中。考虑方程的第二分量f p。（九）、行和列坐标[c，r]通过内部参数的矩阵K变换为图像坐标[u，v]，如下所示：′′ ′ ′2乌鲁河阿利什卡f0u0X =xφ3y 、（8a）vy′′=y′+φ3x′y′，（8b）0 01且fp：[x′′，y′′]<$→[c，r]为其中f和（u0，v0）是焦距，′′这个相机的点这里我们假设零偏斜和单位阿利什卡电话：+86-21 -8888888传真：+86-21 -88888888为了简单起见，使用纵横比选择其他r ∝ 01φ10毫米。（九）值不会改变下面的讨论潜意识-10 011Eq. (9)上述收益率′′′′证据我们将证明近似（7）成立，乌鲁河f0u0fφ2f u0v1φ10y′=0（1φ1）f v0y′ ′。也就是说，在关于φ1、φ2和φ3的一阶近似中，它的左右两侧相等。取代10 010 0110 011tuting方程(8)进入Eq. (9)忽略φ1、φ2和φ3的二阶项，我们有c=x′+φ2y′φ3y′2，（10a）该矩阵给出了成像相机的内部参数矩阵; 1φ1是其纵横比，φ2是其偏斜。 □4.2. 自校准r= y′φ1y′+ φ3x′y′。（10b）将Eq.的第二个分量代入(6)，r = rφ3x′+y′rφ1，代入第一分量，然后忽略二阶项，也给出（10a）。 进行类似将r代入r本身并忽略二阶项，得到（10b）。□4. 自校准卷帘快门相机我们使用Eqs。（7）-（9）作为我们的RS相机模型。我们首先表明，SfM的模型的基础上制定为一个自校准问804题。通常，自校准是仅根据场景的图像来估计（部分地）相机的未知内部参数，从而获得场景的度量3D重建从20世纪90年代到21世纪初，它被广泛研究[19，14，20，13，15，10]。下面，在总结这些研究的同时，我们将描述如何处理我们的问题。4.2.1可行性如果摄像机的内部参数都是未知的，我们可以得到三维重建的投影模糊。805F0先前研究了关于哪些内部参数的什么样的知识对于解决投射歧义是必要的。它表明[20，13]，这是足够的，如果倾斜消失的所有图像。它还表明[15]，它表明，只有一个五个内部参数是恒定的（但未知）的所有图像;其他可能是未知的，并为不同的图像变化这一结果证明，我们确实可以执行自校准公式以上。因此，理论上，只有当她/他对内部参数有一点了解时，才能进行自校准然而，实际上，这是不正确的，因为有两个原因。一个是临界运动序列（CMS）的存在，这将在后面讨论。另一个是，当大部分内部参数是未知的，它变得很难确定它们与实际的精度。考虑到实际需求，最流行的是假设只有焦距[20]（有时还有主点[17]）是未知的和变化的，所有其他参数都是已知的。有趣的是，我们的情况是已知/未知参数的选择完全相反此外，简单的计数参数给出了自校准的必要条件。设m是摄像机（视点）的数量，nk是已知内部参数的数量，并且nf是恒定（但未知）内部参数的数量。然后，给出一个必要条件[10]：文学作品这可能是由于缺乏应用程序的设置。因此，我们将在第4.3节。4.2.3镜头畸变当进行相机的自校准（或简单地束调整）时，通常联合估计镜头失真（即， k1，. . . 和p1，. . . 由方程式(11)) 以及其他参数。研究人员传统上将镜头畸变参数与五个内部相机参数分开处理。事实上，它们的唯一性和存在性直到最近才得到严格的讨论[30]。考虑到透镜畸变的非线性性质，这种处理确实是合理的;投影变换将一条线映射到另一条线上，而镜头畸变则不会。在本文中，采用相同的位置，并假定fd的参数φ3可等同于透镜畸变参数，我们假定φ3可独立于其它参数而唯一确定。4.3. 用于遥感相机自标定的坐标测量系统我们现在考虑CMS的自校准问题。我们首先根据[10]的第19.2节推导通用方程，然后根据我们的情况修改它们。4.3.1自校准方程假设给定一个射影重建{Pi，Xj}锰钾 +（m 1）nf≥8。（十三）其中，Pi是投影矩阵，Xj是场景点。让Pi=[Ai|ai]。 通过选择坐标系，我们可以在我们的例子中，nk=3和nf=0，由此我们有m≥3作为必要条件。4.2.2临界运动序列即使在上述理论证明自校准可行性的情况下，也可能出现简并依赖于-假设A1=I，a1= 0。设Ki为摄像机i的内部参数矩阵。图像i的DIAC（绝对二次曲线的对偶图像）由ωi= KiKi给出。将投影重构{Pi，Xj}变换为度量重构{PiH，H1Xj}的三维投影变换H可以被编码为：100万美元在相机上摆姿势。一组相机姿势，参数不能唯一确定的称为关键点。H =pK1.（十四）校准运动序列（CMS）。然后，自校准方程（i = 1，. . . ）由下式给出CMS的研究与上述研究平行，自校准的可行性。在[26]中示出了用于恒定相机参数的情况的CMS的目录。ωi=.ΣAiaipω∗1 .Σ⊤Aiaip.（十五）也有一些研究的情况下，一些参数是已知的和/或一些变化。 在[17]中，研究了偏斜消失、另外纵横比已知以及另外主点已知的每种情况。 在[27]中，CMS的目录显示了焦距未知和变化的情况，其他情况是已知的;这是最流行的自校准设置。然而，在本文中考虑的情况下，即，当歪斜和纵横比都是未知的和变化的，而所有其他都是已知的，这里，ω∈i（i = 1，. . . P是未知数。如果知道-边的一些内部参数，它给出了对元素的约束。我们现在在我们的例子中得到这样的约束作为主-对于任何图像，我们都知道UNRpoint，我们可以变换图像坐标，使其为（0， 0）。 则内部参数矩阵为isifiKi=0αifi0。（十六）0 018060=ωFS F不DIAC将在2+2 2sαf2α其中K如等式中那样被参数化。（十六）、可以观察到，如果我们将Y +t Y乘以k并且两者都s和α乘以1/k，因为s（Y+tY）=sk1·k（Y+tY）和α（Y+tY）=ωi=KiKi=sαf2α2f20，（17）10 01其中在矩阵中省略了上标（i 由此，我们对DIAC的元素进行了限制。从左上方的2× 2块中消去s和α，αk·k（Y+tY）. 这意味着我们不能仅从这些图像中确定尺度k，并且该相机运动是一个CMS。□这种CMS的一个示例是在以零仰角水平地保持相机的同时获取图像的情况。这种拍摄图像的方式很常见。ωi =ωif2+ωi2，（18 a）11222212并且（1，3）和（2，3）元素消失，即使摄像机运动不完全匹配该CMS，如果它有点接近它，估计精度也可能会恶化，这取决于它有多接近;参见[4]了解更多恶化情况。拉吉1323=0。（18b）尾的讨论。代入Eq. (15)将ωi（i 1）的元素代入上述方程中，我们得到的方程只有ω1和p作为未知数。 求解这些未知数，我们可以确定H，从中我们可以获得度量重建。4.3.2CMS的表示CMS是一组相机姿态，对于该相机姿态，上述方程变得退化。具体地，对于每个相机i，存在三个等式，其通过下式获得：4.3.3一种解决CMS除了简单地避免它，还有几种可能的方法来应对这种CMS。我们建议使用自标定框架之外的某种方法来确定以某种方式选择的单个相机的φ1或φ2只有一个单一的值解决了上述的模糊尺度k一个实际上很简单的方法是在序列中找出一个没有RS失真（或尽可能小的失真）的图像i，为此我们设置φ i= 0和/或φ i= 0。1 2tuting方程(15) 到Eqs。(18)如上所述。 由于Ai和Ai的不同，它们对于不同的相机是不同的。然而，如果存在一些特殊的在摄像机之间的{Ai，ai}关系我们将通过实验证明，这确实是有效的，只要存在这样一个无失真的图像序列中，它可以识别。除了找到一个在φi=0或φi=0的情况下，我们可以使用1 2这种简并性分析从理论上给出了一个完备的CMS集。事实上，可以检查任何给定的相机运动是否是CMS。然而，它只是隐含地表示，这使得直观理解困难。这也是其他更流行的自校准设置的情况，例如恒定的未知内部参数的情况[26]以及零偏斜和已知纵横比的情况[17]。 对于这种情况，研究人员已经得出了几个实际重要的情况。类似地，我们在这里导出一个直观的CMS，它与[4]中给出的CMS一致。因此，下面给出CMS的另一种解释。3号提案所有图像都由具有平行y轴的相机捕获。这个摄像机动作是CMS。平移分量可以是任意的。证据 我们用Ry（θ）来表示绕y轴的旋转。 选择世界坐标系，我们可以将场景点[X，Y，Z]的图像投影写为取决于可用的外部信息的各种方法。5. 实验结果我们的自校准为基础的制定RS SfM不仅可以用于推导CMS，但也用于执行RS SfM在实践中。为了说明如何用我们的方法处理RS SfM中出现的简并，也为了评估所采用的RS模型近似的有效性，我们将其应用于RS图像，并将结果与地面真实值以及标准BA在有/没有标准旋转线性化RS相机模型等情况下获得的结果进行比较5.1. 将RS相机模型转换为SfM建议的RS模型可以通过以下方式纳入当假设我们的RS模型时，场景点X的投影如下：X首先由Eq变换。(1)转换成摄像机坐标x，X不f（Xcosθ+Z sinθ+t）+fs（Y+t然后用方程变换。(8) 和等式(13) 反过来，XX Y）KRy（）Y+tY=fα（Y+tY）图像坐标[u，v]。我们假设（真正的）内部ZZXsinθ+Z cosθ+tZ（十九）参数（即，Eq的K。(12)) 每个摄像头都是已知的。因此，每个相机的未知数是以下六个参数：ω807腐1表1.实验中使用的图像序列Sequence Dataset #of images fountain-P11EPFL[25]1 11EPFL 8EPFL 19米德尔伯里寺2 10（templeR 0014 -0023）图1.点的图像示例上：两个原始图像的喷泉-P11。低：模拟RS失真。相机姿态加上三个RS参数[φ1，φ2，φ3]。除点云参数外，还对所有相机的这些参数进行束调整。我们使用ceres-solver[8]来实现捆绑调整。设σ rot= 0。05弧度和σ transs= 0。05. 我们使用与原始重建相同的内部摄像机参数。我们加入高斯噪声ε，ε′<$N（0，0. 52）到每个图像点的x和y我们对表1中列出的每个图像序列进行了100次试验的以下程序。 在每次试验中，我们重新生成加性图像噪声和光束法平差的初始值。每个序列的每个图像（第一个图像除外）的RS失真随机生成一次，并在整个试验中固定我们故意不扭曲第一幅图像。我们对由此产生的数据应用了四种方法第一种是没有任何RS相机模型的普通光束法平差，称为“无RS”。第二个和第三个是结合建议的RS相机模型的光束法平差。第二种方法是在光束法平差中平均优化所有RS参数，称为第三种是设置φ1=0，在我们的实验中。RS参数的初始值其他，被称为1RS*"。 这实现参数被设置为0，因为由于RS失真的性质，它们的真实值应该很利用这些初始值作为RS参数，得到摄像机位姿和点云的初始值。5.2. 合成图像实验我们首先使用合成图像显示结果，为此，我们可以使用其地面实况评估3D重建的准确性。在实验中，对于给定的点云（场景点）和摄像机姿态，我们通过将点投影到每个具有RS摄像机模型的摄像机上来合成图像（2）;图1显示了示例。RS失真通常可以影响SfM流水线的每个步骤，即，图像间的点匹配，计算摄像机姿态和点云的初始值，最后进行束调整。由于所提出的方法只涉及最后一步，因此该实验能够独立于其他方法来评估其有效性。详情如下。为了获得模拟自然场景结构和相机姿态的点云和相机姿态，我们使用Visual SFM[28，29]从真实图像中重建它们我们使用了表1中列出的来自公共数据集的几个图像然后，我们使用RS相机模型（2）将重建的点云投影到重建的相机的图像上。 摄像头-随机产生每个图像的ERA运动 对于旋转R（rφ），轴φ/|φ|是在一个完整的球体中产生的，具有均匀分布和角速度|φ|W被设置为使得（rm a xrmin）|φ|等于从高斯分布N（0，σ2）生成的随机变量，其中rmax和rmin是图像的顶行和底对于平移，它的三个元素中的每一个都是根据N（0，（σtranst<$$>）2）生成的，其中t<$是序列中连续相机位置之间的平均我们解决第4.3.3节中提到的CMS的建议方法。最后一种是结合了具有线性化旋转的精确RS模型的光束法平差（5），称为“w / RS（r [ φ ] × ]）"。图2显示了结果。图中显示了相机旋转和平移的累积场景点（Scene Points）旋转误差由RiRi在视点上的绝对角度的平均来测量，其中Ri和Ri分别是真实的和估计的相机取向。 消除缩放模糊性对于平移和结构的估计，我们对它们应用相似道理啊然后，平移误差由真实相机位置pi和估计了一个P值。结构错误是由真实点之间的距离之和测量，他们的对手估计。从图2中可以观察到几点。首先，观察到固定φ 1的方法方法这说明喷泉-P11、城堡-P19和Temple的摄像机运动接近CMS，而Herz-Jesu- P8的摄像事实上，前三个序列中的摄像机方向往往具有较小的仰角，这是摄像机运动成为第4.3.2节中讨论的CMS的条件之一，而Herz-Jesu-P8序列中的摄像机方向往往具有较大的仰角。第二，可以看出，行为到这验证了我们用于推导RS模型（第3.3节）的近似，即，一阶近似和一阶近似到（φ1，φ2，φ3）。808不带RS，带RS带RS*）X不带RS，带RS带RS*x）不带RS，带RS带RS*）X计数计数计数1111100806040200不带RS，带RS带RS*）X0.05 0.1 0.150.2旋转误差[rad]100806040200不带RS，带RS带RS*x）0 0.1 0.2 0.3 0.40.5旋转误差[rad]100806040200不带RS，带RS带RS*x）0 0.02 0.04 0.06 0.080.1旋转误差[rad]100806040200不带RS，带RS）X0 0.05 0.10.15旋转误差[rad]10010010010080 80 80 8060 60 60 6040 40 40 4020 20 20 2000 0.1 0.2 0.3翻译错误0.40.500 0.1 0.2 0.3翻译错误0.40.500 0.1 0.2 0.3翻译错误0.40.500 0.05 0.1翻译错误0.15 0.2100806040200不带RS，带RS带RS*x）0 0.5 1 1.52结构错误#104100806040200不带RS，带RS带RS*x）0 0.5 1 1.52结构错误#104100806040200不带RS，带RS带RS*x）0 2000 4000 60008000结构误差100806040200不带RS，带RS带RS*）X010002000300040005000结构误差喷泉-P11赫兹-耶稣-P8城堡-P19圣殿图2.结果相机姿态的估计旋转和平移分量以及估计点的误差的累积直方图 “w / RS（r [ φ ] × ]）”是包含原始RS模型（5）的BA。我们还在图3 -6中显示了四个序列的典型重建结果。可以看出，对于每个序列，方法“w/RS*”始终产生比其他方法更准确的相机路径和点云。还可以看出，方法“w / RS”倾向于产生垂直伸长的结构，这解释了图2的累积直方图中所示的大结构误差。该结构延长由命题中描述的CMS很好地解释3.图4.序列Herz-Jesu- P8的典型重建结果。(a)不含RS。(b)带RS。(c)w/ RS*（φ1固定）。图3.Fountain-P11序列的典型重建结果（a）不含RS。(b)带RS。(c)w/ RS*（φ1固定）。灰色的点和带十字的线是真实的场景点和真实的相机位置，重新标记。图5.序列castle-P19的典型重建结果。（a）不含RS。(b)带RS。(c)w/ RS*（φ1固定）。不带RS，带RS带RS*）X计数计数计数计数计数计数计数计数计数80911图6. Temple序列的典型重建结果。(a) 不含RS。(b)带RS。(c)w/ RS*（φ1固定）。10.80.60.40.200.80.60.40.205 10 15观点2 4 6 8 10观点5.3. 实像实验我们使用智能手机（iPhone 5s）的摄像头拍摄的图像进行了实验。我们通过手持智能手机从多个不同视点获取场景的我们在每个视点拍摄了两张照片，一张是用双手紧紧握住智能手机，另一张是在帧捕捉过程中故意稍微由于智能手机是手持的，因此无法精确控制其方向，而其位置在两次采集之间不应发生太大变化;每个视点的变化将小于20 cm。每个场景包含一个长度为20- 30米的建筑物，因此与建筑物的大小相比，可能的位置变化将非常小因此，我们使用VisualSFM从这两个图像序列中估计的相机位置的差异作为误差度量。具体地说，我们将从无失真序列中恢复的摄像机位置作为地面实况，测量从具有RS失真的其他序列 我们没有修剪任何潜在的不正确的匹配。我们应用了两种方法，一种使用所提出的RS模型（假设第一幅图像无失真，φ1固定），另一种不使用所提出的模型，并比较了它们的精度。图7显示了两个不同场景Shrine1和Shrine2的结果。（两个场景的原始图像显示在补充材料中。 这些结果证明了我们的简化RS模型的有效性，尽管采用近似推导它。6. 总结和结论我们已经讨论了卷帘快门SfM的简并假设只有旋转的相机运动与线性旋转，我们已经表明，采用有限相机近似（即，对RS失真的透视效应的一阶近似），RS失真可以由以下两个变换的合成来表示：i）具有两个参数的二维投影变换，这两个参数可以被解释为假想相机的倾斜和纵横比，以及ii）单参数图7. 从实际图像重建的两个结果。从无失真图像（假设为地面实况）获得的摄像机位置显示为黑色X标记。通过所提出的方法获得的那些是蓝色的，而通过没有RS模型的BA获得的那些是红色的。从估计的摄像机位置到根据无失真图像计算的位置的距离非线性变换，可以解释为相机的一种假设这个近似的RS相机模型，我们已经表明，这个问题可以被重新转换为假想相机的自校准，其中倾斜和纵横比是未知的，并且在图像序列中变化。 对于这个自校准问题，我们已经推导出了CMS的一般表示，并显示了一个实际上重要的CMS，以前在文献中报道。 由于后者CMS的模糊性可以通过仅指定单个视点的两个RS失真参数中的一个来解决，因此我们建议识别序列中没有失真的图像并将这些参数设置为零。 实验结果证明了该方法在RS SfM的CMS中的有效性。确认作者感谢匿名评论者详细而有益的评论。 本研究部分得到了科学、技术和创新委员会（日本政府驾驶室办公室）的ImPACT计划“Tough Robotics Challenge”的支持。引用[1] O. Ait-Aider，N. Andre ff、J. Lavest和P. Martinet 使用卷帘快门相机的单个视图同时 在proc ECCV，2006年。[2] O. Ait-Aider和F.贝瑞结构和运动学三角测量与滚动快门立体钻机。在proc ICCV，2009年。[3] C. Albl，Z. Kukelova和T.帕杰拉R6 P-卷帘快门绝对相机姿势。在Proc.CVPR，2015中。[4] C. Albl，A.Sugimoto和T.帕杰拉卷帘式超稳电机的简并性在Proc. ECCV，2016中。[5] Y. Dai，H. Li和L.跪下卷帘快门相机相对姿态：广义对极几何。在Proc. CVPR，2016中。不带RS，带不带RS，带翻译错误翻译错误810[6] P. Forsse'n和E. 你好。纠正滚动快门视频从手持设备。在Proc.CVPR，2010中。[7] C. Geyer，M. Meingast和S. Sastry卷帘快门相机的几何模型InProc. OMNIVIS，2005.[8] 谷歌公司 谷神星解算器 http：//ceres-solver.org。[9] M. Grundmann，V.Kwatra和D.卡斯特罗免校准卷帘快门拆卸。InProc. ICCP，2012.[10] R. I. Hartley和A.齐瑟曼。计算机视觉中的多视图几何。剑 桥 大 学 出 版 社 ， ISBN ： 0521540518 ， 第 二 版 ，2004。[11] J. Hedbo rg，P. Forsse'n和M. 费尔斯贝河卷帘式快门按钮调节。在Proc. CVPR，2012。[12] J. Hedbo rg，E. Ring gab y和P. 向前走。卷帘快门视频的结构和运动InProc. ICCV Workshops，2011.[13] A. H e yden 和 K. 你 好。欧氏重建中内参数的最小条件。在proc ACCV，1998年。[14] A. H eyden和K. 快去具有变化的和未知的焦距和主点的图像序列的欧几里得重建载于Proc.CVPR，1997年。[15] A. Heyden和K.阿斯特罗姆灵活的校准：自动校准的最小情况。InProc. ICCV，1999.[16] C. Jia和B.埃文斯. 根据视觉和惯性测量进行卷帘快门视频校正的概率3-D运动估计。IEEEInternational Workshopon Multimedia Signal Processing，2012。[17] F. 卡尔湾 Triggs和K. 快去 当某些内部参数可能发生变化时 ， 自 动 校 准 的 临 界 运 动 。 Journalof MathematicalImaging and Vision，13：131 -146，2000。[18] L. Magerand，A.巴尔托利岛Ait-Aider和D.皮萨罗利用自动2d-3d匹配从单个卷帘快门图像全局优化目标姿态和运动。在Proc.ECCV，2012中。[19] S. J.Maybank和O. D.福格拉斯运动摄像机的自标定理论。International Journal of Computer Vision，8（2）：123[20] M.波勒费斯河Koch和V. L.好极了自标定和度量重建，而不管变化和未知的内在相机参数。国际计算机视觉杂志，第7-25页[21] E. Ring gaby和P. 向前走。有效的视频校正和稳定的手机。International Journal of Computer Vision，第335-352页[22] O. Saurer，K. Koser，J. Bouguet，and M.波勒菲斯卷帘快门立体声。 在proc ICCV，第465-472页，2013年。[23] O. Saurer，M. Pollefeys和G. H.李你滚动快门姿态估计问题的最小解。IEEE/RSJ智能机器人与系统国际会议，2015年。[24] O. Saurer，M. Pollefeys和G. H.李你从卷帘快门图像进行稀疏到密集的三维重建。在Proc. CVPR，2016中。[25] C. Strecha，W.von Hansen和L.好极了高分辨率图像的基准相机校准和多视图立体。在Proc.CVPR，2008年。[26] P. Sturm.用于单目自校准和未校准欧几里德重建的临界运动序列。载于Proc.CVPR，1997年。[27] P. 斯特姆具有可变焦距的摄像机和立体系统自校准的关键运动序列图像和视觉计算，20：415 -426，2002。[28] C.吴 视觉可持续森林管理。http：ccwu.me.[29] C.吴从运动到线性时间增量结构。在Proc.3DV，2013中。[30] C.吴径向畸变自校准的关键配置。在Proc. CVPR，2014。