消除卷帘快门失真的简单相机配置

2505从两个卷帘快门到一个全局快门Cenek Albl1 Zuzana Kukelova2 Viktor Larsson1 Michal Polic3 Tomas Pajdla3 Konrad Schindler11ETH Zurich2 VRG，FEE，CTU in Prague.3CIIRC，CTU在布拉格摘要大多数消费类相机都配备了电子卷帘快门，导致图像失真时，相机时代移动在图像捕捉。我们探索了一种令人惊讶的简单相机配置，可以消除卷帘快门失真：安装成具有不同卷帘快门方向的两个相机。这样的设置容易且便宜地构建，并且其具有仅使用两个图像之间的点对应的稀疏集合来校正滚动快门失真所需的几何我们推导出方程描述的基本几何一般和特殊的运动，并提出了一个有效的方法来找到他们的解决方案。我们的合成和真实的实验表明，我们的方法是能够消除所有类型的大型卷帘快门失真，依赖于任何特定的场景结构。1. 介绍由于价格低廉、分辨率卓越和帧速率更高，配备卷帘快门（RS）的CMOS相机在消费相机、智能手机和许多其他应用中占据主导地位。与全局快门（GS）相机不同，RS相机逐行读取传感器[21]。每一个图像行是在不同的时间捕获，造成扭曲时，相机移动在图像捕获。失真的图像不仅看起来不自然，而且也不适合为同步透视投影开发的传统视觉算法[13，3，28]。有两种主要的方法来消除RS失真。第一种是估计失真并将其去除，即，用全局快门几何结构合成图像，2FEE ----布拉格捷克技术大学电气工程学院，3CIIRC ----布拉格捷克技术大学捷克信息学、机器人学和控制论研究所。TP和MP得到 了 欧 洲 区 域 发 展 基 金 （ IM-PACT CZ.02.1.01/0.0/0.0/15003/0000468）和地平线2020项目856994和871245的支持。ZK得到了OP RDE项目的支持，该项目是CTU Reg. MSCA-IF研究人员的国际流动。编号：CZ.02.2.69/0.0/0.0/ 17 050/0008025和OP VVV项目信息学研究中心。No. CZ.02.1.01/0.0/0.0/ 16 019/0000765. VL得到了ETH博士后奖学金的支持。我们感谢Alexander Wolf建造了摄像机装置，感谢Nico Lang帮助我们进行数据采集。ω解算器=⇒1.5分匹配图1：当两幅图像以不同的卷帘快门方向记录时，它们的运动引起的失真是不同的，并且几个点的对应关系足以恢复运动以及未失真的图像。馈送到标准视觉算法[10，26，25，32，18]。第二种方法是保留原始图像并调整算法以将RS包含在相机模型中[14，13，3，28，9]。后一种方法最近导致了用于3D视觉管道的许多部分的RS感知算法，包括RS相机校准[23]，RS结构从运动重建[13]，密集多视图RS立体[28]和RS绝对相机姿势[1，20，3，5，29，16]。在[9]中研究了RS相机的双视图几何，在[2]中讨论了使用RS立体装置的三角测量。最近，更多的重点已经放在明确地从图像中去除RS失真：以这种方式，人们不仅获得视觉上吸引人的图像，而且还可以继续使用现有的有效视觉算法的整个集合对于纯摄像机旋转的情况，畸变被建模为单应性的混合[10]。如果只有一张图像可用，则需要一些外部约束来恢复失真，例如[26]假设曼哈顿世界并搜索线，分别是消失点。[18]放松了曼哈顿假设，只需要直的3D线的（弯曲）图像来消除单个RS图像的失真，包括RANSAC方案来过滤掉错误的线匹配。在[32]中，针对特定的≥3个具有连续运动和已知时间延迟的RS图像，假设分段平面3D场景。其他人提议基于学习的方法，其中CNN被训练为将单个RS图像变形为其透视对应物[25，34]。动机尽管经过十多年的研究，遥感失真仍然是一个挑战。事实上，当我们面对2506GG我ω′对于单个RS图像，不可能消除失真，除非对场景[26，18]或相机运动[24]进行相当严格的假设（最好理解的情况是纯旋转[10，25]）。这同样适用于学习的不失真[25，34]，它只适用于它已经训练过的场景类型。此外，它不能保证下游处理步骤可以消化的几何正确的输出。RS相机的广义对极几何的方程已经在[9]中导出，然而，由于所得系统的复杂性，RS对极几何没有实际的解决方案[2]的方法利用三角测量，因此需要不可忽略的基线。此外，它们的解是迭代的，非极小的，6自由度运动，并开发一个有效的求解器，可用于RANSAC型离群拒绝计划。然后，我们继续推导出在实践中经常出现的特殊运动模式的简单解决方案，即纯旋转，纯translation，和平移正交的观察方向。这些情况是重要的，因为在实际应用中，运动通常是受限制的或已知的，例如，当摄像机安装在车辆侧面时所提出的方法只需要图像之间的点对点对应关系来计算相机运动参数。2. 问题公式化在整个过程中，我们假设两个图像拍摄的（透视）相机与滚动快门。在这些图像中，对应-因此不适合于RANSAC式鲁棒估计。即使有多个视图，消除RS失真ei-已经找到了这样的点，′=[uivi[1]甲磺酸第一摄像机对应于第二摄像机中的u=[u′v′1]n这需要强有力的假设，如在已知快门定时的高帧速率下观察到的分段平面场景[18];或者它相当于完整的SfM重建[13]，因此需要足够的相机平移。此外，具有滚动快门的SfM遭受许多简并性，特别是长期以来已知的是，沿着基线的恒定侧视摄像头我我我第二相机，并且两者都是相同3D点Xi=[Xi1，Xi2，Xi3，1]X的投影。如果摄像机和场景中的物体都没有移动，我们可以对两个摄像机中的投影进行建模，就好像它们有一个全局快门，投影矩阵Pg和P′[12]使得λg u gi= P g X i = K [R |− RC] X i（2）没有解决办法[2]。最近，它已经λ′u′=P ′Xi=K ′[R ′|−R′C ′] Xi.（一）已经示出[6]，（几乎）平行的RS读出方向通常是退化的，并且只能通过对相机运动的附加约束来解决[15]。RS相机现在经常组合成多相机系统。即使在中档智能手机中，通常也会有两个前向摄像头，通常安装在彼此非常接近的位置。这似乎很自然地问这样一个组件是否允许消除RS失真。贡献我们证明了对双摄像机设置的简单修改足以促进RS失真的去除：相机必须具有已知的基线-理想地具有可忽略的长度，如在智能电话的典型情况下（对于场景深度> 1 m）;并且它们的RS读出方向必须显著不同-理想地彼此相反。最后，相机必须同步（偏移ggi g其中，K、K′是摄像机本征函数，R、R′是摄像机旋转，C、C′是摄像机中心，λg、λ′是标量透视深度。如果相机在图像捕获期间移动，则我们必须推广投影函数。几种运动模型用于描述RS几何结构[21，2，20，4，29]。这些工作表明，在大多数应用中，在RS读出期间假定恒定的旋转和平移速度1足以获得初始运动估计，这可以在细化步骤中使用更复杂的模型[27]进一步改进投影矩阵P（vi）和P′（v′）现在是图像行的函数，因为每行是在不同的时间拍摄的，因此是不同的相机姿态。我们可以把投影写为他们之间的触发器必须是已知的）。 如果这些条件满足，可以恢复相机的运动，λui=P（vi）Xi= K [Rω（vi）R |−RC+t vi] Xi（二）λ′u ′=P ′（v′）X = K ′[R ′′（v′）R ′|−R′C ′+ t ′v′]X，可以近似透视（全局快门）图像从两个RS图像，无论图像内容。唯一的要求是有足够的纹理来提取兴趣点。我们还表明，如果相机进行平移运动，则可以在给定图像之间的光流的情况下计算深度图，并且可以在SfM管道中使用未失真的稀疏特征来获得重建与GS图像相似。在下文中，我们研究了这种配置的几何形状我们首先讨论无约束的一般情况下的解我我iωiii其中Rω（vi）、R ′（vi）是图像采集期间的旋转运动，t、t ′是平移运动。现在让我们考虑相机的相对姿态已知并且基线小到可以忽略不计（相对于场景深度）的情况。这种情况不能用现有的方法[2，9]来处理，但它是一种近似的方法。在多摄像头智能手机中实现：摄像机之间的典型距离是1.51厘米，这意味着在1米的距离上，底高比已经是100：1，我们可以1对于恒定的旋转速度，我们有Rω（α）=exp（α[ω]×）。2507我ωω我ω我我我我我i ×i我我ii×ir×ii×安全地假设C=C′（类似于在全局快门图像之间使用单应性）。指出这种近似与焦距无关，它在广角视图和变焦视图之间同样适用为了简单起见，我们认为摄像机被校准，K=K′=I，并将世界坐标系附加到第一相机，R=I和C=C′=0，以获得这就产生了一个基本矩阵E（v，v′）=[t（v，v′）]R（v，v′），（6）每对线有六个未知数翻译只能确定到一个未知的规模，使用5个对应。接下来我们将描述如何进一步简化方程，并产生一个有效的最小求解器。λ u i =[R ω（vi）] |tvi] X i（三）λ′u ′=[R ′′（v′）Rr|t ′v′]Xi，3.2.用于6DOF运动的iωi i其中，Rr现在是第二相机w.r.t.的相对取向。第一个由于摄像机是在由于两个相机形成一个装备，两个旋转Rω（v′），Rω（vi）有相同的轴，我们有一个刚性的装置，它们的运动总是相同的，我们有t′=Rrt和R′′（v′）=RrRω（v′）R<$。这甚至可以说是一种...R（v′）R（v）我=R（v′−v）。（七）ωiiR用未知数的数量表示的方程，为方便起见，设R=R R（v′−v）。然后是instan-ir ω我我λ u i =[R ω（vi）] |tvi] X i行vi和v′的瞬时本质矩阵可以写成λ′u ′=[R R （v′）|Rtv′] X.（4）iIrω我riiE（v，v′）=[v′Rt−vR t]R=从等式（4）我们可以立即看到，进一步的R是我伊伊河我我×i（八）r=v′[R t] R−v[Rt]R=v′[R t]R−vR[t]与身份的区别越大，我R×i我我×i我R×ii i×年龄和他们之间的RS失真。由于这些差异是我们的信息来源，我们希望它们尽可能大，并专注于绕z轴旋转180°的情况，Rr=diag（[−1，−1，1，]）。在此设置中，第二个摄像头倒置，其RS读出显示器显示。使用恒等式（Ru×Rv）=R（u×v）。由于RS效应引起的运动很小，我们将其线性化，就像经常做的那样对于RS处理，例如，[1、20、3、16]。对于恒定的角速度，我们得到反应与第一个反应相反注意，这相当于Rr=I，快门方向反转。如果RiRr（I3×3+（v′−v）[ω] ），（9）我们沿着x轴和y轴翻转第二幅图像，在没有运动的情况下与第一个相同，但是如果装备移动，则RS失真将不同。这种设置在实践中很容易构建：对标准的唯一更改其中ω的方向编码旋转轴，角速度决定其大小。把这个代入（8），我们得到布局是反转一个相机的读出方向。E（v，v′）=v′R[t]我我（I+（v′−v）[ω]）（十）还要注意，扩展-vR（I+（v′−v）[ω]）[t]下面导出的算法用于不是180μ op的快门，我是我i× ×posite，以及具有已知相对取向的非零基线，如[2]中所述（例如，自主机器人上的立体相机）。在所有这些场景中，不同的RS方向使得可以去除失真。每对对应点（ui，u′）现在从对极约束产生单个方程，u ′ ∈ E（v，v′）u = 0.（十一）我我我我3. 解决方案在本节中，我们将描述如何解决典型运动类型的问题。3.1. 一般6DOF运动为了求解一般运动情况，我们从方程开始。（四）、不失一般性，我们可以选择第一相机作为世界坐标系的原点，使得2508这是一个关于未知量ω和t的二次方程。由于翻译的规模是不可观察的（eq. （11）在t）中是齐次的，我们添加一个线性约束t1+t2= 1，导致参数化t=（1−x，x，y）。注意这个约束对于纯向前运动是退化的。从5个点对应中我们得到5个二次方程，其中有5个未知数x，y和ω，我们用隐变量技术求解[8]。我们把方程改写为P=[一|0个字符]P ′（vi，v′）=[R（vi，v′）|v′ R rt −vi R（vi，v′）t]（5）M（ω）ΣΣ⊤x y1=0，（12）我我我其中M（ω）是一个5×3矩阵，其元素依赖于线性矩阵。其中R（vi，v′）=RrRω（v′）Rω（vi）<$。 我们可以考虑早在ω。这个矩阵必须是秩亏的，因此所有3×3伊伊R（vi，vi）和t（vi，vi）=viRrt−viR（vi，vi）t作为每对线的相对相机取向和平移子行列式必须为零，这就给出了ω中的10个三次方程，通常最多有10个解。有趣的是，2509我vi−v′vi−v′我我我我−我我r ωi我该方程具有与经典行列式相同的结构Σtxty0Σ. 系统（17）现在在第三节中缺少tz基本矩阵的nant和trace约束。为了解决这些问题，人们可以采用任何已知的解决方案[22，11]。我们使用求解器生成器[19]。方程，我们发现λi= λ′，即点X1的透视深度在两个照相机中相同通过求解这个系统的tx和ty，我们可以用λi来表示，以类似的方式，我们可以为相机之间的固定已知基线详见补充材料。tx= ui+u′iλi，ty=我vi+v′iλi，（18）我并获得等效的全局快门投影，3.3. 纯旋转u v′−u′v−2v v′u=[iiii，ii，1]（十九）接下来，让我们考虑相机仅旋转的情况围绕着投影的中心我们现在有t=0，givi−v′vi−v′Rω（α）/=I，x∈R\0。等式（4）变为λui= [Rω（vi）]|0]Xi（十三）最后，让我们假设一个trans-axis.仅沿相机x轴的定位，例如对于侧边，移动车辆上的摄像头，或在观察乌我=[RrRω（v′）|0]Xi.过往车辆。在这种情况下，全局快门投影满足-′fiesu=[ui+ui，v，1]（详见补充资料我们可以把ui和u′gi2iλ′u ′我=Rω（v′）RrR（vi）λui.（十四）这意味着，对于恒速沿在x轴上，我们可以通过简单的内插来获得GS投影i iω这类似于GS图像之间的单应性，除了矩阵H=Rω（v′）RrR（vi）对于每个cor-i都改变之外在两个RS图像中对应点的x坐标之间进行插值类似地，我们对y坐标进行插值，以便沿y轴平移.i ω′响应 为了去掉λ，我们用λ除以（14），然后左乘反对称[u′]×，得到0=[u′]×Rω（v′）RR（v）u（15）对于恒定的角速度，我们现在有三个未知的旋转参数Rω（α）。每个对应关系产生两个方程，因此可以从1.5通信。如果我们通过一阶泰勒展开进一步线性化Rω（α），如[1，20，3]所示，我们得到4. 使用高级运动模型进行我们的最小解决方案采用简化的运动模型来支持实时应用和RANSAC。在用其中一个最小解算器获得初始解之后，我们可以通过用更复杂的相机运动模型进行非线性细化来改进运动估计。对于旋转的情况，我们可以从等式中获得成本函数。（14）并对所有对应′ ′ΣN¨Σ阿吉吉我′Σ¨0=[ui]×（I+vi[ω]×）Rr（I−vi[ω]×）ui， （16）？uih1ui/h3ui？“i”我（20）其中ω是角轴向量。 这是一个三我i=0时h2ui/h3ui？二阶三个未知数的方程，其中H=100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000（v′）RR（v），和Rλ2510我我我我我′（α）我我我ω我r ωiωE3Q3求解器[17]。3.4. 翻译现在通过罗德里格斯公式进行参数化。对于平移情况，我们可以最小化Sampson误差，如[9]所示，这导致成本函数接下来，让我们考虑具有常数ve的一般平移-无旋转，Rω（α）=I。代入Rω（α）=IN. u′ Eu2我2个2 .⊤′2+（E u′）2（二十一）i=0（Eiui）1+（Eiui）2+ E u我I1我I2我们获得的第一个（详情见补充资料）与E=v′[R t]R−vR[t]如等式8中所定义。我我R×ii i×tx tx ui′−u′′同样，Ri通过罗德里格斯公式定义。ty（十七）tztz11每个对应关系增加了三个方程和两个未知数λi，λ′。两个对应给我们6个线性同调-[27]这是一个匀速运动的模型。在整个图像中使用三个不同的运动可能是不够的，相反，使用三个不同的运动定义在各自的如果需要，这种扩展也适用于我们的细化步骤。与i′ ′7个未知量的齐次方程tx，ty，tz，λ1，λ1，λ2，λ2，这使我们能够找到一个解决方案，即，相对于一个深度（例如，λ1）或平移的大小。我们还考虑与观察方向正交的平移的情况，t=最后，我们通过从最小解算器获取初始参数ω，t，然后最小化（20）或（21），简单地定义摄像机系统的中间姿态，其中摄像机的瞬时旋转和平移内插在这些中间姿态之间。Σ25115. 不扭曲图像一旦运动参数被估计出来，我们就可以在两种方法之间进行选择来消除图像失真，这取决于我们是处理纯旋转还是平移。旋转和图像扭曲。在纯旋转下，在全局快门几何中创建图像很简单。对于每个像素，我们具有来自第一图像的前向映射λugi=Rω（vi）<$ui和来自第二图像的前向映射λugi=Rω（v′）<$u′构建三维结构点。角速度逐渐增加到30度/帧，这意味着相机在获取一帧期间旋转了30度平移速度增加到每帧场景最近部分距离的1/10。高斯噪声，µ=0，σ=0。5pix被添加到所得到的对应的坐标。我们通过这种方式生成了大约1.4K的图像。我们测试了四种不同的求解器，两种用于纯翻译，我我年龄进入虚拟GS图像平面。这种映射依赖于仅基于相应RS图像的行索引，其定义时间并因此定义姿态。不需要逐像素对应。我们也可以使用后向映射λui=Rω（vi）ugi，在这种情况下，vi出现在方程的两侧，可能以非线性形式出现，这取决于Rω（vi）如何参数化。在任何一种情况下，我们都可以从初始值vgi开始迭代求解vi。可以将两个RS输入转换为相同的虚拟GS图像，以获得更完整的结果，参见补充说明。翻译和密集的不失真。平移RS畸变带来了更大的挑战，因为每个像素的变换取决于它在另一个RS图像中的对应关系。因此，必须恢复密集的对应关系，以获得密集的，视觉上令人愉快的结果[26，33，32]。从经验上讲，我们发现光流法工作得最好，特别是PWC-net [31]始终给出最佳结果。给定密集的对应关系，我们可以将它们转换为深度图，并使用它将图像内容从RS图像传输到虚拟GS图像，使用某种形式的z缓冲来处理遮挡。请注意，图像中间附近的行已在两个RS视图中（几乎）同时捕获和姿态，因此在那里无法观察到深度。幸运的是，这几乎不影响去失真过程，因为在该窄带中局部RS失真也很小，使得它们可以通过简单地在输入之间插值来去除详见补充资料。6. 实验我们已经测试了所提出的算法与合成和真实数据。合成对应关系用于定量分析性能。真实的图像对是用两台RS相机采集的，见图。2，并且不显示为全局快门几何形状，以在视觉上示出在一系列运动图案和场景上的校正图像的高质量。合成数据。为了以真实的方式生成合成数据，我们从[13]的GS图像开始并执行SfM重建。然后，我们将虚拟RS对放置在重建的摄像机位置，我们以恒定的平移和角速度应用各种模拟运动，并重新投影先前的重建图像。一个用于纯旋转，另一个用于全6自由度情况，见图2。二、此外，我们运行一个简单的基线，它只是平均两个对应点的图像坐标（err-interp）。我们不考虑单轴平移解算器tx和ty，因为它们被txy覆盖，txy也只需要一个对应关系。针对每个求解器测试三种不同的变体：（v1）在每个对应处单独地拟合运动模型，随机地对附加对应的最小所需集合进行采样，并且使单独的坐标不失真。这种局部策略可以通过分段近似，用更简单的运动模型来处理甚至复杂的全局失真。缺点是没有重新定义，因此对不匹配没有鲁棒性。（V2）是一种鲁棒的方法，其计算整个图像的单个全局运动模型，并使用它来使所有对应性不失真求解器使用随机采样的最小集运行，嵌入LO-RANSAC循环[7]中，该循环根据完整的对应集验证解决方案，并使用非线性最小二乘法局部优化运动参数（v3）探索混合LO-RANSAC方法，其使用较简单的模型中的一个来生成初始运动估计，但是用具有参数{tx，ty，tz，ωx，ωy，ωz}。结果提供了一些有趣的见解，见图。3.第三章。正如预期的那样，完整的ωt表现最好，其次是仅旋转模型ω。平移解算器，包括简单的txy，工作良好时，使用本地每对应（v1），而且误差具有低方差。这意味着旋转失真分量可以通过分段平移txy很好地近似，其估计比txyz和ω两者的估计更可靠。对于单个全局RANSAC拟合（v2），由于更严格的全局约束，未失真点的残差通常更高（除了ωt对于txy和txyz，下降最强，即，全局平移模型不能完全补偿旋转失真。混合解（v3）没有显示，因为它没有比全局解（v2）更好，这表明当用受限求解器初始化时，一般模型陷入零基线假设。接下来，我们评估由于我们假设两个RS相机之间的基线可以忽略不计而导致的近似误差。我们从一个合成实验开始，与图1中相同的装置3、但这一次，2512Alg. # corr. 参数 运行时txy1tx，ty<$0txyz2tx，ty，tz<$0ω 2ωx，ωy，ωz4µsωt5tx，ty，tz， 40µ sωx，ωy，ωz图2：装备有两个RS和一个GS相机（左）;实验中使用的求解器（右）。err-interp err-txy err-txyz err-ω err-ωt足以估计运动，但远到足以忽略基线。对于深度（相对于基线）较低的场景，我们建议使用6pt固定基线解算器，如补充材料中所述。真实的图像。我们用两个RS相机建造了一个钻机，安装在相距103厘米的地方，指向同一个方向，见图。二、他们的卷帘快门运行在相反的方向，与30毫秒的读出时间为一个完整的帧，一个典型的价值为消费类设备。图像分辨率旋转+平移，v115105051015202530角速度[度/帧]旋转+平移，v215105051015202530角速度[度/帧]3072×2048像素此外，我们还为钻机增加了一个GS摄像头，分辨率为1440 ×1080pix（尽管规格较弱，但该摄像头的成本几乎与两个RS摄像头一样高，时代在一起）。所有的摄像头都是同步触发的。我们捕获了各种场景的图像，这些场景具有来自各种不同相机运动的显著RS失真。旋转实验中的角速度在每帧8至15度之间或240-450°/s。在平移实验中，汽车以30-50的速度移动，图3：合成RS对的结果。为每个对应关系拟合单独的运动模型（左），为每个图像拟合单个模型（右）。曲线图显示了未失真对应关系的误差地面真实GS图像。旋转+平移，LO-RANSAC，带基线km/h，并且由于相机是手持的，因此还有不可忽略的旋转分量。图像之间的对应关系要么是匹配的SIFT特征，要么是在平移运动的情况下从光流中获取的，参见第二节。五、虽然建议的相机配置-12108642000.010.020.030.030.040.05由于RS校正算法是新的，并且没有其他算法适合于处理这样的数据，所以看到现有的RS校正算法的结果是有趣的。参见图中的示例。9旋转和图。10对于翻译，我们将我们的未失真GS图像与最近的竞争方法进行比较[26，25，18，32，33]。我们使用RANSAC，迭代次数固定为200基线与最小景物距离比图4：基线> 0的影响在基线深度比小于等于1：100时可以忽略不计，在基线深度比小于等于1：30时仍然很低。这被证明是足够的，由于小的最小集，ω求解器，分别为具有低离群值分数的ωt求解器的稠密光流。请注意，我们只在相关场景中比较每种方法，例如，[25，18]工作在基线0. 我们使用全局模型拟合（v2），其中angu-假设是纯旋转，因此不能最大速度15赫兹/帧。基线从最小场景深度的0增加到5%。如图4、零基线假设对基线-深度比高达1：100，即，对于距离相机≥2m的物体，典型的智能手机基线最多为2 cm即使在1：20的极端值（距相机40cm）下，近似误差仍然低于10个像素。用真实数据进行的进一步实验支持这样的说法，即在旋转运动的情况下，零基线假设是无关紧要的，除非大多数对应关系是打开的。最接近的场景。图7显示了物体接近基线10倍时的旋转失真去除。只要在更远的场景部分上也找到足够的对应关系，RANSAC就会选择这些对应关系，并找到对近距离物体也有效对于平移运动，最近的对应比远的对应携带更多关于翻译的信息。在我们的实验中，这些场景总是包含足够接近的对应关系，正确处理翻译;[33]需要一个基线，因此只处理翻译;[26，32，34]应该能够处理这两种情况，[32，25]的结果对于旋转不满意，所以我们不介绍它们。与现有的方法相比，我们的结果表明，运动类型以及场景内容的鲁棒性。所提出的相机设置允许我们校正各种类型的失真，与相应的GS图像相比具有小的残差。对于旋转[18]在某些情况下提供了令人满意的结果（图。9，第1和3行），但当场景中直线太少时（第6行），它会失败。[26]几乎总是失败，[34]，虽然在6DOF运动数据上训练，但仅在围绕y轴旋转的第3、5和6行中产生可用结果。在图1中，我们展示了一个具有非常强的真实RS效应的样本。即使在这种情况下，我们的方法产生一个近乎完美的GS图像，而竞争的方法失败。Fur-100，在Fig.8我们证明，即使使用一个子-像素误差像素误差像素误差2513RS input 1 RS input 2来自ωt的图7：近距离场景的旋转反失真（ω求解器）示例。到最近场景点的距离为10×基线。图5：来自RS图像的GS等效稀疏特征。可以进一步使用校正的特征，例如，将它们馈送到SfM流水线产生比馈送原始RS特征（顶部）更好的重建底部是从一个真正的GS相机重建。图6：深度图。顶行显示了两个输入图像（左）和产生的未失真图像（右）。底部行显示了从输入图像（左）和最终融合深度图（右）创建的深度图。窗口的第二个图像，一个是能够恢复的运动正确和undistortion完整的图像。这表明可以处理具有广角和变焦相机的标准智能手机配置对于平移运动，使整个图像不失真通常是一个困难的问题[32]，因为它需要逐像素对应以及遮挡处理，参见。秒5、补充材料。结果表明，该方法是可行的。10表明，利用我们的方法，只要可以获得良好的逐像素对应，就可以补偿包括遮挡在内的平移失真。相反，[26]努力补偿建筑物（第2行）和树（第3行）;[33]在某些情况下有效（第1行），在其他情况下失败（第2行和第3行）;[32]通常提供良好的结果（行1和3），但有时仅部分补偿运动，并且还表现出后处理伪影（行2）。我们也尝试了最近的方法[34]，但作者没有提供图8：旋转反失真示例（ω求解器）。核心反应以红色显示。一个摄像头的视野更窄.虽然广角视图的部分没有对应关系，但它们正确地未失真。代码或训练的模型，以及我们在6DOF数据上训练的重新实现在所有情况下都提供了比所有其他方法更差的结果，因此我们不显示它们。注意，[33，32]需要两个或三个连续的帧，对于这些帧，必须知道精确的（相对的）触发时间以及精确的快门读出速度。我们展示了可以用我们的方法获得的进一步输出，除了未失真的图像。一个有趣的可能性是输出未失真（稀疏）的特征点，这些特征点可以被馈送到未修改的SfM流水线中。图5显示了从RS图像中提取的SIFT特征的示例，这些特征从运动中的汽车记录并使用模型ωt进行校正。背景和树上的特征点都被成功地包括在内，并且不失真。图5（顶行）显示了使用COLMAP[30]进行稀疏SfM重建的结果人们可以清楚地看到使用校正或未校正的特征点之间的差异，特别是在前景中的树木上。作为翻译校正过程中的中间产品，我们获得了深度图，见图。六、当相机装备进行平移时，我们以比从连续帧更低的延迟获得深度付出的代价是我们的立体基线朝向中心图像行减小，使得深度估计变得不那么准确（并且对于精确的中间行是不可能的）。选择solver。ω求解器非常适合于缓慢移动（例如，手持）设备，并且对于具有浅深度范围的远处场景（例如，无人机）。txy解算器适合具有纯、快速平移的场景（例如，在笔直的道路或轨道上的侧视摄像机），并且在存在小旋转的情况下仍然可以使用，以一定的精度换取更高的鲁棒性。对于快速的一般运动，我们发现6DOF解算器的性能明显更好，正如预期的那样。2514RS输入1 RS输入2 OURS GS地面真实值 Undist. W. [26] I 'm sorry. W. [34] I 'm sorry. W. [18个国家]图9：摄像机进行旋转运动。使用建议的相机设置可以成功地消除显著的RS失真用于RS图像校正的竞争方法[26，25，18]提供了明显更差的结果。RS输入1 RS输入2 OURS GS地面真实值 Undist. W. [26] I 'm sorry. W. [33] I 'm sorry. W. [32个]图10：摄像机进行平移运动。使用[31]获得的光流，图像是无失真的像素不幸的是，我们没有设法测试的另一种可能的情况是，摄像机装置静止不动，场景中有物体移动，就像监控摄像机一样其中，特别是txy解算器可以提供快速有效的RS校正和深度估计。7. 结论我们提出了一种新颖的两个RS相机的配置，该配置在实践中很容易实现，并且可以准确地从图像中去除显著的RS失真通过将两个照相机彼此靠近地安装，并且使快门在相反方向上滚动，可以获得不同的失真图案。在此基础上，我们推导出算法来计算双摄像机机架的运动和图像的失真使用校正的几何结构，我们可以执行SfM并计算相当于GS相机的深度图。我们的推导表明，当相机之间存在显著基线时，类似的构造原则上也是可能的。因此，传统的立体装置，例如机器人或车辆，在未来也可以受益于相反的快门方向。2515引用[1] Omar Ait-aider ，Nicolas Andreff ， Jean Marc Lavest ，and Philippe Martinet.同时使用卷帘快门相机的单个视图计算物体姿态和速度。ECCV，第56-68页，2006年。一、三、四[2] O. Ait-Aider和F.贝瑞结构和运动学三角测量与滚动快门立体钻机。ICCV，2009年。一、二、三[3] Cenek Albl、Zuzana Kukelova、Viktor Larsson和TomasPajdla。滚动快门相机绝对姿势。PAMI，2019。一、三、四[4] Cenek Albl、Zuzana Kukelova和Tomas Pajdla。卷帘快门绝对姿势问题。CVPR，2015。2[5] Cenek Albl、Zuzana Kukelova和Tomas Pajdla。已知垂直方向的卷帘门绝对姿势问题在CVPR，2016年。1[6] Cenek Albl，Akihiro Sugimoto，and Tomas Pajdla.卷帘式SFM的退化。在ECCV，2016年。2[7] OndZagrejChum ，JZagre'riMatas，andJosefKittle r. 局部优化RANSAC。在DAGM。2003. 5[8] David A.考克斯，约翰·利特尔，多纳尔·奥谢。使用代数几何。数学研究生教材。施普林格-Verlag，2005. 3[9] Yuchao Dai，Hongdong Li，and Laurent Kneip. 滚动快门相机相对姿态：广义对极几何在CVPR，2016年。一、二、四[10] M. 格伦德曼 诉 夸特拉 D. 卡斯特罗 和 I. 艾萨免校准卷帘快门拆卸。InICCP，2012. 一、二[11] R.哈特利和李红东。一种有效的隐变量最小情况摄像机运动估计方法。PAMI，34（12），2012. 4[12] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。2[13] 约翰·海德博，佩尔-埃里克·福尔森，迈克尔·费尔斯贝，埃里克·林加比。卷闸管束调整。CVPR，2012。一、二、五[14] Johan Hedborg ， Erik Ringaby ， Per-Erik Forssen ， andMichael Felsberg.卷帘快门视频的结构和运动估计。在ICCV研讨会，2011年。1[15] 伊藤英辅和冈谷隆之基于自标定的卷帘结构关键运动序列提取方法。在CVPR，2017年。2[16] Zuzana Kukelova 、 Cenek Albl 、 Akihiro Sugimoto 和Tomas Pajdla。最小绝对姿态卷帘问题的线性解。在ACCV，2018年。第1、3条[17] Zuzana Kukelova，Jan Heller，Martin Bujnak，AndrewFitzgiant，and Tomas Pajdla.径向畸变摄像机对极几何的有效解决方案。在ICCV，2015年。4[18] Yizhen Lao和Omar Ait-Aider。一种使用具有自动特征选择 的线 进行 强卷 帘快 门效应 校正 的鲁 棒方 法在CVPR，2018年。一、二、六、八[19] V. Larsson，KalleA. P. Strom和MagnusOskarsson. 基于合宿约简的极小问题有效解。在CVPR，2017年。4[20] Ludovic Magerand ，Adrien Bartoli，Omar Ait-Aider，and Daniel Pizarro.利用自动2d-3d匹配从单个卷帘快门图像全局优化物体姿态和运动ECCV，2012年。一、二、三、四[21] Marci Meingast、Christopher Geyer和Shankar Sastry。滚动快门相机的几何模型计算研究库，2005年。一、二[22] 我看见你了。五点关系问题的有效解决方案PAMI，26（6），2004. 4[23] Luc Oth ， Paul Timothy Furgale ， Laurent Kneip ， andRoland Siegwart.滚动快门相机校准。CVPR，2013。1[24] Pulak Purkait和Christopher Zach阿克曼运动下单眼卷帘快门补偿的最小解算器。在WACV，2018。2[25] Vijay Rengarajan、Yogesh Balaji和A. N.拉贾哥普兰展开快门：CNN修正运动失真在CVPR，2017年。一、二、六、八[26] Vijay Rengarajan ， A. N. Rajagopalan 和 Rangarajan Ar-avind。从弓到箭：城市场景的卷帘纠偏。在CVPR，2016年。一、二、五、六、七、八[27] 埃里克·林比和佩尔-埃里克·福斯恩。有效的视频整流和稳定的手机。IJCV，96（3），2012. 二、四[28] Oli vi erSaurer ， KevinKöser ， Jean-Yv esBouguet ，andMarcPollefeys.滚动快门立体声。InICCV，2013. 1[29] Olivier Saurer，Marc Pollefeys，and Gim Hee Lee.滚动快门姿态估计问题的最小解。InIROS，2015. 一、二[30] JohannesLutzSchoünber ger和Jan-MichaelFrahm。结构从运动再访。在CVPR，2016年。7[31] 孙德清、杨晓东、刘明宇和Jan Kautz。PWC-Net：使用金字塔，翘曲和成本体积的光流CNN在CVPR，2017年。五、八[32] Subee