反转滚动快门相机：高帧率全局快门视频

4228MKRSSRG9\iJKU89iSG反转滚动快门相机：将滚动快门图像引入高帧率全局快门视频范玉超*西北工业大学电子信息学院，西安网址：binfan@mail.nwpu.edu.cn，daiyuchao@nwpu.edu.cn图1：RS图像是通过逐行连续合成GS图像生成的，而我们的卷帘快门时间超分辨率（RSSR）流水线则反转了这一过程，即从两个连续的RS图像中提取潜在的GS图像序列。请参阅arXiv版本，以便能够将GS视频图像（右下角）作为视频查看。摘要滚动快门（RS）图像可以被视为由虚拟移动的GS相机在时间段内捕获的全局快门（GS）图像的逐行组合的结果。 摄像机读取时间。RS效应给下游应用带来巨大困难。在本文中，我们提出颠倒上述RS成像机制，即，从连续RS图像恢复高帧率GS视频以实现RS时间超分辨率（RSSR）。这个极其具有挑战性问题，例如，从两个720高度的RS图像恢复1440GS图像远未端到端解决。为了解决这个问题，我们exploit几何约束的RS相机模型，从而实现几何感知反演。具体而言，我们为解决上述困难作出三项贡献：（i）在恒定速度运动模型下制定双向RS无失真流，（ii）通过缩放操作建立RS无失真流和光流之间的连接，以及（iii）开发对应于不同扫描线的不同RS无失真流之间的相互转换方案。基于这些公式，我们提出了第一个RS时间超分辨率网络的级联结构，以提取高帧率的全局快门视频。我们的方法是探索-*通讯作者在深度学习框架内建立时空几何关系，其中除了中间扫描线地面实况GS图像之外不需要额外的监督。本质上，我们的方法可以非常有效地用于显式传播以在任何扫描线下生成GS图像。实验结果表明，我们的方法可以产生高质量的GS图像序列与丰富的细节，优于国家的最先进的方法。1. 介绍由于CMOS传感器的低成本和制造简单性，诸如网络摄像头或移动电话的许多消费者相机通常构建在CMOS传感器上，其通常采用滚动快门（RS）机制。与其全局快门（GS）对应物不同，RS相机逐行顺序地生成图像，这产生了所谓的RS效应（例如，图像中的像素）。拉伸、摆动）。RS效应越来越成为摄影中的麻烦。简单地忽略计算机视觉应用中的RS效应会导致性能下降甚至失败[2，6，19]。然而，RS图像组合了关于场景几何和隐藏运动的信息[43]，根据该信息，可以通过单个帧[18，28，29，43]或多个帧[20，30，36，41，42]去除RS效应。作为单视图RS卷帘快门成像机构（v，）时间时间时间时间时间行行行行行4229--≥根据[20，41，42]，校正本质上是高度不适定的问题，使用至少两个连续帧可以使其易于处理。直观地说，观察一对连续的RS图像，人类似乎能够推断出对潜在几何形状的合理解释（即摄像机运动和场景结构）。在本文中，我们提出反转卷帘快门成像机制，即从连续的滚动快门图像恢复高帧率全局快门视频，如图2所示。1.一、本质上，该反转过程模仿上述人类能力。本文的目的是恢复一个时间序列的潜在GS图像帧从两个连续的RS图像，即。进行RS时域超分辨（RSSR）。该任务涉及求解底层RS几何，这对于现有方法（例如，基于RS的方法）是艰巨的。，[41]）来实现由于细微的帧内运动而导致的鲁棒且准确的估计，这需要非平凡的相机校准和迭代优化。在某种程度上，RSSR涉及双视图RS校正[20，41，42]和GS视频插值[4，5，15，24]。然而，我们的任务包含额外的复杂性，因为除了消除几何RS失真之外，我们还希望生成一组按时间顺序的高帧率GS图像。 这是特别具有挑战性的，因为我们必须确保输出序列的时间平滑性。不幸的是，由于不准确的RS几何估计，伪影出现在纯几何方法[41，42]中。[20]只能恢复一个可靠的GS图像。更多分析见补充资料。此外，与GS视频插值任务中位于其光流内部的轻微且可控的像素位移不同，校正RS图像时的像素位移可能超过由其光流定义的其局部邻域，这取决于运动类型、3D结构和扫描线时间。具体地说，我们（第一次）确定RS感知像素位移可以通过在恒定速度运动模型下缩放相应的光流矢量来获得，但缩放因子的大小和符号由固有的RS几何结构确定。为了解决上述挑战，我们制定了双向RS无失真流来表征逐像素RS感知像素位移，并进一步提出了对应于不同扫描线的不同RS无失真流之间相互转换的计算方法。特别是，我们证明了缩放因子是在（1，1）的区间时，纠正RS图像的中间扫描线GS图像。作为利用这些参数化的结果，我们提出了具有良好可解释性的RSSR的数据驱动解决方案，其本质上封装了更复杂的方法（例如，，[41，42]）努力学习。所提出的几何感知RSSR流水线采用级联结构来提取潜在的高帧率GS视频序列从两个连续的RS图像。首先，我们通过使用经典的PWC-Net [ 34 ]来估计双向光流。其次，我们设计了一个类似UNet的网络来学习每个像素的缩放因子（即，中的中间扫描线相关图。4）使得可以推断中间扫描线RS未失真流。同时，任何扫描线的RS无失真流都可以明确地关联和传播。最后，softmax splat- ting [24]用于在任意扫描线处产生高帧率GS视频帧。我们的RSSR网络可以进行端到端的训练，并且只需要中间扫描线的GS图像进行监督。由于所学习的网络参数都不是时间相关的，因此它可以根据需要合成尽可能多的GS帧。大量的实验结果表明，我们的方法是优于国家的最先进的方法，在消除RS文物，它可以erate一个连贯的视频序列，以及。我们的主要贡献总结如下：• 我们确定并建立了双向RS无失真流的扫描线相关性质的详细证明，这对于理解RS校正问题的内在几何特性至关重要[20，41• 从理论的角度来看，我们为我们的第一个基于学习的RSSR解决方案提供了一个良好的动机，用于从两个连续的RS图像中提取潜在的GS视频序列，这使RS图像变得生动。• 我们的方法不仅在RS效应去除和推理效率方面优于最先进的方法，而且还可以产生远远超出[20]的平滑和连续的视频序列。2. 相关工作基于几何模型的遥感校正。在过去的十年中，一些研究重新审视了RS几何模型，以消除RS效应[3，9，11，14，18，19，27，29，30，32，37]。Grundmann等人[12]采用了homogra- phy混合来实现联合RS去除和视频稳定化。遮挡感知去失真方法[36]从特定的3个RS图像，假设分段平面3D场景。Zhuang等[41]提出了通过差分公式来估计全相机运动，以去除两个连续RS图像中的RS失真。该模式已取得相当成功，但由于难以使其稳健及有效地适用于各种情况（例如：，过于依赖初始光流估计[42]）。随后，Zhuang和Tran [42]提出了一种差分RS单应性来对底层扫描线变化的RS相机姿态进行建模，其可用于执行RS感知图像拼接和校正。Albl等人 [1]一个简单的例子4230--- − ×ΣΣ···GG[·22⎡G.f+ΣyS[I（x）=，I（x），，，0≤s≤h−1，（8）安装成具有不同快门方向的双相机装置，以使由智能手机获取的RS图像不失真。2）w.r.t. 帧1的第一扫描线可以表示为：s s s sp1 =λ1v，r1=λ1ω，基于深度学习的RS校正。最近，卷积-一一一（三）ps2=λs2v，rs2=λs2ω，人工神经网络（CNN）已被用于实现更灵活和有效的RS校正。伦加拉詹哪里二二二二al. [28]提出了第一个CNN来纠正单个RSim-λs1=γs1，λs2= 1+γs2。（四）1小时2小时假设一个简单的模型。Zhuang等[43]扩展[28]以通过两个独立的网络从单个帧学习RS几何，产生几何上更正确的结果。Zhong等[40]联合处理RS校正和去模糊。Liu等[20]和Fanet al. [8]使用两个连续的RS图像作为输入，并设计了特定的CNN来预测一个GS图像。据我们所这里，γ=hτ r/τ是读出时间比[41]，即RS帧中的总读出时间与总时间τ之间的比率，其可以通过[23，25]校准。τr是单个扫描线的读出时间，h是图像中扫描线的总数。因此，第s条扫描线和第s条扫描线之间的相对运动满足：知识，我们的RSSR模型是第一个开发用于vs s=ps2−ps1=（λs2−λs1）v，一二三一二三（五）学习从两个连续RS帧到高RS帧的映射。ωs s=rs2−rs1=（λs2−λs1）ω。帧速率GS视频帧对应于任何扫描线。3. 差分前向RS几何GS-aware向前翘曲。假设GS相机在两个连续的时间段内经历恒定的线速度v= [v1，v2，v3]T和角速度ω= [ω，ω，ω]T一二三一二三更多细节可参见[41]。RS感知向前翘曲。当fv=s2s1时，代入方程（4）和（5）中的方程。在等式（1）中，我们可以将帧1中的像素X的前向光流根据RS相机速度和3D点关联为：1、2、3个ΣfΣ Σπ（v，ω，x，Z，f）Σ在第一帧和第二帧中，相机观察到深度为Z的3D点X以3D速度vωX移动[22]。将该3D速度投影到2D图像平面中产生图像运动场f，其通常近似为哪里u=αfvuπv（v，ω，x，Z，f）γfv、（6）由在明亮的光下的光流矢量（fu，fv）T匹配。α=1 +（七）H在像素x=（x，y）处，如[22]：f=Av+Bω=Δπ（v，ω，x，Z， f），（1）Z哪里A=−f0x，0 −f y（2）- -FF表示恒定速度运动模型下的RS感知前向插值因子，其取决于光流中涉及的扫描线。πu（）和πv（）分别表示π（）的第一个和第二个元素。因此，由RS效应引起的几何不准确性可以通过简单地缩放每个像素x的光流矢量来补偿。4. RS非失真流与光流B=f+y2Σ−xy−x。RS成像机制。 如图 1、RS摄像头f f按顺序暴露每个扫描线，这导致不同的对于每个扫描线的每个局部帧RS图像可以这里，（x，y）是归一化的图像坐标，并且f表示焦距。RS前向运动参数化。由于所有RS扫描线在不同时间一个接一个地连续且瞬时曝光，因此每一扫描线具有不同的光学中心。为了解释扫描线变化的相机姿势，我们充分利用小运动假设。给定两个连续RS图像的两个第一扫描线之间的帧间相机速度（v，ω），可以通过插值获得细微的帧内相对运动[26，32，41，42]。具体地说，[41]导出了常速运动下的线性插值方案。例如，摄像机位置和旋转（ps1，rs1）（分别为因此被认为是在相机读出时间段内多个虚拟GS图像的连续逐行组合的结果，即，，将RS成像模型公式化为：S俄.西其中Is是在时间sτr处捕获的虚拟GS图像。s表示提取第s条扫描线。相反，RSSR旨在反转上述RS成像公式，即，估计像素X在第s条扫描线处从RS图像到虚拟GS图像第11章（ps2，rs2））的第s1个（分别 s第2）扫描线（分别Ir（x）=Is（x+ur→s），0≤s≤h − 1。4231（九）4232Σ ΣΣ∈−≤ ≤−∈−ΣΣ∈−具体地，它是通过以矩阵形式堆叠所有像素的ur→ s来估计对应于扫描线s的密集RS无失真流U 注意，类似 于[20]， Ur-s是 前向 扭 曲 操作 ， 例 如， softmaxsplatting [24].双向RS非失真流。为了将帧1中的第k条扫描线上的每个RS像素X递送到由对应于帧1的第s条扫描线的姿态定义的其GS画布，像素X的RS感知向前扭曲位移向量可以被公式化为：光流RS非失真流（第一扫描线）哪里uu=βπu（v，ω，x，Z，f）， （10）uvπv（v，ω，x，Z，f）β=γ（s−κ）H（十一）RS未失真流（中间扫描线）RS未失真流（最后一条扫描线）表示RS感知前向不失真因子，其取决于目标扫描线s与当前扫描线κ之间的扫描线偏移。注意0s，κH1，并且RS图像的第s个扫描线中的像素保持不变。将帧1中的所有像素的前向扭曲位移向量堆叠，我们可以获得帧1的逐像素前向RS无失真流U1-s，其可以用于恢复与帧1的任何扫描线s[0，h1]相不幸的是，Eqs。（6）和（10）仅描述了前向光流（即，，从帧1到帧2）和前向RS无失真流（即，从帧1到扫描线S）。我们不能单独基于两个输入连续RS图像来去除帧2中的几何RS失真。因此，我们进一步提出了一个RS感知的图2：RS非失真流与光流。在这里，根据[ 33 ]，向前流动是可视化的。与各向同性平滑光流图相比，RS非扭曲流图表现出更显著的扫描线依赖性。一方面，目标扫描线附近的RS未失真流表现为较浅的颜色（即，较小的翘曲位移值）。另一方面，对应于小于和大于目标扫描线的像素的RS未失真流示出不同的颜色（即不同的翘曲位移方向）。类似，除了γ是负的）。首先，消除等式1的右手侧上的fv在等式（6）中，像素X的光流可以被重写为：考虑帧2的向后翘曲模型1，其仅需要对于读出时间比γ为负。Ac-ΣfuΣ=hΣπuΣ，（12）因此，Z是指帧2中的每个像素的深度，并且（v，ω）需要被反转。因此，Eq。（6）表示从帧2到帧1的后向光流，并且等式（6）表示从帧2到帧1的后向光流。（10）对帧2中的后向RS无失真流U2-s进行建模（即从帧2到扫描线S）。类似地，可以恢复与帧2的任何扫描线s[0，h1]相fvh−γπvπv其中πu和πv是缩写，由相机参数、相机运动和3D深度确定。然后，通过Eqs。在等式（10）和（12）中，我们在像素x处建立前向/后向RS无失真流（uu，uv）T与前向/后向光流（fu，fv）T之间的连接，如下：迄今为止，我们已经得到了双向的RS无畸变流U1→s和U2→s，它们可以将两个连续的RS图像变形为对应于它们的结果的GS图像uu=cfuuvfvΣ，（13）- 视扫描线s[0，h 1]，即激活滚动快门时间超分辨率。RS非失真流与光学哪里c=γ（s−κ）（h−γπv）H2（十四）流。注意，等式中的光流（6）展示了两个连续RS帧上的像素位移，而等式（6）中的RS无失真流（10）对扫描线s处的RS帧1（或帧2）与GS帧之间的像素位移进行建模。在不失一般性的情况下，以前向翘曲为例（注意，后向翘曲是1推导过程见补充材料。表示双向RS无失真流和双向光流之间的前向/后向相关因子，其通过γ的符号来区分。针对所有像素堆叠c分别产生前向和后向相关图C1-s和C2-s因此，在获得两个连续RS帧之间的双向光流（例如，经由PWC-Net [34]或RAFT [35]）之后，我们可以对其进行缩放以获得双向光流。ΣΣ4233--∈MBM----2∈ −uuF2UFUF⎧⎨(−1,0)ifi22U--∈双向RS非失真流以进一步恢复证明1 （14）进入对应于特定扫描线s[0，h1]的潜在GS图像。注意，缩放因子的大小和符号（即，相关因子c）依赖于基础RS几何模型。cm=sκh·γ（h−γπv）H=Δca·cm。（十八）试试 如示于图2，我们可以直观地观察到，以等式中的ih的情况为例。（16）例如，、与各向同性平滑光流图相比，H2RS非失真流更典型地依赖于扫描线。0≤ κ <2。由于对应于中间的GS图像扫描线将被恢复，s = h。因此，0 hH20，如果i=h（0，1） ifi>h、（十六）、（十七）我们将在RS基准上进行微调。以自监督方式预训练PWC-Net模型[21、38]。中间扫描线RS无失真流估计器。我们采用沙漏架构[15，31]作为我们的骨干网络来预测相关图，修改最后一层以输出6通道预测。遵守其中，r e[i，j]是第i行和第j列中的条目。命题1，我们获取输出中的前两个通道=4234和∈−--[∈−FⓈGG在任意扫描线上81s扩展到任意扫描线下的GS图像。由于对应于不同扫描线的所得RS无失真流可基于等式（1）彼此转换。我们可以传播上面获得的中间扫描线RS无失真流，以得到RS无失真流U光流估计中间扫描线RS无失真流量估计1→s对于任何扫描线s[0，h1]，U 2 →s。然后，通过使用softmax splatting，可以从原始的两个RS图像中以相同的方式扭曲相应的高帧率GS图像，即。，实现了卷帘快门的时间超图3：我们的RSSR网络架构概述。给定两个输入连续RS帧，我们首先估计双向光流。然后，我们使用与Eq.（19）解析相关图。接下来，中间扫描线RS无失真流可以通过等式（1）明确地计算。（20），当被证明。最后，我们采用softmax splatting来生成目标中间扫描线GS帧。注意，我们的主网络被设计为在训练期间预测对应于中间扫描线的潜在GS图像。特别是，在测试阶段，RS未失真流对于任何扫描线s∈[0，h−1]可以通过等式（1）传播（十五）以时间相干的方式进行分辨率。6. 实验6.1. 实现细节损失函数我们的损失函数L是重建损失Lr、感知损失Lp[16]、扭曲损失Lw和平滑损失Ls的线性组合，即、L= μ rLr+ μ pLp+ μ wLw+ μ sLs，（21）其中我们设置μ r= 10，μ p= 1，μ w= 10和μs= 0。1.一、（虚线箭头），接着是对应于扫描线s的GS图像的恢复。然后进行Sigmoid运算映射到（0，1）的区间，得到C1→m和C2→m。在-20.我必使他们因我的名得福。有效的归一化扫描线偏移（即，，T1-m和T2-m，Ti，j[1，1]），其被定义为所捕获的像素与中间扫描线的像 素 之 间 的 归 一 化 扫 描 线 偏 移 。 请 注 意 ，T1→m=T2→m，并且它们在中间扫描线中的值被设置为足够小（不为零）以用于随后的流传播。因此，最终相关图C1-m和C2-m可以恢复为：详细情况可在我们的补充材料中找到。训练数据集。我们在Carla-RS和Fastec-RS数据集[20]上评估了我们的模型，这些数 据集提供了 基础事实(GT)中间扫描线GS监控信号。卡拉-RS数据集是使用Carla模拟器[7]从虚拟3D环境生成的，涉及一般的六个自由度运动。Fastec-RS数据集包含由专业高速GS相机合成的真实世界RS图像。在[20]之后，Carla-RS数据集被划分为210个序列的训练集和40个序列的测试集，并且Fastec-RS数据集具有56个用于训练的序列和20个用于测试的序列。我们在两个基准上训练我们的网络，以预测中间扫描线GS图像（即，s=h/2）。在测试时，我们的模型能够被扩展以生成任意校正的GS帧。C1→m=T 1→mC1→m，C2→m=T 2→mC2→m，（十九）任何扫描线s∈[0，h−1]。培训战略。我们的管道在Py-哪里 是逐元素乘数。 很容易就能看出来-证明它们都自然地符合命题1的理论界限。此外，我们使用最后四个通道估计光流残差ΔF1→2和ΔF2→1，以增强边缘细节的对齐和边缘的边缘的对齐。提出的模型的一般性。 最后，根据Eq。在等式（13）中，双向RS无失真流U1-m和U2-m可以被获得为：火炬我们使用Adam优化器[17]来优化所提出的网络。学习率最初设置为10−4，每50个epoch降低0.8倍。光流估计网络首先从[ 34 ]的预训练模型中微调100个历元，然后将整个模型联合训练另外200个历元。批次大小设置为6。我们使用一个统一的随机作物在水平分辨率为256像素的数据增强。注意，我们不将纵向分辨率更改为U1→m=C 1→m（F 1→ 2+ ΔF 1→2），U2 →m= C2 →m（F2 → 1 + Δ F2 → 1）.（二十）保证RS相机的扫描线依赖性。6.2. 评估协议最后，使用softmax splatting [24]来扭曲RS图像11（分别为I2）到目标中间扫描线GS图像我们计算平均峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习的R rI1（相应I2）通过U1→m（分别U2→m）。感知图像块相似性（LPIPS）[39]）2&2 μm&1 μm）1I1R）1 - 2I2R）2 1I1GI2G82 μm81m82秒I1R）1 2）2 1I2R4235FUL输入（叠加）DeepUnrollNetDiffHomo DiffSfMRSSR（Ours）GT图4：Fastec-RS测试套件的目视比较。我们根据蓝框放大校正结果。虽然其他方法会导致各种工件，我们的方法产生最好的效果。表1：与第二RS帧的第一扫描线对应的恢复GS图像的定量比较。红色和蓝色的数字代表最佳和次佳性能。请注意，我们无法对Fastec-RS数据集进行基准测试，因为它缺乏训练基础事实。无论校正后的图像的黑边，我们的方法表现良好，对其他方法。方法PSNR↑SSIM↑LPIPS↓预测和GT GS图像。较高的PSNR/SSIM或较低的LPIPS分数指示较好的性能。请注意，除非另有说明，否则所有竞争方法均参考与第二RS帧的第一扫描线对应的GS图像以进行一致的比较。有关DeepUnroll- Net的更多说明，请参阅我们的补充材料[20]。由于Carla-RS数据集提供了GT遮挡掩模，为了更好地评估，我们进行定量实 验 ， 包 括 ： 具 有 遮 挡 掩 模 的 Carla-RS 数 据 集（CRM）、不具有遮挡掩模的Carla-RS数据集（CR）和Fastec-RS数据集（FR）。6.3. 消融研究为了证明我们提出的网络中每个组件的有效性，我们分别评估了网络，网络和损失函数的控制比较。我们使用与Subsec中提到的相同的策略来训练这些变体。6.1.请参考补充材料进行深入分析。6.4. 与现有方法的我们针对以下RS校正算法评估所提出的RSSR方法：- SMARSC[43]：最先进的单视图RS校正方法。我们遵循[20]的重新实现，因为它不是开源的。- DeepUnrollNet[20]：最 先进 的双 视图 RS 校正 方法。然而，它不具有产生高帧率GS视频序列的能力。- DiffSfM[41] 和 DiffHomo[42] ： 纯 几 何 RS 校 正 方法。它们难以从两个连续帧稳健地估计准确的RS几何形状，并且依赖于复杂的处理。此外，我们通过分别使用PWC-Net [34]和RAFT [35]作为输入来实现DiffSfM的两个版本。我们在表1中报告了定量结果。用RAFT方法得到的较好的光流场可以提高估计精度。CRMCRFRCRFRCRFR[20]第二十话26.9026.4626.520.810.790.07030.1222[42]第四十二话19.6018.9418.680.610.610.17980.2229[41]第四十一话19.5318.6218.590.690.630.20420.2416DiffSfM-RAFT[41]24.2021.2820.140.780.700.13220.1789RSSR（我们的）30.1724.7821.260.870.780.06950.14244236×个输入（叠加）I1 0。0h时I1 0。3小时I1 0。6hI1 0。9hI2 0. 0h时I2 0. 3小时I2 0. 6hI2 0. 9h图5：通过应用我们的方法内插GS视频帧。我们根据橙色框放大校正结果。例如，“I 1 → 0。“3h”表示对应于0的校正GS图像。帧1的第3h个扫描线。 我们的方法不仅保留了时间平滑，但也纠正了RS文物。提高了遥感几何精度，从而提高了DiffSfM中遥感校正的性能，也表明了遥感几何挖掘的重要性。我们的模型与Carla-RS数据集中的所有比较方法相比表现良好，并且与Fastec-RS数据集中的DeepUnroll-Net竞争，因为Carla-RS数据集与恒定运动假设更一致。请注意，与DeepUnrollNet相比，我们校正后的GS图像中的黑色边缘将降低我们方法的PSNR得分，而无需使用掩码。非常重要的是，我们的方法可以生成高帧率和视觉上令人愉快的GS视频帧。我们还提供了图像上的视觉结果，图中有明显的RS失真。4，其中DiffHomo和DiffSfM未能校正几何RS失真，并且DeepUnrollNet导致局部图像细节的丢失。更多的结果在我们的补充材料中显示。总的来说，我们的方法可以产生更正确和可靠的结果。6.5. 生成多个GS视频帧我们生成对应于不同扫描线的多个GS视频帧，如图1所示。五、我们的方法不仅产生平滑和连续的视频序列，但也消除了RS文物成功。6.6. 推断时间我们的方法可以同时预测两个分辨率为640的中间扫描线GS图像480像素-els在NVIDIA GeForce RTX2080Ti GPU上近乎实时（平均0.12秒），这比[ 20 ]的平均0.34秒更快，以恢复单个GS图像。此外，我们可以扩展到生成对应于任何特定扫描线的GS图像，使用平均运行时间1.75毫秒，因为只需要简单的显式矩阵运算。因此，我们的RSSR方法可以在约1.80秒内有效地产生960 GS视频帧。然而，DiffSfM [41]需要大约467.26秒来重新计算。在Intel Core i7- 7700 K CPU上，覆盖单个GS图像，这对于时间受限的任务（例如实时机器人视觉定位）是不利的。6.7. 限制我们的方法的主要限制是，它是不鲁棒的沉重的闭塞和移动的对象。这是RS校正算法的常见挑战[20，28，41在这些具有挑战性的场景中，相应区域的RS未失真流不能很好地估计，导致模糊的对象边界。7. 结论在本文中，我们解决了具有挑战性的任务，遥感图像反演，即将连续的RS图像转换为高帧率的GS图像。为此，我们确认并讨论了双向RS无失真流和光流之间的内在联系。我们提出了第一个新颖且直观的RS时间超分辨率框架，该框架从两个连续的RS图像中提取潜在的GS图像序列，该框架由问题本身的潜在几何属性指导。我们的管道具有良好的可解释性和泛化能力，由于RS几何感知学习。 除了中间扫描线GT GS图像外，它不需要额外的监督。我们已经证明，我们的方法不仅可以重建几何和时间一致的视频序列，但也去除RS文物，实现了良好的性能。致谢本 研 究 得 到 了 国 家 自 然 科 学 基 金 （ 61871325 ，61901387）和国家重点研发计划（2018AAA0102803）的部分资助。我们要感谢匿名评论者提供的有用的评论。4237引用[1] Cenek Albl、Zuzana Kukelova、Viktor Larsson、MichalPolic、Tomas Pajdla和Konrad Schindler。从两个滚动快门到一个全局快门。计算机视觉和模式识别会议论文集，第2505IEEE，2020年。二个[2] Cenek Albl、Zuzana Kukelova和Tomas Pajdla。R6 p-卷帘快门绝对相机姿势。计算机视觉和模式识别会议论文集，第2292-2300页。IEEE，2015年。一个[3] Simon Baker ， Eric Bennett ， Sing Bing Kang ， andRichard Szeliski. 拆卸卷帘门摆动。计算机视觉和模式识别会议论文集，第2392-2399页。IEEE，2010。二个[4] Wenbo Bao ， Wei-Sheng Lai ， Chao Ma ， XiaoyunZhang，Zhiyong Gao，and Ming-Hsuan Yang.深度感知视频帧插值。 会议记录计算机视觉和模式识别，第3703- 3712页。IEEE，2019。二、五[5] Wenbo Bao，Wei-Sheng Lai，Xiaoyun Zhang，ZhiyongGao，Ming-Hsuan Yang.Memc-net：运动估计和运动补偿 驱 动 的 神 经 网 络 ， 用 于 视 频 插 值 和 增 强 。TransactionsonPatternAnalysisandMachineIntelligence，43（3）：933-948，2021。二、五[6] Yuchao Dai，Hongdong Li，and Laurent Kneip. 滚动快门相机相对姿态：广义对极几何在Proceedings of theConference on Computer Vision and Pattern Recognition中，第4132-4140页。IEEE，2016. 一个[7] Alexey Dosovitskiy、German Ros 、Felipe Codevilla 、Antonio Lopez和Vladlen Koltun。卡拉：一个开放的城市驾驶模拟器。在第一届机器人学习年会论文集，第1-16页，2017年。六个[8] Bin Fan，Yuchao Dai，and Mingyi He.用于卷帘快门校正的对称无失真网络。计算机视觉国际会议论文集。IEEE，2021。三个[9] Bin Fan，Ke Wang，Yuchao Dai，and Mingyi He.用于卷 帘 快 门 立 体 图 像 的 深 平 面 扫 描 网 络 IEEE SignalProcessing Letters ， 28 ： 1550-1554 ， 2021 。 doi ：10.1109/LSP.2021.3099350。二个[10] Martin A Fischler和Robert C Bolles。随机样本共识：图 像 分 析 和 自 动 制 图 应 用 的 模 型 拟 合 范 例Communications of the ACM，24（6）：381-395，1981.五个[11] 这是一个很好的选择. 纠正手持设备的滚动关闭器视频。在Proceedings of the Conference on Computer Vision andPattern Recognition中，第507-514页IEEE，2010。二个[12] 马蒂亚斯·格伦德曼，维韦克·夸特拉，丹尼尔·卡斯特罗，还有伊尔凡·埃萨.免校准卷帘快门拆卸。在计算摄影国际会议论文集，第1-8页。IEEE，2012。二个[13] JohanHedbo r g，Pe r-ErikFors e'n，MichaelFelsbe r g，andErik Ringaby.卷闸管束调整。在计算机视觉和模式识别会议论文集，第1434-1441页。IEEE，2012。五个[14] Sunghoon Im 、 Hyowon Ha 、 Gyeongmin Choe 、 Hae-Gon Jeon、Kyungdon Joo和In So Kweon。从滚动快门相机 的小运 动剪辑精 确的三 维重建Transactions onPattern Analysis and Machine Intelligence，41（4）：775-787，2018。二、五[15] Huaiizu Jiang ， Deqing Sun ， Varun Jampani ， Ming-Hsuan Yang，Erik Learned-Miller，and Jan Kautz.超级斯洛莫：用于视频内插的多个中间帧的高质量估计。计算机视觉和模式识别会议论文集，第9000- 9008页。IEEE，2018年。二、五[16] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在欧洲计算机视觉会议论文集，第694-711页中。施普林格，2016年。六个[17] Diederik P Kingma和Jimmy Ba。亚当：随机优化的一种方法。在2015年学习代表国际会议的会议记录中六个[18] Yizhen Lao和Omar Ait-Aider。一种使用具有自动特征选择的线进行强卷帘快门效应校正的鲁棒方法在计算机视觉和模式识别会议论文集，第4795IEEE，2018年。一、二[19] Yizhen Lao和Omar Ait-Aider。卷帘门同态及其应用。TransactionsonPatternAnalysisandMachineIntelligence，43（8）：2780-2793，2021。一、二[20] 刘培东，崔兆鹏，维克托·拉尔森，马克·波勒费斯.深百叶窗展开网络。计算机视觉和模式识别会议论文集，第5941-5949页。IEEE，2020年。一二三四六七八[21] Peidong Liu ， Joel Janai ， Marc Pollefeys ， TorstenSattler，and Andreas Geiger.自我监督的线性运动去模糊。Robotics and Automation Letters，5（2）：2475五个[22] HughChristopherLonguet-Higgins和KvetoslavPrazdny。运动视网膜图像的解释伦敦皇家学会会刊。B系列。BiologicalSciences，208（1173）：385-397，1980. 三个[23] Marci Meingast、Christopher Geyer和Shankar Sastry。滚动快门照相机的几何模型。arXiv预印本arXiv：cs/0503076，2005。三个[24] 西蒙·尼克劳斯和凤琉。Softmax splatting用于视频帧插值。会议记录计算机视觉和模式识别，第5437-5446页。IEEE，2020年。二、四、五、六[2