水下图像压缩感知与局部多项式表示

1压缩感知和局部多项式图像表示相Jerin GeoJames IIT孟买jeringeo@cse.iitb.ac.inPranayAgrawal IIT孟买gmail.comAjitRajwade IIT孟买ajitvr@cse.iitb.ac.in摘要静态场景的图像淹没在波浪形的水面下，表现出严重的非刚性失真。水流物理学认为水面具有时空平滑性和时间周期性.因此，它们在3D离散傅立叶（DFT）基础上具有稀疏表示。出于这一动机，我们提出的任务，恢复这样的视频序列作为一个压缩感知（CS）的问题。我们开始跟踪几个显着的特征点，在淹没场景的视频序列的帧。使用这些点的轨迹，我们表明，在所有其他（非跟踪）点的运动场可以有效地估计使用一个典型的CS求解器。这本身就是非刚性运动估计领域的一个新贡献。我们表明，这种方法优于最先进的水下图像恢复算法。我们进一步考虑一个简单的光流算法的基础上的局部多项式展开的图像帧（PEOF）。令人惊讶的是，我们证明，PEOF是更有效的，往往优于所有的最先进的方法在数值测量方面。最后，我们证明了一个两阶段的方法组成的CS步骤，然后PEOF更准确地保留图像结构，并提高（视觉以及数值）的视频质量相比，只是PEOF阶段。源代码，数据集和补充材料可以在[1]，[3]访问。1. 介绍水下图像分析是计算机视觉中一个具有挑战性且相对较少探索的领域。特别地，如果浸没在水中的场景由空气中的相机成像，则该场景由于在波状/动态水面处的动态折射而呈现严重的空间失真。这种失真可能会干扰更高级别的任务，如对象识别、跟踪、运动分析或分割，这些任务在珊瑚礁监测、监视浅河床以观察植被[32]，或研究水鸟的视觉感知（见参考文献[5]）。应用光的可逆性原理，也存在潜艇中的应用，其中水中的相机观察空中的场景[5]。相关工作：有一个中等规模的文学机构在这个问题上。据我们所知，最早的工作来自[19]，其中使用基于相关性的方法估计帧到帧的光流，并且从每个点处的流轨迹的质心估计底层由于光流中的模糊性（特别是在大运动的情况下）以及反射或模糊伪影，这种方法是昂贵的并且容易出错。[29]中的工作从由波动方程生成的合成水下场景推断出一组[20]中的工作使用演化模板（初始化为平均图像）对序列中所有帧的模糊版本进行非刚性注册，然后进行鲁棒PCA步骤[7]。这两种方法都是昂贵的，并且在大运动的情况下容易出现局部最小值沿着类似的思路，[15]提出了一种将视频序列的所有帧与“参考帧”配准的方法，所述参考帧被选择为具有最小模糊的帧。[ 12 ]、[ 9 ]、[ 36 ]和[ 35 ]中提出了所谓的在此，识别对应于由于水表面的局部平坦部分而形成的图像的块的无失真块，然后使用图形嵌入将其拼接在一起。在[25]中，基于水面是单个单向循环波（UCW）的假设恢复过程被框定为盲解卷积问题，其输入是视频帧的平均值（相当于由于长时间相机曝光而导致的运动模糊图像）。在某些情况下，UCW假设将不成立，例如，如果水波是由多个独立扰动引起的不同组成波的最近，[18]提出了一种深度学习78397840×不t=1N，−不我--N关于我们框架来恢复单个失真的水下图像（而不是使用视频序列）。神经网络在成对的无失真和失真图像上进行训练，以推断几何失真并应用光度校正。该方法不考虑时间冗余形式的额外信息，这在甚至短视频序列中也是为了有效，它还需要大量的训练数据。相比之下，我们的方法是基于基本物理/几何学的原理。它也不需要如[18]中的训练数据，如[30，31]中的代表性无失真模板（通常难以获取）来驱动技术，如[32]中的多个照明源或如[21]中的多个视点。概述：在本文中，我们提出了一种新的方法，利用固有的时空冗余的水波。我们注意到，运动矢量场（MVF），定义为在视频序列的每个帧中的每个点处的位移矢量的集合，在离散傅立叶基中具有稀疏表示。这是从流动的空间平滑性，以及它的时间有序性和平滑性中出现的。我们首先跟踪视频的所有T帧上的一些N个显著特征点2.1. 图像形成我们假设一个静态的平面场景淹没在一个明确的，浅水表面下的未知深度h，这个假设在实践中是有效的（从我们在第3节中关于实序列的结果中也可以看出），并且在现有的工作中也是如此，例如[29，25，19]。随我去吧原始图像（大小N×仿佛它已经成形，在没有任何波浪水面的情况下。然后，由于波浪形水面而引起的失真图像Id被给出为Id（x0，y0，t）=I0（x0+dx（x0，y0，t），y0+dy（x0，y0，t）），其中（dx（x0，y0，t），dy（x0，y0，t））是在时间t在点（x0，y0）处的位移（索引到未失真图像I0中）。 （dx（x0，y0，t），dy（x0，y0，t））与折射点处水面动态高度z（x，y，t）的导数之间的精确关系已在先前的工作中导出[19]。在这里，我们的目标是在给定Id（：，：，t）t=1的情况下估计所有（x0，y0）的I0（x0，y 0）。我们假设视频帧在很大程度上是无模糊的，尽管与该假设的适度偏差不影响我们的理论或结果。我们忽略了诸如光从水面反射的以产生点轨迹（PT）{pi，{（xit，yit）}T}i=1，（我们发现在真实视频中不存在或很少然后将其转换为位移轨迹（DT），di，（dx，it，dy，it）t=1i=1.考虑到这些DT，我们使用压缩感测（CS）方法来推断图像域中所有其他点处的DT。在本文中，我们将CS应用于运动估计的具体方式是一种新颖的贡献（参见第2节。2.3.4用于与用于基于稀疏性的运动估计的其它方法的我们还观察到，我们的方法大大减少了非刚性运动，并优于现有技术的方法。我们的第二个主要贡献是使用基于局部多项式图像表示的现有光流方法[13]，用于此特定任务。尽管它的简单性，我们表明，这种方法优于最先进的。最后，我们表明，一个两阶段的方法与CS其次是光流法导致更好的视频稳定以及图像结构的保存（视觉和数值）比单独的光流阶段，在仅略高的计算成本。组织机构：我们的方法背后的主要理论在第二节中解释。二、数据集和实验在第二节中描述。3，其次是在SEC的讨论和结论。4.第一章2. 理论我们首先提出了一个完整的描述，在我们的恢复任务中所作的各种假设，并比较它们与其他上述方法。（29）（）（。2.2. 水面和运动矢量场模型在我们的工作中，我们基本上要求波浪水面在空间和时间上是平滑的信号，并且也是时间周期性的。时空平滑性的假设在关于该主题的文献中很常见，例如[29，20]，并且不包括湍流。我们不需要将水面明确地建模为正弦波的线性组合，尽管我们的方法即使在这种情况下也能很好地工作。 在时刻t的（底层未失真视频的）点（xi0，yi0）处的运动矢量被表示为d（t），（di 0，di t）。 com-全运动矢量场（MVF）可以表示为两个RNx×Ny ×T中的3D信号dx，dy，包含每个像素（xi0，yi0）和每个时刻t处位移的X和Y分量。由于空间-时间平滑性（以及由此它们的带限性质），dx、dy两者将允许傅立叶空间中的稀疏（或可压缩）分解。由于计算的原因，我们使用离散傅里叶变换（DFT）的基础。 给定dx，dy之间固有的相互依赖性（因为它们来自同一波浪水面），我们转而使用复值向量场d，dx+ ι dy，其中d ∈ CNx×Ny ×T且ι 1。这是利用这种相互依赖性的一种自然方式。此外，如果视频序列足够长，使得实际MVF是时间周期性的，则Fur7841输入：失真视频Id输出：恢复图像I<$r1 跟踪N个特征点以获得点轨迹N2计算位移轨迹{（p） 根据第2.3.1.我i=1d}根据N我i=1秒2.3.2.3计算运动矢量场（MVF）d，如定义的N节中2.2从其测量结果来看，d}使用我i=1基于CS的方法来自Sec. 2.3.3.4 根据计算的MVF执行运动校正，获得恢复的视频Ir。5可选地，对Ir执行进一步的运动校正使用SEC的PEOF技术。2.3.5。6.计算Ir的平均值或中值框，得到Ir。∼t=1i=1--×这有助于傅立叶域表示的稀疏性。这是因为根据定义，周期信号在傅立叶域中是稀疏的，如果它们是带限的，则更是如此-这是平滑的结果。傅立叶基中的MVF的稀疏性的假设在流体力学文献中得到证实。例如，在[23，14，37]中，已经证明了在流体流动中产生的不同类型的时间周期速度矢量场的傅立叶级数的快速收敛。因此，水面高度z（x，y，t）以及因此MVF（其与z（x，y，t）的导数相关）也将允许稀疏傅立叶分解。此外，在Sec。3.3，我们提出了一个经验验证的傅立叶稀疏性的MVFd从真正的水下视频序列。2.3. 方法概述我们的方法的概述总结在一个伪代码在Alg. 1.一、进一步描述详细步骤我们使用标准KLT跟踪器获得了出色的结果，因为它本质上考虑了局部仿射运动（对非刚性运动的第一近似）。然而，在某些情况下，我们会遇到跟踪错误。如果（1）KLT跟踪器本身认为这些轨迹是无效的（这发生在帧中的显著特征点周围的区域不能被准确地表示为先前帧中的对应区域的仿射变换时），或者如果（2）轨迹的中心（COT），如在第2.2节中定义的，则这些轨迹被淘汰并且不在后面的步骤中使用2.3.2，在第一个T/2帧和最后一个T/2帧上计算，相差超过3个像素的阈值。我们还训练了一个暹罗网络[27]来学习好的特征描述符。有关此方面的更多详细信息，请参见补充材料。在看不见的合成数据和真实数据上，暹罗网络产生的结果略好于KLT跟踪器。但是，如果视频帧中存在模糊，则其性能不如KLT跟踪器因此，我们在所有实验中使用KLT跟踪器。实序列上的点跟踪示例显示在补充材料文件夹“CS MotionReduction”中2.3.2位移计算根据先前的定义（xi0，yi0）和点-ΣT轨迹pi，我们近似xi0，t=1xit/T≈xi0;yi0 ，泰国t=1 y该团体/T≈yi0（称为算法1：恢复视频的算法或COT），虽然更强大的也可以考虑。这种近似通过水运动的局部对称性假设得到了很好的证明，由于水表面上任何点的平均表面法线（跨时间）接近垂直线[19]。我们的合成和真实序列的实验证实，这是有效的，即使是中等的T50帧。补充材料包括说明性实例。这样，我们的第i个显著特征点aregiv enasdi，（dix，diy），{（xit−xi0，yit−yi0）}T.2.3.1特征点检测和跟踪我们从显著特征点检测和跟踪算法开始，我们将这些称为2.3.3使用CS的T N{（xit，yit）}t=1}i=1，对于在第一帧。坐标（x i t，y i t）表示第i个点在帧t中的位置，该点在无失真帧中的坐标被表示为（x i 0，y i0），其中下标"0"指的是未失真图像中的索引。当然，（xi0，yi0）在开始时是未知的。我们的显著特征点检测结合了四种算法：（1）不同-SURF使用的高斯分布（DoG）[6]，（2）FAST方法[24]，（3）流行的Harris角点方法，以及（4）BRISK技术[17]。考虑第一帧中的显著点的联合集合，如由所有这些方法检测到的。使用众所周知的Kanade-Lucas-Tomasi（KLT）跟踪器[2]在后续帧中跟踪该集中的所有点DTd，N可以被认为是3D MVF信号d的稀疏样本（在空间-时间域中）。信号d在傅立叶域中是稀疏的（参见第2节）。 2.2），因此可以表示为vec（d）=Fθ，其中F是3D-DFT基矩阵，θ是傅立叶系数的稀疏向量。如果DT被连接以形成NT个元素的复值e=ΦFθ+η，（1）其中Φ是大小为NT的采样矩阵NxNyT和η是指示从跟踪算法获得的DT中的误差的NT个注意7842×i=1Ott我N∈∈--Φ是大小为N×NyT N×NyT的单位矩阵的行二次采样版本，并且Φ的每一行是独热向量，其指示在某个时间帧t处的某个像素（xi0，yi0）（在未失真图像中）处的位移是否被包括在集合di（以及因此测量向量e）中。感测矩阵Φ和表示矩阵F是理想的组合，因为它们彼此高度不相干。这对于CS算法用于从e，Φ估计θ（以及由此估计d）的应用是良好的预兆。这是因为CS理论指出（slog（NxNyT）µ（ΦF））测量足以以非常高的概率精确重建s稀疏向量θ [8]。其中，μ（ΦF）是使用基于稀疏性的技术进行稠密流场估计并不完全是新的，并且在[10，26，16]中已经使用过。然而，除了使用稀疏性的水下图像恢复，有关键的区别，我们的方法和现有的。(a)首先，这些论文使用稀疏表示（例如，小波[26]，学习字典[16]或低秩和稀疏模型[10]）用于小块中的光流，不像我们的方法更全局。(b)其次，它们仅计算两帧之间的光流，其中数据保真度项基于亮度恒定方程（与我们使用位移轨迹的方法不同），它们不考虑时空补丁，并且不考虑Φ和F，定义为μ（ΦF），最大|Φi Fj|i，j，i/=j<$Φi<$2<$Fj<$2时间冗余，这是一个容易获得和使用-我们的方法所利用的。其中Φi和Fj是Φ的第i行和Φ的第j列，F分别。在我们的任务中，如果选择Φ，F，则μ达到其下限1，从而减少了重建保证所需的样本数量。为了考虑e中的噪声，我们使用估计器（通常称为LASSO）确定d，该估计器最小化以下目标函数：J（θ）= λθ1+ e − Φ Fθ2。（二）正则化参数λ可以通过交叉验证[34]从候选值的集合S中选择。也就是说，对于每个λ∈S，候选信号dλ∈由下式计算：LASSO方法使用仅（比方说）90%的集合T12.3.5光流场的多项式图像展开[13]中的经典光流法将来自两个图像f1和f2的小块表示为二次多项式，其中必须计算其间的MVF。如[13]中所述，这种方法可以过度平滑运动不连续性，但由于水波的空间平滑性，它非常适合我们的问题。考虑以下情况：f1（x）=xtA1x+b1tx+c1（3）f（x）<$f（x−d）=（x−d）tA（x−d）+bt（x−d）+c从E.因此，21的价值1 1 1E（dλ），i∈T2 |ei -Φdλ|2 is computed, where T2isA2x+b2x+c2，e中的剩余测量的集合。λ的值可以选择最小化E（dλ）。 为此，通过LASSO方法根据e中的所有测量值并使用选定的λmax值重新估计d。2.3.4关于使用CS的MVF估计的评论请注意，我们的方法与[36]中的双谱方法非常不同，后者选择最小失真）的块。 在该方法中，其中d是点x，（x，y）t处的2D位移向量。分别考虑两个图像中以点x为中心的小块。多项式系数A1，A2R2× 2，b1，b2，c1，c2R2 × 1可用局部回归法确定。该过程在整个图像中以滑动窗口方式重复，因此这些系数成为x的函数。假设MVF缓慢变化，位移d（x）可以按以下方式计算：在空间域中的小块上局部地计算傅立叶变换，以从平均图像中找到与对应块的相似性另一方面，我们的傅立叶分解是时空和全球性的。的d（x）=. Σx~∈N（x）A（x~）TA（x~）Σ−1Σx~∈N（x）A（x）Tb（x），（四）在所谓的EpicFlow技术[22]中已经提出了从特征点对应的稀疏集合进行密集光流插值（不特定于水下场景）的想法。插值使用非参数核回归或局部仿射方法。然而，我们的方法使用水波的关键属性（时空平滑性和时 间 周 期 性 ） ， 因 此 考 虑 了 MVF 的 时 间 方 面 。EpicFlow中缺少这方面。尽管如此，我们目前的比较，EpicFlow在秒。3 .第三章。其中x~是x周围邻域N（x）中的点，A（x~），（A1（x~）+A2（x~））/2和∆b（x~），（b1（x~）-b2（x~））/2。 关于这种方法的更多细节可以在[13]中找到。我们把这种方法称为基于多项式展开的光流（PEOF）。给定d（x），图像f1被扭曲接着是在F1的扭曲版本中的多项式拟合，以及重新估计d（x）。迭代地重复该过程。在本工作中，PEOF方法被用来找到每个视频帧和平均图像（所有视频帧的平均值）之间的MVF。计算的MVF为7843≤≤∼ ××∼ ××∼ ×××应用于每个帧以获得恢复的视频。然后对这些恢复的图像求平均以产生最终恢复的图像。如图所示。3，该方法在图像恢复质量以及计算速度方面优于所有现有技术方法。3. 实验结果在本节中，我们提出了一个广泛的套件的合成和真实的视频序列的结果。所有的图像和视频结果可在补充材料。3.1. 数据集描述我们创建了几个大小为50 fps的合成视频512 512 101通过模拟折射模型 来自[19]的包含对象/文本的不同图像，用于水面以下25 cm的场景深度。利用随机选取的参数叠加2K6我们将此数据集称为合成数据集。我们还收集了真实的视频序列（大小700512101，具有50 fps的照相机），具有由机械桨产生的波浪。有关收购的详细信息，请参阅补充材料。目视检查显示，在一些帧中偶尔存在模糊。我们将此数据集称为Real1。对于地面实况（I0），我们还在具有相同相机设置的静水下获得相同海报的单个图像。我们还展示了三个文本序列的结果（大小300250101在125 fps）从[29]获得，其中地面真实可用。我们将此数据集称为Real2。请注意，由于帧间运动更大，Real 1是比Real 2更具挑战性的数据集-参见表2.运动的标准微分值σmtion，形成了所有的计算和质量评估，其中每个视频帧的大小被调整为256 × 256（在适当的裁剪以保持纵横比之后），如它们的特定实现所要求的。对于CS，我们使用了众所周知的YALL1（基本）求解器[4]，它允许复值信号的1我们在实践中通过在X、Y方向上对包括e的DT下采样8倍（这与水波的带限性质一致），随后进行CS重构和随后的上采样以获得最终重构的MVF，观察到更好和更快的结果。 对于PEOF，我们使用了OpenCV实现，采用了3级多尺度金字塔方法，金字塔尺度为0.5，迭代次数为10次（即，默认参数）。对于参考地面实况的质量评估，我们使用了以下措施：（i）目视检查恢复的视频Ir以及恢复的视频，（ii）RMSE计算为I¯r−I02/I02其中I0是表示未失真静态的图像场景，（iii）之间的I′r和I0，以及（iv）I′r和I0之间的SSIM [33]。我们还考虑将PEOF与非常有竞争力的光流算法进行比较：EpicFlow [22]（EF）.对于EF [22]，我们使用作者视频的平均帧。然后，我们将变形应用于每个帧以产生最终图像。比较PEOF和EF的结果包括在补充材料中，并显示PEOF优于EF的水下图像恢复。请注意，EF方法迄今为止尚未应用于文献中的这项任务。我们没有展示用于光流的最先进的深度学习方法的结果，例如[11]或[28]在这里，有两个原因：（i）与[11]相比，EF在我们的数据上产生了更好的结果，（ii）[28]的PWC-net的 结 果 在 一 些 数 据 集 （ 如 Sintel ） 上 只 显 示 了 比EpicFlow小的改进。我们没有与[25]中的工作进行比较，因为它是-ΣNi=1 ΣTt=1 （（x它-x（i0）2+（yit-y（i0）2）/（NT−1），基于单向波动假设（而在显著点轨迹上计算。3.2. 关键参数和比较我们比较了几种算法的恢复结果：(1)我们的基于CS的方法（CS）从SEC。（2）我们的PEOF 方 法 来 自 第 2.3.3 节 。 2.3.5; （ 3 ） CS + PEOF（CS+PEOF）;（4）[ 20 ]中的两阶段方法，包括基于样条的配准，然后是RPCA（SBR-RPCA），其被认为是用于水下图像恢复的现有技术;（5）[ 29 ]的方法，使用学习的水基（LWB）;（6）深度学习（DL）方法。对于SBR-RPCA和LWB，我们使用了作者提供的具有缺陷参数的代码。对于DL，我们使用作者提供的预训练网络和代码，分别对每个视频帧进行训练，然后计算平均图像。我们每-我们假设更一般的波浪模型），并且由于无效-公开发布代码的能力。此外，我们没有明确地将我们的结果与[15]中的方法进行比较，其中公开发布的代码不可用。然而，我们观察到CS-PEOF在Real 2上优于[153.3. 结果讨论数值结果见表1。通过各种方法恢复的三个真实视频的平均图像呈现在图1和图2中。3 .第三章。补充材料包含所有方法的14个视频（平均图像和恢复视频）的结果。从这些结果，很明显，我们的方法（CS，PEOF和CS-PEOF）产生的结果sur。7844i=1图1.从实序列估计MVF的傅里叶域稀疏性验证顶行：在静水中获取的原始未失真图像（左），失真视频序列的平均值（右）;底行：使用CS恢复的视频序列的平均值（左），占使用 CS 估计 的MVF 的平 方幅 度的99% 的频 率的 散点图（右）。通过SBR-RPCA，LWB和DL在合成以及真实数据集，数字和视觉质量方面。我们还补充了一个涉及RPCA[7]的步骤来去除稀疏伪影，这提高了视频稳定性，但对平均图像的质量影响很小。尽管PEOF产生的数值结果优于CS，但我们观察到，与PEOF相比，CS产生的恢复视频和平均图像具有更好的视觉质量-见图。3（“Ele-phant”上的网格线，“中间”中的“成像”、“失真”字样）以及补充材料。此外，我们观察到SBR-RPCA、DL和LWB不能像我们的方法那样保留图像结构（参见图11中“Elephant”中的网格线、“Middle”中的单词“Fluctuation”或“Distortion”以及“Eye”中的字母E、T、Z和大D）。3.第三章。我们确实相信，如果他们的网络被训练为将多个帧恢复到一起，而不是单独恢复单个帧（如他们当前的算法所做的那样），DL方法[18]可能会产生更好的结果-这忽略了导致性能损失的时间总而言之，我们的研究结果表明，利用水波的时空特性进行这项任务确实是有用的。计算时间：所有方法的计算时间（在具有32 GB内存的2.6 GHz Intel Xeon计算机上测量RAM）见表1。DL方法是最快的，而我们的方法比SBR- RPCA和LWB快得多。然而，对于CS，YALL 1求解器使用GPU支持，这在作者的SBR-PCA和LWB代码中不可用我们注意到，虽然交叉验证是一种很好的选择λλ参数的方法，图2.帧数目T（顶部）和显著点数目N（底部）的增加对CS方法的恢复性能的影响结果显示在等式2，我们发现该参数的最佳选择在数据集之间没有太大变化此外，λ λ的微小变化对性能的影响不大。因此，表1中未包括交叉验证的时间。傅立叶稀疏度的验证：在这里，我们证明了稀疏的MVF从真正的水下序列。如图所示。1的“ 大象”序列（可以为所有其他序列生成类似的图）。我们注意，实际的MVF只能被估计。然而，我们认为，我们的CS方法估计的MVF是一个很好的近似实际的。这在将估计的平均图像的质量与原始未失真图像（在静止水中收集）进行比较时是明显的。为了进一步量化，我们还跟踪了在第12节中用于CS算法的相同的N个点（来自失真视频Id）。2.3.3，在恢复的视频中（Ir）由CS步骤产生。这产生了新的DT{di}N .7845表1.合成视频序列和真实视频序列上各种方法的比较。计算时间（h=小时，m=分钟，s=secs.），NMI、SSIM、RMSE。RMSE越低，SSIM和NMI越高越好。CSPEOFCS+PEOF数据集时间NMISSIMRMSE时间NMISSIMRMSE时间NMISSIMRMSEReal1卡通0分42秒1.2270.9020.0650分41秒1.2160.9130.0621分23秒1.2550.9280.057检查器1分9秒1.2060.8840.1040分40秒1.1960.890.1051分49秒1.220.8920.104骰子1分20秒1.1720.9370.0670分40秒1.1390.9050.0752m 1s1.1880.9560.059砖1m 1s1.1480.7850.1420m 34s1.1510.8030.1211分36秒1.1670.8430.118大象0分28秒1.1280.8010.1410分26秒1.1020.7630.1520分55秒1.1320.8080.143眼睛1m 22s1.2660.9610.0520分57秒1.260.9750.0422分19秒1.3030.9820.037数学1分19秒1.1930.9420.050m 37s1.1630.9290.0531分56秒1.2150.9610.044合成蓝色瓷砖0分28秒1.1410.7920.2560分23秒1.1410.8160.2040分52秒1.1610.8710.182砖墙0分23秒1.0940.6670.1440分24秒1.0980.690.1420分47秒1.10.7030.141愿景29s1.1810.9380.0923s1.1620.9160.11352s1.2110.9720.066手写0m 37s1.1230.8780.0810分23秒1.1310.9070.0771分钟0秒1.1560.9380.075Real2中间0分13秒1.1920.8380.1390分7秒1.2110.850.1650分20秒1.230.9140.101小0分9秒1.1690.7630.1640m 6s1.1820.7720.2060m 16s1.1950.8490.133微小0分11秒1.1660.6610.2010分7秒1.1760.6980.2630m 19s1.1860.7450.19SBR-RPCA[20]LWB[29][第十八话]数据集时间NMISSIMRMSE时间NMISSIMRMSE时间NMISSIMRMSEReal1卡通3小时2分钟1.1730.8430.1110h 54分1.1520.8360.0953s1.2030.8030.162检查器4小时9分钟1.1580.7910.2391小时37分钟1.1050.660.3223s1.1290.5440.384骰子3小时58分钟1.10.7580.171小时26分钟1.0860.7830.1263s1.0850.6370.242砖3小时43分钟1.1280.6860.1921小时24分钟1.1180.6730.2253s1.0580.490.422大象3小时7分钟1.0750.5160.2570时59分1.0680.5840.2043s1.0750.3780.347眼睛4小时4分1.1790.9130.1041小时22分钟1.1550.9030.0893s1.1410.8040.191数学4小时34分钟1.10.8410.1023小时0分钟1.0670.7660.13s1.0730.6780.139合成蓝色瓷砖2小时5分钟1.1420.7630.3720小时55分钟1.1040.720.2043s1.0910.3651.067砖墙2h 30m1.0930.6660.1581小时0分钟1.0660.4810.193s1.0790.4790.218愿景3小时4分钟1.1150.7390.21636m1.0210.4460.2663s1.0950.5990.2157846d手写0h 0m1.1120.8510.120小时52分钟1.0730.6780.1473s1.0740.5460.177Real2中间1小时28分钟1.1890.7820.2040h 54分1.1630.7610.1943s1.1220.5120.307小1小时21分1.1530.7410.1810h 33m1.1510.6880.1983s1.1140.4180.323微小1小时6个月1.1610.6570.3950h 34m1.1670.6540.2383s1.1440.4920.306由于更好的傅立叶稀疏性和更好的近似性，我们计算了作为算法给出的运动减少的度量MR，中位数i∈{1，…N}d我们注意到，我COT的信息在实践中，我们在真实数据集上观察到，仅100帧就足以产生良好的重建。的情况下，我们实现了超过90%的运动减少CS步骤-参见表2。我们已经包括了一些视频，视觉比较估计MVF w.r.t.的补充材料。地面实况MVF。帧数T的影响：在没有衰减的情况下，大的T有助于提高我们的性能。结构结果。T的进一步增加对结果质量的影响不显著。一个曲线图显示了T对从真实序列重建的影响，如图所示二、跟踪点的数量N的影响：DT的数量和准确度影响CS算法的性能7847表2. #显著点N、运动减少MR和σ运动不同的视频正确DT的数量在数据集之间变化，取决于可用的显著特征点的数量，但总是小于0。03NxNy。例如，CS在“微小”序列上的性能稍低（参见表1）是由于可用显著点的数量少，小于0。002NxNy-见表2。一个曲线图显示的积极影响增加的数量良好的质量轨道（高达一个点，超过该点的性能饱和率）是在图中所示。二、我们注意到，我们已经确保了我们算法的进一步阶段的轨迹的良好质量，如第2节所述2.3.1. 在这项工作，我们考虑了全局稀疏性，而不是小的空间或时空补丁的稀疏性，因为可能存在许多补丁没有任何显着点。4. 结论我们已经提出了两种方法用于校正由于波浪形水面引起的折射变形，一种是基于CS的新应用，用于从一小组突出的PT（及其DT）开始插值MVF，另一种是基于多项式图像展开。在这两种情况下，我们得到的结果优于最先进的低计算成本。今后工作的途径包括(1) 扩展CS算法以处理移动对象;(2) 研究了深度变化、透视投影或波衰减对算法结果的影响;（3）用其他基代替DFT研究MVF的稀疏性鸣谢：本文作者感谢Qualitative Innovation FellowshipProgram（印度）对本文的支持，NVIDIA Corp.捐赠Titan Xp GPU，Manasa Ranjan Behera of the Civil Engi-在IITB的neering部门，为波浪水槽设施，以获取真实的数据。图3.从左到右，从上到下的顺序在3组图像中的每一组中：地面 实 况 ， 失 真 的 样 本 帧 ;平 均 帧 由 SBR-RPCA [20] ， DL[18]，LWB [29]恢复;以及由CS，PEOF，CS-PEOF。放大到pdf以获得更好的视图。更多结果请参见补充材料注意其他方法中的几何失真，这这三个组分别用于数据集N先生σ运动卡通（Real1）102994.11%7.42中文（简体）314985.25%8.5骰子（Real1）223091.9%7.75砖块（Real1）130087.38%7.42大象（Real1）3670百分之九十七点七7.34眼睛（Real1）164781.66%7.84数学（Real1）230996.12%5.64BlueTiles（合成）219294.77%5.71BrickWall（合成）313494.57%8.68视觉（合成）526693.49%6.77手写（合成）378995.82%4.33中间（实2）78596.34%5.65小（Real2）99397.26%4.227848引用[1] GitHub仓库。https://github.com/jeringeo/CompressiveFlows. 1[2] KLT跟踪器的MATLAB实现https：//in.mathworks.com/help/vision/ref/vision.pointtracker-system-object.html。3[3] 项目页面。https://www.cse.iitb.ac.in/http：//www.publications.html 1[4] YALL1 ： 你 的 L1 算 法 。 http ： //yall1.blogs.rice.edu/的网站。5[5] Marina Alterman，Yoav Y. Schechner，Pietro Perona，and Joseph Shamir.通过动态反射检测运动。IEEE传输模式分析马赫内特尔，35（1）：245- 251，2013. 1[6] 赫伯特·贝、丁尼·图伊特拉尔斯和吕克·范古尔。SURF：加速了强大的功能。Computer Vision and ImageUnderstanding，110（3）：346-359，2008. 3[7] 埃 马 纽 埃 尔 ·JCand e`s ， XiaodongLi ， YiMa ，andJohnWright. 稳健主成分分析J. ACM，58（3）：11：1- 11：37，2011。1、6[8] 埃马纽埃尔·J 坎德斯，贾斯汀·龙贝和陶泰伦斯。 反作用不确定性原理：从高度不完整的信号重建精确的信号。IEEE Trans. on Information The-ory，2006.4[9] 阿图罗·多纳特和埃拉尔多·里贝罗。改进了被水波扭曲的图像的重建。计算机图形学和计算机视觉进展，2007年。1[10] 董伟胜，施光明，胡晓成，马毅。光流估计的非局部稀疏低秩正则化IEEE Transactions on Image Processing，23（10），2014。4[11] Alexey Dosovitskiy等人Flownet：使用卷积网络学习光流。在ICCV，第2758-2766页，2015中。5[12] Alexei A. Efros，Volkan Isler，Jianbo Shi，Mirko Vison-tai.透过水看。 NIPS，第393-400页，2004年。 1[13] 贡纳·法内巴克。基于多项式展开的两帧运动估计图像分析，第363-370页，2003年。二、四[14] John D.作者声明：by Michele Marie Rienecker.解非线性水波问题的傅立叶方法：应用于孤波相互作用。流体力学杂志，118：411-443，1982. 3[15] 作者：Kalyan Kumar Halder，Manoranjan Paul，MuratTahtali，Sreenatha G. Anavatti和Manzur Murshed。利用移位映射分析校正水下图像的几何畸变。光学学会杂志Am. A，34（4）：666-673，2017年4月。一、五[16] Kui Jia，Xiaogang Wang，and Xiaoou Tang.基于学习稀疏模型的光流估计。CVPR，2011。4[17] Stefan Leutenegger，Margarita Chli和Roland Y.西格沃特BRISK：Binary Robust Invariant Scalable Keypoints（二进制鲁棒不变可缩放关键点）。见ICCV，2011年。3[18] Zhengqin Li ， Zak Murez ， David Kriegman ， RaviRamamoor- thi，and Manmohan Chandraker.学习如何看穿汹涌的水流。在WACV，第512-520页，2018年。一、二、五、六、七、八[19] 村濑浩使用折射和运动的非刚性运输对象的表面形状重建。IEEE传输模式分析马赫内特尔，14（10）：1045-1052，1992. 一、二、三、五[20] Omar Oreifej，Guang Shu，Teresa Pace，and MubarakShah.用于透视水的两阶段重建方法。在CVPR，第1153-1160页，2011中。一、二、五、七、八[21] 钱一鸣，郑银强，龚明伦，杨怡红.水面和水下场景的同时三维重建。在ECCV中，第776-792页，2018年。2[22] JeromeRevaud，PhilippeWeinzaepfel，ZaidHarchaoui，and Cordelia Schmid. Epicflow：光流对应的边缘保持插值。CVPR，2015。四、五[23] 摩西·罗森菲尔德利用傅立叶分解分析时间周期流。Computers and Fluids，24（4）：349- 368，1995. 3[24] 爱德华·罗斯滕里德·波特和汤姆·德拉蒙德更快更好：角点检测的机器学习方法。IEEE Transactions on PatternAnalysis and Machine Intelligence，32（1）：105-119，2010。3[25] Karthik Seemakurthy 和 Am