基于网格变形的无监督非刚性图像畸变消除

2522基于网格变形的无监督非刚性图像畸变消除Nianyi Li1、3、Simron Thapa1、Cameron Whyte2、Albert Reed2、Suren Jayasuriya2、JinweiYe1美国路易斯安那州立大学巴吞鲁日分校2亚利桑那州立大学，坦佩，AZ 85281，美国3Clemson University，Clemson，SC 29634，USA摘要许多计算机视觉问题在通过湍流折射介质（例如，空气和水）。这些影响导致几何失真，需要手工制作的物理先验或监督学习方法来去除。在本文中，我们提出了一种新的无监督网络来恢复潜在的无失真图像。其关键思想是将非刚性变形建模为可变形网格。我们的网络包括一个网格变形器，估计的失真场和图像生成器，把失真免费的图像。通过利用位置编码算子，我们可以简化网络结构，同时在恢复的图像中保持精细的空间细节。我们的方法模拟和真实捕获的湍流图像上的大量实验表明，我们的方法可以消除空气和水的扭曲，而无需太多的定制。1. 介绍通过湍流折射介质成像（例如，热空气、不均匀气体、流体流）是具有挑战性的，因为通过介质的非线性光传输（例如，折射和散射）导致所感知的图像中的非刚性失真。然而，大多数计算机视觉算法依赖于清晰和无失真的图像来实现预期的性能。因此，去除这些非刚性图像失真对于从分割到识别的许多视觉应用是至关重要的和有益的。空气湍流畸变是由空气流的折射率场不断变化引起的。它通常发生在通过长距离大气湍流或短距离热空气湍流（例如，火焰，图1.我们提出了一种新的无监督网络，估计非刚性失真和潜在的无失真图像时，通过湍流介质成像。我们的方法适用于空气（第一行）和水（第二行）失真。蒸汽流）。相比之下，水湍流畸变是由光在水-空气界面处的折射引起的。虽然这两种类型的失真具有某些视觉相似性，但它们根本不同，因为它们是由不同的物理机制引起的空气湍流图像和水湍流图像通常采用不同的增强方法。对于空气湍流，基于物理的方法使用复杂的湍流模型（例如，Kolmogorov模型[22，23]）来模拟扰动，然后通过反转模型来恢复清晰的图像。对于水湍流，经典方法通过应用斯涅耳定律[ 46，57 ]将畸变建模为水面高度或法线最近，分别提出了几种基于学习的方法来增强空气[13，32]或水[26]湍流图像。这些方法通常需要在大型标记数据集上进行训练由于难以获得具有地面真实清晰参考的真实湍流图像，因此这些方法使用模拟图像来增强其数据集并引导学习。基于上述问题，我们设计了一个无监督的网络，能够去除非刚性的disc-2523~~我G图2. 我们的无监督非刚性图像失真消除网络的整体架构 网络预测无失真图像J，给定失真湍流图像序列{Ik|k = 1、2、…K}和均匀网格G U。 I和J G是约束优化过程的两个中间结果。 我们使用I、I~G和J~G之间的成对差异作为优化损失。扭转从空气和水湍流图像，如图所示。1.一、其关键思想是将非刚性变形建模为可变形网格。例如，我们将无失真图像建模为直且均匀的网格，并且将湍流图像建模为失真网格。受神经辐射场（NeRF）[30，44]的最新工作的启发，我们使用基于网格的渲染网络生成无失真图像。因此，我们的方法绕过了复杂和异构的物理湍流模型，并能够重新存储具有不同类型失真的图像。我们的网络的整体结构如图所示。二、我们的网络由两个主要部分组成：估计网格变形的网格变形器和渲染与输入网格的失真匹配的彩色图像的图像生成器。我们网络中的一个关键组件是NeRF网络中常用的位置编码算子[6，10，40，44，58]。通过将该算子合并到图像生成器中，我们可以简化我们的网络结构，同时在重建的输出图像中保持精细的空间细节。我们的网络作为一个优化器，通过最小化捕获的输入图像，网络我们的网络是完全无监督的，并在每个新示例上从头开始优化。它不需要任何不同的训练集来学习，而是在输入数据上运行梯度下降。具体来说，我们的网络通过两个步骤进行优化：我们首先通过利用由湍流介质引起的像素位移的局部中心特性[ 35 ]来初始化我们的网络参数;然后，我们通过最小化我们的目标函数来迭代地更新估计的无失真图像J。根据经验，这种两步优化在2000次迭代（Adam步骤）内收敛，这需要大约65- 499秒，这取决于输入帧的数量我们的初始化提供了合理的估计，大大减少了搜索空间。我们进行了广泛的实验模拟和真实捕获的空气和水湍流图像。我们比较我们的方法与国家的最先进的方法，是特定的空气或水湍流。我们表明，我们的方法具有更好的性能，在纠正这两种类型的湍流的几何失真我们总结-我们的贡献如下：• 我们的网络联合估计非刚性失真，并恢复潜在的无失真图像。它适用于空气和水的扭曲，没有太多的自定义。它是完全无监督的，不需要在标记的数据集上进行训练。• 我们的网络利用位置编码算子，即使卷积层和可训练参数的数量较少，它仍然可以生成保留细节的高质量图像。• 我们提出了一个两步优化框架来指导无约束非刚性失真恢复模型的训练。• 大量的实验表明，当在两个本质上不同的任务上应用所提出的基于网格的渲染方法时，可以实现最先进的性能：大气湍流去除和通过水畸变成像 。 我 们 的 代 码 可 从 以 下 网 址 获 得 ：github.com/Nianyi-Li/2. 相关工作大气湍流消除。为了解决由空气湍流引入的失真和模糊，传统的湍流恢复方法利用光流[3，31，43]、幸运区域融合[50，41，12，21]和盲反卷积[14，59]来恢复图像。使用方法2524~~~θ角Gθ角我我{1}|}~~1K具有变形估计架构的图像配准还可以解决相机的小移动和由于大气折射引起的时间变化[59，18]。在一个类似的湍流去除问题（非大气），薛等。[54]采用经典光流来估计由热空气或气体引起的小折射失真。然而，这些方法中的许多在重构具有大量运动的动态场景时具有伪影。为了解决这个问题，已经引入了一些方法，例如块匹配[20]，强制时间一致性[33]，使用参考帧[7]，以及从移动对象中分割静态背景[35，17，1]。一个有前途的方向是利用湍流物理学来创建用于图像形成的精确正演模型。Mao等人[29]通过利用大气湍流的知识来创建用于优化的物理约束先验来实现最先进的性能。除了经典方法之外，还提出了一些用于空气湍流消除的深度神经网络。这些通常是用合成或半合成湍流数据训练的卷积神经网络[13，32，4]。然而，这些监督架构在训练数据之外的泛化方面存在问题（大多数监督神经网络也是如此）。相比之下，我们的神经网络以无监督的方式运行，不需要训练数据。通过湍流水成像。从水下图像中恢复未被破坏的图像已经在计算机视觉的各种应用中得到了很好的研究。早期的解决方案[11，24]采用失真图像序列的平均值/中值来近似潜在的无失真图像，尽管这些方法对于大的失真是有限的。像在空气湍流的情况下，[46，47]的开创性工作提出了一种基于模型的跟踪方法来恢复水下图像。通过水失真成像的最新进展已经利用深度学习来实现最先进的性能。Li等[26]提出了一种生成对抗网络（GAN），以使用单个图像来校正屈光畸变。Li的方法的主要缺点是它没有利用流体流动的时间一致性。Thapa等人[45]提出一种两步动态流体表面重建网络恢复深度和nor-结果在标准的逆问题，如去噪，超分辨率，和修复。深度图像先验已经在许多应用领域中被采用[27，16，39，51]。最近，综合分析技术已经证明了令人印象深刻的能力，估计视觉信息，特别是逆图形问题[28，25，34，55，15，2，48]。Mildenhall等人[30]演示了多层感知器（MLP）如何与称为傅立叶特征的特殊层耦合[44]可以估计场景的5D最近，[5，6，10，40，58]利用NeRF架构来解决视图合成、来自公正3D数据的纹理完成、非视线成像识别等问题。在我们的论文中，我们杠杆年龄傅立叶特征算子，以帮助执行分析合成我们的变形图像。3. 非刚性畸变消除网络我们的问题公式如下：我们假设由照相机成像的静态场景具有由湍流引起的非刚性畸变。 给定所捕获的非刚性失真图像的序列Ik，k=1，2，…K和均匀网格G U，我们的目标是恢复潜在的无失真图像J，就好像它不受湍流介质的影响。我们的关键思想是通过网格变形对非刚性失真进行建模，并重建无失真图像J，同时估计失真图像序列与捕获的数据一致。为此，我们利用我们的主要神经网络架构中的两个子网络：网格变形器和图像生成器。 网格变形器k是通过估计捕获的帧I k的失真场来使均匀采样的直网格G U变形的网络，并且生成变形的网格Gk= Gk（Gu）. 图像生成器是一个神经网络，充当参数函数I = I（G），将网格G映射到图像I。当来自网格变形器的网格G k用作输入时，I将其参数映射到失真的彩色图像I k，将其与对应的图像帧I k进行比较。 同时，将均匀网格G U馈送到网络，我们可以期望将映射到无失真图像J，如图所示。二、 我们还使用预测的失真网格{G1，…Gk}以直接对J进行重采样并获得另一组失真图像{J~G，...，J~G}作为整数-给定扭曲流体图像的短序列（3帧）的透明流体的错误映射图像复原的无监督学习。最近，使用深度图像先验[49]进行图像恢复任务的无监督或自监督学习已经在不需要训练数据的情况下提高了性能。在[49]中，作者表明，随机初始化的神经网络可以用作手工先验，具有出色的可重构性。调解结果以约束优化过程。我们的方法的新颖之处在于它的无监督学习方法，这意味着我们的网络不需要底层真实无失真图像J真实的地面真实知识。相反，给定图像场景，我们的网络作为优化器工作，其通过最小化I、I和JG之间的成对差异来求解J。为了正确估计图像生成器中的清晰图像细节，我们利用了[30，44]中的最新位置编码技术。2525θ角 Gθ角Gθ角-∈--G∈∈G{G|}G我∈∈N∈~GI∈I~I（G）.如果输入网格是变形网格Gk，则I返回GI以保留我们恢复的潜像中的精细细节，而不需要具有许多参数的额外卷积层，我们在3.2节中描述了这一点。为了提高我们的网络的收敛性，特别是对无监督学习方式的重要性，我们引入了一种新的两步优化算法来约束我们的网络，如3.3节所述。3.1. 网络结构我们的非刚性失真消除网络的整体结构如图所示二、 我们的网络有两个主要组成部分：栅格变形器和图像生成器。网格变形器θ以均匀网格GUR2× H × W为输入，其中W和H为沿x和y轴的采样数，输出与畸变图像IkR3× H × W的畸变场对应的变形网格GkR2 × H × W，即其中θ是可训练网络参数的集合。 θ包括四个卷积层，每个卷积层具有256个通道和ReLU整流器。为了满足Gk的范围约束，将正切双曲函数应用于输出层。 注意，出于两个原因，我们为每个I k训练单独的k。首先，湍流场，特别是对于空气湍流，是随机的，并且当在标准帧速率下捕获图像序列或视频时具有较低的时间一致性，即，30fps [42，26，46，36]。 使用单个网络来预测所有这些随机失真场是具有挑战性的，没有来自地面真实标签的经验指导和强时间一致性约束。其次，θ的网络结构简单，参数少，可以联合优化k，k=1，. . . K与低内存消耗的GPU实现。 请在第4.4节中找到更详细的讨论。图像生成器I绘制彩色图像I∈R3×H ×W当给定网格输入G∈ {G1，. . . G k，G U}：I〜 =图3. 通过网格变形生成失真图像。域，然后将其传递给图像生成器。 令v =（x，y）是来自输入网格的坐标。 其GRFF被计算为γ（v）=[cos（2π κBv），sin（2πκBv）]，其中cos和sin是逐元素执行的，κ是带宽相关的比例因子，并且BR128×2是从高斯分布（0，1）随机采样的。因此，输入网格GR2× H × W将被映射到傅立叶特征空间γ（v）R256× H × W。值得注意的是，图像生成器中κ的选择这与我们的网络性能有关。一般来说，较大的κ往往会使网络快速收敛，并且很可能最终达到局部最小值。在本文中，我们经验地选取κ=8。我们在第4.4节中讨论了GRFF在消融研究中的作用。3.3.两步网络优化由于我们的网络是无监督的，它是高度非凸的，并且具有巨大的参数搜索空间。 通过利用变形图像序列中的冗余信息，我们提出了一种两步网络优化策略。egy在测试时针对给定序列训练CNN我们匹配G k的失真的图像I k。如果在-假设网格是一个均匀网格GU，我们认为输出为无失真图像JR3×H ×W。与θ共享类似的网络架构。由于的输出是彩色图像，因此我们将非线性Sigmoid激活函数应用于输出层。关于Gθ和I的结构，请参阅我们的补充材料。3.2.经由傅立叶特征的如[38]所指出的，直接将xy坐标映射到值的网络通常偏向于学习较低的频率函数。为了保留图像中的高频内容，一个好的解决方案是在将网格输入传递到网络之前使用高频函数将网格输入映射到更高维的空间[44，30]。在我们的工作中，我们利用高斯随机傅立叶特征（GRFF）的输入网格转换到其高频傅立叶特征首先初始化的参数θ和所以他们是在通过湍流介质的非刚性变形的性质下受到约束接下来，我们迭代地细化初始化的网络，并使用捕获的输入失真图像作为参考来更新估计的底层无失真图像参数初始化。为了避免陷入潜在的鞍点并允许更快的收敛速度，我们通过利用由湍流介质引起的像素位移的物理性质来初始化网络参数θ和：由湍流介质引起的非刚性畸变通常是局部居中的[35]。因此，失真图像仍然保留大量的低频图像结构。通过外推失真图像之间的相似性，我们能够去除一定量的非刚性失真并获得原因-2526~θ角G我其中J是通过网格采样的重新采样的失真图像我{}KKθ，θ角Kθ，| ·|其中I k=（γ（G k））是估计的失真图像，G k= k（G U）是变形网格，R（I k）是正则化器，θ0和0是网络的初始权重。 我们使用R（I k）来加强预测的无失真图像J=I（γ（GU））和变形网格{Gk}之间的互连：R（Ik）=|J~G−Ik|+的|J~G−I~k|、（3）图4. 有和没有初始化步骤的损失和精度比较（顶行）。我们的初始化算法显著提高了我们的预测性能，并且可以初始化比简单平均（第二行）更清晰的无失真图像。能够对无失真图像进行初始估计。通过将栅格变形器的输出约束为接近均匀栅格来初始化栅格变形器通过这种方式，我们可以将网格变形限制在一定范围内，并且还保持像素的顺序。我们初始化的图像生成器，通过约束其输出有一个类似的外观作为输入序列。具体地，我们将均匀网格GU馈送到图像生成器。然后，我们将输出图像J=（γ（GU））与Ik中的所有图像进行比较，并最小化每像素色差的总和。我们将初始化过程公式化为：GK在恢复的潜像J上的变形网格Gk，如图2所3 .第三章。我们迭代地更新J使用Eqn。二个直到网络融合。4. 实验在这一节中，我们首先比较我们的方法，一组国家的最先进的方法，从文献中的任务，图像恢复的空气和流体湍流。然后，我们提出了我们的实验结果来验证我们的神经网络结构和优化算法。我们证明，我们的方法不仅优于无监督的方法，但甚至边缘出其他监督算法，与我们的相比，有大量的合成湍流数据使用复杂的基于物理的模拟器在训练时间。对于定量评估，我们采用图像恢复的最常见度量，即，峰值信噪比（PSNR）和结构相似性（SSIM）。4.1. 实验装置最小Σ|Gk（GK）−G|我|I （γ（G））− I|、（1）实作详细数据。我们的网络是在Pytorch [37]与配备两个NVIDIA GTX 1080 GPU的台式计算机。除非特别说明，否则前其中表示绝对差（即， 的l1损失）。注意，我们对所有损失函数使用L1损失实验遵循相同的设置：我们使用Adam优化器，并将Gθ和I的学习率设置为10−4。它往往较少受异常值的影响 我们将优化运行数百次迭代，并使用所得参数θ’和θ’作为初始化权重。如示于图4、去除初始化步骤会导致网络收敛到错误的局部极小值，无法预测合理的J。此外，我们的初始化产生更清晰的图像，其比简单地将图像平均在一起更接近颜色空间中的潜在无失真图像这是因为取平均值将导致图像在RGB颜色空间中的质心，并且由于湍流是时变的，因此将是模糊我们将在4.4节中进行更多讨论。迭代精化。在初始化步骤之后，我们开始通过以下优化模型学习底层无失真图像最小Σ|Ik−Ik|+R（Ik），s.t. θ0=θ′，0=′，（2）K我们使用1，000次迭代进行参数初始化，并且在在迭代细化阶段，我们的网络在1,000次迭代内收敛，如图所示。4.第一章我们凭经验选择κ=8作为所有实验的傅立叶特征映射算子的带宽相关因子。内存消耗。处理10个输入帧的整个网络具有大约153万个可训练参数，其中包括用于网格变形器（每个帧一个）的总共133万（M）个参数和用于图像生成器的0.2M个参数。与通过约5000万个参数[26]的水湍流恢复图像的当代GAN相比，我们的网络以更少的内存占用恢复预测图像中的类似4.2. 空气湍流对于空气湍流，我们与以下最先进的方法进行了比较：CLEAR [1]，Oreifej等人。[35]，Zhang等人[56]，Gaoet al.[13]和Maoet al.[29]第10段。UUϕU2527n×个×个≥nnGn×× ×[1，56，29]是使用复杂湍流模型的基于物理的方法。[13]是在大型半合成湍流数据集上训练的监督方法。我们比较了真实和合成数据集上的图像恢复性能对于合成实验，我们合成具有不同湍流强度的湍流图像序列。 我们采用湍流强度参数C2=110-14，弱湍流;C2=110−13对于介质;C2=110-12为强者。更有关模拟参数的详细信息，请参阅我们的花絮表1中报告了各种湍流水平的定量比较结果。我们可以看到，我们的方法是强大的湍流。强度度量平均我们的初始化。[1]第一章我们弱PSNR↑SSIM↑25.100.94125.200.9518.310.85624.290.984介质PSNR↑SSIM↑19.480.77419.850.80414.090.56120.700.904强PSNR↑SSIM↑17.080.63217.120.66712.510.43317.400.799表1. 不同强度大气湍流资料的定量比较。我们与时间平均帧、我们的初始J和CLEAR [1]进行比较。对于实际数据，我们比较了两种类型的空气湍流现象：热空气湍流和长距离大气湍流。对于前者，我们通过使用煤气炉加热空气来捕获我们用手机摄像头拍摄了5个距离热源50米左右的场景对于后者，我们使用来自两个来源的数据：（1）广泛采用的烟囱和建筑物序列[19]和（2）我们自己使用尼康Coolpix P1000相机拍摄的湍流图像。我们将相机安装在三脚架上，以30fps的速度拍摄1080 p视频，拍摄距离约1-3英里的5个场景，并具有125光学变焦。我们显示了与国家的最先进的比较图5中的烟囱和建筑物。由于我们重要的是要注意，这些算法中的大多数需要更长的输入序列（100帧），并且具有去模糊组件以产生更清晰的图像。相比之下，我们的网络只需要10个输入帧就可以做出可靠的预测。由于我们的网络更加关注失真消除，我们的输出可能仍然会受到一定程度的模糊。我们可以应用现成的去模糊算法来进一步锐化我们的结果。具体地，我们使用Xuet al. [53]用于图像去模糊。去模糊后的结果在图1A和1B中示出为“我们的+去模糊”。5和6.我们在图中显示了我们真实捕获数据的定性比较。六、在这里，我们只比较我们可以访问代码或作者提供给我们的方法结果有关这些序列的视频结果，请参阅我们的补充材料。4.3. 水流紊动性对于水湍流，我们将我们的方法与以下最先进的方法进行比较：Tian等人[46]和Oreifejet al. [36]是基于物理的方法。Li等[26]这是一种基于学习的方法。都提供了源代码。我们在两个水湍流图像数据集上进行实验：[45]和[26]。Thapa等人[45]提出了一个综合数据集，提供了失真的图像序列和地面实况模式。使用具有不同类型的波的基于物理的射线追踪器[26]是一个真实的捕获数据集。它带来了诸如照明变化和阴影之类的挑战。扭曲也更加严重。我们在图1中示出了视觉比较结果。7.第一次会议。我们可以看到，我们的方法优于所有国家的艺术。为了进一步验证鲁棒性，我们创建了三个水湍流图像的合成序列，每个序列包含10帧，由不同类型的波浪使用[45]提供的基于物理学的光线跟踪器引起。海浪是最具挑战性的，因为它们更随机，并且具有更多的高频湍流分量。如表2所示，我们的方法在Ripple和Ocean波上排名虽然[26]在高斯波上获得了更高的PSNR/SSIM分数，但他们的结果比我们的结果更模糊（参见补充材料）。此外，[26]需要在320K图像上进行训练。类型度量[46个][36个][26日]我们纹波PSNR↑SSIM↑20.400.87821.240.90220.700.88223.630.970海洋PSNR↑SSIM↑20.930.89121.130.90121.320.83322.320.964高斯PSNR↑SSIM↑17.610.78717.400.78918.670.83317.500.818表2. 不同类型水流紊动的定量比较。我们比较我们的结果与田等。[46]，Oreifejet al.[36]和Liet al. [26]第10段。4.4. 消融研究我们进行了一系列消融研究，以验证我们的网络架构中的各种设计选择。对于所有这些研究，我们通过模拟空气湍流测试图像恢复，因为所产生的非刚性失真通常比水湍流更随机。我们使用基于物理的2D图像大气湍流模拟器[42]来生成100个不同的湍流场，其具有可控的湍流强度C2，并将其应用于清晰图像以生成失真的图像序列。θ的网络结构。为了公平地比较不同结构在编码变形的2528θ角Gθ角×G--我--图5. 建筑与烟囱的比较。值得注意的是图6.我们的真实捕获的热空气湍流和远程大气湍流图像的视觉比较结果网格中，我们用几个不同的CNN替换k，如表3所示。具体地，Con2、Con4和Con6分别是具有2、4、6个卷积层的CNN结构。由于我们在输入序列中有10个帧，因此参数的总数等于每个k的大小的10个。 我们还与简单地使用具有跳过连接的深度自动编码器CNN（DAE）[39]来一次预测10个变形网格G k的架构进行了比较。 我们证明，建议的结构（Con4）是优于其他网络w.r.t. 具有较少可训练参数的恢复能力Gθ10个子网1网络转换2转换4Conv6Dae总参数0.02M1.33M2.65M2.35MPSNR↑19.2320.4820.0616.83SSIM↑0.7750.7900.7420.467表3. 不同网络结构的Gθ的恢复性能比较。输入图像的数量。我们网络的一个关键设计考虑因素是生成无失真图像所需的输入图像数量。在恢复图像的网络速度与视觉保真度之间存在折衷。在表4中，我们示出了2、5、10、15和20帧的平均PSNR/SSIM和总运行时间（2，000次迭代）请在我们的补充材料中找到目视比较结果。增加输入数量确实有利于我们的恢复任务，但我们为此牺牲了时间效率。由于在10个输入帧之后存在对我们预测的清晰图像的图像质量的递减返回，因此在整个以下实验中选择该数字作为默认输入数字输入数量25101520PSNR↑17.5518.5020.5021.4321.13SSIM↑0.5560.6660.7930.8270.830时间65s143s265s403s499s表4.拍摄不同数量的输入图像时的平均PSNR、SSIM和运行时间（2，000位置编码的影响 高斯随机傅立叶特征（GRFFs）将输入网格编码到更高维度的空间中，使我们的图像生成器能够近似真实的高频清晰图像。我们将我们的完整网络与移除图像生成器中的GRFF并简单地将Gk作为输入的网络进行 如图8、用傅里叶特征映射算子中，我们有30个左右。9%的SSIM改善和13. 9%的改进，在PSNR的恢复的潜像，与网络的变体相比，没有GRFF（无GRFF）。它们还有助于提高收敛速度。我们在补充材料中展示了带宽相关比例因子κ2529GI我GIG GIGI图7. 对Li等人提供的真实水湍流图像的视觉比较。[26]，其提出了一种用于恢复水湍流的监督GAN模型。图8.对我们提出的网络的不同变体进行消融研究我们展示了PSNR和SSIM与用于比较的迭代曲线的数量。初始化步骤的效果。为了评估网络初始化的效果，我们创建了网络的四个变体用于比较：1）无init+，其去除栅格变形器的初始化步骤; 2）+noinit，其去除图像生成器的初始化步骤; 3）没有init，其根本没有初始化步骤;以及4）′+′，其将初始化损失添加到迭代细化步骤。如图8，从θ和中取出初始化步骤，整个网络具有低于标准的优化性能，并且无法预测合理清晰的图像。然而，简单地将初始化损失添加到主优化循环会降低我们的恢复性能，因为这些损失会导致网络收敛到某些局部最小值，如第节所述。三点三R（I k）的影响。等式（1）中的项R（Ik） 2用于调节重采样的失真图像J~G。它强制执行网格变形器网络来输出扭曲运动，该扭曲运动可用于通过直接重采样和图像生成器两者来生成看似合理的无失真图像。我们通过移除项R（Ik）来执行烧蚀实验。定性并且定量比较结果包括在补充材料中我们可以看到，当R（Ik）被取出时，输出图像更加模糊。定量地，在目标函数中包括R（Ik）的情况下，PSNR和SSIM值都明显改善。5. 结论和讨论我们已经提出了一个无监督的非刚性图像畸变去除网络通过网格变形给定的湍流图像的短序列我们的网络架构可以联合估计尖锐的潜像以及非刚性失真。我们提出的两步优化框架可以显着提高无约束非刚性失真恢复模型的性能。我们的网络不需要地面真实湍流模型作为指导，因此可以推广到处理大多数非刚性扭曲，空气和流体湍流。局限性和未来方向。由于我们的方法没有任何基于物理的约束，并且只需要10帧作为输入，一个好的初始化是我们的算法达到优化结果的关键。此外，我们的方法没有解决的情况下，除了湍流失真的场景中有大的运动。对于未来的方向，我们希望解决这些问题，以及使我们的方法适用于更一般的非刚性扭曲。鸣谢。Li，Thapa和Ye得到了NSF CRII-1948524，路易斯安那州董事会授予LEQSF（2018-21）-RD-A-10的支持，以及DGene的礼物Whyte和Jayasuriya受NSF IIS-1909192支持。里德获得了国防部NDSEG奖学金的支持。2530引用[1] Nantheera Anantrasirichai，Alin Achim和David Bull。基于递归图像融合的运动目标序列大气湍流抑制2018年第25届IEEE国际图像处理会议（ICIP），第2895-2899页。IEEE，2018年。三五六[2] Dejan Azinovic 、 Tzu-Mao Li 、 Anton Kaplanyan 和Matthias Niessner。反向路径跟踪的联合材料和照明估计。在IEEE计算机视觉和模式识别会议论文集，第2447三个[3] Tu f anCaliskanandNafizArica. 利用光流减缓大气湍流2014年第22届模式识别国际会议，第883-888页。IEEE，2014。二个[4] 陈公平，高智晟，王巧璐，罗青青。用于去模糊大气湍流的像U形网的深度自动编码器。电子成像杂志，28（5）：1-2019年14号三个[5] 陈文正，魏方银，基里亚科斯·库图拉科斯，西蒙·鲁辛凯维奇，菲利克斯·海德.用于非视线成像和识别的学习特征ACM Transactions on Graphics（TOG），2020年。三个[6] 朱利安·奇巴内和杰拉德·庞斯-莫尔。隐式特征网络用于部分3d数据的纹理完成。在欧洲计算机视觉会议上。Springer，2020年。二、三[7] Nicholas Chimitt，Zhiyuan Mao， Guanzhe Hong，andStan-ley H Chan.重新考虑大气湍流减缓。arXiv预印本arXiv：1905.07498，2019。三个[8] Arturo Donate，Gary Dahme和Eraldo Ribeiro。被水波扭曲 的 纹 理 分 类 。 在 第 18 届 模 式 识 别 国 际 会 议（ICPRIEEE，2006年。三个[9] 阿图罗·多纳特和埃拉尔多·里贝罗。改进了被水波扭曲的图像的重建。在VISAPP（1），第228-235页，2006中。三个[10] EmilienDupont 、 MiguelBautistaMartin 、 AlexColburn、Aditya Sankar、Josh Susskind和Qi Shan。等变神经渲染。国际机器学习会议。PMLR，2020年。二、三[11] 埃夫罗斯、沃尔坎岛、施建波和米尔克岛。透过水看。神经信息处理系统进展，第393-400页，2005年。三个[12] 大卫·L·弗里德通过湍流获得幸运短曝光图像的概率JOSA，68（12）：1651-1658，1978. 2[13] Jing Gao，Nantheera Anantrasirichai，and David Bull.卷积神经网络在大气湍流消除中的应用。arXiv预印本arXiv：1912.11350，2019。一二三五六[14] 我是吉尔、特里斯坦·达戈伯特和卡洛·德·弗兰奇斯。基于微分同胚图像配准和盲解卷积的大气湍流复原。在智能视 觉系统 高级概 念国际 会议上， 第 400-409页。Springer，2008. 二个[15] Ioannis Gkioulekas，Shuang Zhao，Kavita Bala，ToddZickler，and Anat Levin.逆体绘制与ma-材料字典ACM Transactions on Graphics（TOG），32（6）：162，2013。三个[16] 邝公、奇普安·卡塔那、齐金义、李全正。使用深度图像先验的PET图像重建。IEEE transactions on MedicalImaging，38（7）：1655-1665，2018。3[17] Kalyan Kumar Halder、Murat Tahtali和Sreenatha G Ana-vatti。通过湍流介质的视频运动目标检测与跟踪Journalof Modern Optics，63（11）：1015 三个[18] Renjie He ， Zhiyong Wang ， Yangyu Fan ， and DavidFengg.基于湍流提取的大气湍流减缓。在2016年IEEE声学、语音和信号处理国际会议（ICASSP），第1442-1446页IEEE，2016. 三个[19] Mic haelHirsch ， SuvritSra ， BernhardSchoülk opf ，andStef anHarmeling.用于空变多帧盲反卷积的高效滤波器流在2010年IEEE计算机协会计算机视觉和模式识别会议上，第607IEEE，2010。六个[20] 克劳迪娅·许布纳。使用运动检测和背景分割的短曝光图像数据在红外成像系统中：设计、分析、建模和测试XXIII，第8355卷，第83550I页。国际光学与光子学会，2012年。三个[21] Sarah John和Mikhail A Vorontsov。基于鲁棒误差估计理论的多帧选择性信息融合IEEE Transactions on ImageProcessing，14（5）：577-584，2005. 二个[22] 安德烈·尼古拉耶维奇·柯尔莫哥洛夫。局部各向同性湍流中的能量耗散。在多克尔。阿卡德Nauk SSSR A，第32卷，第16-18页，1941年。一个[23] 安德烈·尼古拉耶维奇·柯尔莫哥洛夫。大雷诺数不可压缩粘性流体中湍流的局部结构。Cr Acad. Sci. URSS，30：301-305，1941。1[24] Iosif M Levin ， Victor V Savchenko ， and Vladimir JuOsad-chy.校正由波浪形水面扭曲的图像：实验室实验Applied Optics，47（35）：6650 三个[25] Tzu-Ma oLi ， MiikaAittala ， Fre´ doDurand ， andJaakkoLehti-nen.通过边缘采样的可微蒙特卡罗射线追踪。ACM 事 务 处 理 图 表 （ Proc. SIGGRAPH Asia ） ， 37（6）：222：1-222：11，2018. 三个[26] Zhengqin Li ， Zak Murez ， David Kriegman ， RaviRamamoor- thi，and Manmohan Chandraker.学会看穿汹涌的水流。在计算机视觉应用冬季会议上，第512-520页，2018年。一、三、四、五、六、八[27] Jiaming Liu ， Yu Sun ， Xiaojian Xu ， and Ulugbek SKamilov.基于全变分正则化深度图像先验的图像恢复。在ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议（ICASSP），第7715-7719页IEEE，2019。三个[28] Shichen Liu，Tianye Li，Weikai Chen，and Hao Li.软光栅化器：一个基于图像的三维推理可区分的渲染器在IEEE计算机视觉国际会议论文集，第7708-7717页三个2531[29] Zhiyuan Mao，Nicholas Chimitt，and Stanley H Chan.通过非等晕湍流实现静态和动态场景的图像重建。IEEETransactions on Computational Imaging ， 6 ： 1415-1428，2020。三五六[30] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng. Nerf：将场景表示为用于视图合成的神经辐射场。在ECCV，2020年。二、三、四[31] Robert Nieuwenhuizen、Judith Dijk和Klamer Schutte。在存在大的移动物体的情况下用于远程成像的动态湍流减轻 EURASIP Journal on Image and Video Processing ，2019（1）：2，2019. 二个[32] Robert Nieuwenhuizen和Klamer Schutte。深度学习用于远程成像中基于软件的湍流缓解在Artificial Intelligenceand Machine Learning in Defense Applications，第11169卷，第111690J页中。国际光学与光子学会，2019年。第1、3条[33] Robert PJ Nieuwenhuizen ， Adam WM van Eekeren ，Judith Dijk，and Klamer Schutte.大型移动物体的动态湍流缓解。在光电和红外系统中：技术和应用XIV，第10433卷，第104330S页。国际光学与光子学会，2017年。三个[34] Merlin Nimier-David 、 Delio Vicini 、 Tizian Zeltner 和Wen- zel Jakob。Mitsuba 2：可重定向的正向和反向渲染 器 。 Transactions on Graphics （ Proceedings of SIG-2005）GRAPH Asia），38（6），Dec. 2019. 三个[35] Omar Oreifej，Xin Li，and Mubarak Shah.同时视频稳定和运动目标检测的湍流。IEEE Transactions on PatternAnalysis and Machine Intelligence，35（2）：450-462，2012. 二三四五[36] Omar Oreifej，Guang Shu，Teresa Pace，and Mu