去噪扩散概率模型用于解决大气湍流引起的图像退化问题

3434AT-DDPM：使用去噪扩散概率模型约翰·霍普金斯大学ngopala2@jhu.edu梅康福约翰·霍普金斯大学kmei1@jhu.edu维沙尔湾约翰霍普金斯大学vpatel36@jhu.edu[20]第24届中国国际纺织品博览会[23]图1：与LRFID[27]数据集上的单个图像大气湍流缓解方法以及生成恢复模型的样本定性比较摘要尽管许多远程成像系统被设计为支持扩展视觉应用，但是其操作的自然障碍是由于大气湍流引起的退化。大气湍流通过引入模糊和几何失真而导致图像质量的显著退化。近年来，文献中提出了各种基于深度学习的单图像大气湍流消除方法，包括基于CNN和基于GAN反演的方法，这些方法试图消除图像中的失真。然而，这些方法中的一些难以训练，并且通常无法重建面部特征，并且产生不切实际的结果，特别是在高湍流的情况下。去噪扩散概率模型（DDPM）最近获得了一些牵引力，因为它们稳定的训练过程和它们生成高质量图像的能力。在本文中，我们提出了第一个基于DDPM的解决方案，大气湍流缓解的问题。我们还提出了一种快速采样技术，以减少条件DDPM的推理时间。大量的实验进行合成和真实世界的数据，以显示我们的模型的意义。为了便于进一步研究，所有代码和预训练模型都可以在http://github.com/Nithin-GK/AT-DDPM1. 介绍自动驾驶车辆和监控系统利用远程成像系统来捕捉远处的场景。由这种系统捕获的图像由于空气的折射率的变化而易于退化大气湍流是一种普遍存在的现象，它会导致空气折射率在空间和时间上的随机变化这会给捕获的图像带来随机几何失真和模糊，并显著降低计算机视觉任务的性能，如应用于这些图像的对象检测[32]、跟踪和识别[5]。模拟大气湍流退化是一项极其复杂的任务。在文献中已经提出了各种方法，试图对由于湍流引起的变形进行建模。在场景和成像传感器都是静态的并且所引起的劣化仅是由于大气湍流的假设下，由于大气湍流引起的劣化被建模为Tk=Dk（Hk（I）+nk，k= 1，2，…N，（1）3435其中，Tk是第k时刻的劣化图像，I是干净的潜像，Dk是假定随机变形的变形算子，nk是加性噪声，Hk是空气干扰引起的模糊算子[16，17，47，3，12]。减轻大气湍流的影响和恢复潜在的干净的图像是极具挑战性的，由于其不适定的性质，由于模糊和几何失真。受大气湍流影响的图像复原是一个广泛研究的课题.为了减轻这些影响，存在两种经典解决方案-自适应光学[33，38，34]和图像处理[10，47，1，39，2，26，19]。在本文中，我们专注于后者，并提出了一种基于图像处理的大气湍流缓解策略。近年来，文献中提出了各种基于深度学习的减轻大气湍流的方法[42]提出了一种利用模糊和退化先验来恢复干净图像的深度网络。[16]使用两个平行的路径来去除模糊和退化，并最终将它们连接起来以去除湍流的影响这些方法解决了面部图像上的大气湍流退化，但是集中于去除畸变，并且没有足够的生成能力来生成用于强湍流畸变的真实面部。此外，这些方法在真实世界图像的情况下不能很好地推广。近年来，基于生成先验的面部重建由于其对干净面部图像的分布进行建模的能力而备受关注[40，24]。这通常是通过利用生成对抗网络（GAN）对干净面部的分布进行建模，然后利用这些GAN作为预训练，在执行建模时生成逼真的面部图像。但是GAN的训练是不稳定的，也可能由于模式崩溃而失败。在本文中，我们提出了一种基于生成建模的解决方案，使用去噪扩散概率模型（DDPM）[37，13]。基于DDPM的方法已经在图像生成任务中取得了最先进的结果[9]。与GAN相比，它们的训练过程也更加稳定[13，9]。由于它们能够进行精确采样并生成高质量的图像，我们将它们用作生成先验来恢复因大气湍流而退化的单个面部图像。我们首先训练一个DDPM模型，通过在大型数据集上训练来学习面部图像的分布然后，我们适应这个模型学习的转换，简单的图像超分辨率的恢复问题，通过知识蒸馏。在超分辨率模型的情况下，我们通过使用超分辨率模型执行知识蒸馏来再次调整这些权重以这可以被认为是一种基于持续学习的策略[45]。其中，最终模型可以访问有关流形的现实的脸，因此能够产生现实主义的脸输出，即使是强扭曲。大气湍流退化图像的恢复因此，当使用能够访问干净面部图像的分布的DDPM模型进行重建时，存在干净面部的多种可能性。此外，DDPM的推理过程相当缓慢和耗时。为此，我们强制执行一个约束，以确保在恢复图像中存在的面部特征更接近存在于失真图像中的那些在推理过程中从噪声干扰失真图像，而不是纯高斯噪声。本文的主要贡献如下：• 本文提出了第一种基于生成先验的DDPM图像复原方法，用于大气湍流的抑制。• 我们提出了一个渐进式训练（PT）为基础的学习框架，更好地重建，并引入了一个新的采样过程，有效的推理。• 我们定性和定量地评估我们的方法在合成和真实世界的数据集，并表明它比现有的最先进的基于单图像的大气湍流去除方法的性能更好。2. 相关作品图像处理方法。“Lucky Imaging” techniques [2,幸运成像的工作原理是从湍流退化的视频中选择一些好的帧 ， 并 将 它 们 融 合 以 恢 复 潜 在 的 清 晰 图 像 。Anantrasirichai等人 [1]提出了一种从良好帧中提取具有较少退化的区域并使用双树复小波变换将其融合以去除湍流退化的方法。近年来提出了基于配准融合方法的方法，如[47，12，19]，其中最初确定了良好的参考图像，并且对齐并融合了对比帧以去除几何失真，之后应用反卷积算法Zhu等人 [47]使用B样条配准算法和时间核回归来计算无退化图像。Lou等人。 [22]提出了一种方法，通过对使用Sobolev梯度流锐化的视频帧应用时间平滑算法来减少视频中图像之间的变形Xie等人 [41]使用低秩图像作为中间参考图像，然后通过变分模型获得清晰图像。使用深层网络减轻大气湍流。随着基于CNN的模型在解决图像恢复任务方面的成功[25]，文献中已经提出了一些模型来去除大气湍流。3436ΣΣ.t=1-{}−不θ不不µθ（yt，x，t）=（1−β）yt−1−α<$t−1不t−1θ不不N√√√不不Chak等人 [4]使用等式（3）利用对应于该时间步长的有效数据增强a1，等式（3）定义为租m来模拟湍流，然后使用子采样算法过滤掉被帧破坏的图像，最后使用yt：=ty0+1−α<$t，N（0，I）.（八）生成对抗网络（GAN）来恢复干净的图像。最近，已经提出了一些方法[42，16，18，30]，用于从湍流退化观测恢复单个人脸图像Lau等人。 [19]使用模糊和几何失真之间的交换关系来生成无模糊和无退化的图像。他们进一步解开这些图像，以获得干净的输出。Yasarla Patel [42]提出了一种湍流消除网络，该网络使用Monte Carlo模拟来估计模糊和退化先验，并使用它们来恢复清晰图像。3. 背景3.1. 去噪扩散概率模型去噪扩散概率模型（DDPM）[13，37]是一类生成模型，其通过使用具有有限数量的t i mesteps' T' 的马尔可夫 过 程 的 变 分 推 理 来 执 行 图 像 生 成。这个马尔可夫过程中的每一步都DDPM网络p θ（. ）预测了该图像拍摄中的噪声和t作为输入。培训目标的定义是，L简单：=Et <$[1，T]，<$$> N（0，I）<$$> − <$θ（yt，t）<$2。（九）3.2. 条件扩散概率模型上面提到的方程是为了图像生成的任务而开发的。为了将DDPM用于低水平视觉任务，如图像恢复，必须对干净图像的条件分布进行建模。Saharia等人[35]提出了一种简单的技术，用于在给定相应退化图像的情况下对干净图像的条件分布进行建模。在条件DDPM中，前向过程与无条件模型相同。给定从数据集中采样的干净图像，我们基于随机采样的时间步长添加随机高斯噪声t.在逆过程中，与噪声图像和时间t一起，我们还将退化图像（x）作为神经网络的输入。因此，定义了去噪模型由pθ（yt，x，t）定义，逆过程由下式定义：包括两个阶段-正向过程和反向过程。在前向过程中，干净的图像y0是采样，小高斯噪声方差时间表p（yp（yT）=（0，I）|y, x)= N.y（十）;μ（y，x，t），μβ I.（十一）{β1，. . . ，βT}在"T“时间步上相加。总的来说-q（y0，1T）：=q（y0）<$Tq（yt|yt−1）（2）平均μθ（yt，x，t）根据下式估计1βtq（yt|yt−1）=N。yt;1−βtyt−1，βtI（3）=1−βt，N（0，I），（4）3.3. 该方法（十二）其中，yt和yt−1是在时间步长处生成的噪声样本t和t1以及β i表示方差表。由于具有不同方差时间表的t个零均值高斯的和也是高斯，因此该马尔可夫过程可以根据初始数据样本y0有效地表示，并表示为q（yt|y0） ：=N（yt;α<$ty0，（1−α<$t）I）=α<$ty0+ α<$1−α<$t，α<$N（0，I），（5）其中α t=1β t。在逆过程中，我们定义了参数为θ的联合分布pθ（y0：T）。与正向过程类似，反向过程也是马尔可夫过程，其定义如下p（yT）：=N（0，I）（6）p（y |y）：= N。y;μ（y，t），μβ Iμ。 （七）√√t−1t−1前进过程和每个前进步骤被定义为θ（x，yt，t）.Σ3437×在本节中，我们详细介绍了我们提出的方法和培训过程。为了训练我们的模型，我们执行一个多阶段训练过程，如图2所示 给定一个包含干净面部图像的数据集，我们训练一个扩散模型p θ（. ）用于无条件生成面部图像的任务。[6，9]已经发布了大量面部数据训练的模型。因此，我们使用这个模型作为出发点。一旦我们有了一个学习了干净面部图像分布的模型，就更容易调整这些权重来模拟条件分布，我们的目标是恢复轻微退化的图像，并通过对失真图像进行调节来恢复同样的想法适用于两个条件分布的情况，其中扩散模型学习干净面部图像的条件分布。我们的实验我们选择条件分布作为人脸超分辨率为了优化网络的参数θ，我们最小-最小化干净图像分布的负对数似然的变分下界。在本文中，我们使用简化的训练目标的DDPMs提出的Ho等人。[13]第10段。为了训练我们的模型，我们采样一个时间步长tU[1，T]并产生噪声样本和湍流，因为现成的超分辨率模型在大型数据集上训练已经可用[9]。一旦我们有一个模型，可以执行（8）超分辨率（SR），我们适应模型的大气湍流的更强的退化。为了使模型对湍流退化具有鲁棒性，我们将训练好的模型用于超-3438−N−|图2：所提出的方法的概述，在训练过程中，我们执行知识蒸馏，将类先验信息从针对大型数据集上的图像超分辨率训练的网络转移到用于消除湍流退化的网络。在推理过程中，而不是从纯高斯噪声在正常的DDPM开始，我们开始与噪声湍流退化图像的推理时间加快。分辨率，并使该模型在输入退化图像具有强退化以及弱退化时同样良好地工作。令针对较弱退化训练的模型由p_（. 强湍流退化图像的恢复模型用p δ（. ）的情况。为了优化参数δ，我们采样一个λ（0，I），并根据等式（1）创建干净图像的噪声样本yt。5.对于每次训练迭代，使用损失函数L_final来优化参数δ，损失函数L_final由下式定义：LT=−δ（yt，xS−turb，t）2，N（0，I）L S=（yt，x W− turb，t）−δ（yt，x S− turb，t）<$2，Lfinal=Et[1，T][Lt+γLS].（十三）这里，术语LS确保模型专注于重构相同的面部，而不管失真性质如何。一旦通过优化损失函数Lfinal更新了参数δ，我们就执行SR模型的权重的基于指数移动平均（EMA）的更新请注意，权重不通过优化损失函数来更新。使用估计的权重δ的权重的基于EMA的权重更新是根据=γ1γ1）δ。（十四）因此，调整模型p（. ）用于较弱的降解。湍流消除的有效推理扩散模型的通常然而，我们观察到，对于条件图像生成的任务，情况并非如此，并且模型创建即使对于T = 40 - 50范围内的非常低的时间步数也有良好的结果。此外，我们注意到DDPM中的初始步骤学习粗糙特征。但这些特征在湍流畸变图像中已经存在因此，不是从纯高斯噪声开始，而是可以从噪声化的湍流失真图像开始干扰过程令x表示湍流失真的输入图像，并且yt表示在扩散中的t个前向步骤之后的采样推断图像如在Eq.11，相反的步骤在t = T时以高斯噪声开始。 我们从时间t = t1开始扩散过程。我们显式地指定yt1，yt1=q （ yty0 ） ， t=t1.（ 15）这种有效的方法还有一个隐藏的优点，实施战略大气湍流减缓本身是一个高度不适定的问题。由于扩散过程也是随机的，它往往会增加不适定性采样的脸是接近的扭曲的脸在推理。从湍流畸变图像出发，修正待采样图像中的粗糙特征，从而减少不适定性。4. 实验对于定量评估，我们利用两种不同类型的度量，即基于图像质量的度量和基于面部识别的度量。对于基于 干 净 目 标 的 重 建 图 像 ， 我 们 使 用 峰 值 信 噪 比（PSNR）和结构相似性指数3439×[20]第一届中国国际汽车工业展览会[24]图3：与CelebA数据集上的单图像大气湍流缓解方法（ATFaceGAN，TDRN）以及其他生成模型（ILVR，GFPGAN）的定性比较[21]。（SSIM）。PSNR可能并不总是捕获重建面部的质量，因为模糊图像可能具有比干净图像更高的PSNR[46]。因此，为了评估我们的模型生成的输出的质量，我们还利用了其他感知和无参考质量度量。具体而言，我们使用自然度图像质量评估器（NIQE分数）[28]和LPIPS距离[46]来评估生成图像的自然度并测量特征空间中的感知相似性。为了评估图像与干净面部图 像 的 分 布 有 多 接 近 ， 我 们 使 用 Fre'chetInceptionDistance（FID评分）[11]。至于基于面部识别的指标，我们使用ArcFace计算的面部识别分数[7]。我们使用三种不同的识别分数来比较性能-Top-Top-K分数是指当计算测量的面部的特征与图库集中的面部的特征之间的距离时，存在于K个最近面部中的实际身份4.1. 培训详情我们将训练步骤的数量设置为T=1000，推理步骤的数量设置为T=60。通过应用[31]中提到的时间重新缩放策略和t1=30，我们所有的实验减少了推理时间 γ = 0。01且γ1= 0。9909.第9909章所有的实验4.2. 训练数据集在文献中已经提出了各种方法来模拟大气湍流退化[29，36，20，24，23]。所有这些模型的目的是生成一个空间变化的点扩散函数（PSF）和扭曲的每个像素在一个干净的图像。在我们的工作中，我们遵循Mei和Patel[24]中使用的模型，该模型基于Eq.1.为了创建空间变化的PSF和几何形状，同时，我们使用弹性变换和模糊增强。最后，我们添加一个标准差为1e−4的加性高斯白噪声。为了训练，我们使 用了FFHQ 数据 集的35， 000个随 机采样 图像[15]。4.3. 测试数据集我们通过在一个合成人脸数据集和两个由大气湍流退化的人脸图像组成的真实世界数据集（LR- FID数据集和BRIAR数据集）我们使用CelebA数据集[21]并应用弹性模糊[24]来创建合成测试集。我们从CelebA数据集中总共选择了100个身份。对于每个图像，我们将面部大小调整为256 256并引入降级。为了比较真实场景中的性能，我们使用LRFID数据集[27]和Briar数据集。LRFID数据集由89个不同大气条件下的视频组成，对应于89个不同的个体。我们从每个视频中随机提取一个图像LRFID数据集还具有在近距离条件下捕获的相同个体的由于我们没有这些视频的干净目标对，我们利用这些人在户外条件下拍摄的清晰图像作为参考，并使用ArcFace [7]以及其他感知质量指标来执行面部Briar数据集是另一个真实世界的数据集，由343个人的高分辨率视频数据组成。这些视频是在100米到500米的不同距离拍摄的对于我们的实验，我们利用了与200米和400米范围相对应的BRIAR数据集总共有130个身份的数据在这些范围内。我们从每个身份的一个视频中提取一帧3440由于捕获帧的分辨率相当高，我们利用retinaface人脸检测算法[8]从每个图像的中心部分我们使用的测试集由总共50个身份组成。4.4. 结果我们定性和定量地比较了我们的方法与各种深度网络的大气湍流去除和人脸恢复。我们利用基于CNN的模型，基于GAN的模型和扩散模型。对于基于CNN的大气湍流缓解方法，我们使用MPR- Net [44]和ATNet[43]。我们还将我们的方法与基于生成模型的人脸增强网络进行了比较。在这里，我们选择了两种不同的生成模型，特别是基于GAN的大气湍流去除方法ATFaceGAN [20]以及两个基于GAN反演的模型[24，40]，用于去除大气湍流。最后，我们比较了我们的方法与一个扩散模型的图像恢复[6]。所有上述方法都使用我们的数据集重新训练，以进行公平的比较。定量分析见表2，CelebA数据集[21]、LRFID数据集[27]和BRIAR数据集的定性结果分别见图3、1和4。4.5. 定性分析合成数据集评价：celebA数据集[21]的定量结果见表2。每个指标以深绿色标记的值表示所有比较方法中的从表2中可以看出，[44]实现了最高的PSNR和SSIM。这是因为CNN通常被训练来优化网络预测和干净目标之间的均方误差（MSE）损失。减少MSE损失与增加PSNR成比例因此，与干净目标相比，具有较高PSNR的图像实际上可能比具有较低PSNR的图像更失真这可以从图3中清楚地看出。因此，我们使用无参考度量NIQE来估计预测输出的自然度。NIQE分数越低，图像越自然。我们可以看到GFPGAN [40]生成NIQE得分最低的输出。我们的方法生成具有下一个最低NIQE得分值的输出。我们使用的下一个度量标准是LPIPS [46]分数，它比较来自网络的预测的感知相似性，并且干净图像集是LPIPS分数。可以看出，基于GAN反演的方法LTTGAN[24]具有最佳LPIPS距离，并且我们的方法产生具有次佳LPIPS距离的输出。为了估计网络的预测分布与干净面部图像的实际分布之间的差异，我们将数据集CelebA数据集[21]度量峰值信噪比（↑）SSIM（↑）NIQE（↓）LPIPS（↓）FID（↓）GTINF1.000 5.750 00退化22.760.6517 21.35 0.4642146.72CNN模型MPRNET[43]24.280.6951 10.29 0.3885121.37ATNet[43]21.880.6271 13.20 0.5065169.52GAN模型[20]第二十话22.110.5821 11.49 0.4887182.18GFPGAN[40]21.740.59256.0830.3341七十五点三三八LTTGAN[24]二十二点七七0.64587.8840.319282.182扩散模型ILVR[6]21.400.5916 7.76276.702我们22.410.62627.186 0.3223七十三点一二七表1：使用CelebA数据集制备的合成湍流降级图像的定量结果[21]FID评分的条款。与非生成模型相比，生成模型产生的输出具有更好的FID分数，如表2所示我们的方法生成具有最佳FID分数的输出，GFPGAN生成具有第二佳FID分数的输出CelebA数据集的定性结果见图3.正如我们所看到的，基于CNN的方法ATNet [43]和MPRNet [44]以及GAN恢复方法ATFaceGAN[20]在一定程度上消除了湍流失真，但无法重建相关的面部特征，如眼睛、鼻子和头发，并且过度平滑面部特征。与这些技术相比，基于生成建模的面部恢复技术LTTGAN [24]和ILVR [6]重建具有更好面部特征的图像ILVR [6]重建具有良好特征的面部，但创建的面部与原始面部大不相同在LTTGAN [24]的情况下，尽管重建了更好的面部，但重建的图像在多个因素上不同，如眼睛颜色，面部形状，这些因素可以从退化图像中清楚地看到。相比之下，我们的方法能够重建更准确的人脸。LRFID数据集上的结果[27]：由于LRFID数据集[27]的地面通过使用NIQE分数比较生成的输出的自然度，我们可以看到生成方法比基于CNN的模型工作得更好。我们的方法创建了最自然的图像，并且我们能够获得NIQE评分为1。094.第94章最好的方法基于LPIPS方法，GAN反演方法LTTGAN [24]效果最好，我们的模型表现第二好。为了评估生成的图像如何接近真实世界的面部图像，我们使用FID分数。关于FID分数，从表2可以看出，我们的模型比其他模型工作得更好，FID分数低于下一个最佳方法13我们还可以看到，生成模型生成的图像具有更好的面部特征。进一步3441数据集Briar数据集LRFID数据集[27]度量NIQE（↓）LPIPS（↓）FID（↓）顶部-1（↑）前三名（↑）前5名（↑）NIQE（↓）LPIPS（↓）FID（↓）顶部-1（↑）前三名（↑）前5名（↑）GT退化5.86716.6800.77540317.82100.026.0100.0038.0100.046.05.72912.9000.62930195.71100.035.3100.062.2100.071.2[43]第四十三话：一个人CNN模型11.768.5060.70510.7265220.73314.8224.014.046.028.064.038.011.1312.240.57550.6128176.41202.4534.136.564.664.674.474.4[24]第二十四话：我的世界GAN模型10.660.7459260.2522.038.050.09.4340.6300169.6047.565.882.36.8540.6414204.7626.058.060.07.9180.5587124.5557.379.285.35.5000.5969150.2420.054.062.07.9700.4803119.2358.581.785.3美国[6]扩散模型8.1450.6523167.7822.044.056.012.0680.5661161.3831.759.767.06.2830.6368152.5732.056.066.07.5760.5234112.6462.281.787.8表2：真实世界湍流退化数据集的定量结果：BRIAR数据集和LRFID数据集[27][20]第24届中国国际纺织品博览会[23]图4：与BRIAR数据集上的单个图像大气湍流缓解方法的定性比较分析恢复图像的质量，我们使用Ar-cface人脸识别框架[7]和resnet 34 back-bone对恢复图像的人脸识别准确率进 行 了 基 于 面 部 识 别 分 数 ， 我 们 可 以 看 到 ， 从LTTGAN恢复的图像中获得了Top-1面部识别准确率[24]。我们获得了第二好的面部识别准确率，这只是1。2低于LTTGAN。与其他方法相比，我们的方法能够获得更好的面部识别精度。真实世界LRFID数据集[27]的结果见图1。从图中可以看出，ATNet [43]能够去除少量失真，但无法很好地重建面部特征与此相比，ATNet工作得更好，能够重建具有更好特征的面部基于扩散的模型[6]主要是针对超分辨率定义的，并且在真实世界的湍流失真图像上失败。从图1中可以看出，GF- PGAN [40]和LTTGAN [24]略微改变了重建图像的颜色。LTTGAN [24]还在图像顶部创建垂直线伪影相比之下，我们的模型5. Briar数据集图4显示了Briar数据集的定性结果。正如我们所看到的，Briar数据集中的图像非常失真，因此很难恢复这些图像。由于高度的失真，大多数方法在Briar数据集上失败现有的我们的方法虽然不能正确地重建准确的身份，但能够从给定的输入图像中重建一个可以检索的结构化人脸。6. 消融研究6.1. 渐进式训练的效果为了比较新提出的训练方法所获得的性能改进，我们以一种简单的方式重新训练网络，直接用湍流失真图像调节扩散模型。我们训练模型的迭代次数是训练基础网络所需的两倍。然后，我们在真实世界的LR-FID数据集上进行测试[27]，因为它包含的图像与3442(a)（b）（c）（d）（e）（f）图5：（a）输入的连续性退化图像。(b)从高斯噪声开始生成对应于T=20（c）从高斯噪声开始生成对应于T=0的图像。(d)对应于T=20的添加了高斯噪声的湍流图像。(e)从湍流退化图像出发，最终重建图像。(f)干净的图像。度量顶部-1（↑）前三名（↑）前5名（↑）NIQE（↓）LPIPS（↓）无PT48.774.279.36.9850.5358我们54.884.186.56.8240.5255表3：在LRFID数据集上进行和不进行拟议渐进式训练的消融研究[27]。不带PT OURS GT的失真图7：通过所提出的渐进式训练方法获得的改善的说明。图6：显示有效采样效果的误差条形图。用于训练的。渐进式训练程序带来的改善的可视化显示在图中。7.第一次会议。两种模型的定性比较见表3。我们可以看到，我们的训练方法在性能上有显着的提高。6.2. 有效抽样图5显示了我们的高效采样方法的示例。从图5可以看出，在T=20时，生成的图像看起来像是添加了噪声的粗糙面。如我们从图5（d）中可以看到的，噪声湍流降级图像看起来与此非常相似。图5（c）和5（e）示出了使用这些起始初始化的最终重建输出的可视化我们可以看到，定性鉴别方法能够很好地保持同一性。此外，我们为每个推理图像创建10个样本，并在图6中绘制Top-1面部验证精度的误差条当使用有效的采样技术时，面部验证精度较低。从而证实我们的说法。7. 结论本文提出了一种基于生成模型的人脸图像重建方法。提出了一种新的反问题扩散模型训练策略.我们使用一个训练过的模型，一个大的面部数据集，并使其适应于学习给定湍流退化图像的干净图像的条件分布。我们还引入了一个新的有效的采样策略，以减少推理时间和稳定的DDPM输出在推理。我们在一个合成数据集和两个真实数据集上实现了最先进的结果。此外，我们进行了广泛的消融分析，以显示我们的方法的不同部分所获得的改善。8. 确认这 项 研 究 是 基 于 部 分 由 国 家 情 报 总 监 办 公 室（ODNI），情报高级研究项目活动（IARPA）通过[2022-21102100005]支持的工作。本文所包含的观点和结论是作者的观点和结论，不应被解释为必然代表ODNI、IARPA或美国的官方政策（无论是明示还是暗示）。政府的美方政府获授权为政府目的而复制及分发重印本，即使其中有任何版权注释.3443引用[1] Nantheera Anantrasirichai ， AlinAchim ， NickGKingsbury，and David R Bull.基于复小波融合的大气湍流 减 缓 。 IEEE Transactions on Image Processing ， 22（6）：2398[2] Mathieu Aubailly ， Mikhail A Vorontsov ， Gary WCarhart，and Michael T Valley.从大气失真图像流中自动增强视频：幸运区域融合法大气光学：模型、测量和目标在环传播III，第7463卷，第74630 C页。国际光学与光子学会，2009年。[3] Mikhail S Belen'kii，John M Stewart，and Patti Gillespie.湍流引起的边缘图像波纹度：理论与实验。应用光学，40（9）：1321[4] 韦浩泽、刘振邦及骆明雷。亚采样湍流消除网络。arXiv预印本arXiv：1807.04418，2018。[5] Eli Chen，Oren Haik，and Yitzhak Yitzhaky.湍流介质远距离成像中运动目标的检测与跟踪。应用光学，53（6）：1181-1190，2014。[6] Jooyoung Choi 、 Sungwon Kim 、 Yonghyun Jeong 、Youngjune Gwon和Sungroh Yoon。Ilvr：用于去噪扩散概 率 模 型 的 条 件 化 方 法 。 arXiv 预 印 本 arXiv ：2108.02938，2021。[7] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在IEEE/CVF计算机视觉和模式识别会议论文集，第4690-4699页[8] 邓建康，郭佳，周玉祥，于金科，艾琳·科特西亚，斯特凡诺斯·扎菲里乌.Retinaface：野生环境中的单阶段密集面部定位。在arxiv，2019年。[9] Prafulla Dhariwal和Alexander Nichol。扩散模型在图像合成中优于gans。神经信息处理系统进展，34：8780[10] Md Hasan Furhad，Murat Tahtali，and Andrew Lambert.恢复大气湍流退化图像。应用光学，55（19）：5082[11] Martin Heusel、Hubert Ramsauer、Thomas Unterthiner、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。神经信息处理系统的进展，30，2017。[12] Mic haelHirsch ， SuvritSra ， BernhardSch ？lk opf ，andStef anHarmeling.用于空变多帧盲反卷积的高效滤波器流在2010年IEEE计算机协会计算机视觉和模式识别会议上，第607-614页IEEE，2010。[13] Jonathan Ho，Ajay Jain，and Pieter Abbeel.去噪扩散概率模型。神经信息处理系统进展，33：6840[14] RE Hufnagel和NR Stanley。湍流介质中图像传输的调制传递函数JOSA，54（1）：52[15] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第4401-4410页[16] 刘春鹏，卡洛斯D卡斯蒂略，和拉玛切拉帕。在面部：大气湍流背景下的单人脸语义感知图像恢复与识别。IEEE Transactions on Biometrics，Behavior，and IdentityScience，2021。[17] C. P. Lau，A. Kumar和R.切拉帕大气湍流图像的半监督地标引导恢复。IEEE Journal of Selected Topics in SignalProcessing，15（2）：204[18] Chun Pong Lau，Amit Kumar和Rama Chellappa。大气湍流 图 像 的 半 监 督 地 标 引 导 复 原 。 IEEE Journal ofSelected Topics in Signal Processing，2021。[19] 刘振邦、余显礼及骆明雷。用rpca和准共形映射恢复大气折射畸变图象逆问题，35（7）：074002，2019。[20] Chun Pong Lau，Hossein Souri和Rama Chellappa。在面部：大气湍流背景下的人脸图像恢复与识别。2020年第15届IEEE自动人脸和手势识别国际会议（FG 2020），第32-39页。IEEE，2020年。[21] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在2015年12月的国际计算机视觉会议（ICCV）的会议记录中[22] Yifei Lou，Sung Ha Kang，Stefano Soatto，and AndreaL Bertozzi.大气湍流畸变的视频稳定。逆问题成像，7（3）：839，2013。[23] Zhiyuan Mao，Nicholas Chimitt，and Stanley H Chan.通过学习相空间变换加速大气湍流模拟在IEEE/CVF国际计算机视觉会议论文集，第14759- 14768页[24] Kangfu Mei和Vishal M Patel。 Ltt-gan：通过反转gans来观察湍流。arXiv预印本arXiv：2112.02379，2021。[25] Kangfu Mei，Vishal M Patel，and Rui Huang.深度语义统计匹配去噪网络。arXiv预印本arXiv：2207.09302，2022。[26] 恩里克·迈因哈特·洛皮斯和马里奥·米凯利。湍流修正的质心法的实现。在线图像处理，4：187[27] Kevin J Miller ， Bradley Preece ， Todd W Du Bosq 和Kevin R Leonard。一种数据约束的长距离清晰度退化视频仿真算法。在红外成像系统中：设计、分析、建模和测试XXX，第11001卷，第110010 J页。国际光学与光子学会，2019。[28] Anish Mittal、Rajiv Soundararajan和Alan C Bovik。制作“ 完 全 盲 ” 图 像 质 量 分 析 仪 。 IEEE Signal processingletters，20（3）：209[29] Nithin Gopalakrishnan Nair，Kangfu Mei，and Vishal MPatel.图像复原中不同大气湍流模拟方法的比较。arXiv预印本arXiv：2204.08974，2022。3444[30] Nithin Gopalakrishnan Nair和Vishal M Patel。大气湍流减缓的置信度引导网络。2021年IEEE图像处理国际会议（ICIP），第1359-1363页。IEEE，2021。[31] Alexander Quinn Nichol和Prafulla Dhariwal。改进的去噪扩散概率模型。国际机器学习，第8162PMLR，2021年。[32] Omar Oreifej，Xin Li，and Mubarak Shah.同时视频稳定和运动目标检测的湍流。IEEE transactions on patternanalysis and machine intelligence，35（2）：450[33] 詹姆斯·E·皮尔逊用相干光自适应技术补偿大气湍流应用光学，15（3）：622[34] Michael C Roggemann和Byron M Welsh。通过湍流成像。CRC Press，2018.[35] Chitwan Saharia，Jonathan Ho，William Chan，Tim Sal-imans，David J Fleet，and Mohammad Norouzi.通过迭代细 化 的 图 像 超 分 辨 率 。 arXiv 预 印 本 arXiv ：2104.07636，2021。[36] Armin Schwartzman，Marina Alterman，Rotem Zamir，and Yoav Y Schechner.湍流引起的二维相关图像畸变。在2017年IEEE计算摄影国际会议（ICCP）上，第1-13页。IEEE，2017年。[37] JaschaSohl-Dickstein，EricWeiss，NiruMaheswaranathan，and Surya Ganguli.使用非平衡热力学的 深 度 无 监 督 学 习 。 在 International Conference onMachine Learning中，第2256PMLR，2015.[38] 罗伯特·泰森自适应光学原理。CRC Press，2015.