基于深度学习的非均匀模糊超分辨率恢复方法

1797×基于深度模型的非均匀模糊Charles LarocheGoPro MAP5charles. u-paris.fr和re'sAlmansaCNRSUniversite'ParisCite'andres. parisdescartes.fr马蒂亚斯·塔萨诺Meta公司*mtassano@meta.com摘要我们提出了一个国家的最先进的超分辨率与非均匀模糊的方法。单图像超分辨率方法寻求从模糊、二次采样和噪声测量恢复高分辨率图像。尽管它们的性能令人印象深刻，现有的技术通常假设一个统一的模糊内核。因此，这些技术不能很好地推广到非均匀模糊的更一般的情况。相反，在本文中，我们解决了更现实和计算上的挑战的情况下，空间变化模糊。为此，我们首先提出了一种快速的深度即插即用算法，基于线性ADMM分裂技术，可以解决空间变化模糊的超分辨率问题。其次，我们将迭代算法展开到单个网络中，并对其进行端到端的训练。通过这种方式，我们克服了手动调整优化方案中涉及的参数的复杂性。我们的al-出租m提出了显着的性能和推广后，一个单一的训练，一个大家庭的空间变化的模糊内核，噪声水平和比例因子。1. 介绍单图像超分辨率（SISR）方法旨在将模糊、噪声和可能混叠的低分辨率（LR）图像上采样为高分辨率（HR）图像。换句话说，SISR的目标是通过给定的比例因子s >1来放大图像，以使精细细节更清晰可见。该问题是不适定的，因为存在许多方法来对每个低分辨率像素进行上采样。为了进一步约束解决方案，通常通过正则化器对重建的HR输出施加先验。早期的贝叶斯和变分方法的SISR问题使用Tikhonov [44，55]，电视[1，39]，小波-非局部[48]或补丁递归[42，43]正则化方案，或自适应滤波技术[49]，以在HR解决方案上施加合理的先验。但是经典的正则化方案已经显示出它们的局限性。 为了*工作主要是在马蒂亚斯在GoPro法国时完成的LR IKC USRNet Ours图1：在存在空间变化模糊的情况下，比例因子为2的超分辨率。利用各向同性高斯核对背景进行模糊处理，而对前景不进行模糊处理。为了应对现实世界中的SISR问题，这些问题是更病态的（更高的噪声水平，更大的缩放因子，更大和更复杂的模糊内核），最近的方法已经转向更强大的基于深度学习的正则化器，回归器或（条件）生成模型。他们取得了显著的成功，只要模糊是均匀和小的，就可以在非常大（16）的比例因子下产生极高质量的结果[52]。本文的重点是更现实的情况下，模糊内核是不均匀的，更大，更复杂，主要是由于运动模糊和散焦模糊[63，73]。这种退化在运动相机中非常常见，其中相机抖动导致空间变化的运动模糊，或者在镜头模糊不能被假设为均匀的显微镜中。在这样的设置中，在两个步骤中进行超分辨率和去模糊是次优的，因为其遭受误差累积。此外，两步方法没有利用两个任务之间的相关性。这些观测结果提高了对超分辨率模型鲁棒性的需求，以适应空间变化的模糊。在最近基于深度学习的SISR文献中，这种特殊情况受到的关注要少得多。在最近的作品中，BlindSR [8]可以处理非均匀模糊，但它只针对相对较小且各向同性的模糊内核，这些内核与现实世界的示例相距甚远。其他模型，如USRNet [69]，可以处理更大的各向异性运动模糊内核，但它们无法推广到空间变化的模糊。本文将这两个特点结合在一起，提出了第一个基于深度学习的SISR方法，该方法可以处理空间变化和高度各向异性的复杂模糊。1798nels。与[69]一样，我们的架构是迭代优化算法的展开版本，该算法解决了底层的后验最大化问题。如[69]中所示，这种基于模型的架构提供了一种非凡的能力，可以推广到一大群模糊内核。为了使我们的架构能够处理空间 变 化的 模 糊 ， 同时 保 持 计 算 复杂 度 低 ， 我们 从ADMM算法的线性化版本中导出展开。本文其余部分的组织结构如下：在第2节中，我们回顾了最近的SISR文献，重点是它们对空间变化和高度各向异性模糊内核的支持。图2b总结了我们的综述，随后在第4.2节中进行了细化。第3节介绍了我们的体系结构，它与深度即插即用的关系，以及线性化的ADMM算法，并详细介绍了我们的端到端体系结构是如何训练的。第4节中的广泛实验评估表明，我们的模型显着提高了具有非平稳模糊的超分辨率的最新性能，并且它可以很容易地推广到各种非均匀模糊内核，放大因子和噪声水平，这对于现实世界的应用是有趣的训练代码和预训练模型可从以下网址获得：https://github.com/claroche-r/2. 相关工作2.1. 基于学习的超分辨率已经提出了几种基于深度学习的方法来解决SISR问题。SRCNN [11]是这种类型的第一个模型之一。他们使用CNN来学习LR图像与其HR版本之间的映射。其他方法使用类似的方法，但修改了架构或损失[26，27，34，56，64]。ES-RGAN [62]引入了基于GAN的损失来重 建 高 频 细 节 ， 以 及 基 于 残 差 密 集 块 中 的 残 差（RRDB）的架构。ESRGAN在合成数据上产生锐利和高度逼真的超分辨率。然而，它很难在真实图像上推广，因为它们的训练数据集是使用双三次下采样构建的。为了克服这一限制，BSRGAN [68]建议在更现实的降级管道上重新训练ESRGAN。与先前的忽略模糊核的SISR方法不同，SRMD [70]提出将模糊核信息作为网络的附加输入。该方法属于所谓的非盲SISR方法家族。诸如[2，8，23]的盲方法使用内部GAN、迭代核细化或专用的卷积来解决超分辨率的核估计问题。在[14，54]中，作者使用图像特定的超级解析器(a) 空间变化模糊的示例文章SrUBSVBMB盲双三✓✗✗✗✓ESRGAN [62]✓✗✗✗✓BSRGAN [68]✓✓✗✗✓SwinIR [32]✓✓✗✗✓[23]第二十三话✓✓✗✗✓BlindSR [8]✓✓✓✗✓ZSSR [54]✓✓✗✗✗DualSR [14]✓✓✗✗✓[第69话]✓✓✗✓✗架构SrUBSVBMB盲RRDB [62][23]第二十三话：一个人的世界BlindSR [8]我们✓✓✓✓✓✓✓✓✓✓（✓）（✓）✓✓✓（✓）（✓）（）（）✓✓✓✗✗✗(b) 方法比较表。图2：（a）背景物体相对于相机移动，因此它们看起来模糊，而前方物体是清晰的。（b）由先前的文章解决的或者可以通过可用的架构潜在地解决的恢复问题：SR=单个图像超分辨率; UB =均匀模糊; SVB =空间变化模糊; MB =运动模糊。括号表示据我们所知尚未在文献中测试的架构的潜在用例。使用低分辨率图像的固有补丁上的循环损失进行训练。最近，SwinIR [32]提出了一种基于swin Transformer [38]的架构，该架构实现了最先进的结果，同时大大减少了网络的参数数量。2.2. 深度即插即用深度即插即用方法可以追溯到[59]，其中使用ADMM优化通过解耦数据和正则化项来解决图像恢复问题。然后，他们使用去噪器来解决正则化子问题。这个想法已经扩展到其他优化方案，如原始对偶方法[24，40]或快速迭代收缩算法[25]。大量的去噪器被用于正则化。之间1799↓其中，BM 3D使用最多[9，24，25]，但最近基于深度CNN的去噪器变得非常流行[40，58]。[67]提供了一个不同的深度去噪不同的图像恢复任务的效率分析。深度即插即用方法可用于解决各种图像恢复任务，例如高斯去噪[5]，图像去模糊[60]或超分辨率[4]。深度即插即用算法的理论方面也已经使用有界去噪器假设[7]或最近使用其残差算子是Lipschitz连续的去噪器[30，51]进行了研究。最近，[69]建立了一个称为USRNet的深度展开网络，用于使用深度即插即用优化的超分辨率。2.3. 空间变化模糊去除均匀模糊是一个研究得很好的问题。经典方法设计自然图像先验，如 E1[31]， E2[50]或超拉普拉斯[28]。基于CNN学习的方法通常构建从粗到细的深度学习架构，例如[53]，其中CNN块模拟迭代优化，或者[57]使用尺度递归网络对图像进行去模糊。当模糊在空间上变化时，任务变得更加复杂。早期的方法将空间变化模糊分解成空间均匀模糊核的有限基和它们各自的空间变化权重[45]。这种方法大大降低了模糊算子的维数，并使其在合理的时间内使用傅立叶变换计算。[41]建立一个为更快的计算而设计的替代模型，并将其应用于空间变化模糊的去卷积。最近，[15-17]通过对角或稀疏算子来近似小波基中的空间变化模糊算子。它们的分解允许非常有效地计算模糊算子及其转置，因为算子的结构允许GPU并行化。其他方法（如[13]）使用HQS分裂来解耦先验项和数据项。数据步长使用以下近似值计算：对于给定的高分辨率图像，y=（xN（0，σ2），（1）其中x是高分辨率图像，y是其低分辨率版本，k是模糊核，s是具有比例因子s的二次采样算子，并且k是噪声。该公式假设模糊核在整个图像上是均匀的，这使得使用卷积或快速傅立叶变换来快速计算低分辨率图像。这种假设并不总是现实的，因为相机或物体运动通常会导致非均匀模糊，如图2a所示。在该示例中，背景对象相对于相机移动，因此它们看起来模糊，而前景对象是清晰的。当对象失焦时也可能出现空间变化模糊。在这种情况下，模糊与景深密切相关。考虑到空间变化的模糊，等式（1）中的退化模型用跨像素y=（Hx）↓s+n，其中n= N（0，σ2），（2）其中Hx对应于应用于图像x的非均匀模糊算子（平坦化为列向量）。使用不受约束的H导致计算上昂贵的操作。 在我们的工作中，我们对H的唯一限制是Hx和HTx必须在合理的时间内计算。这种用例的一个基本示例是 the O’Leary model [45] whereΣPH=Ui Ki（3）i=1具有空间变化的混合系数的均匀模糊（卷积）算子Ki，即 对角矩阵U i，ΣP逆模糊和前一步使用CNN pri求解的i=1 U i= Id，U i≥ 0。该模型提供了一个方便的或 联合解决非均匀去模糊和上采样问题，压缩（超分辨率）问题是一个更复杂的任务，研究得更少[8]。大多数空间变化的去模糊方法要求模糊算子是已知的。估计非均匀模糊核已经被处理用于几个应用，例如散焦[20]，镜头像差[19]超分辨率[33]和运动模糊[6]。3. 模型3.1. 问题公式化标准的单图像超分辨率多退化模型通常假设低分辨率图像是一个模糊的，噪声和二次采样的版本通过减少存储和计算空间变化模糊算子所需的存储器和计算资源，可以实现空间变化模糊算子的近似。在实践中，Ki可以表示不同种类（散焦或运动）模糊的基础，并且Ui可以表示对象分割掩模或具有类似模糊内核的像素集合。3.2. 深度即插即用基于模型的变分或贝叶斯方法通常通过将具有密度p（x）εe−λφ（x）的先验强加给HR图像x（公共）来解决等式（2）中的SISR问题Φ的选择是小波协方差的全变差或范数为1。系数）。那么后验密度的最大化p（x|y）≦p（y|x）p（x）导致以下优化18002σ2λ/µλ/ρ2→ ∞∥ − ∥2 ∥ −∥∥ − ∥ ≈−∥ −∥λ/ρ计算MAP估计器的问题：算法1深度即插即用线性化ADMM算法x*= arg min12（Hx）↓s−y<$2+λΦ（x）（4）求解x=arg minx1Hz（Hx）↓s−y<$2+λΦ（x）x2σ使用去噪器Pβ= proxβ2 Φ作为隐式正则化器。=arg min g（Hx）+ λΦ（x）。（五）X这类优化问题通常使用迭代交替最小化方案（如ADMM [3]）来解决，这导致对k=0，. . . ，N：x k+1= prox（λ/µ）Φ（. ）（vk−uk）=P<$（vk−uk）（6）vk+1 = prox（1/μ）g（H. ）（xk+1+uk）（7）输入：测量y、空间变化核H、比例因子s、噪声水平σ、迭代次数N、超参数λ、μ、ρ输出：超分辨率、去卷积和去噪图像XNx0←y↑sz0← Hx0u0←0对于k∈[0，N− 1]，uk+1 =uk +（xk+1 -vk+1 ）的情况。（八）xk+1=P（xk−（µ/ρ）HT（Hxk−zk+uk））（（y↑s）+σ2μ（Hxk+1+uk））（i，j）其中proxλf是λf的邻近算子，定义为zk+1（i，j）=σ2µ+δi0（mods）δj0（mods）proxλf（v）=arg minxf（x）+（1/2λ）x v2且g在5中定义。对于凸Φ，已知这收敛于方程（4）的解为k。 深 度 即 插 即用方法使用更复杂的（可能是非凸的）通过简单地将等式（6）中的正则化步骤替换为CNN去噪器Pβ来学习正则化器，uk+1=uk+Hxk+1−zk+1形式，因为它不再需要对涉及H的矩阵求逆（更多信息见补充材料第2节）。我们拥有：预训练以去除零均值高斯噪声anceβ2. 迭代即插即用.Σ（y↑s）+σ2µ（Hxk+1+uk）（i，j）ADMM方案在这种非凸情况下仍然适用，需要谨慎选择去噪器和超参数（λ，μ）zk+1（i，j）=σ2µ+δ i0（mods）δj0（mods）、（十二）[51]第51段。在均匀模糊的情况下，由于算子H在傅立叶基中是对角的，因此可以使用快速傅立叶变换[69，72]有效地计算v -更新。然而，这不再是空间变化模糊的情况即使对于更简单的使用情况，例如来自等式（3）的O'Leary模型，求解子问题（7）也可能在计算上非常昂贵。为了避免这种情况，线性化ADMM [47，第4.4.2节]（另见[18，36，46，71]）用z = Hx代替分裂变量v=x，并引入线性近似HXz k2µ（H THx kH Tz k）Tx+ρx x k2的增广拉格朗日量，以避免需要反演H。这个近似值对应于正则化的线性化<$Hx−z<$2与额外其中（？）↑s对应于补零上采样具有比例因子s和δi0（mods）δj0（mods）是等于1的像素上的指示器函数除以比例因子，否则为0。整个深度即插即用迭代程序总结在算法1中。方程（9）至（11）中的线性化ADMM算法尚未在即插即用背景下研究，但[37]和[22]中的最新结果表明，它实际上收敛于参数λ、μ、ρ的谨慎选择（详见补充材料第1节）。这些理论结果激发了我们在下一节中提出的线性化PINE-ADMM算法的展开版本，并且是第4节中实验结果的基础。223.3深度展开网络正则化x xk2强制xk接近应用的线性化点。结果，等式（6）至（8）被重写如下：xk+1= prox（λ/ρ）Φ（ xk−（ μ/ρ） HT（ Hxk−zk+ uk））=P（xk−（µ/ρ）HT（Hxk−zk+uk））（9）zk+1 = prox（1/μ）g（. ）（Hxk+1+uk）（10）uk+1=uk+Hx k+1− z k+1，（111801）具有优化方案的μ，ρ超参数。现在，方程（10）可以很容易地在封闭式中计算。深度即插即用方法在图像恢复任务上实现了令人印象深刻的性能。然而，它们的效率在很大程度上依赖于它们的超参数的选择。为后者找到正确的值可能具有挑战性。这些方法也需要足够多的步骤来正确地收敛，这很耗时。我们通过将我们的算法展开到深度学习架构中来改进运行时并简化超参数调整过程。该结构由线性化ADMM算法的固定且少量的迭代和自动选择超参数的MLP组成。全网优化1802UDPHPUPk+1βkk k k zk+uk），- -H2σ联系我们212›→ ∥ ↓ − ∥图3：模型架构，低分辨率图像被上采样，并在N次迭代期间交替馈送到先前模块P、数据模块D和更新模块U使用端到端培训。遵循线性化ADMM公式，该架构在优先执行步骤和对应于等式（9），数据拟合步骤(see等式（10）），最后更新区块(see等式（11））。这些块分别堆叠N次，对应于迭代次数。优化过程需要超参数三元组（λ，µ，ρ），这些三元组在每一步都由超参数块预测。 我们的深度展开网络的最终架构如图3所示。接下来，我们详细介绍每个块。我们网络的第一个块是先验模块。如第3.2节所述，等式（9）对应于去噪问题，其由CNN去噪器近似。基于[69]中的工作，我们使用ResUNet [10]架构，其中去噪水平作为额外输入，. ResUNet的所有参数都是在端到端培训过程中学习的。重新训练网络的参数有助于在给定的迭代次数下获得最佳质量的结果。x-update最终表示为：x= P。x−γ HT（Hx−H）（13）√其中βk=λk/ρk，γk=μk/ρk。 分裂算法rithm引入了量xkγkHT（Hxk+1zk+uk）.这个量可以解释为去模糊梯度当前干净估计xk上的下降步长。x更新结合了去模糊和去噪操作。数据项模块D计算z=Hxk+1+uk处z 2 z s y的邻近算子。根据等式（12），我们将数据项重写为：zk+1=D（xk+1，H，uk，y，s，αk），（14）其中α k=σ2µ k。数据项将确保我们对清晰图像的当前估计与降级的输入一致。它还充当通过迭代注入退化图像y的机制更新模块更新ADMM算法的对偶变量（或拉格朗日乘子）u。 此块没有可训练的参数。我们决定将此步骤集成到架构中，以与ADMM公式保持一致。最后，利用神经网络w或k ∈ H预测了随噪声水平σ和尺度因子s变化的即插即用模型的（γ k，β k，α k）超参数. 实际上，αk=σ2µk直接取决于σ和β k=λk/ρk取决于正则化参数λ的最优值通常受σ和s的影响。 对于建筑来说，，我们使用3个具有ReLU激活的全连接层。隐藏层的尺寸为64。3.4. 培训该架构使用L1损失进行端到端训练200个epoch。我们从1 e-4的学习率开始，每50个epoch减少0.1倍。Re-sUNet参数由解决高斯去噪问题的预训练模型初始化。我们发现这样做可以提高模型在训练过程中的稳定性。我们在我们的展开架构中使用N=8次迭代进行实验。使用比例因子s训练网络1、2、3、4，噪声级σ[0，25]和空间变化的模糊内核组成各种运动模糊和高斯模糊。1803∈--(a) 对象掩码Ui和内核Ki(b) 生成对图4：我们的管道4. 实验4.1. 数据生成收集具有空间变化模糊及其各自内核的真实世界数据是非常复杂的。相反，我们使用合成数据训练模型。对于该实验，我们采用了来自等式（3）的O'Leary模糊模型。这种模糊分解覆盖了从运动模糊到散焦模糊的各种各样的空间变化模糊。图4表示使用该公式获得的合成模糊的示例。对于训练和测试，我们使用COCO数据集[35]。COCO数据集是用于对象检测、分割和图像字幕的知名大规模数据集。它由20多万幅图像组成，分割成80个对象类别和91个素材类别，代表150万个对象实例。我们使用分割蒙版来模糊对象和背景。我们使用高斯核和运动模糊核。我们使用[21]构建了一个运动模糊内核数据库。为了确保模糊区域之间的平滑和真实过渡，我们模糊了蒙版的边界，以便在对象的边缘处发生混合模糊我们终于4.2. 比较方法我们将提出的模型与Bicubic upsample（广泛使用的基 线 ） ， RRDB [62] ， SwinIR [32] ， SFTMD [23] ，BlindSR [8]和USRNet [69]进行了比较。很少有超分辨率模型可以推广到非均匀模糊（见表2b）。我们认为，上述模式代表了目前最适合这种情况的解决方案。然而，使用来自每个模型源代码的预训练权重会导致我们的测试数据集性能不佳，因为它们是使用均匀模糊内核训练的。 为确保公平的比较，根据我们的模型，我们在数据库上重新训练了所有这些架构。我们使用MSE损失对所有模型进行重新训练，以使PSNR最大化。接下来，我们将详细介绍如何使用这些架构。第2.1节中描述的RRDB和SwinIR是盲方法，因此我们只需使用作者给出的配置在我们的数据集上重新训练它们。SFTMD是[23]中引入的非盲架构，它结合了使用主成分分析（PCA）和空间特征变换（SFT）[61]层的内核编码。PCA编码的模糊核与低分辨率图像一起被馈送到基于SFT的网络。在空间变化模糊的情况下，他们在每个像素的位置对内核进行编码BlindSR提出了一种替代PCA的内核编码方法。他们使用与超分辨率网络一起训练的MLP。这允许网络编码更复杂的内核。我们使用BlindSR的非盲部分，该部分由具有卷积、密集层和剩余连接的骨干组成，其中MLP编码用于内核。最后，我们将我们的架构与USRNet进行了比较，USRNet与我们的模型相似，但仅适用于均匀模糊。由于我们使用由于我们使用经典的USRNet，因此我们不重新训练它，使用来自该方法的源代码的权重。I. e.对掩码进行归一化，使得每个像素的掩码和等于1。模糊后的图像，我们应用最近邻USRNet（y，H）Pi=1 UiUSRNet（y，Ki）比例因子变化的下采样 1、2、3、4和高斯模糊与σ[0，25]。最后，我们的数据生成管道实现了以下降级模型：ΣP4.3. 定量结果表1总结了不同测试集上的PSNR、SSIM（结构相似性指数）和LPIPS（学习感知图像块相似性）。测试集由COCO验证集和方程15的退化模型构成。在高斯和莫-y=（i=1Ui Ki x）↓s+，（15）单独评估模糊效果。 我们在没有加性噪声的x2和x4超分辨率第一、其中x是干净的图像，y是低分辨率版本，s是比例因子，而sx是噪声。非盲模型比盲模型的性能好很多。关于退化的额外信息得到了很好的利用1804↑↓↑表1：合成数据的定量比较。 所显示的度量分别对应于PSNR、SSIM和LPIPS。最好成绩以红色显示，第二名以蓝色显示.[66]第六十六话MPRNet [65][6]美国[6]图6：Lai [29]数据集LR SwinIR BlindSR我们的图5：真实散焦图像被网络。SwinIR的基于盲变换的架构比经典的RRDB更有效。对于非盲架构，我们可以看到如何将模糊算子信息提供给网络的重要性。具体而言，BlindSR的模糊操作器的神经网络编码远远超过SFTMD的IKC版本的PCA编码器。它强调了PCA模型不够复杂，无法捕捉模糊核的有趣特征。BlindSR模型在高斯测试集上表现良好，但未能推广运动模糊。其原因之一是运动模糊太复杂而不能通过PCA或小MLP进行编码。USR-Net模型达到了良好的SSIM和LPIPS，同时具有较低的PSNR。这主要是由于该模型引入了SSIM或LPIPS未捕获的伪影。USRNet的糟糕表现强调了这样一个事实，即即使在简单的用例中，在均匀模糊上训练的网络也不能很好地泛化到空间变化的模糊。最后，我们的模型优于所有其他方法的平均0.15dB的高斯模糊测试集和1.2dB的运动模糊测试集。此外，我们的算法在SSIM和LPIPS上优于所有其他方法，除了x2高斯模糊的情况。我们的方法的成功首先依赖于这样的事实，即内核信息不需要被编码以被馈送到模型，这允许非常复杂的内核的良好的去模糊质量。此外，去模糊-环形和超分辨率模块在我们的体系结构中是固定的，这说明了对不同模糊类型的增加的鲁棒性。值得指出的是，我们的模型只有一个版本用于所有的比例因子，而不需要重新训练。4.4. 视觉结果图7显示了不同模型在x2超分辨率上的视觉比较。我们排除了RRDB和SFTMD，因为它们的性能分别被SwinIR和BlindSR超越。我们观察到SwinIR产生的结果仍然模糊。USRNet在模糊核未混合的区域上产生尖锐的结果（即当单个退化贴图的面积等于1而所有其他贴图的面积等于0时），但由于去模糊任务不是线性的，因此在对象的边缘上引入了伪影。BlindSR可以很好地解析图像。然而，有些地区仍然模糊，特别是当有运动模糊。最后，我们的模型成功地产生了一个清晰的超分辨率图像没有文物。我们观察到更多的纹理细节和更清晰的边缘。4.5. 现实世界图像在真实世界的图像上测试我们的方法需要我们可以访问与图像相关联的模糊算子。超分辨率模型的性能强烈依赖于模糊核的准确性。图5显示了真实世界散焦模糊模型的SR结果，其中模糊算子是使用相机属性[12]估计的，而图6显示了去模糊结果（比例因子s=1，无SR），其中模糊算子是使用[6]估计的。在第一示例中，可以观察到，BlindSR倾向于在执行超分辨率的同时在图像中添加过度锐化伪影。SwinIR返回一个更清晰的图像，但仍然模糊。另一方面，我们的模型返回最清晰的结果。这些结果还突出了我们算法的良好泛化特性，因为模型不是在散焦模糊内核或平滑变化上训练的。一个内核到另一个内核在图像尺度上（训练中使用的掩码的边界是硬的）。在去模糊中，我们将我们的模型与DMPHN [66]，MPRNet [65]和去模糊模型进行了比较。规模类型模型高斯模糊运动模糊双三（22.52，0.60，0.57）（21.74，0.62，0.39）盲RRDB [62]（23.38，0.67，0.41）（23.11，0.65，0.36）SwinIR [32]（23.47，0.67，0.38）（23.40，0.67，0.34）X2SFTMD [23]（23.76，0.69，0.33）（25.15，0.74，0.25）非盲BlindSR [8][第69话]（26.55，0.79，0.24）（22.64，0.74，0.28）（26.40，0.79，0.20）（24.37，0.75，0.17）我们（26.59，0.78，0.26）（28.20，0.85，0.11）双三（21.61，0.55，0.60）（20.48，0.56，0.57）盲RRDB [62]（21.82，0.57，0.58）（22.34，0.60，0.56）1805SwinIRLR BlindSR USRNet Ours GT图7：比例因子为2的模型的超分辨率性能的视觉比较。不同的模糊核显示在LR图像中。[6]中使用的模糊方案。我们发现，我们的模型在锐度和去模糊伪影方面都优于这些方法。更多的视觉效果可以在补充材料和项目网页中找到。5. 结论未来研究在本文中，我们探讨的问题，单图像的超分辨率与空间变化的模糊。我们提出了一个深度展开架构，处理各种模糊kernels，比例因子和噪声水平。我们的展开架构来自一个深的即插即用算法的基础上的线性ADMM分裂技术。我们的架构继承了即插即用算法的灵活性和基于学习的方法通过端到端培训的速度和效率。使用O'Leary模糊模型的实验结果突出了所提出的方法在性能和通用性方面的优越性。我们还表明，该模型推广到现实世界的数据，使用现有的核估计方法。引用[1] 安德烈的阿尔曼萨，西尔的杜兰和伯纳德的鲁格。利用倒易单元的自适应测量和提高图像分辨率 杂志 of Mathematical Imaging and Vision，21（3）：235-279，nov 2004.[2] Sefi Bell-Kligler、Assaf Shocher和Michal Irani。使用 内部 增 益 的盲 超 分 辨率 核 估 计。 NeurIPS ，2019。[3] 斯蒂芬·博伊德，尼尔·帕里克，朱立伦，博尔哈·佩拉托，乔纳森·埃克斯特.通过乘子交替方向法的分布优化和统计学习。Foundations and Trends®in Machine Learning，3（1）：1[4] Alon Brifman，Yaniv Romano，and Michael Elad.使用即插即用的先验知识将去噪器变成超级解析器。在2016年IEEE国际图像处理会议（ICIP）上，2016年。1806[5] 格雷格里·T斯坦利·巴扎德Chan，Suhas Sree-hari，and Charles A.布曼即插即用：使用共识平衡的无优化 重 建 。 SIAM Journal on Imaging Sciences ，2018。[6] 吉列尔莫·卡巴哈尔，帕特里夏·维多利亚，毛里西奥·德尔布拉西奥，帕布洛·穆·塞和乔·塞·莱萨马. 基于 自 适 应 基 分 解 的 非 均 匀 模 糊 arXiv ：2102.01026，2021。[7] 斯坦利·H Chan，Xiran Wang，and Omar A.埃尔根迪即插即用的admm用于图像恢复：不动点收敛及其 应 用 。 IEEE Transactions on ComputationalImaging，2017。[8] VictorCornille`re，AbdelazizDjelouah，WangYifan，OlgaSorkine-Hornung，andChristopher Schroers.具有空间变化退化的盲图像超分辨率。在ACM Transactions on Graphics，2019。[9] Yehuda Dar，Alfred M. Bruckstein，Michael Elad，and Raja Giryes.通过顺序去噪对压缩图像进行后处理 。 IEEE Transactions on Image Processing ，2016。[10] Fo iv osI. Diak ogiannis ， Franc？ ooisWaldner ，PeterCac-cetta，and Chen Wu. 结果-a： 一个用于遥感数据语义分割的深度学习框架。ISPRS Journalof Photogrammetry and Remote Sensing，162：94[11] 董超，陈昌来，何开明，唐晓鸥.学习用于图像超分辨率的深度卷积网络。在David Fleet、TomasPa-jdla 、 Bernt Schiele 和 Tinne Tuytelaars 的 编 辑中 ， 欧 洲 计 算 机 视 觉 会 议 （ ECCV ） 的Proceedings，第184-199页。施普林格国际出版社，2014年。[12] LaurentD'And r ` s ， Jordi Sal vado r ， Ax elK ochale，和Sabine Süsstrunk。用于景深扩展 的非 参 数 模 糊 映 射 恢复IEEE Transactions onImage Processing，25（4）：1660[13] Thomas Eboli，Jian Sun，and Jean Ponce.非盲图像去模糊的端到端可解释学习。在ECCV，2020年。[14] 穆罕默德·伊马德，莫里斯·皮门，亨克·科波拉。DualSR：零拍摄双学习现实世界的超分辨率。2021 年 IEEE 计 算 机 视 觉 应 用 冬 季 会 议（WACV），第1629-1638页[15] 保罗·埃斯坎德和皮埃尔·韦斯。 利用算子小波展开加速l1- l2去模糊。计算与应用数学杂志，343：373[16] 保罗·埃斯·坎德，皮埃尔·韦斯，弗朗索瓦·马尔戈-于耶尔.在小波域中使用空间变化模糊算子的稀疏近 似 的 图 像 恢 复 。 物 理 学 杂 志 ： ConferenceSeries，464（1）：012004，oct 2013.[17] PaulEscande，PierreWeiss，andFran c. 空间变化模糊恢复。对角逼近在小波域。ICPRAM，2013年。[18] Ernie Esser，Xiaoqun Zhang，and Tony F.陈成像科学中凸优化的一类一阶原-对偶算法的一般框架。工业与应用数学学会（SIAM），2010年。[19] Delbracio等人非参数亚像元局部点扩展函数估计是一个适定问题。IJCV，2012年1月。[20] Ikoma等人从散焦的深度与学习的op- 用于成像和遮挡感知深度估计的TIC。ICCP，2021年。[21] Fabien Gavant Laurent Alacoque Antoine Dupret 和Dominique David用于图像稳定系统的生理相机抖动模型。在SENSORS，2011 IEEE，第1461-1464页[22] 我 是 格 里 博 。 惩 罚 最 小 二 乘 回 归 是 否 应 IEEETransactions on Signal Processing，59（5）：2405-2410，2011。[23] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第1604- 1613页，2019年。[24] Felix Heide ， Markus Steinberger ， Yun-Ta Tsai ，Mush-fiqur Rouf ， Dawid Pajak ， Dikpal Reddy ，Orazio Gallo，Jing Liu，Wolfgang Heidrich，KarenEgiazarian，Jan Kautz，and Kari Pulli. FlexISP：一个灵活的相机图像处理框架。ACM Transactions onGraphics，33，2014。[25] 乌鲁别克湾卡米洛夫哈桑·曼苏尔和布伦特·沃尔伯格解非线性成像逆问题的即插即用先验方法。IEEE Signal Processing Letters，2017。[26] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在2016年IEEE计算机视觉和模式识别会议（CVPR），第1646-1654页，2016年。[27] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.用于图像的1807超分辨率在2016年IEEE计算机视觉和模式识别会议（CVPR），第1637-1645页，2016年。[28] Dilip Krishnan和Rob Fergus使用超拉普拉斯先验的快 速 图 像 反 卷 积 。 耶 氏 酵 母 中 Bengio 、 D.Schuurmans，J.拉弗蒂角Williams和A. Culotta，编辑，神经信息处理系统进展，第22卷。CurranAssociates，Inc. 2009年[29] Wei-Sheng Lai，Jia-Bin Huang，Zhe Hu，NarendraAhuja，Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在IEEE计算机视觉和模式识别会议上，2016年。[30] 雷米·劳蒙，瓦连京·德·博尔托利，还有阿尔曼萨，朱莉·德隆，阿兰·杜默斯和马塞洛·佩雷拉。关于Plug Play先验和随机梯度下降的最大后验估计。技术报告，MAP5，2022年1月。[31] Anat Levin，Yair Weiss，Fredo Durand和William T.弗里曼。理解和评估盲去卷积算法. 2009年IEEE计算机视觉和模式识别会议，第1964-1971页，2009年。[32] Jingyun Liang ， Jiezhang Cao ， Guolei Sun ， KaiZhang，Luc Van Gool，and Radu Timofte. Swinir：使 用 Swin Transformer 进 行 图 像 恢 复 。 2021 年IEEE/CVF 计 算 机 视 觉 工 作 室 国 际 会 议（ICCVW），第1833-1844页[33] Jingyun Liang，Guolei Sun，Kai Zhang，Luc VanGool，and Radu Jingfte.基于互仿射网络的盲图像超 分 辨 率 空 间 变 分 核 估 计 。 IEEEInternationalConference on Computer Vision （ ICCV ） ， 2021年。[34] Bee Lim，Sanghyun Son，Heewon Kim，SeungjunNah，and Kyoung Mu Lee. 增强的深度残差网络用于单图像超分辨率。2017年IEEE计算机视觉和模式识别研讨会（CVPRW），第1132- 1140页，2017年。[35] 林宗义，迈克尔·梅尔，塞尔日·贝隆吉，卢博米尔·布尔德夫，罗斯·吉希克，詹姆斯·海斯，彼得·佩罗纳，德瓦·拉马南，C.劳伦斯·齐特尼克和皮奥特·多 尔 。MicrosoftCOCO：CommonObjectsinContext.在（ECCV）欧洲计算机视觉会议上，2015年。[36] Zhouchen Li