Dr-Net：学习图像先验和数据保真度的盲反卷积方法

4321102352道格拉斯-拉奇福德网络公司：同时学习图像先验和数据保真度项的盲图像反卷积Raied Aljadaany Dipan K.Marios Savvides Dept.电气与计算机工程系卡内基梅隆大学{raljadaa，dipanp，marios}@ andrew.cmu.edu摘要盲反卷积问题是严重不适定的，其中特定的模糊内核是未知的。恢复这些图像通常需要估计的内核。在本文中，我们提出了一种称为Dr-Net的方法，该方法不需要任何这样的估计，并且还能够在盲图像恢复任务中反转模糊的影响。这些图像恢复问题通常有两个术语，数据保真度术语（用于忠实重建）和图像先验（用于逼真的重建）。我们使用Douglas-Rachford迭代来解决这个问题，因为它是一个比近似梯度下降算法等方法更普遍适用的优化过程。两个近端算子源于这些迭代，一个用于数据保真度项，第二个用于图像先验。设计一个手工制作的函数来表示这些与真实世界的图像分布一起工作的邻近算子因此，我们使用深度网络来逼近这两个邻近算子。这为Dr-Net的最终架构提供了一个合理的动机，我们发现它的性能优于国家-图1.从左到右，模糊的图像[34]，由Kupyn等人恢复的图像。al. [25]并通过我们提出的Dr-Net恢复图像。Dr-Net可恢复更清晰的图像和更精细的细节。解决它的方法是通过假设图像空间上的一些先验（或一组先验），并且提供或估计k。因此，可以通过求解以下优化问题来近似干净图像x=argminy−kx2+g（x）（2）X2最先进的两个主流盲反卷积台架-标记. 同时，我们也发现Dr-Net是一个最快的算法根据挂钟时间。1. 介绍盲解卷积问题盲反卷积问题是图像处理中一个有趣的逆问题。他们面临的很大一部分挑战是，导致腐败的内核是未知的。假设可以通过将清晰图像x与内核k进行卷积来生成损坏的图像y。这可以写为：y=kx+（1）其中，λ是加性零均值高斯白噪声，λ是卷积运算。恢复干净图像的问题是一个不适定的反问题。一其中，y−kx2是数据保真度项，g是定义图像空间上的某些先验的算子，也称为图像先验（例如，L1范数用于促进稀疏性）。 一个好的先验知识对于得到一个可行的高质量的解是很重要的.图像先验在信号和图像处理任务中是常见的，然而，在Eq. 2是有用的，只有当良好的估计是可用于图像先验和模糊环内核。事实上，已经表明，图像恢复算法（基于等式（1）中的优化问题）可以在图像恢复算法中实现2）当假设先验所调用的解空间不包含真实数据的良好近似时失败[13]。当估计的内核不准确时也会发生这种情况[6]。解决了需要知道模糊内核。432110236方程中的数据保真度项 2一般可以用f（y，x，k）表示，以强调其对k的依赖性。 根据盲解卷积问题，k是未知的，这使得f（y，x，k）难以估计，更不用说优化了。解决这个问题的一个合理且有时有用的假设是假设k是一个随机变量，如[4]所示现在，数据保真度项可以通过对随机变量k进行边缘化来计算，这使得它仅作为y和x的函数。这样就不需要知道k了。项f（x，y）现在仅测量在给定独立于k的干净图像x的情况下获得损坏图像y的可能性，这使得它成为要最大化的目标的良好候选。然而，这种方法提出了一个主要问题，因为它需要已知k的先验密度函数这个问题是我们的研究所要解决的问题之一。尽管如此，在一般情况下，包括图像先验项的总体优化问题可以写为如下：x=argminf（y，x）+g（x）（3）x需要学习数据保真度和先验函数。一般来说，在利用先前的优化公式进行去模糊和图像恢复时存在两个主要挑战。1）在使用手工制作的函数之前正确地对图像进行建模并不是微不足道的先验知识的表达性是有效恢复图像的关键事实上，许多以前的工作已经提出了学习图像之前，并发现显着的好处。如果先验不正确或表达不够，恢复的图像2)较少涉及的问题是对模糊核的先验分布（例如，散焦核具有与运动核不同的分布）以及精确的噪声分布进行这反过来又导致难以对数据保真度函数本身进行建模。目前的方法假设有用的功能作为数据保真度的条款，尽管有限的表达。一些方法用拉普拉斯分布表示内核分布[7]，因为内核被假设为具有稀疏表示（例如运动内核）。然而，当模糊核的先验假设表达能力不足时，干净的图像将不能被正确地重新覆盖 即使在核的先验分布已知的情况下，也很难找到f（y，x）的封闭形式。例如，在先验分布不是似然分布的共轭先验的情况下这使得手工制作一个很好的目标，数据保真度是一项艰巨的任务。我们的方法来学习数据保真度和图像先验。 在本文中，我们同时解决这两个问题，通过模拟产生的邻近算子，深度网络的数据保真度项和图像先验项。据我们所知，这是第一个研究模型的图像先验和数据保真度图2.从左到右，模糊的图像[34]，由Kupyn等人恢复的图像。al. [25]并通过我们提出的Dr-Net恢复图像。Dr-Net可恢复更清晰的图像和更精细的细节。深度网络的术语使其成为本研究的主要贡献之一学习这些网络的参数可以间接地学习数据保真度和图像先验函数。Douglas-Rachford迭代的情况。在通常情况下，很难找到方程的封闭形式解。3.迭代方法，如梯度下降法和近似下降法，通常被用来解决这些问题。然而，基于梯度下降和基于近似下降的方法都需要一些条件（例如，先验项和数据保真度项中的一个或两个需要是可微的），用于等式2中的优化问题。3.重要的是，Douglas-Rachford算法不需要这些条件中的大多数，使其 成 为 更 普 遍 适 用 的 优 化 过 程 。 这 是 我 们 使 用Douglas-Rachford迭代来解决这些问题的主要动机。Douglas-Rachford迭代应用于Eq.3导致先验项和数据保真度项的邻近算子。如所讨论的，对于真实世界的数据，很难知道这两个术语的确切形式因此，我们的主要贡献是使用深度网络来模拟两个邻近算子，同时具有直接的推断机制（简单的向前传递）。我们的动机是通用近似理论[8]，该理论指出神经网络可以模拟非常大的一类函数。最终的架构学习等式中的先验和数据保真度项。3只从损坏的数据中提取，而不对图像的先验分布或模糊核进行任何假设。这个框架导致了一个大型网络，其整体架构的灵感来自Douglas-Rachford迭代。事实上，正如我们在消融研究中发现的那样，在这些迭代之后，正确和充分的网络设计对于高性能架构至关重要。捐款. 我们做出了三大贡献。1)我们提出了一种盲解卷积的网络结构Douglas-Rachford最优化算法432110237我叫Dr-Net。2)我们用两个完全满足非扩张性条件的网络代替Douglas-Rachford算法中数据保真度项和先验项中的邻近算子。这种条件有助于网络在训练期间保持稳定，并在测试期间提高性能我们在实验中证实了这一此外，与以前的工作不同，我们鼓励使用多通道深度网络来解决DR迭代，同时假设图像是图像基础的非线性加权和。我们表明，这为用多通道网络建模优化迭代提供了更多的理论支持，这是以前所缺乏的。3）我们在基准数据集上评估了所提出的模型，并表明Dr-Net在盲去模糊方面获得了最先进的结果，同时根据我们的基准挂钟时间是最快的。2. 相关工作图像先验。已经提出了几种方法来使用手工设计的图像先验。这些方法中的一些假设图像先验可以用高斯表示分布或重尾分布，如关于线性变换的已经提出了一些其他方法来从数据中计算先验，例如主成分分析（PCA）[54]和字典学习[42]。然而，这些数据驱动的方法是通过对先验知识进行一些假设而建立的。例如，低秩PCA投影假设原始图像是低秩的，并将图像非线性地变换到该空间中。字典学习技术作为-然而，这样的先验可能不被应用于盲图像去卷积，因为它们可能产生没有高频细节完整的平凡解。迭代盲去卷积。已经提出了一些方法来恢复图像，假设内核是未知的，因此首先估计它[43，14，35]。这些方法向优化问题添加了额外的项在Eq. 2，它通常表示内核上的先验。在此之后，新的优化问题以迭代的方式相对于恢复的图像和估计的模糊环核两者来解决然而，Eq。如果同时对估计图像和内核进行优化，则2是非凸的[6]。此外，模糊核的不准确估计导致重新覆盖的图像中的伪影。此外，在没有任何明确知识的情况下，假设模糊核的精确先验分布并不是微不足道的然而，当假设的先验不正确时，图像将不会被忠实地恢复，这突出了精确的核建模的重要性。图像先验通过深度学习。最近有几种方法采用深度网络来学习或建模图像先验。在[52]中，作者使用了在大型数据集上训练最近，[40]使用ADMM图3. (a)图1示出了Γ g的图形表示，而图2示出了Γf。这些网络模拟道格拉斯-拉赫福德迭代中的邻近算子，用于等式中的先验项和数据3.它们构成了拟议的Dr-Block的主要组成部分。以迭代方式求解Eq.其中，先前项的邻近算子被替换为使用GAN损失训练的深度网络。作者在[32]中结合了用去噪框架[19]和去噪卷积神经网络[59]替换邻近算子的想法。然而，所有这些方法都不是为盲去卷积设计的，因为它将模糊核作为输入以恢复去模糊图像。另一方面，我们的工作集中在模糊核不是先验的情况下。学习数据保真度术语。在[10]中，他们使用高斯混合模型（GMM）来学习图像去噪的数据项。在这种方法中，他们假设GMM可以近似数据保真度函数，噪音原因不明。然而，作为一个主要的限制，模糊内核是需要作为一个输入，除了损坏的图像。这里图像上的先验是它相对于导数是稀疏的，这是一个手工制作的先验。另一方面，我们通过深度网络学习数据和先验项，重要的是不需要模糊核的知识。通过深度学习进行盲去模糊。最近，[25]提出了DeflurGAN，它基于条件GAN和盲运动去模糊的内容丢失因此，[34]中提出的方法消除了这些干扰，通过使用多尺度卷积神经网络从图像模糊化。另一种处理运动模糊的方法是[7]，其中使用ConvNet来估计运动内核的傅立叶系数，并重新覆盖频域中的更清晰的重建。然而，这些方法中的整体架构与等式中的图像恢复优化问题之间的关系。三是不明确。在这项工作中，整个网络架构的动机是基于道格拉斯-Rachford迭代求解方程的应用。3.第三章。3. 反问题的Douglas-Rachford网络在这一节中，我们首先简要回顾了用于优化的近端操作器和传统的Douglas-Rachford分裂。432110238第然后，我们继续提出我们提出的盲图像反卷积方法。3.1. 近端操作员设h：Rn→R是一个函数。具有参数β的函数h的邻近算子被定义为：proxh，β（x）=argminβ<$z −x<$2+h（z） （4）z2近似运算符在近似算法中很有用[37]如交替方向乘法器（ADMM）法[5]、近端梯度下降法[3]和Douglas-Rachford算法[12]。 这些算法考虑不动点算法的特殊情况[17]。还值得注意的是，prox h，β（x<$）=x<$ ，如果x<$是h（x）的最小值，这是不动点算法和邻近算法之间的另一种联系。毛皮-因此，当proxh，β被反复应用时，只有当proxh，β是强非扩张的时，它才能找到一个不动点[2].当下列成立时，称proxh，β是强非扩张的x，y图4.所提出的Dr-Block的图形表示，其灵感来自Douglas-Rachford迭代。网络Γf和Γg表示迭代中的邻近算子每个块计算更新的一次迭代。当多个这些级联时，它们形成了所提出的Dr-Net。此外，蓝色括号中的数字对应于最近的跳过连接。在消融研究中研究了这些连接的意义。其中λk是步长，β >0。如果对于所有迭代，λ k = 2，则这种方法被称为Recheman-Rachfordproxh，β（x）−proxh，β（y）<$2 ≤<$x−y <$2（五）分裂[39]。2 2这个条件也与邻近算子的Lipschitz连续性条件有关，其中Lipschitz常数在欧氏距离度量下为1。在接下来的章节中，我们将在设计Dr-Net框架时考虑这个特性3.2. 道格拉斯·拉奇福德·斯普利特Douglas-Rachford算法是最小化优化问题的迭代方案，其中目标函数被分割为两个函数的和，如等式（1）所示。3 [12]。它也是著名的近似梯度下降法（PGDM）[3]的推广.然而，PGDM要求，方程中的函数之一3是可微的，而在Douglas-Rachford分裂中不需要这个条件。Douglas-Rachford分裂在被改进以处理非光滑凸问题[9]之前已经被应用于解决非线性凸问题[27]。此外，[49]表明Douglas-Rachford算法对于特定类别的结构化非凸优化问题具有全局收敛率。道格拉斯-Rachford（DR）算法的收敛速度分析超出了本文的范围。尽管如此，[28]确实为感兴趣的读者提供了一些关于收敛的将DR应用于Eq。3导致以下更新步骤：qk= proxf，β（ xk）3.3. DrNet框架我们的目标是将之前的Douglas-Rachford最新步骤映射到一个深度网络架构，该架构包括固定数量的迭代（层）。我们的目标是利用基于深度网络的图像恢复与Douglas-Rachford分裂方法相结合的能力。这使得网络在我们的实验中发现的一些基准测试中表现良好。Dr-Net使用深度网络对图像先验和数据保真度邻近算子进行建模，深度网络的参数从数据中学习这导致与其他手工制作的解决方程的方法相比，性能得到改善3配方。网络的架构是基于Eq. 6.深度网络（具体地说，卷积神经网络）对prox算子进行建模，并进一步满足严格的非扩张条件。我们将ConvNet用于基于图像的应用程序，因为ConvNet的空间互易性已被证明非常有用，特别是在处理2D视觉数据时[44]。虽然Douglas-Rachford算法对方程中的所有迭代应用相同的邻近算子（相同的函数），6，对于每次迭代使用不同的邻近算子可以获得很多好处，如利用深度网络进行迭代算法的研究所示，如ADMM-Net [46]，ISTA-Net [57]。因此，我们定义的邻近算子是不同的每一个zk=近端 g，β（2qk−xk）（六）迭代为不同的子网络。道格拉斯-拉奇福德街区 的更新步骤xk+1= xk+ λk（ zk−qk）当量6表明需要两个不同的近端算子第一个参数proxf，β（x）与数据保真度项432110239z=Γ图5.所提出的Dr-Net与预处理和后处理网络相结合。恢复的核心组件是所提出的Dr-Blocks的多个实例。而proxg，β（x）涉及图像先验项。我们使用CNN来学习它们对应的邻近算子，而不是手动设置f和g网络跳过连接。图4显示了一个图形表示的架构在方程。8.因此，我们用一个ConvNet表示每个邻近算子minL（xgt，xS）s.tqk=Γk（xk）即，Γf（x）和Γg（x）。这个网络由两个卷积层组成，它们被一个ReLU分开重要的是Θ，λf、θK Kg，θ（2qk−xk）（八）卷积层的核权重被投影到单位球（向量化滤波器权重的长度≤1）。这就保证了网络满足强非扩张性条件，正如我们在下面的小节中所展示的那样由于数据保真度近似算子prox f，β（x）是损坏图像和先前更新步骤的函数，因此网络Γf（x）在 卷 积 层 之后 将损坏图像添加到网络的输出，如图12所示。3.第三章。非扩张性网络。函数h的非扩张性条件表明，在欧氏度量下，xk+1=xk+λk（zk−qk）这里L是损失函数，Xgt（地面实况）是清晰图像，XS是在S次迭代（层）之后由网络返回的恢复图像，并且k=0，. . .、S. 请注意，此优化问题中的约束表示Douglas-Rachford迭代。更重要的是，它- erations地址只有单通道网络，不期望在实践中有令人满意的性能另一方面，现代神经网络是多通道的。我们现在解决这个理论动机之间的差距h（x）−h（y）（七）和实用建筑，这在很大程度上是2 2在现有技术中被忽略[34，25，7]。在我们的网络的开发过程中，我们发现，对它们施加非扩张条件可以提高收敛的性能和稳定性。对卷积层强制执行此条件仅需要将每个过滤器权重投影到单位范数球中，即范数 ≤1 。 我 们 给 出 了 一 组 以 下 结 果 ， 证 明 了 整 个ConvNet在此约束下是坚定的非扩张性。引理3.1如果h（x）1）是香草整流线性单位运算（ReLU）函数，或者2）是将x与具有投影到单位范数球中的权重的滤波器卷积的函数，或者3）是将常数添加到x的函数，则h（x）是坚定非扩张的。引理3.2设h（x）和g（x）都是强非扩张的，则h（g（x））是强非扩张的。引理3.1和3.2一起意味着具有最大单位范数滤波器权重的ConvNets是坚定的非扩张1。我们根据经验发现，非扩展网络具有更稳定的训练。Dr-Net框架。由于邻近算子被CNN取代，卷积层的最佳权重必须通过优化框架来找到，如等式2所示8. 在这里，等式约束将定义1我们在补充资料中提供证明。走向多渠道Dr-Net。 我们现在扩展DR迭代并激励多通道深度网络。我们的方法是假设输入图像是基i中某些元素的非线性和。e.x=h（iαi wi）其中wi是基的第i个元素h是合理的非线性，α是权重向量。图像是基的组合的假设是在PCA [54]、字典学习[42]和小波基[11]中广泛使用的假设。方程（1）中的3可以对每个元素I. 将Douglas-Rachford迭代应用于x的新表达式，我们得到并行迭代，并为每个i更新一次。这些并行更新中的每一个都可以通过深度网络中的不同卷积层中的不同通道来解释，而所有这些更新的每次迭代都由深度网络中的每个层来建模 这提供了一个连贯的框架，从理论上激励更实用的多通道深度网络。我们在补充材料中提供了有关这一联系的更多细节预处理网络。一个好的初始图像x0有助于提高所提出的方法的性能。初始估计的影响不太明显时，prob-感兴趣部分是凸的。然而，由于我们的问题的非凸性质（训练神经网络是非凸的），初始估计将具有更显著的效果。我们利用另一个网络，使用损坏的im-4321102402Dr-Blocks数量峰值信噪比（dB）时间（秒）327.2649.1530.4057.4730.7175.8930.9396.1表1.Dr块数量对性能的影响图6.（a）我们提出的Dr-Net和消融网络的性能，(b)我们提出的Dr-net和消融网络在消除一个邻近运营商后的性能。在两个图中，左轴表示以dB为单位的PSNR，而右轴表示SSIM。前网后网峰值信噪比（dB）参数（百万）CCCC30.406.728.206.328.576.327.125.9表2.网络消融前后研究。C表示应用了相应的网络。年龄y来提供初始估计x0，并发现该解决方案在实践中工作得足够好。该初始化网络具有金字塔结构，由三个阶段组成。 每一级都由一个卷积使用3×3过滤器的图层，然后进行批量归一化层和ReLU层。这三层有N、N、N图7.从左到右，模糊图像[34]，当使用MSE损失时通过我们的方法恢复的图像，以及当添加GAN损失时通过我们提出的Dr-Net恢复的图像。GAN损失有助于恢复更清晰的图像。所恢复的图像通常遭受模糊的伪像。事实上，l2误差往往会忽略图像中的高频分量。为了弥补这一点，我们建议将GAN损失[16]添加到损失函数中，以更忠实地重建高频元素。GAN已经得到了很好的研究，并在实践中得到了很好的应用，可以在GAN网络的帮助下更好地对真实世界的图像空间进行建模。该判别器迫使发生器仅在真实世界图像的空间中操作，从而更好地对其进行建模[26]。此外，GAN损失已用于几个图像恢复任务，如图像超分辨率[26]，因为GAN损失迫使生成器从损坏的图像中恢复照片般逼真的纹理在与条件GAN相关的几种技术[31，33]中，我们选择了Wasserstein-GAN及其梯度惩罚[18]，由于其更强大的4 2滤波器分别在我们的实验中，N后处理网络。一旦更新步骤在方程。8应用于S次迭代，输出张量大小是相同的图像空间大小，但是具有N个通道。因此，我们需要添加一个子网络，将张量转换为图像。我们称这个组件为后处理网络。 这个子网络类似于前-用3×3滤波器处理网络，但用N，N容忍对之间的平衡discrminator和更稳定的训练。最后，我们应用一个类似于[18]的网络。图7示出了将GAN损失添加到MSE损失的优点，其中当使用GAN损失时，模糊伪影减少。4. Douglas-Rachford网我们通过以下方式开始对Dr-Net进行实证评估：2 4以及c个信道（这里c是1或3）。 最后，输出由Tanh层调节，以迫使输出在1和-1之间。所提出的网络的最终架构如图所示。五、3.4.损失函数Dr-Nets的损失函数被公式化为经典l2损失和GAN损失的组合，如9所示。L（x，y）=x−y2+µLGAN（x，y）（9）我们发现μ=0。01在实践中做得很好。然而，已知l2一项广泛的消融研究为此，我们创造了一个测试，数据集通过卷积68个滤波器生成，这些滤波器由所提出的方法与来自[41]的68个图像补充生成。用于训练的内核是随机生成的，与测试中使用的内核不同。网络架构。拟议的网络的配置概述图。5，其中Dr-Blocks（迭代）的数量设置为5。所有卷积层都使用大小为3×3的滤波器。既然我们想拥有与输入图像大小，我们执行足够的零填充。培训详情。 为了训练，我们使用来自4321102412表3.跳过连接消融研究。C表示图中相应的跳过连接四是使用。针对LPO [32]，其中先验项的邻近算子被替换为去噪卷积神经网络（DnCNN），并且K也通过[56]估计。因此，在Eq. 8用DnCNN表示，并且Γf与D r-NetD中的相似。本 研究的结果如图所示。第6（a）段。很明显，学习先验知识和数据保真度项与学习一项而不学习另一项的网络相比，提高了PSNR和SSIM的性能4.2.网络医生的实证分析深度对性能的影响。我们探索性能和计算时间之间的权衡，作为数量-图8.从左到右，模糊的图像[34]，恢复图片来源：Kupyn et. al. [25]并通过我们提出的Dr-Net恢复图像。Dr-Net可恢复更清晰的图像和更精细的细节。DIV2K数据集[50]作为我们的训练数据。对于每一批，我们从16张图像中随机抽取16个大小为128×128的我们通过缩放、旋转和翻转来增强训练数据。总共，我们生成了大约30万个补丁。网络的输入工作是模糊的补丁，地面实况输出被设置为补丁的干净版本。注意，在这个过程中没有显式的核估计。模糊图像的生成使用我们提出的方法在补充。我们使用Pytorch [38]作为我们的代码基础。使用Pascal Titan-XGPU上的Adam [22]对所有消融研究进行了30个时期的培训（而不是对评价数据集进行基准测试的300个时期）。每个模型大约需要51个小时才能完成。对于30个历元，生成器和学习器的学习率从1 e-1到1 e-4呈指数衰减（在四分之一的历元数之后，学习率乘以1 e-14.1. 学习先验和数据保真度项在Dr-NetP中，我们将先验项替换为标准的超拉普拉斯先验项，如[10]所示。这是一个强大的手工制作的先验，因为自然图像被认为是稀疏的水平和垂直导数。因此，在Eq.在[10]中的基上用软阈值算子[3]表示在Dr-NetD中，我们将数据保真度项替换为其中K通过[56]估计。 这意味着方程中的邻近算子或Γf。 8表示为[KK T+ βI]−1（Ky + βx），其中β是调谐参数，并通过网格搜索找到[32]。此外，我们比较了Dr-Blocks的BER是不同的。表. 1介绍了结果，并建议5博士块是一个合理的选择，我们的研究。前网和后网的效果。我们探索使用前和后网络的优势。结果示于表中。2.虽然参数的数量略有增加（与实际大小相比）时，前和后网络都采用，性能显着提高。消除一个近端操作员的影响。 接下来，我们将探讨严格遵循Douglas-Rachford迭代的重要性。具体来说，我们问，如果我们确实需要在方程的近端运营商。8、我们可以消灭其中一个。为了测试这一点，我们创建了两个消融版本的Dr-Net。在第一个例子中，我们将公式中的Γ g替换为公式中的Γ g。8与短路（简单地从方程中删除8) 并称之为D r-Netg。我们对Γf做同样的处理，称之为Dr-Netf。结果示于图第6（b）段。消除由Douglas-Rachford迭代定义的跳过连接的效果。最后，我们探讨了跳跃连接的重要性，它来自于等式中的更新步骤。6，其中有三个跳过连接。在这项研究中，我们观察了删除或添加这些连接的影响，如表所示3.第三章。最低的recruitic- tion误差时，实现所有的跳过连接，如公式所示。6.我们提出了额外的消融研究调查的通道数和模糊内核建模的补充。5. 盲反卷积算法为了验证Dr-Net用于盲图像恢复的有效性，我们在两个数据集上广泛评估了所提出的方法，1）GoPro测试数据集[34]和2）Kohler数据集[23]。为了测试非扩展条件的有效性，我们训练了另一个网络，其中我们将卷积滤波器权重投影到单位球中（坚定地非扩展）。（一）CCCC（二）CCCC（三）CCCC峰值信噪比（dB）28.3128.2128.6528.4329.2429.7629.4930.40432110242方法龚Whyte徐孙潘刘Nah库平张陶Dr-Net（IN）Dr-Net峰值信噪比（dB）26.0624.5320.3025.3123.5225.7528.4928.729.1930.2628.2030.35SSIM0.86320.84580.74070.85110.83360.86540.91650.9580.93060.93420.9020.961表4.GoPro测试数据集上的峰值信噪比（PSNR）和结构相似性度量（SSIM）[34]。Dr-Net（我们的所提出的方法）在PSNR和SSIM方面优于其他最近的算法以在该测试集上获得最新技术水平。最佳和第二佳性能用粗体和斜体表示。由于篇幅限制，在实验部分的GoPro测试集描述中提供了引文。方法Whyte徐孙Nah库平陶Dr-Net（IN）Dr-Net峰值信噪比（dB）27.0327.4725.2226.4825.8626.7525.1227.20SSIM0.8090.8110.7730.8070.8020.8370.7920.865表5.峰值信噪比（PSNR）和Kohler数据集的结构相似性度量（SSIM）[23]，当我们的方法应用于最先进的算法时。最佳和第二佳性能用粗体和斜体表示。方法龚Whyte徐孙潘Nah库平张陶Dr-Net（IN）Dr-Net时间（秒）1500700380015002500152.91.41.61.91.2表6.所有算法在恢复720×1280像素大小的图像时的挂钟运行时间（以秒为单位）我们提出的方法，Dr-Net达到了最快的处理时间相比，以前的最先进的。扩展条件），其中层称为实例规范化层[51]。这个模型称为Dr-Net（IN），是针对非扩展性标准的我们为两个模型2遵循相同的培训制作人。GoPro测试数据集：GoPro测试数据集是通过对使用高帧率摄像机拍摄的视频中的几帧进行平均来生成的。由于预先存在的运动，平均这些帧会产生模糊的图像该过程具有提供几乎没有模糊的接近完美的地面实况的优点，而平均化提供运动（并且有时光学）模糊的图像。需要注意的一点是，由于这是一个真实世界的数据集，因此平均模糊图像中的相同模糊内核并没有均匀地应用于整个图像。换句话说，图像的某个部分可能比其余部分具有更多的模糊，从而模糊是空间异构的。我们将我们的模型与最先进的模型进行比较，Gong [15]，Whyte [53]，Xu [55]，Sun [45]，Pan[36]，[29]，[29]。结果表. 4展示了这个实验的结果。我们发现，我们的方法Dr-Net与非扩张约束的性能优于所有其他方法的PSNR和SSIM。此外，我们观察到，非扩展Dr-Net的性能甚至优于Dr-Net（IN）（具有实例归一化），这为除了理论证明之外还包含坚定的非扩展条件提供了更多的理由。最后图1，2和8显示了我们的方法与[25]最近在该数据集上的工作相比的一些可视化结果。我们在补充资料中提供了更多的例子。科勒数据集：该数据集由48个图像组成，这些图像是通过将12个内核与4个图像卷积生成的。重要的是，与GoPro测试集相比，模糊内核与整个图像的卷积确保了2我们发现，当权重归一化和实例归一化都不使用时，模型不会收敛在图像的所有部分处具有相等的和空间均匀的模糊在[23]中，他们记录和分析了真实的相机运动，并生成了模拟该运动的运动内核。我们在这里，要以“五”为中心，以“五”为中心。结果表. 5展示了这个实验的结果。我们发现，Dr-Net达到了很高的PSNR，但未能获得最先进的PSNR。Xu [55]获得了较高的27.47 dB。尽管如此，Dr-Net获得了最先进的SSIM为0.865，徐[55]紧随其后，为0.811。请注意，Xu [55]在GoPro测试集上获得了较低的20.29 dB，而Dr-Net获得了29.21 dB。这可能是因为Xu [55]需要对整个图像进行单个模糊内核对于空间均匀的模糊，例如Kohler测试集中的模糊，这是非常适合的。然而，GoPro是具有空间异质模糊的真实世界测试集，从而强制对整个图像进行单个核估计这导致徐[55]在GoPro上的表现不佳。这也有助于证明Dr-Net不会受到这个问题的困扰此外，当我们将挂钟运行时间考虑在内时，我们更好地理解了其他方法的局限性。表. 6显示了所有方法的挂钟运行时间显然，博士-Net对720×1280图像的最快处理时间仅为1.2秒，而Xu[55]其在PSNR方面保持了最先进的水平，科勒数据集。6. 结论我们发现Dr-Net可以解决盲图像反卷积问题。我们介绍了新的方面，如建模数据保真度和图像先验邻近算子与ConvNets。Dr-Net根据SSIM获得SOTA结果，同时根据挂钟时间是最快的。DR迭代应用于深度学习的其他领域似乎很有希望。432110243引用[1] M. 安东尼尼M.Barlaud，P.马修和我多贝西基于小波变换的图像编码. IEEE Transactions on Image Processing，1（2）：205[2] H. H. Bauschke，S. M. Moffat和X.王.强非扩张映射和极大单调算子：对应性和二重性。集值和变分分析，20（1）：131[3] A. Beck和M.特布勒线性反问题的一种快速迭代收缩阈值算法。SIAM journal on imaging sciences，2（1）：183[4] J. - C. Belfiore和E.维泰博独立瑞利衰落信道下的误差概率近似 信息理论，2005年。ISIT 2005年。诉讼国际研讨会，第362-362页。IEEE，2005年。[5] S. 博 伊 德 ， N. Parikh ， E. 楚 湾 ， 澳 - 地 Peleato ， J.Eckstein，et al.通过交替方向乘子法的分布优化和统计学习。基金会和《机器学习中的知识结构》，3（1）：1-122，2011年。[6] P. Campisi和K.埃吉亚扎利安人 盲图像去卷积：理论与应用CRC Press，2016.[7] A.查克拉巴蒂盲运动去模糊的神经方法。欧洲计算机视觉会议，第221-235页。施普林格，2016年。[8] T. Chen和H.尘具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用。IEEE神经网络学报，6（4）：911[9] P. L. Combettes和J. -C. 佩斯凯非光滑凸变分信号恢复的IEEE Journal of Selected Topics in Signal Processing，1（4）：564[10] J. Dong，J. Pan，D.太阳，Z.苏和M H.杨学习非盲去模糊的数据项。在欧洲计算机视觉会议（ECCV）的会议记录中，第748-763页[11] D. L. Donoho和J. M.约翰斯通通过小波收缩实现理想的空间适应性。biometrika，81（3）：425[12] Eckstein和D. P. Bertsekas.关于极大单调算子的douglas-rachford 分 裂 方 法 和 邻 近 点 算 法 。 MathematicalProgramming，55（1- 3）：293[13] M. Elad和M. Aharon通过学习字典上的稀疏和冗余表示进 行 图 像 去 噪 。 IEEE Transactions on Imageprocessing，15（12）：3736[14] R. 费格斯湾辛格A.Hertzmann，S.T. Roweis和W.T.弗里曼 。从 单张 照 片中 消 除相 机抖 动 在ACM 图 形交 易（TOG），第25卷，第787-794页中。ACM，2006年。[15] D. Gong，J. Yang，L. Liu，Y.张岛D.里德角沈先生，A. Van Den Hengel和Q.石 从运动模糊到运动流：用于去除异构运动模糊的深度学习解决方案。在CVPR，第1卷，第5页，2017年。[16] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。在神经信息处理系统的进展，第2672-2680页[17] A. Granas和J. Dugundji。不动点理论Springer ScienceBusiness Media，2013.[18] I. Gulrajani，F.艾哈迈德，M。阿尔约夫斯基河谷Dumoulin，以及A. C.考维尔改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展，第5767-5777页，2017年[19] F.海德M. Steinberger，Y. T.蔡，M。Rouf，D. 帕亚克D.雷迪岛Gallo，J. Liu，W. Heidrich，K. Egiazarian等人Flexisp ： 一 个 灵 活 的 相 机 图 像 处 理 框 架 . ACMTransactions on Graphics（TOG），33（6）：231，2014。[20] P. Hoeher，S. Kaiser和P.罗伯森维纳滤波辅助二维导频信道估计声学、语音和信号处理，1997年。ICASSP-97.，1997年IEEE国际会议，第3卷，第1845-1848页。IEEE，1997年。[21] K. I. Kim和Y.权基于稀疏回归和自然图像先验的单图像超 分 辨 率 IEEE transactions on pattern analysis andmachine intelligence，32（6）：1127[22] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[23] R. Kohler，M. 赫希湾，巴西-地 Mohle r，B. Scho¨lk opf，以及S. 伤害。 相机抖动的记录和回放：用真实世界的数据库对盲反卷积进行基准测试。欧洲计算机视觉会议，第27-40页。Springer，2012.[24]D. Kundur和D.哈齐纳科斯 盲图像解卷积。IEEE信号处理杂志，13（3）：43[25] O. Kupyn，V. Budzan，M. Mykhailych，D. 米什金，J·麦塔斯Deflurgan：使用con-adversarial网络进行盲运动去模糊。CVPR，2018年。[26] C. 莱迪格湖Theis，F.Husza'r，J.Caballero，A.坎宁安A.阿科斯塔A. P. Aitken，A. Tejani，J. Totz，Z. wang等人使用生成对抗网络的照片级真实感单幅图像超分辨率。在CVPR，第2卷，第4页，2017年。[27] J. 里奥托 应用程序的oximationd'op e 'r ateu r s par des me 'thodes de d e 'composition n. 博士论文，1969年。[28] P. - L. Lions和B.仁慈一点两个非线性算子和的分裂算法SIAM