XYDeblur：分而治之的单幅图像去模糊网络架构

174210XYDeblur：单幅图像去模糊的分而治之0池瑞元*，李正民*，金胜旭*0洪俊彪1，白胜进1，郑胜元†，高成杰101 韩国大学，2 釜庆国立大学0摘要0许多用于单幅图像去模糊的卷积神经网络（CNN）采用U-Net结构来估计潜在的清晰图像。长期以来，U-Net已被证明在图像恢复任务中非常有效，但单一的编码器-解码器结构忽略了去模糊的特点，即模糊图像是由复杂的模糊核引起的。为了实现有效的单幅图像去模糊网络架构，我们提出了一种具有一个编码器和两个解码器的互补子解决方案学习架构。观察到多个解码器成功地将编码的特征信息分解为方向分量，我们通过旋转和共享解码器中使用的核来进一步提高网络效率和去模糊性能，这样可以防止解码器分离不必要的组件，如颜色偏移。结果，我们提出的网络在保持网络参数不变的同时，显示出优于U-Net的结果，并且使用提出的网络作为基础网络可以提高现有最先进的去模糊网络的性能。01. 引言0图像去模糊是图像处理和计算机视觉中的基本图像恢复问题，旨在从由相机或物体运动引起的模糊图像中恢复出清晰图像。模糊图像不仅影响感知图像质量，还影响各种应用的性能，如目标检测、图像分割和视觉里程计。因此，尽管它是一个经典的恢复任务，但图像去模糊仍在积极研究中。通常，退化模型可以表示为如下形式：0x = y * k + n，（1）0* 同等贡献 † 通讯作者：郑胜元（swjung83@korea.ac.kr）0其中x，y，k，n和�分别表示模糊图像（观察），清晰图像（潜在图像），模糊核，加性随机噪声和二维卷积操作。由于只给出了模糊图像x，其他项未知，因此解决方程（1）被认为是不适定的，问题有多个解。在传统研究中，研究人员采用模糊核估计，然后使用自然图像先验进行去卷积或正则化，以处理去模糊问题的不适定性。由于深度学习和大规模数据可访问性的巨大进展，最近提出了许多使用卷积神经网络（CNN）的方法，并取得了巨大成功。许多去模糊方法采用U-Net作为基本架构，该架构已经取得了最先进的性能。U-Net由一个常见的基于CNN的编码器和一个对称结构的解码器组成，通过跳过连接将编码器中每个特征分辨率的局部信息传递到解码器中相应分辨率的特征，以有效处理图像的多尺度退化。0运动模糊源于场景中移动物体和/或相机抖动的多个纠缠运动。我们认为，使用U-Net的单一通道的常规标准不足以处理图像模糊的复杂性质。因此，我们通过将原始问题分解为多个子问题来提出一个简单而有效的解决方案。在网络设计目标方面，分割解码器可以将去模糊问题分解为子问题；换句话说，用于去模糊的解决方案空间可以通过明确分离的解码器网络进行分解。所提出的网络由一个单一编码器和两个解码器组成，如图1所示，其中两个解码器分别解决去模糊的两个子问题。一个解码器隐式地生成给定2D场景中的主要残差，另一个解码器生成其分离解码器的补充残差。174220图1. XYDeblur 的详细架构。0我们观察到，在没有任何显式监督的情况下，主要成分及其补充残差在图像平面上的水平和垂直轴方向上都包含模糊的边缘，这就是为什么我们将所提出的网络称为 XYDeblur的原因。基于这一观察，我们通过在一个解码器中空间旋转卷积核并与另一个解码器共享参数来进一步改进 XYDeblur的一编码器两解码器结构。与传统的卷积神经网络中牺牲性能以提高网络效率的参数共享方法不同[1,17]，具有共享和旋转参数的分离解码器不仅减少了参数数量，还通过消除与去模糊任务无关的特征的不必要解缠纠缠，提高了性能。我们通过消耗相同的网络参数来证明XYDeblur 的有效性与 U-Net相比。我们还展示了将所提出的架构替换为最先进的去模糊网络中的基础结构的可扩展性。实验结果验证了所提出的方法成功地引导网络学习互补的子解决方案并改善了去模糊性能。所提出方法的贡献可以总结如下：01.据我们所知，我们是首次在图像去模糊中引入一编码器两解码器架构，从而从两个解码器中派生出每个输出，以获得在空间域中相互补充的子解决方案，这些子解决方案在视觉上是正交的。02. XYDeblur通过将一个解码器中的旋转卷积核与另一个解码器共享，从而显著提高去模糊性能，同时使用相同的网络参数。0与标准 U-Net 架构相比，具有相同数量的参数。03. 所提出的网络可以在许多基于 U-Net的最先进网络中实现，而不增加模型大小，广泛的实验结果表明，用我们提出的网络替换 U-Net可以提高去模糊性能。02. 相关工作02.1. 使用 U-Net 进行图像去模糊0大多数图像恢复方法将图像退化的多尺度表示视为关键问题[5, 12, 16, 19, 35]。使用 U-Net架构，几个图像恢复模型按以下方式迭代地估计潜在图像：0{ ˆ y k +1 ,  h k +1 }  =  F k +1 ( x ,  { ˆ y k ,  h k }; Θ k +1 )，其中 k ∈ [0, K - 1]，(2)0其中 y k +1 ， h k +1 和 x 分别表示第 ( k +1)次迭代的估计图像，传递到下一阶段的隐藏特征以及输入模糊图像，F k +1 ( ∙ ) 是在第 ( k +1) 次迭代中使用参数集 Θk +1 的基于 U-Net的模型。许多图像去模糊的工作也遵循这样的趋势[2, 16,27, 29, 33, 34]，其中通过从小到大或从大到小的尺度应用U-Net 逐渐预测估计图像与真实图像之间的差异。在[2, 16,29]中，采用了由下采样图像分辨率的去模糊信息传递到较大尺度图像输入的粗到精的方法。在[27, 33,34]中，去模糊网络采用细分的多块层次结构作为输入，并传递去模糊信息。(a)(b)(c)174230将锐化信息传递到下一阶段。在下一阶段，由前一阶段的多个补丁组成的更宽的补丁被恢复。02.2. 一编码器多解码器架构0在多任务学习中，单个编码器与多个解码器的架构是一种常见的网络架构。单个编码器提取具有输入的联合纠缠信息的特征嵌入，多个解码器执行其分配的任务，并由给定的标签进行监督。例如，图像分解问题是多任务学习问题之一，可以使用一编码器多解码器架构来处理[6,13]。为了训练这些多个解码器，为每个任务提供标签[6]或使用给定数据和先验知识设计复杂的损失函数[13]。在生成模型中，通常使用单个编码器-解码器网络的附加解码器来引导编码器[11]或其他解码器[26]。与我们提出的方法不同，这些方法临时采用一编码器两解码器架构来调节学习过程，并在测试时利用传统的 U-Net 结构。03. 提出的方法03.1. 提出的XYDeblur的架构0图1展示了提出的单编码器双解码器架构。我们设计了网络来从模糊图像中估计残差图像 r = y - x。形式上，残差估计ˆ r 可以通过具有可学习参数 Θ 的提出网络 F来获得，具体如下：0ˆ r = F(x; Θ)。0我们使用两个单独的解码器网络 D hor 和 D ver来获得残差估计，具体如下：0ˆ r = D hor (z; Θ hor) + D ver (z; Θ ver)，0其中 Θ hor 和 Θ ver 分别是 D hor 和 D ver 的网络参数，z表示编码图像特征。在这里，编码图像特征是通过以下方式获得的。0z = E(x; Θ e)，0其中 E 表示具有参数 Θ e的编码器。值得注意的是，两个解码器 D hor 和 D ver具有相同的结构。如果我们只使用编码器和其中一个解码器，网络结构将简化为常见的U-Net结构。03.2. 分离解码器：2D模糊解耦0所提出的网络强制将模糊退化的信息在编码特征 z中进行分割。0图2. 每个解码器的样本图像和子解决方案：(a) 模糊图像；(b)第一个解码器的结果 (ˆ r 1)；(c) 第二个解码器的结果 (ˆ r 2)。0根据线性空间理论[14,15]，由多个独立回归输出组成的线性重建可以包含更大的输出空间，因为独立回归网络学习了互补特征以覆盖整个输出空间。理想情况下，希望两个解码器产生独立的回归输出，以最大化解决方案空间。换句话说，期望一个解码器产生沿主轴的模糊残差，即具有最大变化的退化分量，另一个解码器生成互补残差以完成线性重建。图2展示了使用分离解码器 D hor 和 D ver得到的估计残差的示例。有趣的是，使用分离解码器获得的两个残差包含水平和垂直运动分量。这个例子表明，所提出的设计使网络能够将编码特征中固有的信息分解为沿 x 轴和y轴的信息，而无需应用任何显式约束。这激发了我们提出共享解码器参数的方案，以实现更高效的去模糊。03.3. 空间核旋转以实现参数共享0尽管分离解码器可以成功地解耦与 x 轴和 y轴去模糊相关的特征，但也存在不希望的信息解耦可能性，因为我们没有给网络任何监督。这在网络容量[3]和解决方案空间[14,15]方面是有问题的，因为互补特征的不希望分割限制了潜在的解决方案空间并降低了网络性能。例如，图3(a)-(c)展示了由两个分离解码器引起的颜色偏移。具体来说，两个解码器，U-Net2D，产生的结果的色温分别偏低和偏高。这种颜色偏移阻碍了网络充分探索解决方案空间，并且不提供去模糊的任何线索。01 网络是在GoPro数据集[16]上进行训练的。更详细的实验设置可以在第4.1节中找到。(a)(b)174240(c)0(d)0(e)0图3.输入ColorChecker图像和结果图像。图表的放大白色和其色温显示在底部行中。(a) ColorChecker图像；(b) U-Net 2D的input + ˆ r1 ；(c) U-Net 2D的input + ˆ r 2 ；(d) XYDeblur的input + ˆ r 1；(e) XYDeblur的input + ˆ r 2 。0解决这个问题的方法是利用分离解码器的特性。由于两个解码器可以学习垂直方向上的固有信息，我们将两个解码器的网络参数共享如下：0ˆ r = Dhor(z; Θ d) + Dver(z; Θ rd)，(6)0其中Θ rd是Θd逆时针旋转90度的网络参数。我们选择Dhor作为主要解码器。平均而言，Dhor产生的残差比Dver更具信号功率，这意味着水平轴上的变化比垂直轴上的变化更大。这是因为相机可以在偏航轴上旋转360度，但在拍摄时俯仰旋转相对有限。方程（6）的网络设计具有两个优点。首先，解码器除了沿轴向之外的其他信息被强制共享，这规范了网络的学习过程。因此，网络只能专注于消除模糊成分。如图3（d）和（e）所示，共享旋转的卷积核引导网络学习与水平和垂直轴相关的互补特征，并且不再产生不必要的色偏。其次，两个分离解码器所需的参数减半。因此，XYDeblur不仅提高了效率，还提高了去模糊性能，这可以从表1中看出。03.4. 对现有去模糊网络的扩展0XYDeblur可以应用于基于U-Net的任何传统网络，例如[2,34]。例如，如果我们将提出的网络扩展到在方程（2）中解释的迭代去模糊方法，可以得到第（k +1）次迭代的估计如下：0ˆ y k +1 = x + D(k +1)hor(¯ z k +1; Θ (k +1)d) + D(k +1)ver(¯ z k +1; Θ (k +1) rd)，(7)0¯ z k +1 = T(¯ z k, z k +1)，(8)0z k +1 = E(k +1)(ˆ y k; Θ e)，(9)0其中T(∙, ∙)是一个组合函数，它将当前迭代的编码特征¯ z k+1和前一次迭代的传递特征¯ zk聚合起来。在下一节中，我们将使用几种表现最佳的去模糊方法来比较U-Net和XYDeblur，以确认所提方法的效率和有效性。04. 实验0在本节中，我们首先描述了XYDeblur的实现细节。我们通过在以下两种情况下进行实验来验证所提方法的有效性：1）原始的提出网络；2）用XYDeblur替换表现最佳方法中的U-Net。有关所提方法的详细实验结果，请参见补充材料。04.1. 实验设置0数据集。我们使用GoPro训练数据集[16]来训练网络。GoPro数据集是一个由连续图像帧平均生成的模糊图像的真实数据集。它包含来自22个不同场景的2,103对模糊和清晰图像。图像被随机裁剪为256×256的补丁进行训练。对于测试，我们使用了1,111对图像的GoPro测试数据集，还使用了980对RealBlur测试数据集[24]，该数据集包含真实的模糊图像。0实现细节。XYDeblur的详细架构如图1所示。每个ResModule由六个残差块组成，其中不包括原始残差块的批量归一化[16]。特征图中的通道数从32开始，每当特征图的分辨率减半（加倍）时，通道数就会加倍（减半）。所有实验都在一台装有Intel i7-8700 CPU、32GB RAM和NVIDIA TitanXpGPU的PC上进行。我们使用PyTorch[20]实现了提出的方法。对于训练，我们采用了Adam[7]优化器，批量大小为4。学习率初始化为10^-4，在每500个epoch后减半。NU-Net30.610.94584.92687.93U-Net2D30.900.94897.421059.77U-Net3D30.990.94969.921431.61U-Net4D31.040.950612.421803.45XYDeblur30.970.95024.921059.77174250图4.不同模糊程度下ˆr1和ˆr2的信号功率：从0°（水平）到90°（垂直）。0作为损失函数，应用了ℓ1准则，其公式为0L = 10n = 10||ˆy(n) - y(n)||1，(10)0其中y(n)是第n个目标清晰图像，ˆy(n)是对应的估计值，N是一个小批量中的样本数量。所提网络经过1300个epoch的训练，耗时约65小时。对于现有的网络，每个网络及其变种都在其基准网络的峰值信噪比（PSNR）达到其报告速率之前进行训练。04.2. 所提网络 - 独立运行0为了分析所提方法的有效性，进行了以下三个实验：1）分析子解的有效性，以确认所提网络是否学习到了预期的互补解；2）研究合适的解码器数量并验证旋转参数共享；3）检验所提方法在不同情况下是否稳定且鲁棒地解决了去模糊问题。0一个编码器-两个解码器架构的影响。我们试图验证所提方法是否能够使网络按预期回归出两个互补的子解。为此，使用了人工合成的模糊图像，其模糊方向从0°（水平）到90°（垂直）变化。为了定量地衡量两个解码器Dhor和Dver恢复了多少高频分量，计算了信号功率[22]，计算公式如下：0功率 = 10M ||s||22，(11)0其中s和M分别是离散信号的向量/矩阵形式和s中的元素数量。图4显示了0表1. 不同解码器数量的性能0方法 GoPro 复杂度 �0PSNR SSIM 参数 GMACs0� 参数数量以百万计。�GMACs是基于720P输入尺寸估算的。0图5. 不同解码器数量及其性能。圆的半径表示网络的GMACs。0图4中显示了在七个不同方向模糊的图像中，ˆr1和ˆr2的信号功率。如预期，模糊方向越接近水平方向，ˆr1的信号功率越大；而越接近垂直方向，ˆr2的信号功率越大。图4的最后三列显示了模糊方向为0°、45°和90°的输入模糊图像及其相应的ˆr1和ˆr2结果。这个结果表明，两个解码器成功地根据模糊的方向解耦了模糊的成分。0合适的解码器数量及旋转参数共享的影响。增加解码器的数量将问题分解为多个子问题，并潜在地扩展了网络的解空间的覆盖范围。为了证明使用两个解码器对于所提网络是足够的，我们训练了具有一个到四个解码器的U-Net，分别称为U-Net、U-Net 2D、U-Net 3D和U-Net4D。如表1和图5所示，随着网络中使用的解码器数量的增加，去模糊性能得到改善。然而，与解码器数量线性增加的网络复杂度不同，去模糊性能的改善在有两个解码器之后迅速减弱。此外，尽管所提网络与U-Net2D具有相同的网络结构，但表1显示，共享旋转参数可以将网络复杂度减少近一半，并提高性能。根据[15]，当网络的每个分支占据一个特征空间（或解空间）时，共享参数可以增加网络的解空间覆盖范围，从而提高性能。and Fig. 7 (a).Networkrequired the fewest num-ber of parameters along with the baseline network, but itshowed the highest performance in comparison with theother network variations. On the contrary, despite a sig-Channel174260(a)0(b)0(c)0图6. 证明所提出方法的一致性的统计数据。(a)不同18个模型的ˆr1和ˆ r2的信号功率；(b)ˆ r1的功率与模糊程度的相关性；(c)ˆr2的功率与模糊程度的相关性。0互补的，可以认为网络的容量被最有效地利用。从这个意义上说，U-Net2D和提出的XYDeblur都使用了学习互补特征的两个解码器，并最终扩展了网络的解空间。然而，尽管两个网络使用相同数量的解码器，但图3表明，共享旋转参数可以引导网络消除除与参数旋转相关的方向分量之外的互补特征的划分，而这与去模糊最相关。因此，XYDeblur中的每个解码器可以利用与U-Net2D中的解码器相同数量的网络容量，但仅将网络空间用于去模糊。共享旋转参数带来的积极效果在两个网络之间的性能中得到了体现。0所提出方法的一致性。为了确保所提出的模型以稳定和鲁棒的方式学习互补残差，我们将GoPro训练数据库随机分成三个部分，并使用不同的种子随机初始权重训练了18个模型（每个分割的数据库训练六个模型），共进行了900个时期的训练。使用相同的样本0在图4中显示的图像中，我们测量了不同运动模糊下ˆ r1和ˆr2的信号功率，以及七个方向上的模糊角度。通过这个实验，可以确认即使模型使用不同的权重进行初始化并在不同的数据库上进行训练，网络仍然始终学习以互补的方式解决去模糊问题，将问题沿垂直和水平轴分割，如图6(a)所示。与模糊角度相关的解码器ˆ r1 (-0.97)和解码器ˆ r2(0.98)的信号功率的Pearson相关系数进一步支持我们的观点，如图6(b)和(c)所示。04.3. 使用XYDeblur架构的最先进去模糊网络0为了进一步验证所提出的网络的适用性和可扩展性，我们将该网络应用于更复杂的最先进的图像去模糊网络。在作者发布源代码的最佳单图像去模糊网络中，我们选择了PSS-NSC[2]和DM-PHN [34]，并且还使用了第一个端到端去模糊方法MSCNN[16]进行实验。对于每个网络，测试了原始网络和以下三种网络变体：Network Channel↑，Network Layer ↑和NetworkOurs。在DMPHN的情况下，选择了复杂度最低的网络候选模型。根据NetworkOurs，Network Channel ↑和Network Layer ↑的VRAM使用情况0通过增加特征图中的通道数和解码器中的卷积层数量，构建了占用类似VRAM的三个网络变体。每个基线网络都训练到达其报告的PSNR，而三个网络变体则使用与其基线网络相同数量的时期进行训练。0GoPro。结果列在表2中并进行可视化。0并且网络层↑在基线网络上没有显示出一致的性能改进。对于DMPHN和MSCNN，DMPHN Channel ↑和MSCNNLayer↑的PSNR与其基线模型相比有所下降。结果表明，仅仅增加解码器中的卷积或特征通道的数量不能有效利用编码特征中的信息，主要是由于过度参数化引起的过拟合。另一方面，XYDeblur在保持网络参数数量不变的同时，持续改进基线去模糊网络。02 更详细的实验设置可以在补充材料中找到。tion problem is observed more severely as the structure ofthe network becomes more complex than necessary [4].Therefore, the generalization ability of a network is oneof the essential parts of evaluating deep-learning-based ap-proaches. To confirm the generalization ability of the pro-posed network architecture on the state-of-the-art networks,we set a domain gap between training and test sets.Inthis experiment, we trained the network variations using theGoPro dataset and tested the networks with the RealBlurdataset. The results are shown in Table 2 and Fig. 7 (b).As compared to the previous experiment on the GoPro testset, the performance results for all networks are degraded.PSS-NSCChannel↑ and DMPHNChannel↑ even show lower per-formance than their baseline networks. On the contrary, the174270图7.提出方法对最先进网络的有效性。圆的半径表示网络的GMACs。（a）GoPro测试数据集中的性能变化；（b）RealBlur测试数据集中的性能变化。0表2. 最佳性能网络中的提出方法0方法变体 GoPro RealBlur 复杂度 †0PSNR SSIM PSNR SSIM 参数 GMACs VRAM0PSS-NSC0基线 � 30.94 (30 . 92) 0.9494 28.78 0.8716 6.98 1167.24 3.790通道 ↑ 31.06 0.9509 28.63 0.8667 17.89 3020.81 5.970层 ↑ 31.18 0.9524 28.78 0.8721 10.08 1703.95 5.550我们的方法 31.27 0.9531 28.88 0.8765 6.98 1784.39 5.680DMPHN0基线 � 30.28 (30 . 25) 0.9408 26.97 0.8170 7.23 1100.18 1.620通道 ↑ 30.23 0.9414 26.86 0.8201 18.63 3060.28 2.520层 ↑ 30.48 0.9443 27.78 0.8366 10.33 1509.11 2.300我们的方法 30.63 0.9458 28.02 0.8459 7.23 1754.07 2.410MSCNN0基线 � 29.22 (29 . 08) 0.9273 27.91 0.8442 11.72 4728.69 3.210通道 ↑ 29.34 0.9292 27.92 0.8432 28.94 11673.07 4.840层 ↑ 28.97 0.9250 27.92 0.8449 17.25 6960.32 4.710我们的方法 29.98 0.9382 28.19 0.8550 11.72 6966.13 4.780� 括号中的PSNR是作者在原始论文中报告的值。† 参数数量以百万为单位。†GMACs是根据720P（1280×720）的输入分辨率估计的。†VRAM的使用量以GB为单位，输入尺寸为256×256。与基线方法相比，增加和减少的PSNR和SSIM值分别以红色和蓝色显示。0参数。图8显示了在GoPro测试数据中三个网络的实验结果。当将提出的方法应用于传统网络时，它通过互补的方式将去模糊问题分解，从而促使网络解决该问题（见图8中的ˆr1和ˆr2），可以确认与基线网络相比，获得了更好的定性结果。0RealBlur。除非训练和测试数据来自相同的分布，即使是微小的数据差异也会显著降低最先进的深度学习网络的性能[23]。这种泛化问题在网络结构比必要的更复杂时更严重[4]。因此，网络的泛化能力是评估基于深度学习的方法的重要部分之一。为了验证所提出的网络架构在最先进网络上的泛化能力，我们在训练集和测试集之间设置了一个域差异。在这个实验中，我们使用GoPro数据集训练了网络变体，并使用RealBlur数据集测试了网络。结果显示在表2和图7（b）中。与在GoPro测试集上的先前实验相比，所有网络的性能结果都有所下降。PSS-NSC通道↑和DMPHN通道↑甚至显示出比它们的基线网络更低的性能。相反，所提出的方法在与基线网络相比的情况下，始终记录了在PSNR和SSIM方面的性能改善。03 更多实验结果可以在补充材料中找到。In this paper, we propose a novel one-encoder-two-decoder network for single image deblurring. We showedthat the proposed architecture guides the network to dividethe original deblurring problem into two sub-problems byseparating the blur residuals along the x-axis and y-axis,each of which is assigned to each decoder. In addition, weshare the rotated parameters of one decoder with the other toprevent any undesired division of complementary features.Extensive performance evaluation demonstrated that XY-Deblur outperforms the conventional U-Net structure whileconsuming the same number of parameters. Also, we con-firmed that the performance of the state-of-the-art networkscan be further boosted by substituting their base structurewith the proposed network.174280图8. 来自GoPro数据集的MSCNN、DMPHN、PSS-NSC的实验结果，包括使用和不使用提出的方法。0在本文中，我们提出了一种新颖的单图像去模糊的一编码器两解码器网络。我们展示了所提出的架构引导网络通过将模糊残差沿x轴和y轴分离来将原始去模糊问题分解为两个子问题，每个子问题分配给一个解码器。此外，我们使用一个解码器的旋转参数与另一个解码器共享，以防止任何不希望的互补特征分割。广泛的性能评估表明，XY-Deblur在消耗相同数量的参数的情况下优于传统的U-Net结构。此外，我们确认通过用所提出的网络替换它们的基本结构，可以进一步提高最先进网络的性能。05. 结论0这是所提出的图像去模糊方法的可能限制。01.虽然XYDeblur保持了网络中使用的参数数量并提高了性能，但GMACs的增加和VRAM的使用是不可避免的。如果在计算能力有限的情况下使用网络，可能需要对网络进行整体调整。0在计算能力有限的情况下，可能需要对网络进行整体调整。02. 应用所提出的网络，学习残差图像 r = y - x是必要的，因为两个解码器试图以互补的方式重建丢失的高频分量。如果没有残差学习，整个图像，包括丢失的高频信息，都需要估计，这可能会过载网络并最终阻碍去模糊性能。03.当去模糊网络具有复杂的架构时，使用所提出的网络作为基础网络架构可能受到限制。由于我们基于一个非常简单的U-Net结构构建了所提出的网络，如果去模糊网络包含复杂的解码器设计，例如解码器中的传输块，可能需要进一步重新设计或修改所提出网络的两个解码器的架构以实现所需的网络。0致谢 这项工作得到了由韩国信息通信技术促进研究所(IITP)资助的研究项目。0这项工作得到了韩国政府(MSIT)资助的研究项目(2014-3-00077，基于实时大规模视频分析的全球多目标跟踪和事件预测技术的开发)。这项工作得到了韩国政府(MSIT)资助的韩国国家研究基金会(NRF)研究项目(No.2020R1A4A4079705)的支持。174290参考文献0[1] Dawei Dai, Liping Yu, and Hui Wei.残差神经网络中的参数共享。《神经处理通信》，页码1-18，2019年。 20[2] Hongyun Gao, Xin Tao, Xiaoyong Shen, and Jiaya Jia.具有参数选择共享和嵌套跳跃连接的动态场景去模糊。在计算机视觉和模式识别国际会议论文集中，页码3848-3856，2019年。 1 , 2 ,  4 ,  60[3] Ian Goodfellow, Yoshua Bengio, Aaron Courville, andYoshua Bengio.《深度学习》，卷1。MIT出版社剑桥，2016年。 30[4] Douglas M Hawkins.过拟合问题。《化学信息与计算机科学杂志》，44(1):1-12，2004年。 70[5] Huaibo Huang, Ran He, Zhenan Sun, and Tieniu Tan.Wavelet-srnet:基于小波的多尺度人脸超分辨率CNN。在计算机视觉国际会议论文集中，页码1689-1697，2017年。 20[6] Zhuo Hui, Ayan Chakrabarti, Kalyan Sunkavalli, and AswinC Sankaranarayanan.学习在单个图像中分离多个光照。在计算机视觉和模式识别国际会议论文集中，页码3780-3789，2019年。 30[7] Diederik P. Kingma and Jimmy Ba. Adam:一种随机优化方法。在国际学习表示会议论文集中，2015年。 40[8] Dilip Krishnan, Terence Tay, and Rob Fergus.使用归一化稀疏度量的盲去卷积。在计算机视觉和模式识别国际会议论文集中，页码233-240，2011年。 10[9] Orest Kupyn, Volodymyr Budzan, Mykola Mykhailych,Dmytro Mishkin, and Jiˇr´ı Matas. Deblurgan:使用条件对抗网络进行盲运动去模糊。在计算机视觉和模式识别国际会议论文集中，页码8183-8192，2018年。 10[10] Orest Kupyn, Tetiana Martyniuk, Junru Wu, andZhangyang Wang. Deblurgan-v2:更快更好的去模糊。在计算机视觉国际会议论文集中，页码8878-8887，2019年。 10[11] Wonkwang Lee, Donggyun Kim, Seunghoon Hong, andHonglak Lee. 具有解缠表示的高保真度合成. 在《欧洲计算机视觉会议论文集》 中，页码157-174，2020年。  30[12] Juncheng Li, Faming Fang, Kangfu Mei, and Guixu Zhang.用于图像超分辨率的多尺度残差网络. 在《欧洲计算机视觉会议论文集》 中，页码517-532，2018年。  20[13] Zhengqi Li and Noah Snavely.从观察世界中学习内在图像分解. 在《计算机视觉与模式识别IEEE会议论文集》中，页码9039-9048，2018年。  30[14] Chang Liu, Wei Ke, Fei Qin, and Qixiang Ye.用于物体骨架检测的线性跨度网络. 在《欧洲计算机视觉会议论文集》 中，页码133-148，2018年。  30[15] Chang Liu, Yunjie Tian, Jianbin Jiao, and Qixiang Ye.自适应线性跨度网络用于物体骨架检测.  arXiv预印本arXiv:2011.03972 , 2020年。  3 ,  50[16] Seungjun Nah, Tae Hyun Kim, and Kyoung Mu Lee.用于动态场景去模糊的深度多尺度卷积神经网络. 在《计算机视觉与模式识别IEEE会议论文集》中，页码3883-3891，2017年。  1 ,  2 ,  3 ,  4 ,  60[17] Jordan Ott, Erik Linstead, Nicholas LaHaye, and PierreBaldi. 机器学习中的共享学习：共享还是不共享？ 《神经网络》，126:235-249，2020年。  20[18] Jinshan Pan, Deqing Sun, Hanspeter Pfister, and Ming-Hsuan Yang. 使用暗通道先验进行盲图像去模糊. 在《计算机视觉与模式识别IEEE会议论文集》中，页码1628-1636，2016年。  10[19] Vardan Papyan and Michael Elad.基于多尺度补丁的图像恢复. 《IEEE图像处理期刊》，25(1):249-261，2015年。  20[20] Adam Paszke, Sam Gross, Soumith Chintala, GregoryChanan, Edward Yang, Zachary DeVito, Zeming Lin, Al- banDesmaison, Luca Antiga, and Adam Lerer.PyTorch中的自动微分. 2017年。  40[21] Surya N Patnaik, James D Guptill, and Dale A Hopkins.使用回归和神经网络逼近器的子问题优化. 《计算力学与工程应用》，194(30-33):3359-3373，2005年。  10[22] John G Proakis. 《数字信号处理：原理、算法和应用》.Pearson Education India, 2001年。 50[23] Benjamin Recht, Rebecca Roelofs, Ludwig Schmidt, andVaishaal Shankar. ImageNet分类器是否适用于ImageNet？ 在Kamalika Chaudhuri 和 Ruslan Salakhutdinov (编辑)的《第36届国际机器学习会议论文集》中，卷97，页码5389-5400。PMLR，2019年6月9日-15日。  70[24] Jaesung Rim, Haeyun Lee, Jucheol Won, and SunghyunCho. 用于学习和基准测试去模糊算法的真实世界模糊数据集. 在《欧洲计算机视觉会议论文集》 中，页码184-201，2020年。  40[25] Olaf Ronneberger, Philipp Fischer, and Thomas Brox.U-Net：用于生物医学图像分割的卷积网络. 在《医学图像计算和计算机辅助干预国际会议论文集》中，页码234-241，2015年。  10[26] Min-cheol Sagong, Yong-goo Shin, Seung-