可控特征空间的图像恢复方法

Image restoration is a classic ill-posed inverse problemthat aims to recover high-quality images from damaged im-ages affected by various kinds of degradations. Accordingto the types of degradation, it can be categorized into differ-ent subtasks such as image super-resolution, image denois-ing, JPEG image deblocking, etc.The rise of deep learning has greatly facilitated the de-velopment of these subtasks. But these methods are oftengoal-specific, and we need to retrain the network when wedeal with images different from the training dataset. Fur-thermore, most methods usually aim to pursue high recon-struction accuracy in terms of PSNR or SSIM. However, im-age quality assessment from personal opinion is relativelysubjective, and low reconstruction distortion is not alwaysconsistent with high visual quality [4]. In addition, in many41400CFSNet: 朝着可控特征空间的图像恢复0魏旺*1，郭瑞明*2，田亚鹏3和杨文明†101 清华大学，2 香港中文大学，3 罗切斯特大学0图1.图像超分辨率的感知-失真权衡（第一行）和降噪和细节保留之间的权衡（第二行）。在测试时，使用CFSNet时，用户可以根据个人喜好轻松调整输入控制变量α以获得最满意的结果。相比之下，固定方法（例如EDSR，DnCNN-B）不能始终保证最佳的视觉质量。0摘要0深度学习方法在图像恢复方面取得了很大的进展，具有特定的度量标准（例如PSNR，SSIM）。然而，恢复图像的感知质量相对主观，用户需要根据个人喜好或图像特征来控制重建结果，这不能通过现有的确定性网络实现。这激发了我们精心设计一个统一的交互式框架，用于一般的图像恢复任务。在这个框架下，用户可以控制不同目标的连续过渡，例如图像超分辨率的感知-失真权衡，降噪和细节保留之间的权衡。我们通过控制设计网络的潜在特征来实现这个目标。具体而言，我们提出的框架名为可控特征空间网络（CFSNet），由基于不同目标的两个分支交织而成。我们的框架可以自适应地学习不同层和通道的耦合系数，从而更好地控制恢复图像的质量。对几个典型的图像恢复任务的实验证明了所提方法的有效性。代码可在https://github.com/qibao77/CFSNet上获得。0* 表示相等的贡献。†表示通讯作者。0图像恢复是一个经典的逆问题，旨在从受各种退化影响的损坏图像中恢复高质量图像。根据退化类型，它可以被归类为不同的子任务，如图像超分辨率、图像去噪、JPEG图像去块等。深度学习的兴起极大地促进了这些子任务的发展。但这些方法通常是目标特定的，当处理与训练数据集不同的图像时，我们需要重新训练网络。此外，大多数方法通常旨在追求以PSNR或SSIM为标准的高重建准确性。然而，从个人观点来看，图像质量评估相对主观，低重建失真并不总是与高视觉质量一致[4]。此外，在许多情况下01. 引言41410在实际应用（例如移动设备）中，获取用户偏好和受损图像的真实退化程度通常是具有挑战性的。所有这些都需要一个交互式图像恢复框架，可以应用于各种子任务。然而，据我们所知，目前很少有可满足交互性和普适性要求的可用网络。已经提出了一些设计来改进深度方法的灵活性。以图像去噪为例，数据增强被广泛用于提高模型的泛化能力。通过使用包含一系列噪声水平的数据集进行训练，可以将单个模型应用于盲去噪任务[37]。然而，该方法仍然会产生输入的固定重建结果，这并不一定保证令人满意的感知质量（如图1所示）。另一种选择是，张等人[39]将可调噪声水平图与受损图像连接起来作为盲图像去噪任务的输入。尽管这种方案也很用户友好，但不能推广到其他任务。在图像超分辨率中，[24]在输入中添加噪声以控制感知质量和失真之间的折中。然而，这种方案是特定于图像超分辨率的，不能保证平滑连续的控制。在本文中，为了纠正这些缺点，我们提出了一个新颖的框架，具有人类感知导向的交互式图像恢复的可控性。更具体地说，我们通过调整每个单元块的特征（称为耦合模块）来实现对重建结果的交互控制。每个耦合模块由一个主块和一个调整块组成。两个块的参数是在两个端点优化目标下获得的。以图像超分辨率为例，主块被优化以实现低失真，而调整块被优化以实现高感知质量。此外，作为实现精细特征控制的关键，我们为每个耦合模块分配了从控制标量中自适应学习的高自由度耦合系数。我们的主要贡献可以总结如下：0� 我们提出了一种新颖的可控端到端框架，以细粒度的方式进行交互式图像恢复。0�我们提出了耦合模块和自适应学习策略的耦合系数，以提高重建性能。0�在灵活性和视觉质量方面，我们的CFSNet在超分辨率、JPEG图像去块和图像去噪方面优于现有的最先进方法。02. 相关工作0图像恢复。深度学习方法已经广泛应用于图像恢复。[15,18,29,30,35,40,41]0不断加深、加宽或加亮网络结构，旨在尽可能提高超分辨率的准确性。而[13, 17, 23,26]更加关注设计损失函数来提高视觉质量。此外，[4, 20,33]探索了感知-失真的权衡。在[8]中，Dong等人采用了由几个堆叠的卷积层构建的ARCNN来进行JPEG图像去块。Zhang等人[39]提出了FFDNet，使图像去噪更加灵活和有效。Guo等人[11]设计了CBDNet来处理真实图像的盲去噪。与这些任务特定的方法不同，[19, 20, 37,38]提出了一些统一的方案，可以应用于不同的图像恢复任务。然而，这些固定的网络对于处理不断变化的用户需求和应用要求来说不够灵活。可控图像转换。在高级视觉任务中，已经探索了许多技术来实现可控图像转换。[21]和[36]将面部属性向量纳入网络中以控制面部外观（例如性别、年龄、胡须）。在[31]中，采用了深度特征插值来实现自动高分辨率图像转换。[14]还提出了一种在特征空间中控制自适应实例归一化（AdaIN）的方案，以调整高级属性。Shoshan等人[28]在主网络中插入了一些调整块，以允许对网络进行修改。然而，所有这些方法都是为高级视觉任务设计的，不能直接应用于图像恢复。为了将可控图像转换应用于低级视觉任务，Wang等人[32]在参数空间中进行插值，但这种方法不能保证输出的最优性，这激发了我们进一步探索图像恢复的精细控制。03. 提出的方法0在本节中，我们首先提供了一个名为CFSNet的框架的概述，然后介绍了受图像超分辨率问题启发的建模过程。我们最终将我们的CFSNet推广到多个图像恢复任务，包括去噪和去块。此外，我们基于流形学习给出了明确的模型解释，以展示所提出网络的内在合理性。在本节的最后，我们通过与当前典型相关方法的详细比较展示了所提出CFSNet的优越性和改进之处。03.1. 基本网络架构0如图2所示，我们的CFSNet由一个主分支和一个调整分支组成。主分支包含M个主块（残差块[18]），而调整分支包含M个调整块，另外还有2*M+3个全连接层。41420图2. 我们提出的可控特征空间网络（CFSNet）的框架。0连接层。通过使用耦合操作将两个分支的特征有效地结合起来，一对主块和调整块构成一个耦合模块。我们将原始退化图像I in和控制标量α in作为输入，并将恢复图像Irec作为最终结果输出。首先，我们使用一个3×3卷积层从退化图像I in中提取特征。0B 0 = F in(I in), (1)0其中，F in(∙)表示特征提取函数，B0作为下一阶段的输入。在这里，我们引入一个控制标量αin来平衡不同的优化目标。更具体地说，我们使用3个共享的全连接层将输入标量αin转换为多通道向量，并使用2个独立的全连接层来学习每个耦合模块的最佳耦合系数：0α m = F ind m(F sha m(α in)), (2)0其中，F sha m(∙)和F indm(∙)表示共享和独立全连接层的函数，αm是第m个耦合模块的耦合系数向量。每个耦合模块将一个主块和一个调整块的输出耦合在一起，如下所示：0B m 0= F m(F main m(B m-1), F tun m(B m-1)), (3)0其中，F m(∙)表示第m个耦合操作，R m和Tm分别表示第m个主块和第m个调整块的输出特征，F mainm(∙)和F tunm(∙)分别是第m个主块函数和第m个调整块函数。为了解决图像超分辨率任务，我们在最后一个卷积层之前添加了一个额外的耦合模块，由上采样块组成，如图所示。0如图2所示。具体来说，我们利用子像素卷积操作（卷积+像素重排）[27]来放大特征图。最后，我们使用一个3×3的卷积层来得到重建的图像。0I rec = F out(B M + B 0)或I rec = F out(B M+1), (4)0其中，F out(∙)表示卷积操作。整体重建过程可以表示为0I rec = F CF SN(I in, α in; θ main, θ tun, θ α), (5)0其中，F CF SN(∙)表示我们提出的CFSNet的函数，θmain、θ tun和θα分别表示主分支、所有调整块和所有全连接层的参数。由于我们框架的两个分支基于不同的优化目标，因此我们的训练过程可以进一步细分为两个步骤：0步骤1 将控制变量α in 设置为0。用损失函数L 1(I rec, I g;θ main)训练主分支，其中I g是相应的真实图像。0步骤2 将控制变量α in 设置为1。将控制变量α in映射到不同的耦合系数{αm}，固定主分支的参数，用另一个损失函数L 2(I rec, I g; θtun, θ α)训练调整分支。03.2. 耦合模块0现在我们从图像超分辨率的角度介绍耦合模块的细节。为了平衡感知质量和失真之间的权衡，我们通常通过修改损失项的惩罚参数λ来实现[4]。0L gen = L distortion + λL adv, (6)Bm = Rm+αm(Tm−Rm) = (1−αm)Rm+αmTm, (7)Zi ≈ αiXi + (1 − αi)Yi,(8)α∗ = arg minαijM�i=1C�j=1[Zij − (αijXij + (1 − αij) Yij)] ,α∗ ≈ ˆα = Falpha(αin; θα),(10)41430其中，L distortion表示失真损失（例如，MSE和MAE），L adv包含GAN损失[10,33]和感知损失[13]，λ是一个标量。我们通常使用Ldistortion 损失对网络进行预训练，然后使用组合损失Lgen对网络进行微调，以达到由λ的值确定的权衡的不同工作点。也就是说，如果我们将预训练结果视为参考点，那么我们可以从参考点开始，并逐渐将其转化为另一个优化目标的结果。然而，为每个不同的λ值训练一个网络是不高效的。为了解决这个问题，我们将控制标量λ转化为输入，并直接控制潜在特征空间中参考点的偏移量。为此，我们实现了一个可控的耦合模块，将通过L distortion学习的参考特征和通过L gen学习的新特征进行耦合。我们将基于失真优化的特征设置为参考点，表示为Rm。在基于感知质量的优化过程中，我们保持参考点不变，并将T m - Rm设置为变化的方向。换句话说，在耦合模块中，一部分特征由参考信息提供，另一部分特征则来自新的探索。0其中  T m  ∈  R W  × H × C ,  R m  ∈  R W  × H × C ,  αm  ∈  R C 代表第 m 个系数，C是通道数。值得注意的是，不同的主要块提供不同的参考信息，因此我们应该对待它们不同。我们希望为每个耦合模块赋予一个不同的耦合系数，以充分利用参考信息。因此，我们的控制系数  { α m }是通过优化过程学习得到的。具体而言，我们使用一些全连接层将单个输入控制标量  α in映射到不同的耦合系数（方程2）。由于我们的控制系数  {α m }是自适应的而不是固定的，所以我们提出的网络将找到最优的耦合模式。通过单个控制变量  α in，我们可以实现连续和平滑的过渡。此外，如果这个框架在超分辨率方面在感知质量和失真之间实现了出色的平衡，那么我们能否将这个模型推广到其他恢复任务？经过理论分析和实验测试，我们发现这个框架适用于各种图像恢复任务。在下一节中，我们将提供对我们模型的更一般的理论解释。03.3. 理论分析0假设存在一个包含所有自然图像的高维空间。自然图像的退化过程可以在空间中被视为连续的。因此，这些退化图像在空间中是相邻的。它0图3.神经网络映射逐渐解开数据流形。我们可以用潜在空间中的已知点表示未知点。0通过已知的退化级别的结果来近似未知退化级别的重建结果是可能的。不幸的是，自然图像位于一个近似的非线性流形上[34]。因此，简单的图像插值往往会在最终结果中引入一些幽灵伪影或其他意外的细节。我们自然地将注意力转向特征空间而不是像素空间。一些文献指出，数据流形可以通过神经网络映射被扁平化，我们可以将映射后的流形近似为欧几里得空间[2, 5,28]。基于这个假设，如图3所示，我们将潜在空间中的  X i和  Y i  分别表示为两个端点，并且我们可以将未知点  Z i表示为  X i  和  Y i  的仿射组合：0其中  α i  是第 i个组合系数。这正是可控耦合模块方程（7）的公式。然而，我们还应该注意到这个假设受到CNN的深度和宽度的影响。换句话说，我们不知道不同通道和不同层可以实现多大程度的扁平化。因此，不同通道和不同层的组合系数应该是不同的。此外，我们希望通过优化过程找到最优的组合系数：0(9) 其中  α � =  { α i,j | i  = 1  ∙ ∙ ∙  M, j  = 1  ∙ ∙ ∙  C }表示最优解。然而，直接获得最优的  α �是困难的，因为通常无法计算出未知工作点  Z ij。因此，我们以隐式方式解决方程9。具体而言，我们使用一些堆叠的全连接层将输入控制变量  α in映射到不同的组合系数，并且然后，我们可以将上述过程近似为优化线性映射网络的参数：θtun, θα = arg minθtun,θαL2(FCF SN(Iin, αin; θtun, θα), Ig),(11)41440其中 F alpha 表示 α in 的映射函数，ˆ α 是最优 α �的近似解。幸运的是，这个网络可以嵌入到我们的框架中。因此，我们可以一次性优化线性映射网络和调谐块的参数。整个优化过程（对应步骤2）可以表示为03.4. 讨论0与Dynamic-Net的差异 最近，Dynamic-Net[28]实现了连续图像转换的交互控制。相比之下，Dynamic-Net和我们的CFSNet之间有两个主要区别。首先，Dynamic-Net主要设计用于图像转换任务，如风格迁移。当我们直接将Dynamic-Net用于图像恢复任务时，很难获得理想的结果。而我们的CFSNet是受超分辨率的启发，专门为低级图像恢复设计的。其次，在Dynamic-Net中，如图4所示，他们直接调整多个标量{ α m}以获得不同的输出。而在我们的框架中，耦合系数α m是一个向量，并且通过优化过程从输入标量α in中自适应学习。这更加用户友好，我们在第3.3节中解释了这种设计的合理性。0图4. 基本模块。黄色和橙色条分别表示主块和调谐块。0与深度网络插值的差异深度网络插值（DNI）是控制感知质量和失真之间权衡的另一种选择[32,33]。DNI也可以应用于许多低级视觉任务[32]。然而，该方法需要训练两个具有相同架构但具有不同损失的网络，并生成第三个网络进行控制。相比之下，我们的框架可以通过一个统一的端到端网络实现更好的交互控制。此外，我们的框架利用耦合模块更好地利用了参考信息。DNI在参数空间中进行插值以生成连续的过渡效果，并且插值系数在整个参数空间中保持不变。然而，这种简单的策略不能保证输出的最优性。而在我们的CFSNet中，我们在特征空间中进行插值，重建效果的连续过渡与变化一致。0控制变量α in。我们可以更好地近似未知的工作点。更多实验比较请参见第4.3节。04. 实验0在本节中，我们首先展示了我们框架的实现细节。然后，我们验证了我们的CFSNet的控制机制。最后，我们将我们的CFSNet应用于三个经典任务：图像超分辨率、图像去噪、JPEG图像去块。所有实验都验证了我们模型的有效性。由于篇幅限制，更多的示例和分析在附录中提供。04.1. 实现细节0对于图像超分辨率任务，我们的框架包含30个主块和30个调谐块（即 M =30）。至于另外两个任务，我们的CFSNet的主分支参数与比较方法[37]保持相似（即 M =10），以进行公平比较。此外，我们首先生成一个512维的向量，其所有值都为1。然后我们将其乘以控制标量α in以产生控制输入。所有卷积层都有64个滤波器，每个卷积层的卷积核大小为3×3。我们使用[12]中的方法进行权重初始化。对于所有任务的训练阶段，我们使用ADAM优化器[16]，设置 β 1 = 0.9，β 2 = 0.999，ε =10^-8，初始学习率为1e-4。在图像去噪任务中，我们采用128作为小批量大小，在其他三个任务中设置为16。我们使用PyTorch实现我们的网络，并在GTX 1080TiGPU上进行所有实验。对于图像去噪和JPEG图像去块，我们分别遵循[37]和[8]中的设置。步骤1和步骤2中的训练损失函数保持不变：L1(I rec, I g) = L2(I rec, Ig)。特别是对于图像去噪，我们在训练步骤1中输入噪声水平为25的退化图像，在训练步骤2中输入噪声水平为50的退化图像。训练图像被切割成40×40的块，步长为10。学习率在每50000步时降低10倍。对于JPEG去块，我们将质量因子设置为10在第一训练阶段，然后在第二训练阶段将其改为40。此外，我们选择48×48作为块大小，学习率在每100000步时除以10。对于图像超分辨率，我们首先使用目标MAE损失训练主分支，然后使用目标L2 = Lmae + 0.01Lgan +0.01Lper训练调谐分支，其中Lmae表示平均绝对误差（MAE），Lgan表示wgan-gp损失[10]，Lper是感知损失的变体[33]。我们将HR块大小设置为128×128，并且每400000步将学习率乘以0.6。41450（a）图像去噪0（b）JPEG图像去块0图5显示了在BSD68数据集上噪声水平为30和LIVE1数据集上质量因子为20时的平均PSNR曲线。04.2. 消融研究0图5展示了自适应学习耦合系数策略的消融研究效果。我们在CFSNet-SA中直接将不同通道和不同层的耦合系数设置为相同的α。也就是说，相比于CFSNet，CFSNet-SA去除了控制变量α的线性映射网络。除此之外，我们保持CFSNet-SA的训练过程与CFSNet一致。我们可以发现，无论是在去噪任务还是在去块任务中，CFSNet的最佳恢复结果都优于CFSNet-SA在未见过的退化水平上。特别是，CFSNet的曲线呈凹形，这意味着重建效果与控制变量之间存在双射关系。相比之下，CFSNet-SA的曲线变化规律不明显。原因是自适应耦合系数有助于产生更好的中间特征。这一优点提供了更友好的交互控制。此外，JPEG去块任务对控制变量的鲁棒性比图像去噪任务更强，我们推测这是因为不同退化水平的JPEG图像在潜在空间中更接近。04.3. 图像超分辨率0对于图像超分辨率，我们采用了广泛使用的DIV2K训练数据集[1]，其中包含800张图像。我们使用MATLAB双三次插值核对高分辨率图像进行下采样，缩放因子为4。根据[24,33]，我们在PIRM-SR挑战赛[3]提供的PIRM测试数据集上评估我们的模型。我们使用感知指数（PI）来衡量感知质量，使用均方根误差（RMSE）来衡量失真。与PIRM-SR挑战赛一样，我们选择EDSR [18]、CX [23]和EnhanceNet[26]作为基线方法。此外，我们还将我们的CFSNet与另一种流行的权衡方法——深度网络插值[32,33]进行了比较。我们直接使用ESRGAN[33]的源代码生成具有不同感知质量的SR结果，即ESRGAN-I。图7和图1展示了我们的结果与基线方法之间的视觉比较。我们可以观察到，CFSNet可以在低失真结果和高感知质量结果之间实现平缓的过渡，而不会产生不愉快的伪影。0图6显示了PIRM测试数据集上的感知-失真平面。我们逐渐增加α从0到1，从失真点到感知点生成不同的结果。0此外，我们发现我们的CFSNet在边缘和形状方面优于基线方法。由于用户偏好不同，允许用户自由调整重建结果是必要的。我们还在PIRM测试数据集上进行了定量比较。图6显示了感知-失真平面。从中我们可以看到，CFSNet在感知质量和重建准确性方面优于基线方法（EnhanceNet）。蓝色曲线显示我们的感知-失真函数比ESRGAN-I（橙色曲线）更陡峭。同时，CFSNet在大多数区域中表现优于ESRGAN-I，尽管我们的网络比ESRGAN更轻。这意味着我们的结果更接近感知-失真的理论界限。04.4. 图像去噪0在图像去噪实验中，我们按照[37]的方法使用伯克利分割数据集（BSD）[22]中的400张图像作为训练集。我们使用BSD68[22]作为测试集，使用均值峰值信噪比（PSNR）作为定量指标来测试我们的模型。训练集和测试集都被转换为灰度图像。我们通过向清晰图像添加不同水平（例如15、25、30、40和50）的高斯噪声来生成退化图像。我们在图8和图1中提供了视觉比较。从中我们可以看到，用户可以轻松地通过调整α来平衡降噪和保留细节。值得注意的是，我们的最高PSNR结果（α=0.5）在视觉质量上与其他方法相似，但这并不一定意味着最佳的视觉效果，例如，“test017”的天空区域在α=0.6时获得了更平滑的结果。用户可以通过在测试时控制α来个性化每张图片并选择他们喜欢的结果。除了感知比较，我们还提供了客观的定量比较。我们将α从0变化到1，间隔为0.1，对预设的噪声范围（σ∈[25,30,40,50]）进行了改变。然后我们根据结果选择最终结果。41460图7. 4×图像超分辨率的“215”、“211”和“268”（PIRM测试数据集）的感知和失真平衡。0图8. 使用未知噪声水平σ = 40对“test051”“test017”和“test001”（BSD68）进行灰度图像去噪的结果。α in =0.5对应于最高的PSNR结果，最佳的视觉结果用红框标记。BM3D31.0828.5727.7625.62TNRD31.4228.9227.6625.97DnCNN-B31.6129.1628.3626.23IRCNN31.6329.1528.2626.19FFDNet31.6329.1928.3926.29CFSNet31.2929.2428.3926.28JPEG27.7730.0731.4132.35SA-DCT28.6530.8132.0832.99ARCNN28.9831.2932.6933.63TNRD29.1531.4632.84N/ADnCNN-329.1931.5932.9833.96CFSNet29.3631.7133.1634.1641470图9. 使用未知质量因子20对“house”和“ocean”（LIVE1）进行JPEG图像伪影去除的结果。α in =0.5对应于最高的PSNR结果，最佳的视觉结果用红框标记。0表1.基准图像去噪结果。在（灰度）BSD68上的各种噪声水平的平均PSNR。0方法σ = 15 � σ = 25 σ = 30 � σ = 500以获得最高的PSNR。我们将我们的CFSNet与几种最先进的去噪方法进行比较：BM3D [7]，TNRD [6]，DnCNN[37]，IRCNN [38]，FFDNet[39]。更有趣的是，如表1所示，我们的CFSNet在端点（σ= 25和σ =50）上与FFDNet相当，但我们的CFSNet在噪声水平30上仍然实现了最佳性能，这在训练过程中没有包含。此外，我们的CFSNet甚至可以处理未见过的异常值（σ =15）。这进一步验证了我们可以获得未知工作点的良好近似。04.5. JPEG图像去块化0我们还将我们的框架应用于减少图像压缩伪影。与[8, 20,37]类似，我们采用LIVE1[25]作为测试数据集，并使用BSDS500数据集[22]作为基础训练集。为了公平比较，我们在YCbCr颜色空间的亮度分量上进行训练和评估。我们使用MATLABJPEG编码器生成具有四个JPEG质量设置q = 10, 20, 30,40的JPEG去块化输入。我们以与图像去噪任务相同的方式选择去块化结果。我们选择SA-DCT [9]，ARCNN[8]，TNRD [6]和DnCNN[37]进行比较。表2显示了LIVE1上的JPEG去块化结果。我们的CF-SNet在所有压缩质量因子上都取得了最佳的PSNR结果。特别是，我们的CFSNet没有太大的退化，仍然实现了0.12 dB和0.18 dB的改进-0表2.基准JPEG去块化结果。在LIVE1数据集上的平均PSNR（dB）。�表示0方法 q = 10 q = 20 � q = 30 � q = 400在质量20和30上，我们的CFSNet相对于DnCNN-3的改进分别为0.12 dB和0.18dB，尽管质量20和30的JPEG图像从未出现在训练过程中。图9显示了LIVE1上不同方法的视觉结果。太小的α in会产生过于平滑的结果，而太大的α in会导致伪影去除不完整。与ARCNN [8]和DnCNN[37]相比，我们的CFSNet在伪影去除和细节保留之间可以做出更好的折中。05. 结论0在本文中，我们介绍了一个新的精心设计的框架，具有图像恢复的灵活可控性。使用自适应的耦合系数学习策略，可以通过单个输入变量精细控制重建结果。此外，它能够在图像超分辨率、图像盲去噪和图像盲去块化等图像恢复任务上产生高质量的图像，并在用户控制灵活性和视觉质量方面优于现有的最先进方法。未来的工作将集中在扩展多种退化图像恢复任务上。致谢。本工作得到了中国自然科学基金（编号61471216和61771276）和深圳市战略性新兴产业发展专项基金（编号JCYJ20170307153940960和JCYJ20170817161845824）的支持。41480参考文献0[1] Eirikur Agustsson和Radu Timofte. Ntire2017单图像超分辨率挑战：数据集和研究.在2017年IEEE计算机视觉和模式识别会议论文集中，第126-135页。[2] Yoshua Bengio，Gr´egoire Mesnil，YannDauphin和Salah Rifai. 通过深度表示改善混合.在2013年国际机器学习会议中，第552-560页。[3] YochaiBlau，Roey Mechrez，Radu Timofte，Tomer Michaeli和LihiZelnik-Manor. 2018年PIRM感知图像超分辨率挑战.在2018年欧洲计算机视觉会议中，第334-355页。Springer，2018年。[4] Yochai Blau和Tomer Michaeli. 感知-失真权衡.在2018年IEEE计算机视觉和模式识别会议论文集中，第6228-6237页。[5] Pratik Prabhanjan Brahma，Dapeng Wu和Yiyuan She.为什么深度学习有效：流形解缠视角.IEEE神经网络和学习系统交易，27(10)：1997-2008，2016年。[6] Yunjin Chen和Thomas Pock.可训练的非线性反应扩散：一种快速有效的图像恢复框架.IEEE模式分析与机器智能交易，39(6)：1256-1272，2017年。[7]K. Dabov，A. Foi，V. Katkovnik和K. Egiazarian.通过稀疏3D变换域协作滤波进行图像去噪.IEEE图像处理交易，16(8)：2080-2095，2007年8月。[8] ChaoDong，Yubin Deng，Chen Change Loy和Xiaoou Tang.通过深度卷积网络减少压缩伪影.在2015年IEEE国际计算机视觉会议论文集中，第576-584页。[9]Alessandro Foi，Vladimir Katkovnik和Karen Egiazarian.逐点自适应DCT用于灰度和彩色图像的高质量去噪和去块效果.IEEE图像处理交易，16(5)：1395-1411，2007年。[10] IshaanGulrajani，Faruk Ahmed，Martin Arjovsky，VincentDumoulin和Aaron C Courville. 改进的Wasserstein GAN的训练.在2017年神经信息处理系统进展中，第5767-5777页。[11] ShiGuo，Zifei Yan，Kai Zhang，Wangmeng Zuo和Lei Zhang.实时图像盲去噪的卷积方法.在2019年IEEE计算机视觉和模式识别会议论文集中，第1712-1722页。[12] Kaiming He，Xiangyu Zhang，Shaoqing Ren和JianSun. 深入研究整流器：在Imagenet分类上超越人类水平的性能.在2015年IEEE国际计算机视觉会议论文集中，第1026-1034页。[13] Justin Johnson，Alexandre Alahi和Li Fei-Fei.用于实时风格转换和超分辨率的感知损失.在欧洲计算机视觉会议中，第694-711页。Springer，2016年。[14] Tero Karras，Samuli Laine和Timo Aila.用于生成对抗网络的基于样式的生成器架构.0在2019年IEEE计算机视觉和模式识别会议论文集中，第4401-4410页。[15] Jiwon Kim, Jung Kwon Lee和Kyoung Mu Lee.使用非常深的卷积神经网络进行准确的图像超分辨率.在2016年IEEE计算机视觉和模式识别会议论文集中，第1646-1654页。[16] Diederik P Kingma和Jimmy Ba. Adam:一种随机优化方法. arXiv预印本arXiv:1412.6980，2014年。[17]Christian Ledig，Lucas Theis，Ferenc Husz´ar，JoseCaballero，Andrew Cunningham，Alejandro Acosta，AndrewAitken，Alykhan Tejani，Johannes Totz，Zehan Wang等.使用生成对抗网络进行逼真的单图像超分辨率.在2017年IEEE计算机视觉和模式识别会议论文集中，第4681-4690页。[18] Bee Lim，Sanghyun Son，Heewon Kim，SeungjunNah和Kyoung Mu Lee. 增强的深度残差网络用于单图像超分辨率.在2017年IEEE计算机视觉和模式识别会议论文集中，第136-144页。[19] Ding Liu，Bihan Wen，Yuchen Fan，Chen ChangeLoy和Thomas S Huang. 用于图像恢复的非局部循环网络.在2018年神经信息处理系统进展中，第1680-1689页。[20]Pengju Liu，Hongzhi Zhang，Kai Zhang，LiangLin和Wangmeng Zuo. 用于图像恢复的多级小波卷积神经网络.在2018年IEEE计算机视觉和模式识别会议论文集中，第773-782页。[21] Yongyi Lu，Yu-Wing Tai和Chi-Keung Tang.使用条件循环GAN进行属性引导的人脸生成.在2018年欧洲计算机视觉会议(ECCV)论文集中，第282-297页。[22] David Martin，Charless Fowlkes，Doron Tal和JitendraMalik.人类分割的自然图像数据库及其在评估分割算法和测量生态统计方面的应用. 在null，第416页。IEEE，2001年。[23] RoeyMechrez，Itamar Talmi，Firas Shama和Lihi Zelnik-Manor.通过上下文损失保持自然图像统计.在2018年亚洲计算机视觉会议中，第427-443页。Springer，2018年。[24] Pablo Navarrete Michelini，Dan Zhu和Hanwen Liu.多尺度递归和感知-失真可控的图像超分辨率.在2018年欧洲计算机视觉会议中，第3-19页。Springer，2018年。[25] Anush Krishna Moorthy和Alan Conrad Bovik.用于图像质量评估的视觉重要性池化.IEEE选定主题信号处理杂志，3(2)：193-201，2009年。[26]Mehdi SM Sajjadi，Bernhard Scholkopf和Michael Hirsch.Enhancenet: 通过自动纹理合成进行单图像超分辨率.在2017年IEEE国际计算机视觉会议论文集中，第4491-4500页。[27] Wenzhe Shi，Jose Caballero，Ferenc Husz´ar，JohannesTotz，Andrew P Aitken，Rob Bishop，DanielRueckert和Zehan41490Wang。使用高效的子像素卷积神经网络进行实时单图像和视频超分辨率。在2016年IEEE计算机视觉和模式识别会议论文集中，第1874-1883页。[28] Alon Shoshan，Roey Mechrez和LihiZelnik-Manor。Dynamic-net：在不重新训练的情况下调整目标。arXiv预印本arXiv:1811.08760，2018年。[29] Ying Tai，JianYang和XiaomingLiu。通过深度递归残差网络进行图像超分辨率。在2017年IEEE计算机视觉和模式识别会议论文集中，第3147-3155页。[30] YingTai，Jian Yang，Xiaoming Liu和ChunyanXu。Mem-net：用于图像恢复的持久内存网络。在2017年IEEE国际计算机视觉会议论文集中，第4539-4547页。[31] PaulUpchurch，Jacob Gardner，Geoff Pleiss，Robert Pless，NoahSnavely，Kavita Bala和KilianWeinberger。用于图像内容变化的深度特征插值。在2017年IEEE计算机视觉和模式识别会议论文集中，第7064-7073页。[32]Xintao Wang，Ke Yu，Chao Dong，Xiaoou Tang和ChenChangeLoy。用于连续图像效果过渡的深度网络插值。在2019年IEEE计算机视觉和模式识别会议论文集中，第1692-1701