可控图像恢复网络：TASNet的研究

14234∼可控图像恢复网络的研究Heewon Kim Sungyong Baik Myungsub Choi*Janghoon Choi† Kyoung Mu LeeASRI，首尔国立大学{ghimhw，dsybaik，cms6539，ultio791，kyoungmu} @ snu.ac.kr摘要我们提出了一个新的框架，可控的图像恢复，可以有效地恢复多种类型和级别的退化损坏的图像。所提出的模型，名为TASNet，是自动确定我们的神经架构搜 索 算 法 ， 优 化 了 效 率 - 准 确 性 权 衡 的 候 选 模 型architectures。具体来说，我们允许TASNet共享早期层在不同的恢复任务和自适应广告，只是相对于每个任务的剩余层。共享的任务不可知的层大大提高了效率，而特定于任务的层进行了优化的恢复质量，我们的搜索算法寻求两者之间的最佳我们还提出了一种新的数据采样策略，以进一步提高整体恢复性能。因此，与现有的最先进的模型相比，TASNet实现了显著更 快 的 GPU 源 代 码 和 预 训 练 模 型 可 在https://github.com/ghimhw/TASNet上获得。1. 介绍真实世界损坏图像的恢复是一个具有挑战性的问题，因为退化的类型和严重性（或水平）是未知的。先前关于盲图像超分辨率[4，26]或盲去模糊[35，14，1]的工作通过学习预测未知的退化核来解决这个问题，然后使用预测的核来恢复干净的最近，可控的图像恢复已经获得越来越多的关注作为替代方法。在这种情况下，用户可以控制输出恢复以生成多个图像并选择最适合其偏好的输出图像，而不是接受最终模型关于可控图像恢复（CIR）[15，27，31，32]的早期工作例如，来自[15]的去噪模型允许连续调制*目前在Google Research†现就读于国民大学CResMD [16] TASNet（Ours）图1：可控图像恢复的示例。我们的模型生成视觉上更令人愉悦的输出，同时调整恢复级别，与CResMD [16]相比，GPU延迟快3倍，FLOPs减少95.7%对σ=15 75的高斯噪声进行去噪。最近，CResMD [16]提出了一个扩展框架，该框架通过单个网络学习多种类型的降级（高斯模糊，高斯噪声和JPEG压缩），因此用户不仅可以交互式地调整降级的级别，还可以调整降级的类型。然而，随着实现更灵活的控制，CIR模型的实际应用出现了两个新的挑战：1）生成多个图像以供选择的高计算成本，以及2）找到真实类型和退化水平的困难，其中不这样做可能导致显著恶化的输出。为了缓解这些限制，我们提出了TASNet，这是一种新型的基于深度学习的CIR模型，经过优化，可实现更好的视觉质量并大幅降低计算复杂度。图1展示了示例结果。我们的TASNet由两部分组成：任务不可知层和任务特定层，其中我们将“任务”表示为恢复问题w.r.t.降解类型和水平的组合。任务不可知部分由基线超网络的早期层组成共享早期层极大地提高了CIR模型的效率，因为我们不需要每次都重新计算共享层的输出。14235固定网络任务-全去噪噪波模糊任务-全去模糊任务专用网络与任务无关的任务-1网络任务-全部噪波模糊任务-m去模糊去噪(a) CResMD [16]（b）TASNet（Ours）图2：我们用于可控图像恢复的高效架构的概述。(a)CResMD [16]具有跨所有任务的固定网络，并且每当目标恢复任务变得不同时，都需要通过完整模型进行单独的推理。(b)我们的任务不可知和特定于任务的网络（TASNet）共享早期层，以促进功能重用。当我们对多个任务进行推理时，任务不可知部分只需要一次计算，其输出特征可以作为任务特定网络的输入被多次重用。针对每个给定任务自适应地调整任务特定网络的架构。方框的宽度和高度分别表示神经网络的层数和通道数。在该示例中，去噪和去模糊的两个流行的恢复任务被可视化，其中不同的颜色表示对应的推理路径。用户更改任务（降级的类型或级别）。另一方面，由任务特定部分组成的剩余层针对每个任务进行不同的调整图2总结了主要概念。然而，决定平衡效率和性能的架构超参数仍然是一个非常具有挑战性的问题。为此，我们提出了一种新的基于超网络的神经架构搜索（NAS）算法，可以自动搜索的任务不可知和特定于任务的架构上的效率-精度权衡曲线。由于我们需要考虑大量的任务，不断变化的恢复水平，我们的算法的搜索空间应该能够代表一组不同的架构。这就是为什么我们的算法允许每个层的通道级选择以及是否共享其参数的逐层决策具体地，所提出的NAS算法选择：1）要共享的层的数量（任务不可知部分），2）用于共享层的重要信道，以及3）用于每个任务特定层的重要信道，其中这些任务特定信道选择对于每个任务 是 自 适 应 我 们 还 制 定 了 整 体 的 学 习 目 标 是 dif-ferentiable有效的端到端的训练，我们的搜索框架，这导致在最终的TASNet。此外，我们提出了一种新的数据采样策略，以减少视觉伪影，这是经验证明是有效的情况下，由用户给出的任务是非常不同的输入图像的真实退化。实验结果表明，TASNet在现代高端GPU上的运行速度比最先进的CIR模型快3.7倍，在生成具有27次调制的4K图像时具有95.7%的FLOPs减少。此外，使用TASNet生成的恢复的视觉质量比以前的方法要好得多，具有明显更少的伪影。总的来说，我们的贡献可以总结如下：• 我们提出了一种新的神经网络，名为TASNet，可控图像恢复（CIR），显着提高了模型的效率和输出图像质量。• 我们提出了一个基于超级网络的NAS算法，发现有效的CIR网络在一个可区分的方式。• 我们引入了一种新的数据采样策略，以提高CIR问题中生成的图像质量。• 所提出的TASNet在图像质量和FLOP和CPU/GPU延迟的计算成本方面优于最先进的模型。2. 相关工作2.1. 图像恢复图像恢复是计算机视觉中的一个经典课题，它包括去噪、去模糊、基于深度学习的图像恢复网络[10，11，12，18，19，21，40，42]在恢复准确的图像细节方面取得了突破虽然传统的方法专门处理单一的退化类型，一般的图像恢复的目的是恢复损坏的图像与多种类型的退化。值得注意的方法包括学习策略以确定用于输入图像的专用恢复网络[36，37]，或者使用操作方面的注意力模块来产生专用特征图w.r.t. 每种降解类型[29]。然而，这些方法不能控制输入图像的不同恢复水平，并且有时生成过度平滑或锐化的输出。另一方面，可控图像恢复最近获得了计算机视觉研究界的兴趣，以控制图像的输出恢复14236ΣRΣΣ~≥R（f，x）+R（f，x，t），m∈R∈被未知的退化所破坏现有的工作学习控制单一类型的退化的恢复水平[15，27，31，32]。特别是，AdaFM[15]，CFSNet [31]和Dynamic-Net [27]设计了具有调整模块的网络架构，这些调整模块在测试时针对感兴趣的任务按层[15]或按块[31，27]调制特征相反，DNI [32]对不同训练网络的所有参数进行插值以进行调制。对于一般的可控图像恢复，CResMD [16]使用逐块调谐模块控制多种类型的退化中的恢复水平。虽然先前的工作可能已经提供了良好的性能来控制恢复水平，但它们仅关注图像质量而不考虑计算效率。相比之下，使用CResMD作为基线，所提出的TASNet显着减少了计算和运行时间。2.2. 用于图像恢复的为了使图像恢复模型具有更低的计算成本，已经开发了几种新的架构用于不同的恢复任务。早期的工作降低了输入图像的空间分辨率，以减少用于去噪[41]和超分辨率[12]的卷积运算的计算成本。最近，CARN [3]提出了一种具有多个跳过连接的级联残差块，从而产生了快速且轻量的超分辨率网络。对于去模糊，[38]中提出了一种使用空间变化反卷积的方法，以通过其有效的骨干网络实现精确的性能。同时，FALSR [8]，ESRN [28]和FGNAS [17]采用神经架构搜索（NAS）算法 用 于 高 效 的 超 分 辨 率 网 络 。 Path-Restore [37] 和AdaDSR [23]分别通过一般图像恢复和超分辨率的自适应推理节省计算成本。先前的工作也采用网络量化[9，34]或pruning [13，20，24，30，39]，但它们不是任务自适应的。另一方面，我们首次研究了可控图像恢复的网络加速方法，特别是当它需要大量的推理通过每幅图像。由我们的算法加速的神经架构可以被认为是多任务学习的特殊实例[7，43]，这是一种使用共享网络进行多任务或优化的网络设计范例。与以往多任务学习ap的主要区别3. 方法可控图像恢复（或调制）旨在控制受损图像的恢复水平。按照CResMD设置，我们制定了多维恢复水平是可控的。形式上，给定D个降级类型，t_RD表示任务向量，其中t_d[0，1]编码第d个降级类型的恢复级别。例如，针对三种降级类型（例如，例如，在一个实施例中，模糊、噪声、JPEG压缩）指示该任务需要最大程度的去模糊，但不需要去噪或压缩伪影去除。在训练期间，训练图像对（输入和目标）确定任务向量的对应值。在推理时，任务向量值由用户控制。3.1. 高效架构设计真实图像的未知退化要求交互式图像恢复与可调恢复水平。在这种情况下，用于图像调制的网络针对具有不同任务向量的单个输入图像多次计算其操作形式上，M次推理的总计算成本由下式给出，MR总（f，x，t）= R（f，x，t，m），（1）m=1其中（f，x，t，m）表示用网络架构f、输入图像x和第m个任务向量t，m生成输出的FLOP或延迟。在CResMD和其他以前的作品[15，27，31，32]中使用的架构遵循等式（1）的计算成本，如图2（a）所示。我们的目标是设计一个网络架构，这是有效的，在上述多重推理的情况下。为此，我们提出了TASNet，它与剩余的特定于任务的架构共享早期层的特征图，如图2（b）所示。任务不可知的共享层促进了对来自单个图像的重复推断的特征重用。另一方面，我们的任务特定的架构自适应地将自身转换为高效的，因为很难找到一个单一的固定网络，这是有效的连续变化的恢复水平。对于TASNet，我们重新公式化等式（1），并将网络f划分为早期层f a和剩余层fs。然后，总计算成本变为：Mproaches正在使用NAS来从输入图像连续地改变任务。我们的搜索算法是基于超网络的NAS方法的变体[17，22]，其目的是Rtotal（f，x，t）=[R（fa，x）+R（fs，x~，tm）]m=1M（二）通过从超网络中修剪来找到有效或性能最优的网络。我们的搜索过程是在搜索空间的通道和共享层跨任务，其中每个组合提供了一个候选网络来自一个超级网络。a sMm=1其中，x~=fa（x），并且（fa，x）是针对fa（x）的单个推断的计算成本，并且fm表示变换后的14237M∈·Mm，n，cMn、cm，n，c.zn，c≡M·zm，n，c，（5）Mm，n，cn、cn、c∈m=1任务向量架构控制器确定特定任务重要渠道渠道超级网络任务间的平均值比较任务确定任务间的共享要素地图信道选择转发TS部分转发TA部分确定与任务无关的重要通道TASNet的通道图3：TASNet每层的神经架构搜索过程。我们的算法自动确定共享层和通道的数量在每个特征图从超网络。任务特定（TS）部分（n= 0）基于给定任务（蓝色箭头）自适应地选择通道。相比之下，任务不可知（TA）部分（n = 1）选择跨任务的固定通道（红色箭头）。如果信道重要性在任务之间相似并且先前的特征图被共享，则特征图被确定为被共享。所有过程都可以通过直通估计量（g）进行微分。在推断期间，、Za以及因此任务不可知（TA）部分是固定的。任务特定架构。 虽然等式（2）理论上应该减少计算冗余，但是设计有效的架构（fa和fs）仍然是一个开放的问题。3.2. 搜索制定概况. 为 了 找到有效的TASNet架构，我们提出了一个基于超网络的神经架构搜索算法。我们的搜索算法确定1）数量其中zR，并且I[ ]是指示符函数，当其输入为真时返回1（否则返回0）。在下文中，我们引入两种类型的z特定于任务的渠道重要性。为了了解通道对于给定任务tm的重要性，我们引入了架构控制器h，其形式为：2）任务不可知层的重要通道，以及3）任务不可知层的重要通道。sm，n≡hn（tm），（4）通道，其中通道选自超级网络CResMD [16]。TASNet旨在通过以下规则最小化等式（2）的恢复误差和计算成本，如图3所示：• 了解特定于任务的渠道重要性（zs）。• 了解与任务无关的通道重要性（za）。• 当重要时，跨任务共享特征图（n=1）其中zsR表示第c个通道映射到超级网络的第n个特征图中的任务向量t，mhn是第n个特征图的体系结构控制器，由几个完全连接的层组成。与任务无关的通道重要性。为了了解任务间的一般通道重要性，我们简单地将特定于任务的通道重要性的值平均如下：跨任务的静态通道相似（ηn（1）和的1 Σs• 跨任务修剪不重要的通道（g（za）=0）其中，Za∈R表示与任务无关的信道重要性。在共享特征图中（n= 1）。• 自适应地选择非共享特征映射（n=0）中任务tm的重要通道（g（zs）=1）。频道选择。直通估计量[5]的变体已广泛用于可微NAS方法[33，6]。要从超级网络中选择或取消选择每个通道，通道选择实际上乘以而M是一个足够大的推理数经验最后，我们采用指数移动平均的迭代与小的小批量大小。跨任务的通道重要性相似性。为了确定特征图是否应该在任务之间共享，我们通过来自za和zs的所选通道之间的相似性来计算一致性准则，如下所示：M C C二进制值到通道。我们的直通估计器使得这个过程是可微的，形式上由下式给出，1·Σ Σg（zs）·g（za）>γ·Σg（za）、（6）g（z）=I[z>0]，如果向前，则sigmoid（z），如果向后，zn、c共享其前一层的特征图（n−1=1）。• 最大化共享层的数量（等式（10））。m=1c=1c=114238（三）其中γ是阈值超参数。等式（6）是否成立由布尔变量ηη表示。若方程14239.2∈L··θ，ψ在gtnn、cn−1，cm，n，cΣ）·g（zRm，n，cn、c≡DDD，x）+RFLOPs（f输入图像和GT图像的退化类型。我们假设GT图像比输入（1in≥ 1，x~，tm）CΣΣR2Σn− 1·Σ Σ¨−¨Nm=1CGTD成立（ηη=1），大量任务具有关于给定层的信道重要性的协议，并且因此该层可能跨所有任务共享。递归层共享。 为了促进跨任务的功能重用，共享层需要在网络的初始阶段位于一起。为此，如果第n个特征图和所有先前的特征图满足关于跨任务的修剪位置的一致性标准，则共享第n个特征(a) 绝对GT恢复水平(b) 相对GT恢复水平（ηi=1），形式上由下式给出，图4：绝对地面实况与相对地面实况。(a)从所有降级版本映射到其原始映像。（b）测绘如果ηi= 1，则η i = 1，ηi =1，2，.，n否则，（七）从降级版本到相对更高质量的图像。3.3. 数据采样策略其中表示决策变量，其中如果第n个特征图是任务不可知的，则第n个元素n为1目标函数通过使用上述所有方程，我们可以用可微资源正则化项来表示目标函数令（，）表示用于图像恢复任务的标准1总体目标函数形式上由下式给出，minL（θ，ψ）+λ1·R1（ψ）+λ2·R2（ψ），（8）其中θ和θ分别是超级网络和架构控制器中的可学习参数第一资源均衡器R1（·）惩罚当前搜索的FLOP。M退化水平与恢复水平。先前的工作训练网络以从具有任意退化水平的退化图像恢复原始图像（参见图4（a））。然而，CIR算法应该能够在不同程度上恢复图像，以促进更好的用户交互体验。因此，我们将恢复级别重新定义为从更多退化图像（输入）到较少退化图像（相对GT）的映射（参见图4（b））。具有相对GT的任务向量。任务向量t是对恢复级别进行编码的模型输入。在训练中，输入-GT图像对（以两个不同的多维退化水平采样）如下确定其任务向量：不 其中l∈[0，1]和lgt∈[0，1]表示第d阶aΣsd d=2ΣK2HnWn· [n· Σg（za）·big（za）ld）。每个训练图像对随机选择数字降级类型（单个或多个）和粒度n=1c=1c=1降解水平（连续或二进制）。+（1−n）·{g（zsm=1c =1c=1sm，n−1，c ）}]，（九）4. 实验其中Kn是生成第n个特征图的卷积运算的核大小，Hn和Wn分别是第n个特征图的高度和宽度，并且在本节中，我们将介绍TASNet和CResMD在网络计算成本和输出图像质量方面的实验结果和比较。然后，一0，cSm、0、c 固定输入图像的通道我们深入分析了我们的建议的有效性为1.第二正则化器2强制网络通过如下惩罚跨任务的所选通道的不一致来最大化早期共享层的数量N C M（ψ）= g（zs）g（za），1算法与消融研究。实施细节在补充文件中描述。4.1. 数据集在这项工作中，我们使用DIV2K [2]数据集进行训练，使用CBSD68 [25]数据集进行测试，除非另有说明DIV2K由800张清晰的2K分辨率训练图像组成n=1c=1m=1（十）和100个验证图像，而CBSD68包含68个其中，n=0处的层表示输入图像，并且因为输入图像在任务上是固定的。超参数λ1和λ2平衡三项。原始？原始降解水平降解水平降解水平z和z通过取消选择通道来实现架构，正式定义为：R1（f）=RFLOPs（f14240干净的HVGA分辨率测试图像。按照CResMD [ 16 ]中的降级设置，为了创建降级图像，我们使用三种类型的降级：高斯模糊14241∈∈×∈×××××表1：平均计算成本的比较。TASNet优于CResMD [16] w.r.t.所有措施和决议。成本指标分辨率CResMDTASNet HD 1，124.3 G45.2 GFLOPs↓2K 2，698.4 G108.4 G4K 10，119.2 G406.7 G高清22.8秒5.5秒CPU延迟（单）↓2K 55.6 s13.5 s4K 209.3秒55.5秒高清5.1秒1.7秒CPU延迟（多路）↓2K 11.7秒4.2秒模糊+噪波+JPEG去模糊级别：0.3去模糊级别：0.6去模糊级别：0.94K 40.6秒13.1秒HD 144.4 ms68.4 msGPU延迟↓2K 280.8 ms99.2 ms4K 930.0 ms250.7 ms表2：CBSD68的非盲定量图像质量结果方法PSNR ↑SSIM ↑NIQE↓BRISQUE↓ FLOPs↓CResMD25.86分贝0.81946.7165TASNet 25.64 dB 0.81376.6301 50.60 7.5克输入CResMD TASNet原始（26.60 dB/7.0624）（33.67dB/6.3134）（32.05 dB/5.9478）（PSNR/NIQE）输入CResMD TASNet原始（22.98 dB/8.8662）（29.24dB/8.1103）（28.63 dB/7.4633）（PSNR/NIQE）图5：非盲定性图像质量比较。TASNet生成的图像更清晰，NIQE评分优于CResMD。噪声和JPEG压缩。每个降级被顺序地应用于干净图像。对于高斯模糊，我们使用21 21的核大小，半径为r[0，4]。高斯噪声的协方差表示为σ[0，50]。JPEG压缩质量因子表示为q[10，100]（我们还包括没有JPEG压缩的图像，如在CResMD中）。训练数据集通过分别针对r、σ和q应用步长为0.1、1和2的4.2. 计算成本比较延迟和FLOPs减少。 表1显示了TASNet（我们的）和最先进的网络CResMD [16]在不同图像分辨率和设备上的平均计算成本。针对可控制的图像恢复设置执行实验，其中针对每个输入图像执行多个（M=27图6：盲设置（伪影）。CResMD经常产生显着的，当去毛刺的图像，被噪声或压缩文物损坏时相比之下，TASNet成功地减少了输入图像中的模糊。在显示类似的图像恢复性能（如下一节所述）的同时，TASNet设法从CResMD减少了95.7%的FLOP，并在所有报告的设备上显示出更快的速度：3.8在单核CPU上，3.1在多核CPU和3.7在GPU上，当生成 4K（3840 2160）图像，与CResMD相比值得注意的是，TASNet只需要0.07s来恢复HD（1280 720）图像。我们还观察到，在低分辨率图像的情况下，两个模型之间的延迟差异随着输入分辨率的降低，每个特征图的大小也会减小，从而在一定程度上降低了选择通道或共享层的益处4.3. 图像质量比较非盲设置。表2示出了在非盲图像恢复设置中的定量图像质量比较，其中输入图像的退化类型和水平是已知的。此设置允许模型使用单个推理生成其最佳结果结果表明，由TASNet恢复的图像的PSNR比由CResMD生成的图像低，但NIQE更好，这意味着TASNet通常恢复更清晰的图像细节，如图5所示。盲设置。可控图像恢复（CIR）算法旨在解决盲设置，其中退化的类型和水平是未知的。CResMD [16]努力处理这种具有挑战性的情况，生成具有伪影（图6）或过度平滑效应（图7）的图像，并在连续变化的恢复水平上不均匀地恢复图像（图8）。图6示出了当输入图像被模糊、噪声和压缩退化的混合破坏时，通过使用不同级别的去模糊来调制输入图像的算法与生成关键伪影的CResMD相比，由TASNet恢复的图像被示出为较不模糊（事实上，随着去模糊水平变得更高，输出变得更清晰一个有趣的观察是其他退化输入原始TASNetCResMD14242···×噪音等级：0.5降噪级别：0.2去噪级别：0.5去噪等级：1.0输入CResMD TASNet任务向量（0，0.9，0）（0，0.9，0）图7：盲设置（过度平滑）。当去噪水平高于输入图像的实际噪声水平时，CResMD会过度平滑图像，而TASNet会显著去除噪声。模糊级别：1.0去模糊级别：0.3去模糊级别：0.6去模糊级别：0.9任务向量（0，0.8，0.8）（0，0.8，0.8）图8：盲设置（不均匀调制）。CResMD通过去模糊水平变化来恢复模糊图像，而TASNet逐渐调节输出。任务向量（0.4，0.4，0.4）（0.4，0.4，0.4）图9：从真实图像恢复。任务向量（，，）去注释（Deflur，Denoise，Dejpeg）的级别与TASNet相比，CResMD会产生更多的伪影或过度平滑的图像。表3：共用层有效性的消融研究。TA和TS分别表示任务不可知层和任务特定层。TSNet是我们的搜索模型，没有强制共享层。使用非盲设置在CBSD68上测量图像质量（噪声和JPEG伪影）仍然保留在图像中TASNet，这意味着我们的算法设法学习每个恢复类型和级别的解纠缠恢复过程。如图7所示，通过CResMD进行的去噪导致图像过平滑，而TASNet保持输入图像的整体内容和结构。图8示出了当针对相同的降级和恢复类型改变恢复（在这种情况下是去模糊）级别时的恢复图像在恢复水平变化相同的情况下，CResMD不均匀地恢复退化（恢复质量变化可以忽略不计或急剧变化），而TASNet生成具有平滑变化的恢复质量的图像恢复真实图像。图9显示了从具有未知退化的真实图像（从互联网下载）恢复与合成示例类似，CResMD生成具有过平滑效果或显著伪影的图像更多恢复输出图像请参考补充文档。4.4. 消融研究TASNet中共享层的有效性。表3研究了TASNet中任务不可知层的重要性在方法TA TS PSNR↑NIQE↓ FLOPs↓TSNet-✓25.59 dB6.6332 39.6 GTASNet ✓ ✓ 25.64dB6.6301 7.5 G特别地，我们检查在禁用层共享之后性能和计算成本如何变化，由此产生的网络在表中被表示为TSNet。观察到TAS-Net节省TSNet的计算成本超过5倍，这是由于其共享层允许特征重用，从而减少了多个推理的冗余计算。无论如何，TSNet大大降低了CResMD的计算成本，表明自适应选择重要信道的任务特定层的有效性。与此形成鲜明对比的是，传统的信道修剪方法不改变它们的架构w.r.t. 任务。为了进一步强调TASNet的有效性，图11示出了TSNet和TAS-Net跨各种任务的计算成本，其中对于HVGA分辨率（481 321）的每个图像具有多个（4）推断。两个网络中的特定于任务的层往往需要更多更高的恢复水平的通道，这转化为更困难的恢复问题。中的任务不可知层输入原始输入原始CResMDTASNetCResMDTASNet142439模糊+噪点+JPEG级别：0.5模糊级别：1.0噪点级别：0.3CResMDTASNet绝对GT相对GT(a) 生成图像中的伪影（b）调制不均匀（c）输出过平滑图10：盲设置中三个图像调制问题的消融研究。通过相对GT训练的模型减少了（a）当对被退化类型的混合破坏的图像进行去模糊时的网络伪影生成，以及（b）跨去模糊水平的不均匀图像调制此外，来自TASNet的与任务无关的特征图防止（c）过度平滑输出。表4：初始共享网络的消融研究。我们通过共享其早期层来修改CResMD。TASNet-A实现了9倍的FLOPs减少比CResMD与62%的共享层。方法#共享层PSNR↑NIQE↓FLOPs↓0% 25.86 dB 6.7165 189.1 G任务向量任务向量TSNetCResMD31% 25.82 dB 6.8035 132.0 G62% 25.78 dB 6.8205 69.5 G99% 25.34 dB 6.9109 7.0 GTASNet-A 62% 25.75 dB 6.7982 7.5 G任务向量图11：不同恢复级别的计算成本比较更高的恢复级别需要更多的计算成本的TS层。TASNet对于多个推断是高效的，这是跨任务重用TA层的特征图的结果。每个图表示去除模糊（左上）、噪声（右上）以及模糊和噪声的联合降级（左下）的计算成本。任务向量（·，·，·）表示（Deflur，Denoise，Dejpeg）的级别对于每个输入图像，TASNet仅计算一次，因此从第二遍开始需要基本上更少量的计算。尽管TASNet对于第一推断需要比TSNet更高的计算成本，但是在多个推断期间开销变得可忽略不计。与朴素共享网络的比较。表4示出了具有手动确定的不同数量的早期共享层的CResMD的变型之间的比较。为了在性能方面进行公平的比较，表中的所有模型都是用绝对GT训练的TASNet-A具有与TASNet相同的网络架构，但使用绝对GT进行训练。TASNet-A降低了计算成本通过共享62%的层，同时保持类似的PSNR性能，将CResMD的值降低到1图像复原质量分析。为了研究所提出的数据采样策略和TAS- Net架构的有效性，图10显示了CIR中三种主要故障情况的定量恢复性能，此时受控恢复级别与实际类型和损坏图像中的降级级别。用相对GT训练的CResMD的结果产生较少的伪影和均匀调制的输出，验证了所提出的数据采样的能力，以提高图像恢复质量。此外，TASNet在去噪中实现了更高的PSNR（与CResMD相比超过3dB），而没有过度平滑（图7和10（c）），暗示了共享层在提供更好的图像质量方面的有效性5. 结论我们提出了一种新的神经结构搜索算法，以找到有效的网络可控的图像恢复（或图像调制）。特别是，所提出的算法搜索与任务无关的和特定于任务的层，被称为TASNet的网络，通过确定的层和通道的数量，以共享跨任务和自适应地选择通道在非共享的特征图。我们制定了所有的学习目标，在一个不同的方式，并执行-形式的架构搜索在一个端到端的方式。共享层促进特征重用，这进一步推动了与所提出的新的数据采样策略一起，TASNet不仅大大降低了最先进的网络的网络计算成本，而且还提供了更好的图像质量。致谢这项工作得到了韩国政府资助的IITP赠款的部分支持。2021- 0-01343，人工智能研究生院项目（首尔国立大学）]。TASNet任务不可知（TA）层任务特定（TS）层计算已保存任务特定（TS）层FLOPs（G）FLOPs（G）FLOPs（G）14244引用[1] Raanan Fattal Adam Kaufman分析-综合网络对去模糊。在CVPR，2020年。1[2] Eirikur Agustsson和Radu Timofte。Ntire 2017单图像超分辨率挑战：数据集和研究。在CVPRW，2017年。5[3] Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn。使用级联残差网络实现快速、准确、轻量的超分辨率。在ECCV，2018。3[4] Sefi Bell-Kligler、Assaf Shocher和Michal Irani。使用内部增益的盲超分辨率核估计。NeurIPS，2019。1[5] Yoshua Bengio通过随机神经元估计或传播梯度arXiv预印本arXiv：1305.2982，2013。4[6] 韩才、朱立庚、宋涵。ProxylessNAS：在目标任务和硬件上直接搜索神经架构。2019年，在ICLR。4[7] 瑞奇·卡鲁阿纳多任务学习。载于MLJ，1997年。3[8] Xiangxiang Chu，Bo Zhang，Hailong Ma，Ruijun Xu，Jixiang Li，and Qingyuan Li.快速，准确和轻量级的超分辨率与神经架构搜索. 2020年，《国际公法》。 3[9] Matthieu Courbariaux、Itay Hubara、Daniel Soudry、RanEl-Yaniv和Yoshua Bengio。二值化神经网络在NIPS，2016年。3[10] Chao Dong，Yubin Deng，Chen Chang Loy，and XiaoouTang.通过深度卷积网络减少压缩伪影在ICCV，2015年。2[11] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang. 使 用 深 度 卷 积 网 络 的 图 像 超 分 辨 率 。TPAMI，2014年。2[12] Chao Dong，Chen Change Loy，and Xiaoou Tang.加速超分辨率卷积神经网络。在ECCV，2016年。二、三[13] Yonggan Fu ， Wuyang Chen ， Haotao Wang ， HaoranLi，Yingyan Lin，and Zhangyang Wang.自动蒸馏器：搜索压缩生成对抗网络。在ICML，2020。3[14] Dong Gong，Jie Yang，Lingqiao Liu，Yanning Zhang，Ian Reid，Chunhua Shen，Anton van den Hengel，andQinfeng Shi.从运动模糊到运动流：用于去除异构运动模糊的深度学习解决方案。在CVPR，2017年。1[15] 何静雯，朝东，乔玉。通过自适应特征修改层以连续水平调制图像恢复。在CVPR，2019年。第1、3条[16] 何静雯，朝东，乔玉。交互式多维调制与动态可控残差学习图像复原。在ECCV，2020年。一、二、三、四、五、六[17] Heewon Kim ， Seokil Hong ， Bohyung Han ， HeesooMyeong，and Kyoung Mu Lee.细粒度神经架构搜索。arXiv预印本arXiv：1911.07478，2019。3[18] Jiwon Kim，Jungkwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络的精确图像超分辨率。在CVPR，2016年。2[19] Christian Ledig ， Lucas Theis ， Ferenc Huszar ， JoseCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani ， Johannes Totz ， Zehan Wang ， andWenzhe Shi.使用生成对抗网络的照片逼真的单图像超分辨率。在CVPR，2017年。2[20] 李亚伟、顾书航、张凯、吕克·范古尔和拉杜·蒂莫夫特。Dhp：通过超网络进行可区分的Meta剪枝在ECCV，2020年。3[21] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPRW，2017年。2[22] 柳寒笑，凯伦西蒙尼扬，杨一鸣。飞镖：差异架构搜索。2019年，在ICLR。3[23] 刘明、张之路、侯丽雅、左王梦、张磊。用于单图像超分辨率的深度自适应推理网络。在ECCVW，2020年。3[24] Zhuang Liu，Jianguo Li，Zhiqiang Shen，Gao Huang，Shoumeng Yan，and Changshui Zhang.通过网络瘦身学习高效的卷积网络InICCV，2017.3[25] D.马丁角，澳-地Fowlkes，D.塔尔和J·马利克 数据库的人类分割的自然图像和它的应用，以评估分割算法和测量生态统计。载于ICCV，2001年。5[26] Assaf Shocher、Nadav Cohen和Michal Irani。”zero-shot”super-resolution 在CVPR，2018年。1[27] 阿隆·肖山罗伊·梅克雷斯和利希·泽尔尼克·马诺动态网络：调整目标，无需重新训练合成任务。在ICCV，2019年。第1、3条[28] Dehua Song，Chang Xu，Xu Jia，Yiyi Chen，ChunjingXu，and Yunhe Wang.用于图像超分辨率的高效剩余密集块搜索在AAAI，2020年。3[29] Masanori Suganuma，Xing Liu，and Takayuki Okatani.存在未知组合失真时图像恢复的基于注意力的自适应操作选择在CVPR，2019年。2[30] 王浩涛，桂树鹏，杨海川，刘继，王张扬1.甘瘦身：通过统一的优化框架实现一体化集成压缩。在ECCV，2020年。3[31] Wei Wang，Ruiming Guo，Yapeng Tian3，and WenmingYang.Cfsnet：Toward a controlled feature space for imagerestoration.在ICCV，2019年。第1、3条[32] Xintao Wang，Ke Yu，Chao Dong，Xiaoou Tang，andChen Change Loy.用于连续图像效果过渡的深度网络插值在CVPR，2019年。第1、3条[33] Bichen Wu ，Xiaobiang Dai ，Peizhao Zhang，YanghanWang ， Fei Sun ， 一 鸣 Wu ， Yuandong Tian ， PeterVajda，Yangqing Jia，and Kurt Keutzer.Fbnet：通过可微分神经架构搜索的硬件感知高效卷积网络设计。在CVPR，2019年。4[34] Jingwei Xin，Nannan Wang，Xinrui JiangJie Li，HengHuang，and Xinbo Gao.用于单幅图像超分辨率的二值化神经网络。在ECCV，2020年。3[35] Xiangyu Xu ， Jinshan Pan ， Yujin Zhang ， and Ming-Hsuan Yang.通过深度学习进行运动模糊核估计。TIP，2018年。114245[36] 柯宇，朝东，梁林，陈昌来。通过深度强化学习制作图像恢复工具链。在CVPR，2018年。2[37] Ke Yu，Xintao Wang，Chao Dong，Xiaoou Tang，andChen Change Loy.路径恢复：学习网络路径选择图像恢复。arXiv预印本arXiv：1904.10343，2019。二、三[38] 圆圆