深度网络插值实现连续图像效果转换

1692浅景深深自由度晚上天浮世绘梵高照片GANMSE深度网络插值用于连续图像效果转换王鑫涛1柯宇1董超2唐晓鸥1陈变来31香港中文大学-商汤科技联合实验室2中国科学院深圳先进技术研究院SIAT-SenseTime联合实验室3新加坡南洋理工大学{wx016，yk017，xtang}@ ie.cuhk.edu.hk超东@ siat.ac.cnccloy@ntu.edu.sg图1.深度网络插值能够生成连续的图像效果过渡。（第1行）超分辨中从MSE效应到GAN效应;（第2排）从梵高风格到浮世绘风格;（第三排）从白天照片到夜晚照片;（第4行）从深景深（DoF）到浅景深。更多的应用程序在SEC中提供。4.第一章（放大以获得最佳视图）摘要深度卷积神经网络已经证明了其学习确定性映射以获得所需图像效果的能力。然而，用户口味的多样性激发了在不同输出效果之间连续过渡的可能性。 与需要特定设计来实现一个特定转变的现有方法（例如，风格转移），我们提出了一个简单而通用的方法，以实现在许多低层次的视觉任务，包括图像恢复，图像到图像的翻译，和风格转移的不同的图像效果的平滑控 制 具 体 来 说 ， 我 们 的 方 法 ， 即 深 度 网 络 插 值（DNI），在两个或更多相关网络的参数空间中应用线性插值。通过调整插值系数可以实现对图像效果的平滑控制。除了DNI及其广泛的应用之外，我们还从学习过滤器的角度研究了网络插值的机制项目页面：https://xinntao.github.io/projects/DNI/。1. 介绍深度卷积神经（CNN）网络在许多低级视觉任务中取得了巨大成功，例如图像恢复[3，18，20，1，44，2，28]，图像到图像翻译[15，37，26，47]和图像风格转移[8，17，6]。对于每个特定任务，深度网络学习确定性映射，并为相同的输入输出固定图像。然而，一个确定的输出无法满足不同的用户口味和满足各种场景下的需求，限制了实际使用的适用性。在许多实际应用中，期望具有用于在不同输出效果之间的连续过渡的平滑控制。例如，1）在超分辨率中，使用均方误差（MSE）损失[34]训练的模型往往会产生过平滑的图像，而使用生成对抗网络（GAN）[20]的模型会产生生动的细节，但会产生一些令人不快的噪音（例如，图1，第1行）。这两种不同效果之间的平衡结果将在减少伪影的情况下更加视觉愉悦2）许多图像恢复任务处理多个退化水平，诸如不同的噪声水平和模糊核。大多数前-1693可再生能源方法只能处理有限的降解水平。在实践中，训练大量的连续退化水平的模型是昂贵的。因此，一个具有恢复强度调整灵活性的模型将扩大其应用范围. 3)在艺术操作中，如图像到图像的翻译和图像风格的转移，不同的用户有不同的审美情趣。在这些应用中，通过滑动条实现对各种效果的平滑已经提出了几种方法来提高CNN在不同任务中产生连续过渡的灵活性。以图像风格转换为例，在实例归一化层[6，12]中使用自适应缩放和移位参数来建模不同的对不同风格的这些标准化参数进行插值，产生各种艺术风格的组合为了进一步控制风格化结果中的笔画大小，提出了一种精心设计的金字塔结构，由几个笔画分支组成[16]。虽然这些方法能够实现连续过渡，但存在以下几个缺点：1）这些精心设计的解决方案是针对具体问题的，缺乏对其他任务的可推广性。2)需要对现有网络进行修改，从而使培训过程一致。3)目前还没有有效的通用方法来解决超分辨率中的平滑控制问题，如平衡MSE和GAN效应。在本文中，我们通过引入一种更通用，简单但有效的 方 法 来 解 决 这 些 缺 点 ， 称 为 深 度 网 络 插 值（DNI）。连续图像效果过渡是通过线性插值实现的，现有训练网络的参数空间。具体来说，提供了一个特定效果A的模型，我们对其进行微调以实现另一个相关效果B。DNI将线性插值应用于这些参数两个深层网络然后可以通过可控的插值系数导出各种插值模型使用相同的输入对这些插值模型执行前馈操作，可以使我们的输出具有连续的不同效果A和B之间的过渡。尽管它的简单性，建议DNI可以应用于许多低层次的视觉任务。图1中给出了一些示例。在SEC中展示的广泛应用4证明了深度网络插值对许多问题都是通用的。DNI还具有以下优点。1)插值过程中过渡效果平滑，无突变。该过渡可以通过插值系数容易地控制。2)线性插值运算简单。每次转换不需要网络训练，DNI的计算可以忽略不计。3)DNI与流行的网络结构兼容，例如VGG [31]，ResNet [10]和DenseNet [11]。我们在这项工作中的主要贡献是新的概念插值参数空间，及其应用，低水平的视觉任务。我们证明，在参数空间内插我们进一步贡献了一个系统的研究，调查的机制和有效性的参数插值通过仔细分析学习的过滤器。2. 相关工作图像恢复。基于CNN的方法已经为几个图像恢复任务带来了一系列突破，包括超分辨率[3，18，25，19，33，20，43]，去噪和去噪。噪声[1，44]，去块[40，7]和去模糊[42，32，28]。虽然大多数先前的工作集中于解决一种类型的失真，而没有调整恢复强度的灵活性Zhang等人[45]采用CNN去噪器通过在基于模型的优化框架中手动选择超参数来解决图像恢复任务。然而，需要一组有区别的CNN去噪器，并且优化中的超参数选择不是一项微不足道的任务[4]。SRMD [46]提出了一种有效的超分辨率网络，通过将退化图作为额外的输入来处理多个退化。然而，所采用的维度拉伸策略是针对具体问题的，缺乏对其他任务的推广性。图像样式传输。Gatys等人[8]提出了用于艺术风格化的神经风格传递算法为了进一步提高其性能，提出了一些速度[35，17，21]。为了在一个模型中对各种/任意样式进行建模，开发了几种技术，包括条件实例归一化[6]、自适应实例归一化[12，9]以及白化和着色变换[23]。这些精心设计的方法也能够实现用户控制。例如，对不同风格的规格化参数进行插值，可以产生各种艺术风格的组合。通过在混合过程中调整其相应特征的权重，可以实现内容和风格的平衡。为了控制笔画大小，还提出了一种由多个笔画分支组成的特殊设计的金字塔结构[16]。在这些研究中，不同的可控因素需要特定的结构和策略。图像到图像转换。Image-to-Imagetransla- tion [15，37，26，47，13]旨在学习将图像从一个域翻译到另一个域。例如，从风景照片到莫奈的绘画，专业数码单反相机照片。这些方法只能将输入图像转换到特定的目标流形上，不能产生连续的平移。在图像复原和图像风格转换中提出的可控方法是针对具体问题的，不能被忽视。1694直接应用于不同的图像到图像的翻译任务。相反，建议的DNI能够以一般的方式处理所有这些问题，而不管每个任务的具体特征。插值而不是执行参数插值，灰，也可以在像素空间或特征空间插值。然而，众所周知，逐像素插值图像会引入重影伪影，因为自然图像位于非线性流形上[41]。Upchurch等人[36]提出预训练深度卷积特征的线性插值以实现图像内容变化。当将特征反转回像素空间时，该方法需要优化过程此外，它主要是为了传递面部属性而设计的，并且不适合于为低级视觉任务生成连续过渡效果更广泛地说，已经提出了输入和特征空间中的几个CNN操作来增加模型的灵活性。将额外的条件连接到输入[46]或中间特征[22]会改变网络在各种场景中的性能。用仿射变换调制特征[29，5，38]能够有效地结合其他信息。与这些工作不同的是，我们试图研究在参数空间中的操纵。ESRGAN [39]对网络插值进行了非常初步的研究，重点是增强竞争结果。DNI提供了更全面的功能，并扩展到更多的应用。3. 方法3.1. 深度网络插值许多低层次的视觉任务，图像恢复、图像风格转换和图像到图像转换的目的在于将损坏的图像或调节的图像x映射到期望的图像y。 深度卷积神经网络被应用于直接学习这个由θ参数化的映射函数Gθ，即y=Gθ（x）。考虑两个具有相同结构的网络GA和GB，分别实现不同的效果A和B。该网络由常见的操作，如卷积，上/下采样和非线性激活。这页-CNN中的参数主要是卷积层的权重，称为过滤器，过滤输入图像或先前的特征。我们假设它们的参数θA和θB彼此具有在GA和GB的相同位置处的滤波器或滤波器图案是相似的。这可以通过一些约束来实现，如微调，如将在第2节中分析的那样3.2. 这一假设为有意义的插值提供了可能性。我们的目标是实现效果A和效果B之间的连续过渡。我们通过提出的深度网络插值（DNI）来实现。DNI对这两个模型的所有相应参数进行插值，得到新的插值模型模型Ginterp，其参数为：θinterp=α θA+（1 −α）θB，（1）其中，α∈[0，1]是插值系数。实际上，它是两个参数向量θA和θB的线性插值。 插值系数α控制平衡效果A和效果B。通过平滑地滑动α，我们实现了连续的过渡效果，而没有突变。通常，DNI可以扩展为N个模型，由G1，G2，.，GN，其参数之间具有“密切的相关性”。DNI然后被公式化为：θ interp= α1θ1+ α2θ2+. + α Nθ N，（2）其中αi满足αi≥0且α1+α2+· ··+αN= 1。换句话说，它是参数向量θ1，θ2，.， θ N。 通过调整（α1，α2，...，α N），a可以实现连续过渡的丰富多样的效果在网络中具有参数的所有层上执行插值，包括卷积层和归一化层。卷积层有两个参数，即权重（滤波器）和偏置。在使用滤波器进行滤波操作之后，将偏差添加到结果中。除了权重之外，DNI还对偏置进行操作，因为添加的偏置影响连续的非线性激活。批量归一化（BN）层[14]有两种参数。1）统计运行均值和运行方差在训练期间跟踪整个数据集的均值和方差，然后在评估期间用于归一化。2)所学习的参数γ和β用于进一步的仿射变换。在推理过程中，所有这四个参数实际上都可以被吸收到前面或后面的卷积层中。因此，DNI也在归一化参数上执行。实例规范化（IN）与BN具有类似的行为，除了IN在训练和评估中使用从输入数据计算的实例统计数据。 我们采取与国阵相同的行动。 在实践中，不仅对权重而且对偏差和进一步的归一化层执行插值。我们相信，一个更好的插值方案，考虑到不同类型的参数的性质是值得开发的。值得注意的是，DNI的网络结构的选择是灵活的，只要待内插的模型的结构保持相同即可。我们在不同架构上的实验表明，DNI与流行的网络结构兼容，如VGG [31]，ResNet [10]和DenseNet [11]。我们还注意到DNI的计算可以忽略不计。计算仅与参数的数量成比例。1695N20运行1一BCN20运行2DeFN60微调N20N30N40N50N60N20N30N40N50N60博学的interp滤波器索引5 1516 19 4350 57特征提取层重构层图2.过滤相关性。前两行是用于去噪（N20）任务的不同运行（都是从头开始）的滤波器。相同位置的滤波器阶数和滤波器模式不同。微调的模型（N60）（第3行）对预训练的模型（第1行）具有“强替代性”。3.2. 了解网络插值本文试图通过一些实证研究来加深对网络内插法的理解。从我们的实验中，我们观察到：1）微调有助于不同网络的参数之间的高度相关性，为有意义的插值提供了可能性。2)用于一系列相关任务的精调滤波器呈现连续变化。3)我们的分析表明，插值滤波器可以很好地拟合实际学习的滤波器。请注意，我们的分析主要集中在滤波器上，因为CNN中的大多数参数都是滤波器的形式。我们通过一个代表性的去噪任务提出了我们的主要观察结果，并专注于增加N20，N30，N40，N50和N60的噪声水平，其中N20表示具有零均值和方差20的高斯噪声。为了更好地可视化和分析过滤器，我们采用了三个-层网络类似于SRCNN [3]，其中第一个和最后一个卷积层的滤波器大小为9×9根据[3]的概念，第一层和最后一层可以分别被视为特征提取层和重构层。网络间相关性的微调。即使对于相同的任务，如N20级别的去噪，如果我们简单地从头开始训练两个模型，通道之间的滤波器顺序和相应位置的滤波器模式可能会非常不同（图10）。2）的情况。然而，这两个网络之间共享核心表示[24]。例如，在图。滤波器C与滤波器F相同;滤波器A和滤波器E具有相似的图案，但具有不同的颜色;滤波器B是滤波器D的反转和旋转的对应物。然而，微调可以帮助保持过滤器的顺序和模式。为了证明这一点，我们将预训练的网络（N20）微调到相关任务（N60）。据观察，滤波器阶数和滤波器模式得以保持（图11）。2）的情况。这两个网络的参数之间的我们注意到，除了微调之外，其他约束（例如使用正则化的联合训练）也可以实现这种网络间的相关性。相关任务的学习过滤器显示连续变化。当我们微调几个模型，10.950.90.850.80.75图3.渐变的过滤器。我们显示一个代表性的过滤器为每一层。第1行：不同噪声水平的微调滤波器显示渐变。第2行：来自N20和N60滤波器的内插滤波器（红色框）可以很好地视觉拟合这些学习的滤波器。第3行：学习滤波器和插值滤波器的相关曲线也非常接近.任务（N30、N40、N50和N60）与预先训练的任务（N20）之间进行比较，相应学习的滤波器具有与平滑过渡的内在关系。如图3（第1行），训练的滤波器示出随着噪声水平增加而逐渐变化。除了可视化之外，我们还计算相关性指数ρij来衡量滤波器Fi和Fj的相关性：（Fi−Fi）·（Fj−Fj）ρ ij=...（三）<$Fi−Fi<$2<$Fj−Fj<$2我们选择这种形式（类似于Pearson相关性），因为它忽略了尺度和偏移的影响，并专注于滤波器模式本身。我们计算每个滤波器与第一个N20滤波器的相关指数，并绘制曲线（图中的蓝色曲线）。（3）第三章。结果表明，学习的滤波器之间的密切关系，表现出一个渐进的变化，随着噪声水平的增加。插值滤波器与学习滤波器拟合良好。学习滤波器的连续变化表明，它是可能的，它可以通过插值两端获得中间滤波器。为了进一步验证这一观点，我们进行了线-N20和N60型号的滤波器之间的耳内插。使用最佳系数α，插值滤波器可以在视觉上拟合那些学习的滤波器（第二行红色框，图2）。（3）第三章。我们进一步计算每个内插滤波器与第一个N20滤波器的相关指数。学习滤波器和插值滤波器的相关曲线也非常接近。通过插值网络的最终性能获得最优α具体来说，我们执行DNI，α从0到1，间隔为0。05.每个噪声水平的最佳α是基于其选择的，这使得插值网络在测试数据集上产生最高的PSNR。讨论值得注意的是，在其他几个任务中也可以找到类似的观察结果，例如使用不同内核的超分辨率和使用dif的JPEG伪影去除。实习生学习31696不同的压缩水平。我们在补充材料中提供了详细信息上述分析并不完整，但它从过滤器的角度给出了DNI背后的初步解释。随着网络的深入，网络的非线性程度增加，网络行为变得更加复杂。然而，我们仍然观察到更深层网络的类似现象。由于过滤器可视化很困难，在深度网络中，通常设计有3×3内核的卷积层堆栈，我们采用相关指数（等式2）。（3）分析不同噪声水平下模型间我们采用具有17层的DnCNN [44]，并分析第5层（前面）和第12层（前面）。回）卷积层。在图4中，相关曲线示出了相关指数w.r.t.绘制了第一个N20模型和相关分布图。除了这些模型之间的高度相关性之外，我们还可以观察到随着噪声水平的增加而逐渐变化。然而，前、后卷积层呈现相似的过渡趋势，甚至它们的分布高度一致。1.000.950.900.85N20 N30 N40 N50 N60噪声水平图4.滤波器相关性用于更深层次的去噪网络。我们展示了一个前（第5）层和一个后（第12）层.曲线给出了相关指标的中位数，并绘制了相关分布图。请注意，这两个分布高度一致。放大细微差别。4. 应用我们的实验表明，建议的DNI可以可应用于广泛的低水平视觉任务，例如，图像恢复（Sec.4.1），图像到图像转换（第4.2）和图像风格转换（第 4.3）。另一个关于面部属性的平滑过渡的例子在第二节中给出。4.4，表明其语义变化的潜力。由于篇幅所限，补充资料和项目第1页提供了更多的实例和分析。4.1. 图像恢复在超分辨率中平衡MSE和GAN效应。超分辨率的目的是估计一个高分辨率的图像，1https://xinntao.github.io/projects/DNI与低分辨率对应的年龄。使用MSE损失训练的超分辨率模型[34]往往会产生过平滑的图像。我们使用GAN损失和视觉损失[20]对其进行微调，获得具有生动细节的结果，但总是与令人不快的伪影（例如，图中的屋檐和水波。（五）。我们在网络架构中使用密集块[11，39]，并采用比例因子为4的MATLAB双三次内核作为下采样内核。如图所示5、DNI能够平滑地将输出从MSE效果改变为GAN效果。通过选择合适的插值系数，在保持纹理的同时，大大减少了伪影，获得了令人满意的效果.我们还比较了它与像素插值，即，逐像素地对输出图像进行插值。然而，像素插值不能分离伪影和细节。以水波为例（图）。5）水波纹理和伪影同时出现，并在过渡过程中增强。相反，DNI首先增强了生动的水波没有文物，然后更精细的纹理和不受欢迎的噪音似乎是偶然的。有效的分离有助于去除令人不快的伪影，同时保持良好的纹理，优于像素插值。 这种性质也可以在图1中动物毛皮的转变中观察到。第五，毛的主要结构首先出现，然后是更细的结构。纹理和微妙的纹理。还可以通过在训练期间调整MSE损失和GAN损失的权重来获得不同混合效应的几个模型然而，这种方法需要调整损失权重并训练许多网络用于各种平衡，因此实现连续控制的成本太调整去噪强度。去噪的目标是从噪声观测中恢复干净的图像。为了满足各种用户需求，大多数流行的图像编辑软件（例如，Photoshop）为每个工具提供可控选项。例如，降噪工具带有滑动条，用于控制去噪强度和保留或锐化细节的百分比。我们展示了一个例子来说明可调去噪强度的重要性。我们被提供有专门用于解决特定高斯噪声水平N40的去噪模型我们使用DnCNN [44]作为我们的实现。如图然而，在图6中，由于不同的图像内容，所确定的输出（具有黄色框）不令人满意。特别是，草的去噪强度太强，产生过平滑的结果，而在平滑的天空区域中，需要更大的强度来去除不期望的伪影。现有的基于深度学习的方法无法满足该用户需求，因为它们被训练为生成确定性结果，而没有控制去噪强度的灵活性相反，我们提出的DNI能够通过简单的调整来实现可调节的去噪强度第五次会议第十二次相关指数1697MSE效应GAN效应与像素插值图5.在超分辨率中使用DNI平衡MSE和GAN效应。MSE效果过于平滑而GAN效果总是伴随着令人不快的伪像（例如，屋檐和水波）。DNI允许从一种效果到另一种效果的平滑过渡相比之下，像素插值策略未能分离的文物和纹理。（放大以获得最佳视图）草天空损坏去噪强度较DnCNN基较强的去噪强度图6.可调降噪强度与DNI。一个没有调整的模型（黄色框架）无法平衡噪声去除和细节保留。对于草，较弱的去噪强度可以保留更多的纹理，而对于天空，较强的去噪强度可以获得无伪影的结果，提高视觉质量（红色帧）。（放大以获得最佳视图）N20、N40和N60的不同去噪模型的插值系数α对于草，较弱的去噪强度可以保留更多的细节，而在天空区域中，较强的去噪强度可以获得无伪影的结果（图1中的红色帧（六）。此示例演示了DNI基于手头的任务和特定用户首选项自定义恢复结果的灵活性。4.2. 图像到图像翻译图像到图像翻译旨在学习将图像从一个域翻译到另一个域。大多数现有的方法[15，37，26，47]只能将一个输入图像转换为多个离散输出，缺乏针对不同用户口味的连续转换。例如，一个模型可能能够模仿梵高或塞尚的风格，但将风景照片转换为这两位画家的混合风格仍然具有挑战性。两个画家DNI可以很容易地实现样式。流行的循环GAN [47]被用作我们的实现。 我们先训练 一个捕捉梵高特征的网络，然后对其进行微调，以产生塞尚风格的画作。DNI能够通过调整插值系数来生成这两种风格的各种混合物。图7a展示了从梵高风格到塞尚风格的平滑过渡，我们注意到，DNI可以进一步采用混合风格的两个以上的画家使用方程。二、结果见补充材料。DNI除了可以实现整幅图像的绘画风格之间的转换外，还可以实现特定图像区域的平滑自然的转换。 图7b示出了用于生成具有较浅景深（DoF）的照片的照片增强的示例。我们训练一个模型来生成具有浅自由度的花朵照片，然后用身份映射对其进行微调。这样，就能生产出符合...1698DNI（我们的）像素插值深景深浅照片梵高塞尚(a) 从照片到绘画。 DNI在调色板和画笔上都能从梵高的风格平滑地过渡到塞尚的风格。(b) 使用DNI实现景深平滑过渡。然而，像素插值产生重影伪影。 （放大以获得最佳视图）天晚上(c) 从白天的照片到晚上的。夜幕降临，天色渐暗，灯光渐渐亮起，倒映在水面上图7. 图像到图像翻译的几个应用程序。 （放大以获得最佳视图）通过对这两个模型进行插值，实现了自由度的连续过渡。我们还比较了DNI与像素插值，由于重影伪影，结果看起来不自然，半透明的细节出现在模糊的树叶边缘。DNI可以进一步应用于在其它维度上实现连续的图像平移，例如光变化，即，把白天的照片转换成晚上的只有受过训练的白天和黑夜的照片，DNI是能够产生一系列图像，模拟夜晚的来临在图7c中，随着夜晚的临近，它变得越来越暗，灯光逐渐点亮，反映在水面上。4.3. 风格迁移当将一件或多件艺术品的风格转移到输入图像时，有几个可控制的因素，风格的混合、笔画的调整以及内容与风格的平衡。一些现有的方法设计了特定的结构来实现对这些因素的连续控制[16]。相反，DNI提供了一种实现相同目标的一般方法，而没有具体的解决方案。如图8所示，DNI能够在不同风格之间生成从大笔划到小笔划的平滑过渡，同时平衡内容和风格。此外，DNI可以在多个模型之间应用，以实现对各种因素的连续控制。例如，可以根据用户的喜好同时调整笔画和样式，如图11所示。8.现有方法的另一个分支通过内插实例归一化（IN）的参数来实现各种艺术风格的组合[6，12]。这些方法可以被视为DNI的特殊情况，其中仅对IN参数进行微调和插值。为了澄清DNI和IN插值之间的差异，我们使用3种设置进行实验：1）微调IN; 2）微调卷积层和3）微调IN和卷积层。具体地说，如图9，我们尝试了一个具有挑战性的任务，从生成马赛克风格的图像到生成火焰风格的图像，其中两种风格在颜色和纹理上看起来都非常不同。结果表明，仅微调IN能有效地实现颜色转换，但与其他两种设置相比，无法有效地传递火焰这一观察表明，卷积层在风格建模中也起着重要作用，特别是对于纹理，因为IN参数可能无法有效捕获空间信息。然而，我们不主张DNI是considerably优于IN插值，因为在大多数情况下，IN也是effec-tive。更深入的研究留待今后的工作。4.4. 语义转换除了低层次的视觉任务，我们表明，DNI也可以应用于面部属性的平滑过渡，这表明其潜在的语义调整。我们首先1699男性女性年轻老内容与风格图8.在图像风格转换中，不需要特定的结构和策略，DNI能够在不同的风格，从大笔画到小笔画，以及平衡的内容和风格。（放大以获得最佳视图）仅微调输入仅微调conv微调conv和IN图9.仅IN微调在颜色变换中是有效的，但是，它不能有效地转移火纹理图10.使用DNI对面属性进行平滑过渡。使用具有一个属性的CelebA [27]数据集训练DCGAN模型[30]（例如，年轻或男性）。之后，我们对它进行微调，以生成具有另一个属性的面部（例如，老或女）。然后，DNI能够通过插值这些模型来生成一系列具有平滑转换属性的面部（图11）。第10段）。虽然两个插值模型都没有观察到任何具有中间属性的数据，但是处于中间状态的面部具有中间属性并且看起来自然。4.5. 限制我们已经表明，DNI提供了一个简单而通用的approach过渡操纵。然而，DNI也有限制- 1）它需要微调或联合训练，否则内插模型是无意义的; 2）如果两个（或几个）任务关系很小（即，DNN针对不同的任务进行了训练），插值模型无法产生有意义的结果。我们检查了成功插值模型的相关性指标，它们在[0.689，1）中。但对于那些失败的情况下，相关性指数是非常小的（0.1）。未来的工作将研究如何量化网络的5. 结论本文提出了一种新的参数空间内插概念，在多个相关网络的相应参数之间应用线性插值调整插值系数时，图像效果平滑变化通过对超分辨率、去噪、图像间转换和风格转换的大量实验，我们证明了所提出的方法尽管简单，但适用于广泛的低层次视觉任务。与现有的通过特定任务设计实现连续转换的方法相比，该方法易于推广，计算开销可以忽略不计。未来的工作将研究网络插值对高级任务的影响。谢谢。本研究得到了由香港特别行政区研究资助局资助 的 综 合 研 究 基 金 （ 香 港 中 文 大 学 ， 14241716 ，14224316）、中国科学院-香港联合实验室、商汤集团有限公司的支持。14209217）和新加坡MoE AcRF Tier1（M4012082.020）。风格中风1700引用[1] HaroldCBurger 、 ChristianJSchuler 和 StefanHarmeling。图像去噪：普通神经网络能与BM3D竞争吗？CVPR，2012。一、二[2] Chao Dong ， Yubin Deng ， Chen Change Loy ， andXiaoou Tang. 通过 深度卷积 网络减少 压缩伪 影。在ICCV，2015年。1[3] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。2014年，在ECCV。一、二、四[4] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi.图像恢复的非局部集中稀疏表示。TIP，22（4）：1620-1630，2013. 2[5] Vincent Dumoulin，Ethan Perez，Nathan Schucher，Flo-rian Strub ， Harm de Vries ， Aaron Courville ， andYoonneBengio. 智 能 转 型 。 蒸 馏 ， 2018 。https://distill.pub/2018/feature-wise-transformations. 3[6] Vincent Dumoulin，Jonathe Shlens，Manjunath Kudlur，Arash Behboodi ， Filip Lemic ， Adam Wolisz ， MarcoMoli- naro ， Christoph Hirche ， Masahito Hayashi ，Emilio Bagan，et al.对艺术风格的博学的表现。ICLR，2016年。一、二、七[7] 莱昂纳多·加尔泰里，洛伦佐·塞代纳里，马可·贝尔蒂尼，阿尔-贝托·德尔宾博.深度生成对抗压缩伪影去除。InICCV，2017. 2[8] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在CVPR，2016年。一、二[9] Golnaz Ghiasi ， Honglak Lee ， Manjunath Kudlur ，Vincent Dumoulin，and Jonathon Shlens.探索实时、任意神经艺术风格化网络的结构。在BMVC，2017年。2[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。二、三[11] Gao Huang ， Zhuang Liu ， Kilian Q Weinberger ， andLaurens van der Maaten.密集连接的卷积网络。在CVPR，2017年。二三五[12] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。InICCV，2017. 二、七[13] Xun Huang ， Ming-Yu Liu ， Serge Belongie ， and JanKautz. 多 模 态 无 监 督 图 像 到 图 像 翻 译 。 在 ECCV ，2018。2[14] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。InICMR，2015. 3[15] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。一、二、六[16] 永成景、杨柳、叶州杨、迅雷风、益州余、大成涛、明丽宋。具有自适应感受野的可控制的快速风格迁移。在ECCV，2018。二、七[17] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。一、二[18] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常 深的 卷积 网络 实现 精确的 图像 超分 辨率 。在CVPR，2016年。一、二[19] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯 金字 塔网 络实 现快 速和精 确的 超分 辨率 。在CVPR，2017年。2[20] Chris t ianLedig ， LucasTheis ， FerencHusza'r ，JoseCaballero， AndrewCunningham ， AlejandroAcosta ， Andrew Aitken ， Alykhan Tejani ， JohannesTotz，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在CVPR，2017年。一、二、五[21] Chuan Li和Michael Wand。结合马尔可夫随机场和卷积神经网络进行图像合成。在CVPR，2016年。2[22] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.用前馈网络实现多样化纹理合成。在CVPR，2017年。3[23] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。在NIPS，2017年。2[24] Yixuan Li，Jason Yosinski，Jeff Clune，Hod Lipson，and John E Hopcroft.收敛学习：不同的神经网络学习相同的表征吗？ICLR，2016年。4[25] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPRW，2017年。2[26] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。在NIPS，2017年。一、二、六[27] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。 在ICCV，2015年。8[28] Seungjun Nah，Tae Hyun Kim，and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。在CVPR，2017年。一、二[29] 伊桑·佩雷斯，弗洛里安·斯特鲁布，哈姆·德·弗里斯，文森特·杜莫林， 和亚伦·库维尔 胶片： 视觉推理与一般条件反射层。arXiv预印本arXiv：1709.07871，2017年。3[30] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉使用深度卷积生成对抗网络进行无监督表示学习ICLR，2016年。8[31] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。二、三[32] Jian Sun，Wenfei Cao，Zongben Xu，and Jean Ponce. 学习用于非均匀运动模糊去除的卷积神经网络。CVPR，2015。2[33] Ying Tai，Jian Yang，and Xiaoming Liu.基于深度递归残差网络的图像超分辨率。在CVPR，2017年。2[34] Radu Timofte，Eirikur Agustsson，Luc Van Gool，Ming-Hsuan Yang ，Lei Zhang ，Bee Lim ，Sanghyun Son ，Heewon Kim ， Seungjun Nah ， Kyoung Mu Lee ， et1701al.Ntire 2017对单个图像超分辨率的挑战：方法和结果。在CVPRW，2017年。一、五1702[35] Dmitry Ulyanov，Vadim Lebedev，Andrea Vedaldi，andVic- tor S Lempitsky.纹理网络：纹理和风格化图像的前馈合成。InICMR，2016. 2[36] Paul Upchurch，Jacob R Gardner，Geoff Pleiss，RobertPless ， Noah Snavely ， Kavita Bala ， and Kilian QWeinberger.针对图像内容变化的深度特征插值。在CVPR，2017年。3[37] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.用条件gans实现高分辨率图像在CVPR，2018年。一、二、六[38] Xintao Wang，Ke Yu，Chao Dong，and Chen ChangeLoy.基于深度空间特征变换的图像超分辨率真实感纹理恢复。在CVPR，2018年。3[39] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen Change Loy.ESRGAN：增强的超分辨率生成对抗网络。在ECCVW，2018年。三、五[40] Zhangyang Wang ， Ding Liu ， Shiyu Chang ， QingLing，Yingzhen Yang，and Thomas S Huang. D3：JPEG压缩图像的基于深度双域的快速恢复在CVPR，2016年。2[41] Kilian Q Weinberger和Lawrence K Saul。基于半定规划的图像流形无监督学习。IJCV，70（1）：77-90，2006. 3[42] Li Xu，Jimmy SJ Ren，Ce Liu，and Jiaya Jia.用于图像反卷积的深度卷积神经网络。在NIPS，2014。2[43] 柯宇，朝东，梁林，陈昌来。通过深度强化学习制作图像恢复工具链。在CVPR，2018年。2[44] Kai Zhang ， Wangmeng Zuo ， Yunjin Chen ， DeyuMeng，and Lei Zhang.超越高斯降噪器：深度CNN的残差学习用于图像去噪。TIP，26（7）：3142-3155，2017. 一、二、五[45] 张凯、左王梦、古书航、张磊。用于图像恢复的深度cnn去噪先验学习。在CVPR，2017年。2[46] 张凯、左王梦、张磊。学习单个卷积超分辨率网络以进行多次降级。在CVPR，2018年。二、三[47] Jun-Yan Zhu ， Taesung Park ， Philli