无监督领域自适应超分辨率算法的研究

4318→无监督真实世界超分辨率：领域自适应视角Wei Wang1 *，Haochen Zhang12 *，Zehuan Yuan1†，ChanghuWang11字节跳动AI实验室，2加州大学圣地亚哥分校{wangwei.frank，yuanzehuan，wangchanghu} @ bytedance.comhaz035@ucsd.edu摘要大多数现有的基于卷积神经网络（CNN）的超分辨率（SR）方法通过人工合成来自高分辨率（HR）图像的低分辨率（LR）图像来生成它们的配对训练数据集。然而，由于训练数据和测试数据之间的固有域差距，这种数据集准备策略损害了这些CNN在现实场景中的应用针对该挑战的流行尝试是未配对的生成对抗网络，其使用图像到图像转换从真实HR图像生成“真实”LR对应物，然后从“真实”LR SR执行超分辨率。尽管取得了很大的进展，但仍然难以合成完美的“真实”LR图像以实现超分辨率。在本文中，我们首先考虑现实世界的SR问题，从传统的域自适应的角度来看。我们提出了一种新的基于特征分布对齐的非配对SR训练框架，利用该框架可以获得退化不可区分的特征图，然后将其映射到HR图像。为了产生更好的SR图像的目标LR域，我们引入了几个正则化损失，迫使对齐的特征定位在目标域周围我们的实验表明，我们的SR网络在不同的数据集上获得了最先进的性能，超过了盲SR方法和非配对SR方法。1. 介绍单幅图像超分辨率（Single image super-resolution，SISR）是一种提高低分辨率图像分辨率的技术近年来，卷积神经网络（CNN）已被应用于SISR任务[6]，并实现了传统技术的最先进性能[5]为了构建训练图像对，一些SR研究利用确定的操作，例如双三次插值，对原始高分辨率* 作者的贡献是平等的。这部作品是张皓晨在字节跳动实习时完成的。†通讯作者。（HR）图像。显然，这样的预定义技术限制了模型泛化能力，因为在真实LR图像中存在一些未知类型的模糊和因此，训练LR图像和真实世界测试图像之间臭名昭著的域差距损害了这些训练有素的CNN在真实世界场景中的推理性能。盲SR是处理真实LR图像的直接尝试，其目的是从具有未知退化参数的LR对应物恢复HR图像例如，[1，10，20]在训练过程中考虑了任意模糊内核尽管这些盲模型对于大范围的预定义劣化已经实现了令人满意的性能，但是性能在真实世界场景中仍然会急剧下降，因为真实LR图像的分布无论如何都不同于通过手动设计的操作而劣化的那些。最近，受生成对抗网络（GAN）[9]在图像风格翻译[48]中的成功启发，许多研究使用CycleGAN[48]框架以不成对的方式训练SR网络 他们通常假设只有两个未配对的数据集可用：没有预定义降级的真实LR数据集和真实HR数据集。其主要思想是使用图像到图像的转换从真实的HR图像直接生成真实的LR计数器。然后，训练SR网络以将降级的LR输出以配对方式映射到对应的HR图像。虽然这些方法通过直接模拟真实LR图像分布在真实世界SR中显示出它们的优点，但是仍然难以训练理想的退化LR图像生成器以完美地模拟真实图像，并且真实世界SR到目前为止仍然是一个具有挑战性的问题。在现有的SISR的努力产生似是而非的“真正的”LR的图像到图像的传输，在本文中，我们重新考虑不成对的现实世界的SR从特征级域适应的角度来看。具体地，源域包括真实HR数据集及其合成LR对应物，而真实LR数据集被视为没有标签的目标域输入。与尝试学习域不变图像表示的高级视觉任务相反，我们的目标是获得退化不可区分的特征图，然后将这些特征图映射到HR图像。4319受学习域不变特征的几种基于对抗的域自适应方法的启发[8，26，31]，我们提出了一种基于特征对齐的非配对SR训练的新框架，如图1（a）所示。这种特征对齐技术有望使来自源和目标LR图像的特征不可区分，使得我们可以通过使用仅用源HR监督训练的解码器网络在推断阶段获得目标HR图像然而，与其中对齐的图像表示具有低分辨率的高级域自适应不同，SR任务中的共享特征空间由于CNN中相对较少的下采样而非常大因此，如图1（b）所述，我们还引入了额外的约束，以进一步帮助对齐特征，并与传统的域自适应任务相比保留更多的细节。图2中示出了用于未配对SR训练的基于全域自适应的框架。据我们所知，这是第一个将不成对SR训练作为特征级域自适应问题的工作• 我们提出了一种新的不成对SR训练框架的基础上特征分布对齐。• 我们引入了几个损失，不仅更好地对齐特征空间，而且还保留了下游SR任务的图像细节。• 在三个具有挑战性的数据集上进行的大量实验表明，我们提出的方法比现有的非配对SR训练解决方案具有优势。2. 相关工作域适配。域自适应是迁移学习的一个分支，其中源域标签可用，但目标域标签不可用。领域自适应的流行实践是匹配领域之间的特征分布，以便获得领域不变的图像表示。Long等人在[16]中使用DAN来最小化域特定层上的最大均值差异（MMD）。Ganin等人[8]使用具有梯度反转层的域分类器来鼓励特征提取器学习域不变特征。从那时起，以对抗方式学习域不变表示的方法蓬勃发展。例如，[26]提出了一种MADA方法，该方法捕获多模式结构以更好地对齐不同的数据分布。如今，领域自适应方法已被广泛用于高级任务，例如[4，24，34，36]。非盲SISR。在非盲SR域中的工作假设从HR到LR的退化是已知的，并且在大多数情况下它是双三次插值。先驱方法是图1.我们框架中两个关键组件的示意图。(a)引导编码器E使用特征域鉴别器Df来学习劣化不可区分的特征图。(b)通过迫使解码器Gt恢复具有源和目标内容的目标降级，使得编码器保留来自目标LR域的更多信息，即xs→t和xt→ t。两个部分都进一步受到HR重建损失的限制，如图2所示，以便精确的超分辨率帮助特征。SRCNN[6]和大多数以下方法[5，12，13，29，29，29]。30，44，45]重点提出强大的网络块，以更好地利用内部和外部信息。例如，[45]提出了一个剩余密集块来提高模型的表达能力。也有直接考虑视觉质量的作品[15，37，43]。例如，[15]提出了SRGAN，它使用特征损失[11]和GAN损失来生成视觉上令人愉悦的结果。盲SISR。该字段通常假设在下采样中使用的模糊核不可用。因此，许多方法[1，10，20，23，47]选择首先估计未知核，然后使用估计的核先验执行标准SISR。例如，[1]使用KernelGAN学习了模糊核分布。IKC[10]提出了一种校正网络，该网络用估计网络迭代训练。最近，[20]以端到端的方式训练了几个估计和SR网络对。虽然估计核提高了盲SR的性能，但大多数现有方法不能很好地处理除模糊之外的退化还有像ZSSR[27]及其变体[25，28]这样的作品，它们用自相似性训练SR。然而，这些特定于图像的模型需要针对每个LR图像的额外训练阶段，这在应用中是高成本的。该类别中的未配对SISR方法解决了在不提供HR-LR对 的 无监 督 设 置 下 的SR 训 练 。受 CycleGAN[48]和DualGAN[39] 的 启 发 ， Yuanet al. [40] 结 合 了 两 个CycleGAN，并构建了一个CinCGAN来处理无监督SR训练。[46]设计了一个双循环退化网络，并使用双循环一致性来训练从高到低的GAN和从低到高的GAN。4320S不{|S}T{|T}SSxsS（x）FS图2.我们提出的框架的整个数据流 E表示相同编码器的三个副本，并且Gt、GSR表示两个不同的解码器。xt和xs分别是来自目标域和源域的输入LR图像，并且ft、fs是对应的特征图。如不同颜色的箭头所暗示的，Xt-t是从与Xt具有相同内容和退化的特征ft恢复的图像。 xs→t是从具 有 x s 的 内 容和x t的灰度的特征f s生成的。 然后xs→t被馈送到编码器E中以提取特征f~s。最后，从特征图fs和fs中分别生成超分辨图像ys→t→s和ys→s。设计见图1每个组件的原理和目视检查图5到高SR网络。[3]和[17]提出首先使用GANs来模拟退化过程，然后使用生成的真实退化对以监督的方式训练SR网络。相反，[21]在推理过程中使用了两个网络：一个从真实退化的LR图像中产生伪干净LR图像，另一个被训练成具有“伪监督”的SR网络。所有提到的方法将假LR/HR图像转换为伪真实图像，以便获得用于SR网络训练的图像级监督，这与我们提出的基于域自适应的框架（其应用特征级域对齐和正则化）有很大不同。3. 该方法根据在无监督SR训练中广泛使用的假设，我们具有未配对的真实LR和真实HR数据集，但没有退化先验。令表示包括具有命名为ys的样本的真实HR数据集的源域。 同样，让表示由具有样本xt的真实LR数据集组成的目标域，并且没有可用的基础事实。为了进行域适应训练，我们仍然需要源LR图像xs。幸运的是，这一要求很容易满足，因为生成源LR输入输入LR图像x并输出重建的HR图像的架构，即SR结果。编码器E包括几个卷积层，我们将其参数表示为θE，即f=E（x;θ E）。然后由解码器GSR将特征f映射到重建的HR图像上，并将GSR的参数定义为θGSR。最后，我们定义了一个判别器Df，其参数为θDf.特征对齐丢失。 在训练阶段，我们希望获得退化不可区分的特征f。为了实现这一点，我们需要两个分布：（f）=E（x; θ E）x（x）和（f）=E（x; θ E）x（x）是相似的。一种简单的方法是采用GAN结构来减少这两种特征分布的分布偏移详细地，我们使用编码器网络E的两个副本来生成源特征图fs以及目标特征图ft。然后，训练鉴别器Df以区分每个特征图的域，而训练编码器E以欺骗Df。通过对抗方式实现E和D f的优化。 由于在SR任务中，特征图fs和ft不是表示向量而是3D张量，因此我们在这里使用LSGAN[22]：minLali gn（E）=ExT（x）Σ（Df（E（xt））−0.5）2Σ来自源HR图像ys的年龄xs通过合成是廉价的θE和方便。给定上述条件，所提出的基于域自适应的不成对SR训练框架，不+EΣ（D（E（x））− 0。5）2Σ（一）如图2所示，在本节中介绍。minLalign（Df）=ExT（x）Σ（Df（E（xt））−0）2Σ3.1. 要素分布对齐θDf不+ExS（x）Σ（Df（E（xs））−1）2Σ（二）如图1（a）所示，源域和目标域之间的特征对齐是所提出的框架的第一个关键部分在这一部分中，我们定义了一个编码器-解码器ar-SR重建丢失。同时，我们还旨在在源域中重建HR图像。因此，我们将对齐的源特征图fs馈送到4321LLSΣΣ不¨t解码器网络GSR，并通过ys-s=GSR（fs;θ GSR）获得重构结果ys-s。因此，编码器E和解码器GSR可以通过最小化MAE和广泛使用的感知损失以监督的方式被优化，如等式（1）所示。（三）、在这里，fea基于在VGG网络[11]上，adv是使用LSGAN[22]计算的对抗损失。还迫使解码器Gt生成具有目标域分解的源LR输入，xs-t=Gt（fs;θGt）。换句话说，我们希望xs→t有xs的内容，但有xt的退化。我们通过重新使用en-编码器E，如图1（b）所示的红色数据流。首先，与大多数基于CycleGAN的方法一样，我们采用了另一种基于CycleGAN的方法。参数为θDt的鉴别器Dt 以及一个保证x t和x s→t具有相似分布的广告损失：Lrec（E，GSR）=ys−ys→s1+α Lfea（ys，ys→s）+β Ladv（ys，ys→s）（三）minθE，θGtLsty（E，Gt）=EfS（f）（Dt（Gt（fs））−1）2（五）以这种方式，编码器闭合了在编码器之间的间隙。minLsty（Dt）=EfS（f）Σ（Dt（Gt（fs））−0）2Σ源和目标特征域，并且解码器可以将共享特征空间中的特征映射到生动的超θDtS+ExT（x）Σ（Dt（xt）−1）2Σ（六）解析图像。结果，在推断阶段期间，我们可以通过将对准的目标特征图ft馈送到解码器GSR中来获得目标域中的重建的HR图像。3.2. 特征域正则化在上一小节中，我们描绘了一个关于使用域自适应来进行非配对SR训练的框架。然而，仅仅在低级视觉任务（例如SR）中对齐特征图是不够的。需要进一步分析SR任务的特殊性。特征标识丢失。然后我们需要一个恒等式损失来保持xs→t的内容不变。与大多数基于CycleGAN的方法不同，我们在这里在特征级应用身份丢失。具体来说，我们将xs→t输入编码器E，得到其特征映射f~s=E（xs→t;θE）。注意xs具有源含量和源退化，而xs→t具有源含量和目标退化。它们两者都由相同的编码器E映射到退化不可区分的共享特征空间中。 在那里-因此，在理想情况下，特征图fs和f~s应该相同。标识丢失应该是像素的形式：直观地，在高级域自适应中，编码器可以只丢弃一些与分类无关的纹理Lidt（E，G）=fs-fs¨（七）以获得域不变的图像表示。相比之下，SR网络不能丢弃纹理信息，但需要恢复高频细节。此外，SR中的三维张量特征空间太大，无法保证良好的对准性能。因此，我们需要额外的regularizations-tions对齐的特征空间。考虑到我们的最终目标是在目标域中恢复HR图像，我们希望编码器E保留来自目标LR图像的更多信息受CycleGAN[48]在图像级转移域的成功启发，我们在特征域中采用类似的策略，使共享特征空间更接近目标特征域。 为了实现这一点，我们需要另一个解码器Gt，其参数表示为θGt。目标LR恢复损失。 显示为黑色流在图1（b）中，从共享特征空间开始，我们将目标特征映射ft馈送到解码器Gt中，以重新存储目标LR输入本身，即， xt→t=Gt（ft;θGt）.这种损失在两个方面起作用：1）它迫使编码器E在提取特征时尽可能多地保留目标领域信息。因此，它使共享特征空间更接近目标域。2）它要求解码器Gi在生成目标主图像的同时保留图像内容。 这个术语是由像素损失Lres.循环损耗。最后，如图2所示，我们重新使用解码器GSR以进一步保证共享特征空间包含用于重建HR图像的有用信息。它类似于CycleGAN框架中的周期损失，而它也可以被视为我们框架中的特征级数据详细地说，我们将fs馈送到解码器GSR中以获得另一个超分辨结果ys→t→s。应用于ys→t→s的损失函数与应用于ys→s的损失函数完全相同，即VGG网络和鉴别器两者是共享的。Lcyc（E ，Gt，GSR）=ys−ys→t→s1+α Lfea（ys，ys→t→s）+β Ladv（ys，ys→t→s）（八）目标明确利用上述正则化损失，我们使编码器E更集中于提取和表达来自目标域的具有用于HR重建的有用信息的块的相似性。结果，编码器E和解码器Gt、GSR用以下目标函数来训练：（9）以端到端的方式。鉴别器D f和Dt以及等式（1）中的鉴别器Df和D t可以是相同的。（3）和方程（8）以交替的方式用其相应的损失进行训练。Ltrain=λalign Lalign（E）+λrec Lrec（E，GSR）14322Lres（E，Gt）=xt−xt→t1（4）目标退化样式丢失。 同时，我们+λresLres（E，Gt）+λstyLsty（E，Gt）+λidtLidt（E，Gt）+λcycLcyc（E，Gt，GSR）（九）4323××表1.在未配对数据集上与最先进的盲/无监督方法进行定量比较†表示结果取自官方网站1。* 表示结果取自Maeda等人。[21 ]第20段。请注意，LPIPS是这里最重要的指标，而PSNR和SSIM仅供参考。虽然提高了视觉质量，但盲恢复方法的组合在现实世界的SR设置中明显在所有的非配对SR方法中，我们提出的方法在两个数据集上都获得了最好的性能。其中λrec、λalign、λres、λsty、λidt、λcyc是损失权重，表示每个目标的贡献4. 实验4.1. 培训详细信息与 之 前 需 要 两 个 训 练 阶 段 的 无 监 督 方 法 （ 如CinCGAN[40]，DASR[38]）不同，我们的框架通过端到端模式的单个训练步骤进行优化。 对于生成器和鉴别器，我们使用Adam优化器[14]，β1=0。9，β2= 0。九十九初始学习值为110- 4。 学习率为在250k、350k、450k和550k迭代时减半。 在每个迭代，我们用8的小批量大小训练整个框架，LR图像的补丁大小为128 × 128。然后，在训练过程中执行随机翻转和旋转的数据增强为了简单起见，我们将方程中的（9）按功能分为两组。一组（λrec、λres、λcyc）控制图像重建，另一组（λalign、λsty、λidt）控制主对齐。我们只需将同一组中的权重设置为相同，然后调整两组之间的比例。 方程中的系数。（3）和方程（8）固定为α=0。01，β=0。01根据以前的作品[7]。更多细节可以在发布的代码中找到。4.2. 非配对数据集我们主要在两个不配对的SR数据集上进行实验。两者 都 是 AIM 2019[19] （ Track 2 ） 和 NTIRE 2020[18]（Track 1）真实世界超分辨率挑战赛中提供的官方数据集。由于两个数据集的生成和划分相似，这里仅对NTIRE2020数据集作为一个简单介绍。1https://competitions.codalab.org/competitions/22220#learn_the_detailsexample.更多详情请参见他们的论文[19]和[18]。 ”[18]如《说文》所言：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！设计一个退化算子，生成通常由部署在非常低端设备上的图像处理产生的结构化伪影 由于这种类型的退化是未公开的，并且与先前使用的退化非常不同，因此退化的图像至少在实验上可以被认为是真实的LR。通常在该数据集中，训练图像被分成两个子集。其中一个包含2，650张Flickr2K[37]图像，具有上述退化但没有下采样。另一个具有来自DIV2K数据集的800个干净HR图像[32]。为了验证和测试，首先对相应分割内的DIV2K图像进行下采样，然后降级。为了生成源LR图像，我们添加了下采样，高斯噪声和高斯模糊来清洁HR图像.我们训练我们的网络使用提供的不配对训练数据和合成的源LR图像。我们在包含100个图像的验证集上评估SR性能此外，损失权重被设置为：λ rec=1，λ res=1，λ cyc=1，λalign=0。01，λ sty=0。01，λ idt= 0。01.与最先进的盲法比较。由于没有一个流行的基准无监督SR，我们做了一个简单的一个通过收集公共结果并在AIM 2019和NTIRE 2020竞赛数据集上运行作者提供的最先进的盲/无监督SR测试代码。它还包括一些国家的最先进的恢复和盲目SR方法的组合。结果报告于表1中。由于在现实世界中SR设置感知是主要目标并且与失真[2]矛盾，因此LPIPS[42]是表1中最重要的度量，而PSNR和SSIM被提供用于参考。首先，在由级联恢复组成的方法中，方法AIM 2019LPIPS↓PSNR↑SSIM↑方法2020年新轮胎展LPIPS↓PSNR↑SSIM↑†双立方0.673 22.36 0.614†MadDeamon（冠军）0.403 21.00 0.504沪ICP备 16006669号-1KernelGAN[1]+ZSSR[27] 0.613 22.40 0.611DnCNN[41]+K. [1]+Z. [27] 22.40 0.614DnCNN[41]+IKC[10] 0.614 22.26 0.596*Maeda等人[21] 0.454 22.88 0.661DASR[38]0.34621.79 0.577我们的†双三次0.632 25.52 0.671†印象主义（获胜者）0.227 24.83 0.672沪ICP备 16006660号-1KernelGAN[1]+ZSSR[27] 0.598 25.34 0.661DnCNN[41]+K. [1]+Z. [27] 0.438 25.84 0.722DnCNN[41]+IKC[10] 0.384 26.50 0.748沪ICP备15025665号-1我们的0.25225.40 0.7074324图3.最先进方法的目视检查。第一行是来自AIM 2019验证集的图像可以看出，在没有伪影的结果中，我们的结果是最清晰的，并且具有与我们的结果一样清晰的结果的那些基线生成明显的伪影。在AIM 2019上获得最佳LPIPS性能，在NTIRE 2020数据集上获得第二名，而+ IKC[10]是NTIRE 2020上最好的。虽然提高了视觉质量，但这些组合明显劣于现实世界SR设置中的无监督方法。在AIM 2019数据集上的所有无监督方法中，我们的LPIPS性能最好，视觉质量最好，如图3所示。在NITRE 2020数据集上，我们的方法优于所有已发布的基线。与Winner方法相比，我们的方法在视觉质量上达到了类似的性能图3显示了目视检查的一些示例。对NTIRE 2020 Track2数据集进行目视检查。图4还给出了NTIRE 2020 Track 2数据集的一些视觉比较，其设置完全是真实世界的场景。用于该跟踪的训练和测试图像都由智能电话捕获，包含从部署在智能电话上的图像增强操作生成的伪影目标是参考未配对的高质量图像重建干净的HR图像。目视质量是唯一的测量方法。从图中可以看出，我们的方法可以生成具有最少伪影的高频细节这一结果表明，我们的模型可以抑制文物比现有的不成对SR方法。4325LL图4.NTIRE20（跟踪2）数据集的目视检查此处显示图像“00022”和“00040”的补丁正如我们所看到的，我们的SR网络可以生成HR细节，同时减少伪影。用户名PSNR↑SSIM↑ZSSR[27]22.170.472KernelGAN[1]+ZSSR[27]22.270.475DnCNN[41]+K. [1]+Z. [27日]22.520.489[10]第10话21.560.433*Maeda等人[21日]21.320.554我们23.390.537表2.在配对数据集上与最先进的盲法进行定量比较* 是指结果取自Maeda等人。[21 ]第20段。从该表中可以看出，我们提出的方法在PSNR方面优于所有的盲恢复组合以及最先进的未配对SR方法。4.3. 配对数据集数据集。我们在合成配对数据集DIV2K真实野生数据集上进行了一些额外的实验。该集合是NTIRE 2018超分辨率挑战赛的Track 4数据集[33]。具体地，它通过4倍下采样、运动模糊环、像素移位和加性噪声来模拟“真实野生”LR图像。降级操作是图像特定的，这意味着降级在单个图像内是相同的，但一对一不同。Timofte等人通过将每个DIV2K训练图像降级四次，总共生成3，200个LR和800个HR训练样本。在[21]之后，我们使用“未配对/未对齐”采样来训练我们的模型再次，我们评估SR perfor- mances的现实野生验证集，因为地面真相的测试图像不可用。由于本次比赛从PSNR/SSIM的角度评估所有方法，因此我们不使用Eq.（3）和方程（八）、这里，我们使用超参数λrec=10，λres=10，λcyc=10，λalign=1，λsty=1，λidt=1。与最先进的盲法比较。由于在多重退化问题上没有广泛使用的盲SR基准，因此我们将不同的盲SR方法与盲恢复结合起来作为基线，如[21]。我们报道前田等人结果也在表2中。如表中所示，我们的SR网络显著提高了PSNR性能，并实现了第二好的SSIM，第一个之间的差距很小。4.4. 消融研究本节中进行的所有消融研究均基于NTIRE 2020[18]（跟踪1）的数据集。中间产品。首先，我们可视化一些中间产品的例子，以提供一个直观的验证，我们的管道工程的预期。 如图5所示，源域LR图像Xs具有与目标域LR图像Xt不同的退化。然后我们的解码器Gt解码共享空间中的特征，xs→t和xt→t，它们的含量不同，但与靶结构域的降解相同。这一结果表明我们的亲所造成的损失实际上迫使编码器E保留来自目标LR图像的更多信息。目标函数。然后，我们进行烧蚀实验，以调查每个建议的组件的贡献。因此，我们设计了我们提出的网络的一些变体(1)基本模型。该模型仅包括编码器E和解码器GSR。在训练阶段，我们使用源域数据以配对的方式训练这个模型，损失只是rec。 然后，我们进行推理测试LR图像具有相同的退化目标域。(2)特征对齐模型。 我们向基本模型添加了特征对齐损失和特征对齐该变体表示完全如图1（a）所示的普通域适配(3)完整模型不带4326LLLLL方法LPIPS↓ PSNR↑ SSIM↑(1)基本型号0.436 25.65 0.666（2）仅对齐0.448 25.20 0.653(3)完整模型w/o对齐0.37325.530.663（4）完整模型0.29625.140.690表3. NTIRE 2020数据集上目标函数的消融研究。变体（4）和（3）之间的改进证明了我们的特征分布对齐的有效性。比较变体（2）和（3）显示了我们的特征域正则化的重要性。图5.所提出的方法的中间图像。xs是来自DIV2K验证地面实况集的图像“0803”的双三次下采样结果，x t是来自NTIRE2020竞争验证集的图像“0890”。对齐该模型可以被视为具有额外两个身份约束的CycleGAN类框架：目标LR恢复丢失分辨率和特征标识丢失idt。(4)全模型。第3节中提出的所有网络和损耗都用于此模型。每个变体的性能示于表3中。首先，由于训练和测试LR数据之间的域差距，基本模型的性能不佳。其次，变体（2）表明在与3D张量一样大的共享特征空间中进行特征对齐是困难的。第三，比较变体（2）和变体（4），表明我们的特征域正则化可以将共享空间缩小到目标域。最后，变体（3）和（4）之间的改进突出了我们的特征分布对齐的有效性。源LR合成。源LR图像的合成是否会影响性能？下面的实验给出了答案。在这一部分中，我们以两种方式合成LR图像：（1）一种是简单的双三次下采样;（2）另一种是复杂降解，如第四点二。我们在这两种源LR图像上训练图6中的上述具体来说，我们使用超参数λrec=10，λres=10，λcyc= 10。图6.所提出的方法和基础模型的LPIPS性能。(a)源LR图像通过双三次下采样生成。(b)额外的随机模糊和噪声被添加到源LR图像。10 ， 对 于 简 单 的 双 三 次 数 据 ， λalign=1 ， λ sty=1 ，λidt=1，因为两个设置中的域间隙完全不同。我们在图6中报告了它们的性能。首先，我们可以发现在复杂的退化对上训练的该结果意味着第二源LR域更接近目标LR域。其次，通过比较第三，请注意对两种源LR图像的改进在源域和目标域间距较大的情况下，该方法获得了较大的改进。也所有这些结果证实了我们提出的方法在学习退化-不可区分但超分辨率-有用的特征方面的有效性。5. 结论在本文中，我们将不成对的随机共振训练归结为一个自适应问题.通过使用我们提出的特征分布对齐损失和特征域正则化损失，我们的SR网络的编码器可以将来自不同域的LR图像映射到一个共享的退化-不可区分的特征空间，该特征空间相对更接近目标特征域。然后用两个SR重建损失进行训练，我们的SR网络的解码器可以从共享特征空间中的特征重建生动的HR图像。在不同数据集上的大量实验证明了我们所提出的框架的有效性。虽然没有伪影，我们的方法往往会产生更平滑的结果。我们将在今后的工作中处理这个问题4327引用[1] Sefi Bell-Kligler、Assaf Shocher和Michal Irani。使用内部增益的盲超分辨率核估计。第284-293页，2019年。一、二、五、七[2] 约柴·布劳和托莫·麦克利。感知失真的权衡。在CVPR中，第6228-6237页，2018年。5[3] Adrian Bulat，Jing Yang，and Georgios Tzimiropoulos.要学习图像超分辨率，请首先使用gan学习如何进行图像降级。在ECCV，第185-200页，2018年。3[4] 陈明昊，薛宏阳，蔡登。 最大平方损失的语义分割的主适应。在ICCV，第2090-2099页，2019年。2[5] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.二阶注意力网络用于单幅图像超分辨率。在CVPR中，第11065-11074页，2019年。一、二[6] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence，38（2）：295-307，2015。一、二[7] 曼纽尔·弗里奇、古书航、拉杜·提莫夫特。用于现实世界超分辨率的频率分离。在ICCV工作室，第3599-3608页，2019年。5[8] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督在ICML，第11802[9] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成对抗网络。ACM的通信，63（11）：139-144，2020。1[10] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在CVPR中，第1604-1613页，2019年。一、二、五、六、七[11] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。ECCV，第694-711页，2016年。二、四[12] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。CVPR，第1646-1654页，2016年。2[13] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.用于图像超分辨率的深度递归卷积网络。在CVPR，第1637-1645页，2016年。2[14] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[15] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在CVPR中，第4681-4690页，2017年。2[16] 龙明生，曹跃，王建民，迈克尔·乔丹.使用深度自适应网络学习可转移特征在ICML，第97-105页，2015中。2[17] Andreas Lugmayr，Martin Danelljan，and Radu Timofte.真实世界超分辨率的无监督学习在ICCV研讨会），第3408-3416页3[18] Andreas Lugmayr，Martin Danelljan，and Radu Timofte.Ntire 2020挑战真实世界图像超分辨率：方法和结果。在CVPR研讨会，第494-495页，2020年。五、七[19] AndreasLugmayr ， Martin Danelljan ， Radu Rifte ，Manuel Fritsche，Sourine Gu，Kuldeep Purohit，PraveenKandula ， Maitreya Suin ， AN Rajagoapalan ， NamHyung Joon，et al. AIM 2019挑战真实世界图像超分辨率：方法和结果。在ICCV研讨会，第35755[20] 罗正雄，黄燕，李尚，王良，谭铁牛。展开了盲超分辨的交替优化。第1-12页，2020年。一、二[21] 前田 俊太 使用 伪监 督的 不成对 图像 超分 辨率 。在CVPR，第291-300页，2020年。三、五、七[22] Xudong Mao ， Qing Li ， Haoran Xie ， Raymond YKLau，Zhen Wang，and Stephen Paul Smolley.最小二乘生成对抗网络。在ICCV，第2794-2802页，2017年。三、四[23] Tomer Michaeli和Michal Irani非参数盲超分辨率。在ICCV，第945-952页，2013中。2[24] Kwanyong Park ， Sanghyun Woo ， Dahun Kim ，Donghyeon Cho，and In So Kweon. 为不成对的视频到视频翻译保留语义和节奏一致性。在ICMM，第1248-1257页，2019年。2[25] Seobin Park，Jinsu Yoo，Donghyeon Cho，Jiwon Kim，and Tae Hyun Kim.通过元学习快速适应超分辨率第754-769页，2020年。2[26] Zhongyi Pei ， Zhangjie Cao ， Mingsheng Long ， andJianmin Wang.多对抗域适应。在AAAI，第32卷，2018年。2[27] Assaf Shocher、Nadav Cohen和Michal Irani。 在CVPR中，第3118-3126页，2018年。二、五、七[28] Jae Woong Soh，Sunwoo Cho，and Nam Ik Cho. Meta迁移学习用于零次超分辨率。在CVPR，第3516-3525页，2020年。2[29] Ying Tai，Jian Yang，and Xiaoming Liu.基于深度递归残差网络的图像超分辨率。在CVPR中，第3147-3155页，2017年。2[30] Ying Tai ， Jian Yang ， Xiaoming Liu ， and ChunyanXu.Mem- net：一种用于图像恢复的持久存储网络。在ICCV，第4539-4547页，2017年。2[31] Yaniv Taigman Adam Polyak和Lior Wolf非监督跨域图像生成。arXiv预印本arXiv：1611.02200，2016。2[32] 杨明轩，张磊. NTIRE 2017单图像超分辨率挑战：方法和结果。在CVPR研讨会，第114-125页，2017年。5[33] Radu Timofte 、 Sahuary Gu 、 Jiqing Wu 、 Luc VanGool。NTIRE 2018挑战单幅图像超分辨率：方法和结果。在CVPR研讨会，第852-863页，2018年。7[34] Yi-Hsuan Tsai，Wei-Chih Hung，Samuel Schulter，Ki-hyukSohn ， Ming-HsuanYang ， andManmohanChandraker.学习适应语义分割的结构化输出空间。在CVPR中，第7472-7481页，2018年。24328[35] Rao Muhammad Umer 、 Gian Luca Foresti 和 ChristianMicheloni。用于现实世界超分辨率的深度生成对抗残差卷积网络。在CVPR研讨会，第438-439页，2020年。5[36] Tuan-Hung Vu ， Himalaya Jain ， Maxime Bucher ，Matthieu Cord，andPatrickPe 'rez. Adv ent：用于语义分割中的域适应的Ad versarialentropy最小化在CVPR中，第2517-2526页，2019年。2[37] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Don