零镜头超分辨率的元迁移学习

3516零镜头超分辨率的元迁移学习Jae Woong Soh Sunwoo Cho Nam Ik Cho韩国首尔国立大学INMC欧洲经委会{soh90815，etoo33}@ ispl.snu.ac.kr，nicho@snu.ac.kr摘要卷积神经网络（CNN）通过使用大规模外部样本，在单图像超分辨率（SISR）方面表现出了显著的改进尽管它们基于外部数据集的性能显著，但它们不能利用特定图像中的内部信息。另一个问题是，它们只适用于数据的具体情况，他们被监督。例如，低分辨率（LR）图像应该是来自高分辨率（HR）图像的“双三次”下采样的无噪声图像。为了解决这两个问题，零拍摄超分辨率（ZSSR）已经提出了灵活的内部学习。然而，它们需要数千个梯度更新，即， 推理时间长。 本文在分析了现有文献的基础上，我们提出了用于零镜头超分辨率（MXR）的元迁移学习，其利用了ZSSR。准确地说，它是基于找到一个通用的初始参数，是适合内部学习。因此，我们可以利用外部和内部信息，其中一个单一的梯度更新可以产生相当可观的结果。(See图1）。使用我们的方法，网络可以快速适应给定的图像条件。在这方面，我们的方法可以应用到一个快速的适应过程中的图像条件的大频谱(a)LR（b）ZSSR [34]2 850次更新1. 介绍SISR，这是找到一个合理的HR图像从其(c) 微调2 000次更新(d) （我们的）一个更新在低水平视觉领域，LR图像的伪影是一个长期存在的问题。最近，CNN的显著成功引起了研究界的关注，因此，许多基于CNN的SISR方法已经表现出巨大的飞跃[15，17，21，47，2，45，36，20，12，13]。大多数最近的最先进的（SotA）基于CNN的方法是基于大量的外部训练数据集和具有已知退化模型的自监督设置，“双三次”下采样。令人印象深刻的是，最近的SotA CNN显示出显着的PSNR增益相比，传统的大尺寸的模型的无噪声的“bicubic”下采样条件。然而，在现实世界中，图1：Ur-ban 100中“img 050”的超分辨结果（×2）LR图像的模糊核是宽度为2的各向同性高斯核。0的情况。（c）的结果是从预训练模型中微调的。我们的MZSR在一个单一的梯度下降更新内优于其他方法。估计，当LR图像在下采样核和噪声中具有遥远的统计时，最近的方法产生不期望的伪影，并且由于域间隙而显示较差的结果此外，它们的参数数量和系统开销通常太大，以致于不能在实际应用中使用。3517LRLR阳离子此外，尺度上和跨多尺度的非局部自相似性，这是一个单一的图像内的信息的内部复发，是一个强大的自然图像先验知识。因此，它长期以来一直用于图像去噪任务，包括图像去噪[5，6]和超分辨率[24，14]。此外，通过隐式学习这种先验，将非局部属性的强大图像先验嵌入到网络架构中[19，22，46此外，已经提出了一些学习内部分布的工作[34，32，33]。此外，已经有许多研究将外部和内部信息的优点结合起来用于图像恢复[26，43，42，41]。最近，ZSSR [34]已被提出用于零拍摄超分辨率，其基于零拍摄设置以利用CNN的功能，但可以很容易地适应测试图像条件。有趣的是，ZSSR学习测试图像的内部非局部结构，即，深度内部学习因此，它在递归性突出的某些区域中优于基于外部的CNN此外，ZSSR是高度灵活的，它可以解决任何模糊内核，因此很容易适应测试图像的条件。然而，ZSSR有一些局限性。首先，它需要在测试时进行数千次反向传播梯度更新，这需要相当长的时间才能得到结果。 还有，它不能充分利用大规模的外部数据集，而是仅依赖于内部结构和模式，这在总的示例数量上是不足的。最终，与基于外部的方法相比，这导致在具有一般模式的大多数区域中的较差结果另一方面，元学习或学习快速学习最近吸引了许多研究人员。元学习旨在解决人工智能难以通过几个示例快速学习新概念的问题，这与人类智能不同。在这方面，元学习与少数学习联合融合，许多方法与元训练步骤，使模型快速适应新的模糊核场景。此外，我们预先采用迁移学习，充分利用外部样本，进一步提高性能.特别地，首先在大规模合成数据集（“双三次”退化设置）的帮助下执行迁移学习然后，元学习在学习任务级知识中发挥作用，不同的下采样核作为不同的任务。在元测试步骤中，进行简单的自监督学习以在几个梯度步骤内学习图像特定信息。因此，我们可以利用外部和内部信息。此外，通过利用ZSSR的优点，我们可以使用轻量级网络，其对于LR图像的不同退化条件是灵活的。此外，我们的方法比ZSSR快得多，即，它可以在几个梯度步骤内快速适应新任务，而ZSSR需要数千次更新。总而言之，我们的总体贡献有三个方面：• 我们提出了一种新的基于Meta迁移学习的训练方案，它学习一个有效的初始权重，以快速适应新的任务，无人监督拍摄• 通过使用外部和内部样本，可以利用内部和外部学习的优势。• 该方法具有快速、灵活、轻量级和元测试时无监督的特点，最终可以应用于实际场景。2. 相关工作2.1. 基于CNN的超分辨率SISR基于图像退化模型，如已经提出了这种方法[35，39，38，28，25，8，10、18、37]。 其中，模型不可知的元学习k=（Ik）↓s +n，（1）（MAML）[8]显示了巨大的影响，显示了SotA每-在那里，我HR，我K、k、k、↓s和n表示HR、LR图像、模糊通过学习模型使得基础学习器可以在几个梯度步长内快速适应新任务MAML采用梯度更新作为元学习器，同一作者分析说梯度下降可以近似任何学习算法[9]。此外，Sun等人[37]已经联合使用MAML和transfer学习来利用大规模数据进行少量学习。受上述工作和ZSSR的启发，我们提出了零拍超分辨率（MXR）的元迁移学习，这是内核不可知的。我们发现，简单地使用迁移学习或从预先训练的网络中进行微调由于ZSSR只有一个元测试步骤，我们额外采用了一个分别是核、卷积、具有缩放因子s的抽取和高斯白噪声值得注意的是，在现实世界的场景中可以发现各种退化条件，具有各种未知的k、↓s和n。最近，许多基于CNN的网络已经被提出了用已知的下采样核来超分辨LR图像[15，17，21，12，47，2，36，20，13]。它们在“双三次”下采样场景中表现出极端的性能，但在非双三次情况下由于域间隙而受到影响。为了应对多个退化核，提出了SRMD [44]随着核和噪声信息的额外输入，SRMD优于其他SISR方法在非双三次条件。 此外，IKC [11]也被提出我HR3518LR外部大规模数据集自监督内部学习0������−1输入LR下采样Meta检验^元迁移学习12输入LR图2：我们提出的MPERR的总体方案。在元迁移学习期间，使用外部数据集，其中内部学习在元测试期间完成。利用大规模数据集DIV2K [1]的双三次退化，从随机初始点θ0出发然后，元迁移学习具有不同模糊核场景的超分辨率任务的良好表示θM为了简单起见，图中显示了N个任务。在元测试阶段，利用测试图像内的自我监督来训练具有相应模糊核的模型。盲超分辨率另一方面，ZSSR [34]已被提出用CNN学习图像特定的内部结构，并已表明由于其灵活性，它可以应用于现实世界的场景。2.2. Meta学习近年来，已经提出了各种元学习算法。它们可分为三类。第一组是基于度量的方法[35，38，39]，这是学习度量空间，其中学习在几个样本内是有效的第二组是基于记忆网络的方法[31，28，25]，其中网络在任务知识中学习最后一组是基于优化的方法，其中梯度下降作为元学习者优化发挥作用[10，18，9，8]。其中，MAML [8]对研究界产生了很大的影响，并提出了几个变体[27，37，3，30]。MAML固有地需要二阶导数项，并且一阶算法也在[27]中提出。此外，为了应对MAML训练的不稳定性，已经提出了MAML++[3]。此外，已经提出了嵌入空间内的MAML [30]。在本文中，我们采用MAML方案的快速自适应零镜头超分辨率。3. 初步Zero-Shot Super-ResolutionZSSR [34]是完全不受监督或自我监督的。 训练和测试两个阶段都在运行时进行。 在训练阶段，测试图像ILR用期望的内核下采样以生成表示为Ison的“LR son”，并且ILR成为HR监督，“HR父亲”。然后，用单个图像生成的LR-HR对训练CNN 训练仅依赖于测试图像，从而学习特定的内部信息到给定的图像统计。在测试阶段，训练好的CNN然后作为前馈网络工作，并且测试输入图像被馈送到CNN以得到超分辨率图像ISR。元学习元学习有两个阶段：Meta训练和元测试。 我们考虑一个模型fθ（·），它由θ参数化，将输入x映射到输出y。元训练的目标是使模型能够适应大量不同的任务。从任务分布p（T）中采样任务Ti以用于元训练。在任务内，训练样本用于优化具有任务特定损失L Ti的基础学习器，并且测试样本用于优化元学习器。 在元测试阶段，模型fθ（·）在元学习者的帮助下快速适应新任务T_n_w。MAML [8]采用简单的梯度下降算法作为元学习者，并寻求找到初始可转移点，其中一些梯度更新导致模型快速适应新任务。我们引入了自监督零拍超分辨率在我们的例子中，输入x和输出y是Ik和和元学习计划与符号，以下重新-作品集[34]ISR. 此外，不同的模糊内核构成了任务分布，其中，每个任务对应于大规模培训数据集参与参数更新使用CNN3519LR我不是LR我不是LRLR由特定模糊核退化的图像。λ1<$U [1，2. 5s]，λ2<$U[1，λ1]，其中s表示缩放因子。准确地说，协方差矩阵表示为：4. 方法我们建议的MURR的整体方案见Σn=cos（Θ）-sin（Θ）sin（Θ）cos（Θ）Σ Σλ100λ2Σ Σ Σcos（Θ）sin（Θ）。- sin（Θ）cos（Θ）图2.如图所示，我们的方法包括三个步骤：大规模培训、元迁移学习和元测试。4.1. 大规模培训这一步类似于用于对象识别的大规模ImageNet [7]预训练。在我们的例子中，我们采用了DIV2K [1]，这是一个高质量的数据集DHR。使用已知的配对数据集的数量（IHR，Ibic），表示为D。然后，我们通过最小化损失来训练网络学习“bicubic”退化模型的超分辨率（三）最终，我们基于Dmeta训练我们的元学习器。我们可以将DMeta分为两组：Dtr表示任务级训练，Dte表示任务级测试。在我们的方法中，适应一个新的任务Ti，是一个或多个梯度下降更新。对于一个梯度更新，新的适应参数θi则为θi=θ−α<$θLtr（θ），（4）其中α是任务级学习率。 模型参数-LD（θ）=ED（IHR，Ibic）[||IHR-f θ（Ibic）||第1条]、第2条对θ进行了优化，以使DMeta对于θi。具体来说，元目标是这是预测和地面实况之间的逐像素L1损失[21，34]大规模的培训在两个方面都有贡献，argminθ= argminΣTip（ T）ΣLte（θi）（5）Lte（θ − α <$θLtr（θ））。（六）spies. 首先，由于超分辨率任务具有类似的特性，因此，可以学习隐含地表示高分辨率图像的自然图像先验的有效表示，从而使网络易于学习。其次，由于已知MAML [8]显示出一些不稳定的训练，我们在良好的预训练特征表示的帮助下简化了元学习的训练阶段。TiTiθTip（T）元传输优化使用Eq. 6、跨任务学习知识。任何基于梯度的优化都可以用于元迁移训练。对于随机梯度下降，参数更新规则表示为4.2. Meta迁移学习θ←θ−β∇ΣLte（θ），（7）由于ZSSR是用梯度下降算法训练的，因此可以在梯度下降算法的帮助下引入基于优化的元训练步骤，这被证明是一种通用的学习算法[9]。在这一步中，我们试图找到一个敏感的和可转移的参数空间的初始点，其中一些梯度更新导致大的性能改 进 。 受 MAML 的 启 发 ， 我 们 的 算 法 主 要 遵 循MAML，但有几个修改。与MAML不同，我们采用不同的设置进行Meta训练和元测试。 特别地，我们使用外部数据集进行元训练，而内部学习用于元测试。这是因为我们希望我们的Meta学习器在大规模外部数据集的帮助下更多地关注内核不可知属性。我们综合数据集进行元迁移学习，记为D元。DMeta由具有不同内核设置的对（IHR，Ik）具体来说，我们使用各向同性和各向异性高斯内核的模糊内核。我们考虑一个核分布p（k），其中每个核都是由协方差矩阵ω来表示。它被选择为具有随机角度ΘU[0，π]和两个随机特征值3520θTi我Tip（T）其中β是元学习率。4.3. Meta检验元测试步骤正是零拍摄超分辨率。作为[34]中的证据，这一步使我们的模型能够在单个图像中学习内部信息。 对于给定的LR图像，我们使用相应的下采样内核对其进行下采样（内核估计算法[24，29]可以用于盲场景）以生成Ison，并使用单对“LR son”和给定图像相对于模型参数执行一些梯度更新然后，我们将一个给定的LR图像输入到模型中，得到一个超分辨率的图像.4.4. 算法算法1演示了我们在4.1节和4.2节中的Meta迁移训练过程的过程。3-7号线是大规模培训阶段。第11-14行是元迁移学习的内循环，其中基础学习者被更新为特定于任务的损失。第15-16行呈现了元学习器优化。3521我不是我不是我不是算法1：元迁移学习输入：高分辨率数据集DHR和模糊核分布p（k）输入：α，β：学习率输出：模型参数θM1 随机初始化θ2通过双三次下采样DHR来合成配对数据集D3 不做就做来自D的4个5通过等式计算LD26相对于LD更新θ7端8生成具有DHR和p（k）的任务分布p（T）9 不做就做10样本任务批次Tip（T）11forall我做12评估训练损失（Dtr）：Ltr（θ）13使用梯度下降法计算自适应参数：θi=θ−α<$θLtr（θ）14的端15根据平均测试损失（Dte）更新θ和θDIV2K [1]用于高质量数据集，我们设置α=0。01且β=0。0001训练 对于内循环，我们进行了5次梯度更新，即：5展开步骤，以获得适配的参数。我们提取了大小为64×64的训练块。 为了解决由于基底学习者，我们利用每个步骤的损失的加权和，即，为每个展开步骤提供额外损失的监督[3]。在初始点，我们均匀地权衡损失，并衰减权重，除了最后一个展开步骤。最后，加权损失收敛到我们的最终训练任务丢失。我们采用ADAM [16]优化器作为我们的元优化器。 由于子采样过程（↓s）可以是直接方法[34]或双三次子采样[44，11]，我们为不同的子采样方法训练了两个模型：直的和双三次的。5.2. “双三次”下采样算法的评价我们使用几种最近的SotA SISR方法评估我们的方法，包括在著名基准上的监督和无监督方法：Set 5[4]、BSD 100 [23]和Ur-ban 100 [14]。我们在YCbCr颜色空间的Y通道中测量PSNR和SSIM [4016θ←θ−β∇θTip（T）Lte（θi）总体结果示于表1中。 CARN [2]17端部算法2：元测试输入：LR测试图像ILR、元迁移训练模型参数θM、梯度更新次数n和学习率α输出：超分辨率图像ISR1 用θM初始化模型参数θ2通过利用对应的模糊核对LR进行下采样来生成LR sonIson3 对于n步，4E评估损失L（θ）=||ILR−fθ（Ison）||15更新θ←θ−α<$θL（θ）6端部7return ISR=fθ（ILR）和RCAN [45]，它们被训练用于“双三次”下采样条件，显示出极其压倒性的性能。由于训练场景和测试场景完全匹配，因此对外部样本的监督可以提高CNN的性能。另一方面，ZSSR [34]和我们的方法显示出了对双三次插值的改进，但不如监督的方法，因为这两种方法都是在无监督或自我监督的范围内训练的。我们的方法在一个单一的梯度下降中显示出与ZSSR相当的结果。5.3. 各种模糊核的评价在本节中，我们将演示各种模糊核条件下的结果我们假设四种情况：严重混叠，各向同性高斯其次是双三次子采样。准确地说，方法是算法2提出了元测试步骤，这是零次超分辨率。一些梯度更新（n）是D0的情况。2：宽度为λ= λ的各向同性高斯模糊核在元测试时执行，并且超分辨率图像被0的情况。2、直接采样。最后更新参数。D二、0：宽度为λ= λ的各向同性高斯模糊核二、0之后是直接子采样。5. 实验达尼 ：宽度为λ 1 = 4的各向异性高斯分布。0d和5.1. 培训详细信息对于CNN，我们采用了一个简单的8层CNN架构，λ2=1。0，Θ=-0。5从Eq。 3、其次是直接二次抽样ZSSR之后的剩余学习的真实性[34]。政治局常委的第B1 .一、3：宽度为λ= λ的各向同性高斯模糊核• G• G• G• G3522参数为225K。 对于元迁移训练，我们使用1。3之后是双三次子采样。35230的情况。2监督无监督数据集双三CARN [2]RCAN [45]ZSSR [34]汽车旅馆（1）汽车旅馆（10）Set533.64/0.929337.76/0.959038.18/0.960436.93/0.955436.77/0.954937.25/0.9567BSD10029.55/0.842732.09/0.897832.38/0.901831.43/0.890131.33/0.891031.64/0.8928Urban10026.87/0.839831.92/0.925633.30/0.937629.34/0.894130.01/0.905430.41/0.9092表1：在基准测试中使用× 2的“双三次”下采样场景的平均PSNR/SSIM结果我们的方法中括号中的数字代表梯度更新的数量。监督无监督内核数据集双三RCAN [45][第11话]ZSSR [34]汽车旅馆（1）汽车旅馆（10）GD0的情况。2设置5BSD10030.24/0.897627.45/0.799228.40/0.861825.16/0.760229.09/0.878626.23/0.780834.29/0.937329.35/0.846533.14/0.927728.74/0.838933.74/0.930129.03/0.8415Urban10024.70/0.795821.68/0.732323.66/0.780628.13/0.878826.24/0.839426.60/0.8439GD二、0设置5BSD10028.73/0.844926.51/0.715729.15/0.860126.89/0.739429.05/0.889627.46/0.815634.90/0.939730.57/0.871235.20/0.939830.58/0.862736.05/0.943931.09/0.8739Urban10023.70/0.710924.14/0.738425.17/0.816927.86/0.858228.23/0.865729.19/0.8838GDani设置5BSD10028.15/0.826526.00/0.689128.42/0.837926.22/0.706228.74/0.856526.44/0.731033.96/0.930729.72/0.847934.05/0.927128.82/0.801334.78/0.932329.54/0.8297Urban10023.13/0.679623.35/0.698223.62/0.723927.03/0.833526.51/0.812627.34/0.8369GB1 .一、3设置5BSD10030.54/0.877327.49/0.754631.54/0.899228.27/0.790433.88/0.935730.95/0.886035.24/0.943430.74/0.874335.18/0.943029.02/0.854436.64/0.949831.25/0.8818Urban10024.74/0.752725.65/0.794629.47/0.895628.30/0.869328.27/0.877129.83/0.8965表2：各种内核的平均PSNR/SSIM结果，在基准测试中为×2。我们的方法中括号中的数字代表梯度更新的数量。最佳结果以红色突出显示，第二佳结果以蓝色突出显示。结果示于表2中。由于SotA方法RCAN [45]是在“双三次”场景下训练的，因此由于域差异和缺乏灵活性，它显示出较差的性能。高斯，我们的方法优于其他具有显着- cantly大差距。在这些情况下，与双三次插值相比，其他方法具有性能增益，但差异很小。别名案件对于混叠（gd），RCAN结果甚至可以在所有其他场景中找到。 有趣的是，RCAN由于训练和测试条件之间的不一致性，比简单的双三次插值方法更差IKC1 [11]是针对双三次子采样进行训练的，它在训练期间从未看到过锯齿图像。因此，它也显示出严重的性能下降。另一方面，ZSSR2 [34]由于其灵活性而显示出相当改进的结果。然而，它需要数千次梯度更新，这需要大量的时间。此外，它从随机初始点开始，因此不能保证多次测试的结果相同。如表2所示，我们的方法与其他方法相当，即使是一个单一的梯度更新。有趣的是，我们的MPERR永远不会看到λ=0的内核。2，但CNN可以快速适应特定的图像条件。换句话说，与其他方法相比，我们的方法对外推更鲁棒。对于其他各向同性和各向异性的1我们重新实现了代码，并使用DIV2K数据集进行了重新训练。2我们使用官方代码，但没有逐步配置。[45]显示了与双三次插值相比略有改进的结果。此外，由于训练和测试之间的条件是一致的，IKC [11]显示了相当的结果。我们的方法也表现出显着的性能的情况下，双三次子采样条件。从大量的实验结果来看，我们认为我们的MSPIR是一种快速、灵活、准确的超分辨率方法。5.4. 真实图像超分辨率为了显示所提出的MZSR的有效性，我们也进行了真实图像的实验。由于没有真实图像的地面实况图像，我们只提供视觉比较。由于篇幅所限，所有真实图像的比较都以补充材料的形式提供。3524ZSSR元学习预训练（全部）预训练（双三次）我们的DDDDDDDDDDD3536 343025201510012345678910迭代(a) 别名条件g0。234323028262422201816012345678910迭代(b) 各向同性高斯g2。032302826242220181614012345678910迭代(c) 各向异性高斯噪声图3：Set5上的平均PSNR与梯度更新迭代次数 “预训练（全部）”和“预训练（双三次）”分别从所有内核的预训练模型（盲模型）和双三次下采样模型进行微调。除了我们的方法外，所有方法都使用ADAM [16]进行优化，而我们的方法则使用梯度下降进行优化。(a) 初始点g0. 212个。09分贝HR(b) 一次更新后，g0。2三十27DB(c) 起始点G2. 0十六岁82DB(d) 在一次更新后，G2。0三十三岁。08分贝(e) 初始点g0. 2二十六岁49DB(f) 一次更新后，g0。2二十六岁87分贝(g) 起始点G2. 0二十七岁43分贝(h) 在一次更新后，G2。0二十七岁47DB图4：每个方法的初始点和一次迭代后的可视化上面的一行图像来自MPERR，下面的一行图像来自“双三次”退化的预训练网络6. 讨论6.1. 梯度更新对于消融研究，我们训练了几个具有不同配置的模型。我们评估了Set5的平均PSNR结果，如图3所示。有趣的是，我们的方法的初始点显示出最差的性能，但在一个迭代中，我们的方法迅速适应图像条件，并显示出最好的性能在比较的方法。其他方法有时表现出缓慢的性能增长。换句话说，它们在适应新的图像条件方面不如我们灵活。我们在图4中显示了初始点和一次梯度更新后的结果。如图所示，MPERR的初始点的结果很奇怪，但在一次迭代中，它得到了很大的改进。另一方面，预训练网络的结果比MPERR更自然，但在一次梯度更新后其改善较小。此外，它表明，我们的方法的性能随着梯度下降更新的进展而增加，尽管事实上，它是在五个梯度步骤后训练的最大性能。这个结果表明，随着梯度更新迭代次数的增加，我们可能会期望更多的性能改进。ZSSR元学习预训练（全部）预训练（双三次）我们的ZSSR元学习预训练（全部）预训练（双三次）我们的PSNRPSNRPSNR3525二、0峰值信噪比（dB）GD0的情况。2GD二、0GDani多尺度（10）三十三岁。33（-0。41）三十五67（-0。97）三十三岁。95（-0。（83）表3：多尺度模型在Set5上的平均PSNR结果，×2。括号中的数字是与单尺度模型相比的PSNR损失。(a) 双三次插值（b）MSPIR（Ours）图5：缩放因子×4和模糊核gd的MVR结果。尽管LR子图像的大小为30×20，但MPERR学习内部信息。（MXR图像左下角的绿框是Ison和ILR）6.2. 多尺度模型我们还训练了一个多尺度模型，其缩放因子为s ∈[2]。0，4。0]。如表3所示，×2的结果显示与单尺度模型相当的较差结果。有了多个缩放因子，p（T）变得更加复杂，其中元学习器努力捕获适合快速适应的区域。此外，当元测试较大的缩放因子时，Ison的大小变得太小而不能向CNN提供足够的信息。因此，CNN很少利用来自非常小的LR子图像的信息。重要的是，当我们的CNN学习CNN的内部信息时，即使使用大的缩放因子，具有多尺度循环模式的图像也会显示出合理的结果，如图5所示。6.3. 复杂性我们评估了几个比较的整体模型和时间复杂度，结果如表4所示。我们在NVIDIA Titan XP GPU的环境中测量时间。两个全监督前馈网络的“双三次”退化，CARN和RCAN，需要大量的参数。尽管CARN被提出作为一个轻量级网络，需要十分之一的带宽，表4：缩放因子为×2的256×256LR图像的超分辨率的参数数量和时间复杂度的比较。与RCAN相比，它仍然需要比无监督网络更多的参数。然而，这两个模型的时间消耗是相当的，因为只涉及前馈计算。另一方面，由于图像特定的CNN，完全无监督的ZSSR需要少得多的参数然而，它需要数千次的向前和向后传递才能得到超分辨率的图像，即，超过实际范围的大量时间。我们的方法MPERR与一个单一的梯度更新需要最短的时间比较。此外，即使有10次迭代的反向传递，我们的方法仍然显示出可比的时间消耗对CARN。7. 结论在本文中，我们提出了一种快速，灵活，轻量级的自监督超分辨率方法，开发外部和内部样本。具体来说，我们采用基于优化的元学习方法与迁移学习相结合，以寻求对模糊核的不同条件敏感的初始点。因此，我们的方法可以在几个梯度更新内快速适应特定的图像条件。从我们广泛的实验中，我们表明，我们的MPERR优于其他方法，包括ZSSR，它需要数千个梯度下降迭代。此外，我们证明了我们的方法与复杂性评估的有效性。然而，我们的工作还有很多地方可以改进，如网络结构，学习策略和多尺度模型，我们把 这 些 作 为 未 来 的 工 作 。 我 们 的 代 码 可 在https://www.github.com/JWSoh/MZSR 上 公 开获取。鸣谢本研究得到了警察科学技术研究开发中心和韩国国家警察厅（PA-C 000001）下的警察科学技术研究开发项目的部分支持，以及三星电子公司的部分支持公司方法参数时间（秒）CARN [2]1，592 K0.47RCAN [45]15，445 K1.72ZSSR [34]225K142.72汽车旅馆（1）225K0.133526引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在IEEE计算机视觉和模式识别研讨会会议上，第126-135页三、四、五[2] Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn。使用级联残差网络实现快速、准确、轻量的超分辨率。在欧洲计算机视觉会议论文集（ECCV），第252-268页，2018年。一、二、五、六、八[3] Antreas Antoniou，Harrison Edwards，Amos Storkey.如何训练你的妈妈。2019年，在ICLR。三、五[4] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率在BMVC，2012年。5[5] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。非局部均值去噪。Image Processing On Line，1：208-212，2011. 2[6] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing，16（8）：2080-2095，2007. 2[7] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。4[8] Chelsea Finn，Pieter Abbeel，Sergey Levine.用于深度网络快速适应的模型不可知元学习。第34届国际机器学习会议论文集-第70卷，第1126-1135页。JMLR。org，2017. 二、三、四[9] 切尔西·芬恩和谢尔盖·莱文。元学习和普遍性：深度表示和梯度下降可以近似任何学习算法。在ICLR，2018年。二、三、四[10] Erin Grant ， Chelsea Finn ， Sergey Levine ， TrevorDarrell和Thomas Griffiths。将基于梯度的元学习重构为分层贝叶斯。在ICLR，2018年。二、三[11] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。二、五、六[12] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集，第1664-1673页，2018年。一、二[13] Xiangyu He ， Zitao Mo ， Peisong Wang ， Yang Liu ，Mingyuan Yang，and Jian Cheng.Ode启发的网络设计，用于单图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第1732-1741页一、二[14] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉和模式识别会议论文集，第5197-5206页，2015年一、二、五[15] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别集，第1646一、二[16] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。五、七[17] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页一、二[18] Yoonho Lee和Seungjin Choi。基于梯度的Meta学习，学习分层度量和子空间。在ICLR，2018年。二、三[19] Stamatios Lefkimmiatis.基于卷积神经网络的非局部彩色图像去噪。在IEEE计算机视觉和模式识别会议集，第3587-3596页，2017年。2[20] Zhen Li ，Jinglei Yang ，Zheng Liu ，Xiaomin Yang ，Gwang-gil Jeon，and Wei Wu.用于图像超分辨率的反馈网络。在IEEE计算机视觉和模式识别会议上，2019年6月。一、二[21] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在IEEE计算机视觉和模式识别研讨会集，第136-144页，2017年。一、二、四[22] Ding Liu ， Bihan Wen ， Yuchen Fan ， Chen ChangeLoy，and Thomas S Huang.用于图像复原的非局部递归网络。神经信息处理系统进展，第1673-1682页，2018年。2[23] David Martin Charless Fowlkes Doron Tal和Jitendra Malik人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。计算机视觉，2001年。ICCV 2001年。诉讼第八届IEEE国际会议，第2卷，第416-423页。IEEE，2001年。5[24] Tomer Michaeli和Michal Irani非参数盲超分辨率。在IEEE计算机视觉国际会议论文集，第945-952页，2013年。二、四[25] Nikhil Mishra ， Mostafa Rohaninejad ， Xi Chen ， andPieter Abbeel. Snail：一个简单的神经专注元学习者。在ICLR，2018年。二、三[26] Inbar Mosseri，Maria Zontak和Michal Irani。结合内部和外部去噪的力量。在IEEE国际计算摄影会议（ICCP）中，第1-9页。IEEE，2013。2[27] Alex Nichol，Joshua Achiam，and John Schulman.一阶元学习算法。arXiv预印本arXiv：1803.02999，2018。3[28] 鲍里斯·奥列什金、帕·罗德·雷格斯·洛佩斯和艾尔·亚历山大·拉科斯特.Tadam：Task Dependent Adaptive Metricfor Improved Few-Shot Learning。神经信息处理系统的进展，第721-731页，2018年。二、三3527[29] 潘金山，孙德清，汉斯佩特·菲斯特，杨明轩.使用暗通道先验的盲图像去模糊。在IEEE计算机视觉和模式识别会议论文集，第1628-1636页，2016年。4[30] Andrei A Rusu、Dushyant Rao、Jakub Sygnowski、OriolVinyals、Razvan Pascanu、Simon Osindero和Raia Had-sell。具有潜在嵌入优化的元学习。2019年，在ICLR。3[31] Adam Santoro，Sergey Bartunov，Matthew Botvinick，Daan Wierstra，and Timothy Lillicrap.使用记忆增强神经网络的元学习。在机器学习国际会议上，第1842-1850页，2016年。3[32] Tamar Rott Shaham，Tali Dekel和Tomer Michaeli。单根：从一个单一的自然图像学习生成模型.在IEEE计算机视觉国际会议（ICCV），2019年10月。2[33] Assaf Shocher 、 Shai Bagon 、 Phillip Isola 和 Mi