基于迭代核校正的盲超分辨率算法

1基于迭代核校正的盲超分辨率算法津津谷1层，汉南路2层，王梦左2层，朝东3层1香港中文大学科学与工程学院，深圳2哈尔滨工业大学计算机科学与技术学院，哈尔滨3中国科学院深圳先进技术研究院SIAT-SenseTime联合实验室，深圳市计算机视觉与模式识别重点实验室jinjingu@link.cuhk.edu.cn，{hannanlu，wmzuo}@ hit.edu.cn，chao. siat.ac.cn摘要基于深度学习的方法由于其在有效性和效率方面的显著性能而主导了超分辨率（SR）领域这些方法中的大多数假设下采样期间的模糊核是预定义的/已知的（例如，双三次）。然而，在实际应用中涉及的模糊核是复杂和未知的，导致严重的性能下降先进的SR方法。本文提出了一种迭代核校正（IKC）方法，用于模糊核未知的盲超分辨率问题的模糊核估计我们观察到核失配会带来规则的伪影（过度锐化或过度平滑），这可以应用于校正不准确的模糊核。因此，我们引入了一个迭代校正方案我们进一步提出了一种有效的SR网络架构，使用空间特征变换（SFT）层来处理多个模糊核，命名为SFTMD。在合成图像和真实图像上的大量实验表明，所提出的IKC方法与SFTMD可以提供视觉上有利的SR结果和盲SR问题的最先进的性能。1. 介绍单图像超分辨率作为一个基本的低层视觉问题，SISR的目标是从其低分辨率（LR）观测重建高分辨率（HR）图像。由于采用卷积神经网络（CNN）进行SR [6]的开创性工作，各种基于深度学习的方法具有不同的网络架构[15，16，18，29，41，10，40]和训练策略[19，34，27，5]已经提出了持续改进SR性能。 现有的先进这些工作是他们在商汤科技实习时完成的[27]第二十七话无核校正的SR迭代核校正（我们的）图1.图像“img 017“上的SISR结果在双三次下采样之前，通过具有σ= 1的高斯核来模糊HR图像。8SR方法假设下采样模糊核是已知的和预定义的，但实际应用中涉及的模糊核正如[9，36]中所揭示的那样，当预定义的模糊核与真实核不同时，基于学习的方法将遭受严重的性能下降。这种内核不匹配的现象将向输出图像引入不期望的伪影，如图2所示。因此，未知模糊核的问题，也称为盲SR，已经使大多数基于深度学习的SR方法失败，并且在很大程度上限制了它们在现实世界应用中的使用。大多数现有的盲SR方法是基于模型的[3，32，11，12，14]，其通常涉及复杂的优化过程。他们使用自然图像的自相似特性来预测潜在的模糊内核[23]。但是，它们的预测容易受到输入噪声的影响，导致核估计不准确.一些基于深度学习的方法也试图在盲人SR方面取得进展。[25]在《易经》中，《易经》是一个经典的概念。16041605工作可以将模糊核作为附加输入，并根据所提供的核生成不同的结果。如果输入核接近地面实况，则它们实现令人满意的性能。然而，这些方法仍然不能预测的模糊核的每一个图像的手，因此是不适用于实际应用。虽然基于深度学习的方法已经主导了SISR，但它们在盲SR问题上的在本文中，我们专注于使用深度学习方法来解决盲SR问题。我们的方法源于观察到，由内核不匹配造成的文物有规律的模式。具体地，如果输入内核比真实内核更平滑，则输出图像将是模糊/过度平滑的。相反，如果输入核比正确的核更尖锐，则结果将过度成形，并具有明显的振铃效应（参见图2）。核失配效应的这种不对称性为我们提供了关于如何校正不准确的模糊核的经验指导。在实际应用中，我们提出了一种基于预测-校正原理的迭代核校正（IKC）方法。通过观察异常的SR结果，迭代地校正估计的核，即使预测的模糊核与真实的模糊核略有不同，输出图像仍然可以去除那些由核失配引起的规则伪影。通过进一步深入研究针对多个模糊核提出的SR方法（即，SRMD [39]），我们发现将图像和模糊核的级联作为输入不是最佳选择。为了向前迈进一步，我们采用空间特征变换（SFT）层[33]，并提出了一种用于多个模糊内核的高级CNN结构，即SFTMD。实验结果表明，SFTMD的性能明显优于SRMD.通过结合上述组件- SFTMD和IKC，我们实现了最先进的（SOTA）性能的盲SR问题。本文的主要贡献如下：（1）提出了一种直观有效的单图像超分辨率模糊核估计深度学习框架(2)我们提出了一种新的非盲SR网络，使用空间特征变换层的多个模糊内核。我们证明了所提出的非盲SR网络的优越性能（3）我们在仔细选择的模糊核和真实图像上测试了盲SR的性能大量实验表明，SFTMD和IKC的结合在盲SR问题上达到了SOTA性能2. 相关工作超分辨率神经网络在过去的几年里，神经网络在改善SISR性能方面表现出了显著的能力。自从使用CNN学习从LR到HR图像的端到端映射的先驱工作以来[6]，大量的CNN架构已经被支持。[2017-07 -26]第18话：为了在网络深度上更深入并实现更好的性能，大多数现有的高性能SR网络都具有剩余架构[15]。SRGAN [19]首先将残差块引入SR网络。EDSR [20]通过删除残差块中不必要的批量归一化层DenseSR [41]提出了有效的残差密集块，ESRGAN [34]进一步使用残差中残差密集块来提高SR结果的感知质量。Zhang等人 [40]介绍了残差块中的通道注意分量。一些网络被专门设计用于一些特殊场景中的SR任务，例如，Wang等人。 [33]使用一种新的空间特征转换层来引入语义先验作为SR网络的附加输入。此外，Riegler等人 [25]提出条件回归模型可以在训练和推理过程中有效地利用额外的核信息。SRMD [39]提出了一种拉伸策略，用于在SR网络中整合非图像退化信息。盲超分辨率盲SR假设退化内核不可用。近年来，社会各界对这方面的研究关注相对较少，盲目的SR问题Michaeli和Irani [23]基于小图像块将重新出现在图像中的特性来估计最佳模糊核。也有研究工作试图将深度学习应用于盲SR任务。 Yuan等人 [37]建议使用无监督学习不仅学习SR映射，而且学习降级映射。Shocher等人。 [27]利用图像内部信息的内部递归，并提出了一种无监督SR方法来超分辨具有不同模糊核的图像。他们在从输入图像本身提取的示例上训练一个小的CNN，训练后的图像特定CNN适合于超分辨率图像。与以往的工作不同，我们的方法利用SR结果和内核失配之间的相关性我们的方法使用中间SR结果迭代地校正模糊核的估计，从而提供无伪影的最终SR结果。3. 方法3.1. 问题公式化盲超分辨率问题的公式如下。在数学上，HR图像IHR和LR图像ILR通过退化模型ILR=（kIHR）↓s+n，（1）其中，表示卷积运算。该模型中有三个主要组成部分，即模糊核k、下采样操作↓s和加性噪声n。在文献中，最广泛采用的模糊核是各向同性的高斯模糊核[8，36，39]。此外，各向异性模糊核也出现在一些作品中[25，39]，它们可以160622被认为是运动模糊和各向同性模糊核的组合。为了简单起见，我们主要集中在各向同性模糊核没有运动的影响，在这篇文章中。在最近的基于深度学习的SR方法[39]之后，我们采用高斯模糊和双立方下采样的组合。在现实世界的使用情况下，LR图像通常伴随有加性噪声。与SRMD [39]中一样，我们假设加性噪声在现实世界应用中遵循高斯分布。注意，本文中的盲SR的公式与以前的工作[23，37]不同。虽然定义为盲SR问题，我们的方法集中在有限的各种内核和噪声。但是根据我们的假设估计的核可以处理大多数真实世界的图像。3.2. 动机然后，我们回顾了在SISR期间基于上述设置使用正确的模糊核的重要性为了获得LR图像ILR，首先通过具有k的各向同性高斯核来模糊HR图像IHR然后通过双三次插值进行下采样。假设映射F（ILR，k）是以核信息作为输入的良好训练的SR模型（例如，SRMD [39]）。然后，输出图像是无伪影的，具有正确的核k。盲SR问题相当于找到帮助SR模型生成视觉上令人愉悦的结果ISR的内核k 。 一 个 简 单 的 解 决 方 案 是 采 用 预 测 函 数 k′=P（ILR），直接从LR输入估计k预测器可以通过最小化l2距离来优化，θP= argmink− P（ILR;θP）2，（2）θP其中θP是P的参数。通过预测σ LR= 1。5σ LR= 2。0σ LR= 2。5σ LR= 3。0图2. SR对内核不匹配的敏感性。其中，σLR表示用于下采样的内核，σSR表示用于SR的内核。上述现象说明SR模型会显著放大k的估计误差，导致输出图像不自然为了解决内核不匹配的问题，我们建议迭代地校正内核，直到我们获得无伪影的SR结果。为了正确地估计k，我们构建校正函数C它测量了估计的内核和ground truth内核。我们的思想的核心是采用中间SR结果。校正函数可以通过最小化校正后的核与地面真实值之间的l2距离来获得，θC= arg min <$k−（C（ISR;θC）+k′）<$2，（3）函数和SR模型一起，我们能够构建θC端到端盲SR模型。然而，精确估计k是不可能的。由于逆问题是不适定的，对于单个输入存在k的多个候选。同时，SR模型对估计误差非常敏感。如果不准确的内核直接用于SR，那么最终的SR结果将包含明显的伪影。图2显示了SR结果对内核失配的灵敏度，其中σ SR表示SR所用的内核宽度。如图2的右上方区域所示，其中用于SR的内核比真实内核更尖锐（σ SR<σ LR），SR结果过度平滑并且高频纹理明显模糊。在图2的左下区域中，用于SR的内核比正确的内核更平滑（σSR> σLR），SR结果显示由过度增强高频边缘引起的非自然振铃伪影。相比之下，对角线上的结果使用正确的模糊内核，看起来很自然，没有伪影和模糊。的其中θC是C的参数，ISR是使用最后估计的核的SR结果。此校正器调整基于SR图像的特征估计模糊核经过校正后，使用调整后的核的SR结果应该接近自然图像，具有较少的伪影。然而，如果我们只使用一次校正来训练模型，则校正器可能会提供不充分的校正或过度校正内核，从而导致不满意的SR结果。一个可能的解决方案是使用较小的校正步骤，逐渐细化内核，直到达到地面真实。当SR结果不包含严重的过平滑或过锐化效应时，校正器将对估计的核进行微小的改变以确保收敛。然后，我们能够得到一个高质量的SR图像迭代应用核校正。实验也证明了我们的假设。图3显示了使用不同迭代次数的PSNR和SSIM结果。σ SR=3。0σ SR=2。5σ SR=2。0σ SR=1。5160700我我我不我不i−12827.727.427.126.80.760.750.740.730.72算法1迭代核校正要求：LR图像ILRRequire：最大迭代次数t一曰：h0← P（ILR）（初始化核估计）26.526.20 1 2 3 4 5 67迭代0.710.70 1 2 3 4 5 6 7迭代第二章： ISR← F（ILR，h0）（初始SR结果）第三章： i←0（初始化计数器）4：Whilei tdo图3. PSNR和SSIM与迭代 前...实验采用IKC法。测试集为Set14，SR因子为4。可以观察到，仅校正一次是不够的。当迭代次数增加时，PSNR和SSIM都逐渐增加，直到收敛。3.3. 该方法总体框架。所提出的迭代核校正（IKC）框架由SR模型F、预测器P和校正器C组成，并且伪代码在算法1中示出。 假设LR图像ILR的大小为C×H×W，其中C表示通道数，H和W表示图像的高度和宽度。我们假定模糊核的大小为l×l，核空间是l ~2维线性空间. 为了节省计算，我们首先通过主成分分析（PCA）降低核空间的维数。这些核通过降维矩阵M∈Rb×l2投影到b维线性空间上. 因此我们只需要执行在这个低维空间的估计，这是更有效的，在计算中有效 降维后的核记为h，其中h = Mk，h ∈Rb. 在算法开始时，由预测函数h0=P（ILR）给出初始估计 h0，然后用于得到第一SR 结果 ISR=F（ ILR，h0）。在获得初始估计后，我们继续进行估计的校正阶段。内核在第i次迭代时，给定先前估计hi-1，校正更新hi、新估计hi和新SR结果ISR可以写为C（ISR，hi−1）（4）hi=hi−1+hi（5）I SR= F（I LR，h i）.（六）在t次迭代之后，ISR是IKC的最终输出。SR模型F的网络结构。作为用于多个模糊内核的最简单的SR方法，SRMD [39]为CNN提出了一种简单而有效的拉伸策略直接处理非图像输入。SRMD将输入h拉伸成大小为b×H×W的核映射H，其中第i个映射的所有元素都等于h的第i个元素。SRMD采用级联的LR图像和尺寸（b+C）×H×W作为输入。然后，采用3×3卷积层和一个像素混洗上采样层的级联来实现超分辨率。然而，为了利用5：i←i+ 16：hi← C（ISR，hi−1）（使用中间SR结果估计内核误差）7：hi←hi−1+hi（更新核估计）8：ISR← F（ILR，hi）（更新SR结果）第九章： returnISR（输出最终SR结果）核信息，将图像和变换后的核连接起来作为输入不是唯一的或最好的选择。一方面，内核映射实际上不包含图像的信息。用卷积运算同时处理核映射和图像将引入与图像无关的干扰。使用这种具有残差块的级联策略可以与图像处理交织，使得难以利用残差结构来提高性能。另一方面，核信息的影响仅在第一层被考虑。当在更深的网络中应用相同的策略时，更深的层很难受到在第一层输入的核信息的影响为了解决上述问题，我们提出了一种使用空间特征变换（SFT）层的多内核新SR模型[33]，即SFTMD。在SFTMD中，核映射通过由SFT层对每个中间层中的特征映射应用仿射变换来影响网络的输出。这种仿射变换不直接参与输入图像的处理，从而提供了更好的性能。图4示出了SFTMD的网络架构。我们采用SRResNet[19]的高级架构，并将其扩展为通过SFT层处理多个内核。SFT层为fea提供仿射变换通过缩放和移位操作以核映射H为条件的真映射FSFT（F，H）=γF+β，（7）其中γ和β是用于缩放和移位的参数Hadamard乘积的推广。变换参数γ和β由小CNN获得。假设前一层F的输出特征图的大小为C f×H×W，其中C f是特征映射的数量，核映射的大小为b×H×W。CNN将级联的特征映射和核映射（总大小为（b + C f）× H × W）作为输入和输出γ和β。 我们在残差块中的所有卷积层之后使用SFT层峰值信噪比（dB）SSIM1608ConvSFT层FⓈγβ转换转换H单SFT层残余块像素随机上采样ISRvsConoidsIgM孔夫斯2ILRH图4.所提出的SFTMD网络的架构粉红色框中显示了所提议的SFT层的设计预测器网络P校正器网络CILRConv层估算图全球集中共用Conv层Sr我FSRConv层估算图全球集中共用h0hi−1FC层fh拉伸Fh伊什岛图5.提出的预测器和校正器的网络结构以及在全局剩余连接之后值得指出的是，代码图在空间上是均匀的这与其在语义超解析中的应用不同[33]。我们只利用SFT层的相变特性。预测器P和校正器C. 预测器和校正器的网络设计如图5所示。对于预测器P，我们使用四个卷积层，其中包含Leaky ReLU激活和全局平均值。存储池层。卷积层在空间上给出核h的估计并形成估计映射。然后，全局平均池化层通过在空间上取平均值来给出全局估计。对于校正器C，我们不仅取SR图像ISR而且还将先前的估计H作为输入。 类似于Eq。（3）新的校正器可以通过求解以下优化问题来获得：θC= arg min <$k −（C（I SR，h; θC）+k′）<$2。（八）θC输入SR结果首先通过Leaky ReLU激活的五个卷积层处理为特征映射FSR。注意，先前的SR结果可能包含伪像（例如，振铃和模糊），这可以由这些卷积层提取。同时，我们使用两个具有Leaky ReLU激活的全连接层来提取先前核估计的内部相关性。然后，我们将输出向量fh拉伸到特征ReLU激活以在空间上给出∆h的估计。与预测器相同，使用全局平均池化操作来获得Δh的全局估计。4. 实验4.1. 数据准备和网络培训我们根据3.1节中描述的问题公式合成训练图像对。对于用于训练的各向同性高斯模糊核，核宽度范围被设置为[0. 二，二。0]、[0. 二，三。0]和[0. 二、四。0]，分别用于SR因子2、3和4我们在上述范围内均匀采样内核宽度内核大小固定21×21。当应用于真实世界图像时，我们使用协方差σ= 15的加性高斯噪声。 我们也提供无噪声版本，用于在合成测试图像上进行比较。HR图像是从DIV2K [1]和Flickr2K [30]中收集的，然后训练集由3450张高质量的2K图像组成。训练数据集增加了随机水平翻转和90度旋转。所有模型都在RGB通道上训练和测试。SFTMD和IKC都是在合成训练图像对及其对应的模糊核上训练的。首先，使用均方误差（MSE）损失对SFTMD进行预训练。然后，我们交替训练预测器网络和校正器网络。训练的SFTMD的参数在训练预测器和校正器期间是固定的。训练的顺序可以参考算法1。使用SFTMD中使用的相同策略映射Fhfh对于每个小批量数据{ILR，IHR，hi}N，其中Nde-i i i=1和FSR然后被级联以预测ΔH。我们使用三个卷积层，内核大小为1×1和Leaky注意到小批量大小，我们首先更新根据Eq.（二）、然后我们更新了核心-拉伸残余块残余块猫我1609表1. SRCNN-CAB [25]、SRMDNF [39]和提出的SFTMD的定量比较。在Set5、Set14和BSD 100数据集上使用三种不同的各向同性高斯核最好的两个结果以红色和蓝色突出显示方法核宽度×2第5组[4]×3×4×2第14集[38]×3×4BSD100 [21]×2×3×4[25]第二十五话33.2731.0329.3130.2928.2926.9128.9827.6525.51SRMDNF [39]37.7934.1331.9633.3330.0428.3532.0528.9727.49SRResNet，在第一层0的情况。231.7430.9029.4027.5726.4026.1827.2426.4326.34SRResNet，通过直接级联37.6934.0131.6433.2630.0428.2331.8328.8127.26SFTMD（我们的）38.0034.5732.3933.6830.4728.7732.0929.0927.58[25]第二十五话33.4231.1429.5030.5128.3427.0229.0227.9125.66SRMDNF [39]37.4434.1732.0033.2030.0828.4231.9829.0327.53SRResNet，在第一层1 .一、330.8830.3329.1127.1625.8425.9326.8425.9226.20SRResNet，通过直接级联37.0134.0231.6932.9630.1328.2931.5828.8927.29SFTMD（我们的）38.0034.5732.3933.6830.4728.7732.0929.0927.58[25]第二十五话32.2130.8228.8129.7427.8326.1528.3526.6325.13SRMDNF [39]34.1233.0231.7730.2529.3328.2629.2328.3527.43SRResNet，在第一层二、624.2228.4428.6422.9924.1925.6323.0724.4225.99SRResNet，通过直接级联27.7532.7131.3525.6729.2828.0725.5728.1927.15SFTMD（我们的）38.0034.5732.3933.6830.4728.7732.0929.0927.58根据Eq. （8）具有固定的迭代次数t= 7.对于优化，我们使用Adam [17]，其中β1= 0。9，β2= 0。999，学习率为1×10-4。我们使用PyTorch框架实现我们的模型，并使用NVIDIA Titan Xp GPU进行训练。我们还提出了一个测试核集盲SR方法的定量评估，即高斯8。正如其名称所声明的那样，Gaussian8由每个SR因子2、3和4的八个选定的各向同性高斯模糊内核组成（总共二十四个内核）。内核宽度的范围设置为[0. 80，1。60]，[1. 35秒2 40]和[1. 八十三20]对于SR因子2、因子3和因子4。首先通过所选择的模糊核对HR图像进行模糊，然后通过双三次插值进行下采样。通过确定模糊核进行测试，我们可以比较和分析盲SR方法的性能。虽然它只包含各向同性高斯核，但它仍然可以用来测试盲SR方法的基本4.2. SFTMD实验我们评估了不同的高斯内核的性能，建议SFTMD。内核设置见表1。我们将SFTMD与SOTA非盲SR方法SRCNN-CAB [25] 和 SRMD [39] 进 行 了 比 较 。 由 于SFTMD 采 用 SRResNet 作 为 主 网 络 ， 这 与 SRMD 和SRCNN-CAB不同，我们提供了两个额外的基线，它们具有相同的网络结构，但不 同 的 拼 接 策 略 ： （ 1 ） 在 第 一 层 具 有 级 联 H 的SRResNet，（2）具有由直接级联1代替的SFT层的SFTMD。表1示出定量比较结果。与SOTA SR方法SRCNN-CAB在所有设置和数据集上实现显著更好的性能与两个均使用SRResNet作为主网络的附加基线相比，SFTMD也可以获得最佳结果。这进一步证明了1直接连接意味着将内核映射与特征映射直接连接。这与SFT层中的仿射变换不同。的SFT层。值得注意的是，在SRResNet中直接连接H将导致严重的性能下降。由于直接拼接策略和残差结构的结合会干扰图像处理，造成严重的伪影。4.3. 合成测试图像的实验我们评估所提出的方法的合成测试图像的性能图7显示了校正期间可以看出，使用由预测器直接估计的内核的SR结果（图7中的初始预测）是不令人满意的，并且包含模糊或振铃伪影。随着迭代次数的增加，伪影和模糊逐渐减少。定量结果（PSNR）也证明了迭代校正策略的必要性。我们可以看到，在第4次迭代时，使用校正的内核的SR结果能够显示出良好的视觉质量。然后，我们进行了彻底的比较与SOTA非盲和盲SR方法使用高斯8内核。我们还提供了使用SOTA去模糊方法的解决方案的比较。我们在非盲SR方法CARN [2]之前和之后执行盲去模糊方法Pan等人[24表2显示了PSNR和SSIM[35]这是五个常用数据集的结果。可以看出，尽管在双三次下采样设置下具有显著的性能，但是当下采样内核不同于预定义的双三次内核时，非盲SR方法遭受严重的性能下降。ZSSR [27]考虑了模糊核的影响，与非盲SR方法相比，提供了更好的SR性能。对LR图像进行盲去模糊处理，使SR图像更加清晰，但图像质量有所损失，最终的SR结果有严重的失真。对模糊的超分辨率图像进行去模糊处理可以获得较好的效果，但无法重建纹理和细节。虽然SR-没有核校正的结果（用“P + SFTMD”表示尽管采用了这些方法，但SR性能仍然可以大大提高。1610A+[31]CARN [2]CARN + Pan等人。[24]第27话我的世界图6.在Urban100的图像“Img 050“上，SR因子为4且核宽度为1.8的不同方法的SISR性能比较表2. SOTA SR法与IKC法的定量比较。最好的两个结果分别以红色和蓝色突出显示。请注意，标有“*”的方法方法规模Set5PSNR[4]美国SSIM产品14PSNR[38个]SSIMBSD100 [21]PSNR SSIM城市10PSNR0 [13]SSIM日本语[22]PSNR SSIM双三28.820.857726.020.763425.920.731023.140.725825.600.8498[2]第二届全国人大代表30.990.877928.100.787926.780.728625.270.763026.860.8606ZSSR [27]31.080.878628.350.793327.920.763225.250.761828.050.8769Pan等人 [24]第二十四话×224.200.749621.120.617022.690.647118.890.589521.540.7496CARN[2]+ Pan et al. [24日]31.270.897429.030.826728.720.803325.620.798129.580.9134P+SFTMD35.440.961731.270.867630.540.894627.800.846430.750.9074IKC（我们的）36.620.965832.820.899931.360.909730.360.894936.060.9474双三26.210.776624.010.666224.250.635621.390.620322.980.7576[2]第二届全国人大代表27.260.785525.060.667625.850.656622.670.632323.840.7620ZSSR [27]28.250.798926.110.694226.060.663323.260.653425.190.7914Pan等人 [24]第二十四话×319.050.522617.610.455820.510.533116.720.457818.380.6118CARN[2]+ Pan et al. [24日]30.130.856227.570.753127.140.715224.450.724127.670.8592P+SFTMD31.260.929128.410.781127.370.810224.570.745826.290.8399IKC（我们的）32.160.942029.460.822928.560.849325.940.816528.210.8739双三24.570.710822.790.603223.290.578620.350.553221.500.6933[2]第二届全国人大代表26.570.742024.620.622624.790.596322.170.586521.850.6834ZSSR [27]26.450.727924.780.626824.970.598922.110.580523.530.7240Pan等人 [24]第二十四话×418.100.484316.590.399418.460.448115.470.387216.780.5371CARN[2]+ Pan et al. [24日]28.690.809226.400.692626.100.652823.460.659725.840.8035P+SFTMD29.290.901426.400.713726.160.764822.970.672224.240.7950IKC（我们的）31.520.927828.260.768827.290.801425.330.776029.900.8793初始预测第1次迭代第二次迭代第3次迭代第四次迭代表3.所提出的IKC方法在其他下采样设置上的定量性能方法内核BSD 100 [21] BSD 100 [21]宽度PSNRSSIM PSNRSSIM（23.60分贝）（25.65分贝）（27.75分贝）（27.94分贝）（27.97分贝）CARN [2]25.92 0.6601[27] 25.64 0.6771 25.64 0.6446CARN [2]+ Pan et al. [24日]2.025.94 0.6804P+SFTMD 23.42 0.6812 25.01 0.7231IKC，不含PCAIKC（我们的）27.06 0.7704 26.35 0.7838初始月1第2第3月4CARN [2]24.53 0.5812预测（22.22dB）迭代（24.60dB）迭代（27.30dB）迭代（27.88dB）迭代（27.90dB）[27] 24.19 0.6045 24.53 0.5796CARN [2]+ Pan et al. [24]25.620.6678图7.在内核校正期间产生中间SR。通过使用所提出的IKC方法证明。图6中示出了示例。图9中示出了不同方法在不同模糊核上的PSNR值。可以看出，当核宽度变大时，先前方法的SR同时，所提出的IKC方法在所有模糊核下都具有优异的性能为了进一步展示所提出的IKC方法的泛化能力，我们在另一个广泛使用的降级设置[36]上测试了我们的方法，该设置涉及高斯核和直接下采样器。当下采样P+SFTMD3.023.300.679924.410.7214IKC，不含PCA26.750.768526.280.7849IKC（我们的）26.980.769426.580.7994函数不同，同一模糊核得到的LR图像也不同。表3示出了在不同下采样设置下所提出的IKC方法的定量结果。所提出的IKC方法保持了其性能，这表明IKC能够推广到与训练设置不一致的下采样设置。IKC方法具有这样的泛化能力的一个重要原因是IKC在PCA之后学习核，而不是通过核宽度参数化的核PCA提供了一种特征表示1611[27]中国农业机械工业协会[27]中国农业机械工业协会图8.SISR性能比较不同的方法与SR因素4对一个真正的历史图像2927252321191.351.501.651.801.952.102.252.40核宽度σ图9.不同方法在BSD 100上的PSNR性能比较[21]不同的内核宽度。测试SR因子为3。为了玉米粒。IKC学习SR图像与这些特征之间的关系，而不是高斯核宽度。在表3中，我们提供了与采用由高斯核宽度参数化的核的IKC方法的比较。实验证明，PCA的使用有助于提高IKC的泛化性能。4.4. 真实图像集除了上述的合成测试图像上的实验，我们还进行了实验，真实图像，以证明所提出的IKC和SFTMD的有效性。由于没有地面真实HR图像，我们仅提供视觉比较。图8显示了来自历史数据集的真实世界图像的SISR结果。为了进行比较，A+ [31]和CARN [2]被用作具有双三次下采样的代表性SR方法，而ZSSR[27]被用作代表性的盲SR方法。对于真实图像，下采样核是未知且复杂的，因此非盲SR方法的性能受到严重影响。SOTA盲法- ZSSR也不能提供令人满意的相比之下，IKC提供具有锐利边缘的无伪影SR结果。我们还比较了所提出的IKC方法与使用“手工”内核的非盲SR方法我们使用SRMD和[ 39 ]建议的“手工”内核超分辨率LR图像他们使用网格搜索策略来找到具有良好视觉质量的内核目视比较如图10所示。我们可以看到，SRMD的结果具有更尖锐的边缘和更高的对比度，但也看起来有点人为。同时，IKC可以自动提供视觉上令人愉悦的SR结果。虽然IKC结果的对比度不如SRMD结果高，但它仍然提供锐利的边缘等[27]第二十七话带有手工内核IKC的SRMD（我们的）图10. SR因子为4的真实图像“Chip“的SR结果SRMD建议的手工内核宽度为1.5。自然的视觉效果。5. 讨论本文研究了模糊核失配与超分辨率结果之间的关系，提出了一种迭代盲超分辨率方法- IKC。我们还提出了SFTMD，一种新的多模糊核SR网络结构。在本文中，我们的实验主要是在各向同性核上进行的。然而，各向同性核在大多数情况下，有一些轻微的运动模糊会影响内核。值得注意的是，在轻微运动模糊（各向异性模糊核）的情况例如，SR图像在某个方向上的伪影和模糊与内核在相同方向上的宽度有关这表明，通过在每个方向上采用这种不对称的内核失配，IKC方法也可以应用于具有轻微运动模糊的更真实的情况，这将是我们未来的工作。鸣谢。本工作得到商汤科技集团有限公司国家重点研发计划（2016YFC1400704）的部分支持，深 圳 研 究 项 目 （ JCYJ20170818164704758 ，JCYJ20150925163005055，CXB201104220032A），以及中国科学院-香港联合实验室rs）MDC（ ouSFTSRNIKP+ ZSCARA+平均PSNR1612引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在IEEE计算机视觉和模式识别会议上，第3卷，第2页，2017年。5[2] Namhyuk Ahn、Byungkon Kang和Kyung-Ah Sohn。使用级联残差网络实现快速、准确、轻量的超分辨率。在欧洲计算机视觉会议论文集（ECCV），第252-268页，2018年。六七八[3] 伊莎贝尔·贝京和FR费里。使用基于学习的方法的盲超分辨率。模式识别，2004年。2004年国际公民权利和政治权利委员会。第17届国际会议论文集，第2卷，第85-89页。IEEE，2004年。1[4] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012. 六、七[5] Adrian Bulat，Jing Yang，and Georgios Tzimiropoulos.要学习图像超分辨率，请首先使用gan学习如何进行图像降级。在欧洲计算机视觉会议（ECCV）的会议记录中，第185-200页，2018年。1[6] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEEtransactionsonpatternanalysisandmachineintelligence，38（2）：295-307，2016。一、二[7] Chao Dong，Chen Change Loy，and Xiaoou Tang.加速超分辨率卷积神经网络。欧洲计算机视觉会议，第391施普林格，2016年。2[8] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi.图像恢复的非局部中心稀疏表示。IEEE Transactionson Image Processing，22（4）：1620-1630，2013。2[9] Netalee Efrat ， Daniel Glasner ， Alexander Apartsin ，Boaz Nadler，and Anat Levin.精确的模糊模型与单个图像超分辨率中的图像在IEEE计算机视觉国际会议论文集，第2832-2839页，2013年。1[10] MuhammadHarisGregShakhnarovich 和 NorimichiUkita。用于超分辨率的深度反投影网络。计算机视觉与模式识别会议，2018年。一、二[11] 何荷和萧婉芝利用高斯过程回归实现单幅图像超分辨率 。 在 ComputerVisionandPatternRecognition（CVPR），2011 IEEE Conference on，第449-456页中IEEE，2011年。1[12] Yu He，Kim-Hui Yap，Li Chen，and Lap-Pui Chau.一种用于盲超分辨率图像重建的软映射框架图像和视觉计算，27（4）：364-373，2009。1[13] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉和模式识别会议论文集，第5197-5206页，2015年7[14] Neel Joshi，Richard Szeliski，and David J Kriegman.使用锐边预测的Psf估计计算机视觉中模式识别，2008年。CVPR 2008。IEEE Conference on，第1-8页。IEEE，2008年。1[15] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实