校正滤波器用于单图象超分辨率任务中的DNN性能增强

1用于单个图像超分辨率的校正滤波器：增强现成的深度超分辨器Shady Abu Hussein特拉维夫大学，以色列shadya@mail.tau.ac.il汤姆·蒂勒以色列特拉维夫大学tomtirer@mail.tau.ac.il拉贾·吉里斯以色列特拉维夫大学raja@tauex.tau.ac.il摘要单图像超分辨率任务是过去十年中研究最多的逆问题之一近年来，当采集过程使用固定的已知降尺度内核（通常是双三次内核）时，深度神经网络（DNN）已经显示出优于替代方法的性能然而，最近的几项工作表明，在实际情况下，测试数据与训练数据不匹配（例如，当降尺度内核不是双三次内核或者在训练时不可用时），领先的DNN方法遭受巨大的性能下降。受广义采样文献的启发，在这项工作中，我们提出了一种方法，用于提高DNN的性能，DNN已经在其他内核获得的观测值上使用固定内核进行了训练。对于一个已知的内核，我们设计了一个封闭形式的校正滤波器，修改低分辨率图像，以匹配一个由另一个内核（例如，双三次），从而改进了现有预训练DNN的结果。对于未知的核，我们扩展了这一思想，提出了一种盲估计所需的校正滤波器的算法我们表明，我们的方法优于其他超分辨率的方法，这是专为一般的降尺度内核。1. 介绍单图像超分辨率（SISR）是过去十年中最受关注的逆问题之一[11，13，37，8]。在这个问题中，目标是从通过包括低通滤波和子采样的采集过程获得的低分辨率（LR）版本重建潜在的高分辨率（HR）图像。近年来，随着深度学习的发展，已经提出了许多基于深度神经网络（DNN）的SISR方法[7，17，21，20，41，35，15]。通常，SISR方法的性能是在具有固定的已知采集过程的测试集例如双三次降尺度内核。这种评价方法-该方法允许准备大的训练数据，其基于通过已知的观测模型综合获得的地面真实HR图像和它们的LR对应物。DNN已经在这样的训练数据上进行了详尽的训练，明显优于其他替代算法，例如，基于手工制作的先验模型（如稀疏性或非局部相似性）的方法[8，13，37]。最近，一些研究表明，在测试数据与训练数据不匹配的实际情况下，领先的DNN方法会遭受巨大的性能下降[38，27，31]。这样的场景包括降尺度内核，其不是双三次内核并且在训练阶段不可用。一个主要的例子是一个未知的内核，需要在测试时从LR图像估计。最近的几种SISR方法提出了不同的策略，以享受深度学习的优势，同时减轻DNN对训练阶段中所做的固定内核假设的限制。这些策略包括：修改训练阶段，使其覆盖一组预定义的降尺度内核[39，14];使用DNN仅捕获与SISR任务解耦的自然图像先验[38，5];或者完全避免任何离线训练，而是在测试时从头开始训练CNN超级解析器[32，27]。贡献在这项工作中，我们采取了不同的策略，灵感来自广义采样文献[9，33]，用于处理由任意降尺度内核获得的LR图像。与其他先前的工作一样，我们没有完全忽略为双三次模型训练的最先进的DNN，而是提出了一种方法，将LR图像转换为与双三次内核获得的图像相然后可以将修改后的LR插入到现有的领先超级解 析 器 中 ， 例 如 DBPN [15] ， RCAN [41] 和 proSR[35]，从而显着提高它们在尚未训练的内核上的性能。所提出的变换使用校正滤波器来执行，当给出真实（非双三次）核时，校正滤波器具有封闭形式的表达式。在14281429原始图像（裁剪）LR图像[27]第27话我的世界[15]第十五届全国政协副主席ProSR与我们的校正RCAN与我们的校正DBPN与我们的校正图1：来自BSD 100的图像223061的非线性超分辨率，适用于比例因子4和高斯缩放核Std 4 5/二、我们的校正滤波器显著提高了在另一个SR内核上训练的DNN的性能。匹配所需的校正。所提出的方法在各种实际情况下优于其他超分辨率方法。非盲设置的示例结果见图12. 相关工作在过去的五年中，许多工作已经将DNN用于SISR任务，在重建误差方面表现出很大的进步[7，15，17，21，35，41]和感知质量[4，20，25，34]。然而，基于DNN的SISR方法的一个主要缺点是它们对LR图像形成模型的敏感性。如果网络已经针对一种采集模型进行了训练，然后在另一种采集模型上进行了测试，则网络性能往往会显著下降[27、31、38]。最近，已经提出了不同的SISR策略，其目标是享受深度学习的优势，同时减轻DNN对训练阶段所做的固定内核假设的限制一种方法训练CNN超解析器，其将LR图像和退化模型两者作为输入，并假设降尺度内核属于某组高斯滤波器[14，39]。另一种方法建立在CNN的结构先验之上，其促进具有空间重复模式的信号（例如，自然图像），因此允许在测试时从头开始训练超级解析器CNN [27，32]。另一条工作线通过最小化由保真度项（例如，最小二乘或反投影[30]）和先验项，其中1430H S RR∗↓∈∈∈≪∗ ⌈⌉SS→图2：单图像超分辨率的下采样、校正和上采样运算符：（a）下采样算子，由与核k的卷积和因子α的子采样组成;（b）校正算子，由与校正滤波器h的卷积组成;（c）上采样算子，由因子α的上采样和与（翻转的）核k二次卷积组成。在我们的方法中，是针对递归计算的，但随后我们替换为预训练的DNN超级解析器。只有后者由预训练的CNN去噪器或GAN处理[38，29，5，40]。最近，最后两种方法已经通过将图像自适应应用于降噪器[31]和GAN [1]而被合并。在所有这些方法中，降尺度内核作为输入给出在盲设置中（其中内核是未知的），仍然可以在初始内核估计阶段之后应用这些我们的方法受到了关于广义采样的文献[6，33，9]的启发，该文献概括了经典的广义理论提供了一个框架和条件，在该框架和条件下，由某一基采样的信号可以由不同的基重构在该框架中，使用可以解耦成两个阶段的线性算子来重构采样信号，第一阶段应用数字校正滤波器，第二阶段包括利用重构核的处理校正滤波器的作用是将与采样核相关联的采样系数变换为适合重构核的系数一些作品已经使用了图像处理的校正滤波器方法[10，12，24]。这些工作通常提出线性插值方法，即。校正滤波器之后是线性重建操作，并且不使用强的自然图像先验。因此，缺乏对细节的恢复。在这项工作中，我们计划使用（非常）非线性的反射方法，即DNN，其训练困难，计算昂贵，存储要求高，并且在观察模型未知时无法完成。为了克服这些困难，我们重新启动了正确的-使用校正滤波器。一般来说，只有少数工作考虑了盲SISR设置并开发了内核估计方法[28，22，14，3]。最后，我们想强调本文与[14]中的工作之间的主要差异，[ 14 ]中的“内核校正”方法可能被误解为我们的在[14]中，三种不同的DNN（超级解析器，内核估计器和内核校正器）在假设降尺度内核属于某个高斯滤波器族（类似于[39]）的情况下进行离线训练，CNN超级解析器获得估计的内核作为输入。因此，第一个主要区别是与我们的方法相反，没有预先训练的现有DNN方法（除了SRMD [39]）可以在[14]中使用。其次，与我们的方法相反，他们的方法受到离线训练假设的限制，只能使用非常特定类型的降尺度内核第三，这些作品的概念非常不同：[ 14 ]中的（迭代）校正修改了估计的降尺度内核，而我们的校正滤波器修改了LR图像。3. 该方法单图像超分辨率（SISR）采集模型可以被公式化为：y=（xk）↓α，（1）其中xRn表示HR潜像，yRm表示观察到的LR图像，kRd（dn）是（抗锯齿）模糊内核，表示线性卷积算子，α表示步长为α的子采样算子。 在通常的方式下，去掉xk的边，使它在Rn中，我们有m=n/α。注意，等式（1）可以用更简洁的形式来写。图1展示了一种基于超分辨率的滤波器方法，并展示了它如何与已经训练过的深度超分辨率一起使用。方式y=S（2）所需的校正滤波器取决于用于采样的内核。因此，在盲设置中，需要从LR图像估计。为此，我们提出了一个迭代优化算法估计，其中：Rn Rm是封装整个下采样操作的线性算子，即模糊化是模糊化之后的子采样的合成。图2（a）中给出了下采样算子S1431SR→SHSSR=100 - 1∗姆，- -RS→··R r r rRRM1∗∗大多数SISR深度学习方法，例如[7，17，21，20，41，35，15]，假设我们得到的意见-然而，由于我们给出的观测值是通过不同的降尺度内核y=Sx获得的，因此令双三次核函数让我们用R来表示关联，我们提出了一个不同的估计量x∈RHy，其中H：ated下采样算子（本质上，如果k是双三次核kbicub，则k与先前定义的k一致）。我们方法的核心思想是修改观测值y=对于任意降尺度核k，这样它们就模仿了（未知的）RmRm是一个修正算子。 图2（b）+2（c）显示了该回收过程。下面的定理给出了一个条件和一个公式，在此条件下，在假设1下，完全恢复是可能的。∗ybicub=Rx，可以输入预先训练的DNN第二章. 设y=Sx，x∈RHy，并假设模型在下文中，我们提出了一种使用校正滤波器工具（近似）实现此目标的方法，假设1成立。然后如果null（S）范围（R）={0}，（4）从广义抽样文献中。首先，我们考虑非盲设置，其中降尺度内核已知，因此他知道。在这种情况下，我们获得所需校正滤波器的闭合形式表达式，这取决于k（和k二次立方）。随后，我们将该方法扩展到盲设置，其中k是未知的。 在这我们有x=x，∗−1H=（ SR）证据 注意：Rm→R.（五）在这种情况下，我们提出了一种用于从LR图像y估计校正滤波器的技术。3.1. 非盲设置在非盲设置中，降尺度内核k和目标内核kbicub都是已知的。因此，下采样算子也是已知的。使用广义抽样文献中的常用符号x=RHy=RHSxRHS R（R R）Rx，（6）其中最后一个等式来自假设1。 接下来，（4）暗示算子（S R）是可逆的。因此，根据（5）设置H是可能的，并且我们得到[9]，让我们用S和R表示S的伴随算子，R，分别。运算符R：R→R是一个上采样-x=R（S∗−1R）∗ ∗−S R（R R） R从m个样本恢复Rn中的信号的pling算子与下采样操作符R相关联。在骗局里-∗−1∗=R（R R） Rx=x，（7）我们工作的文本，当应用于向量时，它用n填充它m个零点（α在每两个条目之间有1个零），并将其与kbicub的翻转版本进行卷积。上-采样算子R如图2（c）所示类似的其中最后一个等式来自假设1。定理2用算子符号表示以简化推导。在SISR的背景下（即，与前一定义为：RmRn，核为k。广义抽样理论的主要目标是确定-S的定义−1和R），算子H=（S R）可以验证信号模型和采样系统，以实现完美的恢复。因此，为了继续下去，让我们做以下事情可以简单地应用为与校正滤波器的卷积h0，由下式的假设。假设1. 信号x可以被完美地恢复由运算子R（R<$R）−1，从其样本R<$x，i.e.h0= IDFT.Σ1DFT{（kflip（kbicub））↓α}、（8）x = R(）−1Rx。（三）其中DFT（）和IDFT（）表示离散傅里叶变换，变换及其逆变换。1RR在实践中，不是使用弱估计量x=假设1基本上陈述潜像x驻留在由双三次核所跨越的线性子空间中。因此，它可以完美地从ob中恢复servationsybicub=x通过应用伪逆∗onybicub，i.e. 由估计量x=（）−1ybicub。虽然假设1不适用于自然免疫，年龄，它的动机是这样一个事实，即有许多DNN方法可以很好地处理形式的观测。∗X∗1432·RHy不使用任何自然图像先验，我们建议恢复HR图像，x=f（hy），（9）其中f（）是已经在双三次内核的假设下训练的DNN超解析器，并且h是修改的1使用DFT可以快速实现循环卷积。当它用于线性卷积时，需要忽略边缘伪影。1433ΣFSHn=0表1：Set14上的非盲超分辨率比较每个单元格显示PSNR [dB]（左）和SSIM（右）。规模√高斯标准差= 1。5/2√高斯标准差= 2。5/2宽度= 4的ZSSR228.107 /0.82927.954 /0.80628.506 /0.802SRMD232.493 /0.87829.923 /0.81225.944 /0.757DBPNDBPN +我们的修正2230.078 /0.85034.023 /0.90426.366 /0.73433.288/0.89528.444 /0.80329.364 /0.822ProSRProSR +我们的更正2230.073 /0.84933.954 /0.90326.371 /0.73433.273 /0.89528.459 /0.80329.514/0.825RCANRCAN +我们的修正2230.118 /0.85134.043/0.90426.389 /0.73633.251 /0.89528.469 /0.80429.306 /0.820规模√高斯标准差= 3。5/2√高斯标准差= 4。5/2宽度= 8的ZSSR425.642 /0.70125.361 /0.68324.549 /0.653SRMD426.877 /0.71825.350 /0.67419.704 /0.525DBPNDBPN +我们的修正4425.067 /0.68528.680/0.77523.890 /0.64528.267/0.76624.636 /0.66725.157 /0.679ProSRProSR +我们的更正4425.033 /0.68328.609 /0.77223.882 /0.64528.220 /0.76424.685 /0.66725.419/0.683RCANRCAN +我们的修正4425.077 /0.68528.534 /0.77123.904 /0.64628.110 /0.76224.694 /0.66825.301 /0.679校正滤波器，由下式给出.如实验部分所示，我们的方法产生即使当k的通带为h= IDFTDFT{（kbicubflip（kbicub））↓α}.DFT{（k flip（kbicub））↓α}F编号适度地小于K双立方的通带。此外，我们观察到，即使对于非常模糊的LR图像，也可以通过增加，IDFTFdenom.（十）正则化参数（11）。我们建议读者参阅补充材料以了解更多细节。让我们解释一下（9）中估计量背后的思想由于逆映射f（·）假设双三次downscaling（R<$x），它可以被解释为将R（R<$R）−1与（学习的）先验结合起来。因此，与（8）中的h0后面跟着R不同，这里校正滤波器还应该补偿 在f（·）中隐式完成的运算（R<$R）-1。 这解释了h的数值t或中的项（与h0的分子中的1相同）。为了确保数值稳定性，我们稍微修改了（10），并使用3.2. 盲人设置在盲设置中，降尺度内核k是未知的。因此，我们不能使用（11）计算校正滤波器h，并且将我们的方法扩展到该设置需要从LR图像y估计k和h。为此，我们建议将k估计为以下目标函数h= IDFT.Σ∗Fnumer·denom2、（11）（k）=毂 +m岑 ·kalp1 +krkrk1，（12）|Fdenom|+其中，k是小正则化参数。关于f（·）的选择，在我们的实验中，我们使用DBPN[15]，其中，Huber·HuberHub是Huber损失[16]，运算符H是滤波其中，在（11）中，S_i是d_ o_n采样算子，f（·）是给定的SR网络，mcen由下式给出：-（x2+y2）RCAN [41]和proSR [35]，但一般来说，任何其他具有最先进性能的方法（对于双三次核，mcen（x，y）= 1 − e32α2 、预计NEL）将产生良好的结果。注意，我们策略的理论动机要求（4）中的条件成立。这种情况可以通过比较频域中的核k和kbicub由于k通常是一个低通滤波器（kbicub也是），因此条件要求其中α是比例因子。Note that the two operators and ∗depend on the kernel k.（12）中的最后两项是正则化子：最后一项促进k的稀疏性，倒数第二项集中其密度。受[2，3]的启发，我们选择通过由4层组成的线性CNN来参数化潜在k，即K=1434k的通带包含在k的通带中。 然而k0<$k1<$k2<$k3，其中{kn}2尺寸为33×33，1435·∗↓×H·i）（i−1）（i−1）√√√×√表2：BSD 100上的非盲超分辨率比较每个单元格显示PSNR [dB]（左）和SSIM（右）。规模√高斯标准差= 1。5/2√高斯标准差= 2。5/2规模√高斯标准差= 3。5/2√高斯标准差= 4。5/2ZSSR229.339 /0.82226.415 /0.715425.115 /0.65124.348 /0.625SRMD226.591 /0.80329.294 /0.838425.735 /0.70426.432 /0.707DBPNDBPN +校正2229.512 /0.82732.300 /0.88426.371 /0.71131.875 /0.8784425.268 /0.66227.690/0.74024.357 /0.62827.474/0.733ProSRProSR +校正2229.513 /0.82732.276 /0.88426.381 /0.71131.899 /0.8784425.237 /0.66127.645 /0.73824.353 /0.62827.455/0.733RCANRCAN +校正2229.558 /0.82932.368/0.88626.397 /0.71331.876/0.8784425.281 /0.66327.626 /0.73924.373 /0.62927.399/0.732算法1：校正滤波器估计输入：y，kbicub，α，f（）。输出：h表示h的估计值。参数： k（0）= kbicub，i = 0，k = 10−14，γ= 10−4，N而i Niter做i=i+1;ITER= 250LR（Gaussian kernel）使用（11）计算h（i）（对于k（i−1），α和）;x（i）=f（h（i）≠y）;Hy∈（i）=（x（i）k（i−1））α;k（i−1）=y−y”Ideal” LR图3：观察到的、“理想”的和校正的LR图像S/N之间的比较k（i）=Adam update（对于LRγ的k（k（i−1）;端std的内核4. 5/2。i=i（i）;表3：滤波器校正（非双三次）的LR到Set14上的双三次LR。每个单元格显示PSNR [dB]（左）和SSIM（右）。k3的大小为3232。（12）的最小化spect tok由Adam [18]的250次迭代执行，学习率为10−4，初始化为k（0）=kbicub。所提出的程序在算法1中描述。注意在每次迭代中，我们获得对下尺度核k和校正滤波器h的估计。 的最终估计量然后在（9）中使用h来重建HR图像，类似地非盲设置。4. 实验在本节中，我们使用在（9）中充当f（）的三个不同的现成DNN超级解析器来检查由于我们的校正滤波器方法在非盲和盲设置中的性能和改进：DBPN [15]、RCAN [41]和proSR [35]。我们将我们的方法与接收降尺度内核k（或其在盲设置中的估计）作为输入的其他方法进行比较：[27][39][ 39 ][39]然而，我们还将我们的方法与DPSR [40]进行了比较，因为它的结果非常差于其他方法补充材料。所有的实验都是用每种方法的官方代码进行的。我们建议读者参考补充材料以获得更多结果。4.1. 非盲设置在本节中，我们假设降尺度核k是已知的。因此，可以直接使用（11）计算校正滤波器h我们研究的情况下，规模因子为2和4。 对于比例因子2，我们使用具有标准偏差σ=1的高斯核。5/2和σ=2。5/2，和大小为4 4的盒内核。对于比例因子4，我们使用具有标准偏差σ=3的高斯核。5/2和σ=4。5/2，和大小为8×8的盒状内核。战略（例如PSNR降低约10 dB），它们被延迟。规模高斯std 1. 5/2高斯std 2. 5/2包装盒，宽度4251.345 /0.99945.456 /0.99533.679 /0.941规模√高斯std 3. 5/2√高斯std 4. 5/2包装盒，宽度8458.437 /0.99946.917 /0.99532.308 /0.9071436RH原始图像（裁剪）LR图像双三次上采样SRMD ZSSRProSR RCAN DBPNProSR与我们的校正RCAN与我们的校正DBPN与我们的校正图4：来自BSD 100的图像189080的非盲超分辨率，比例因子为2，高斯降尺度内核的标准差为2.5。分别设置Set14和BSD 100。图1和图4显示了几个视觉结果。可以看出，所提出的滤波器校正方法显著改善了DBPN、RCAN和proSR的结果，这些结果已经针对（不正确的）双三次内核进行了训练。此外，请注意，DBPN、RCAN和proSR的滤波器校正应用也优于SRMD和ZSSR，而DBPN、RCAN和proSR的普通应用则不如SRMD。如第3节中所解释的，所提出的方法是基于通过校正的LR图像来模仿（未知的）y. 高PSNR和SSIM结果在这样的图像对之间，如表3所示，用于设置14，验证此确实发生了。图3显示了一个直观的比较。推理运行时。计算校正滤波器所需的时间可以忽略不计，因此它不会改变现成DNN的运行时间使用NVIDIA RTX 2080ti GPU，除ZSSR外，所有方法的每张图像运行时间都小于1秒（因为在测试阶段没有进行训练），而ZSSR每张图像需要4.2. 盲人设置在本节中，我们重复前面的实验，但不假设降尺度核k是已知的。因此，为了应用我们的方法，我们首先使用算法1估计校正滤波器，然后使用该估计1437√表4：Set14上的盲超分辨率比较每个单元格显示PSNR [dB]（左）和SSIM（右）。规模√高斯标准差= 1。5/2√高斯标准差= 2。5/2宽度= 4的KernelGAN226.381 /0.78528.868/0.80728.221 /0.802DBPNDBPN +我们的估计校正2230.078/0.8528.46 /0.84226.366 /0.73428.037 /0.79428.444 /0.80329.778/0.840规模√高斯标准差= 3。5/2√高斯标准差= 4。5/2宽度= 8的KernelGAN424.424 /0.67325.174 /0.66923.575 /0.634DBPNDBPN +我们的估计校正4425.067 /0.68528.184/0.76423.890 /0.64525.542/0.69924.636 /0.66725.111/0.681表5：BSD 100上的盲超分辨率比较每个单元格显示PSNR [dB]（左）和SSIM（右）。规模√高斯标准差= 1。5/2√高斯标准差= 2。5/2规模√高斯标准差= 3。5/2√高斯标准差= 4。5/2KernelGAN226.615 /0.77328.244/0.780424.363 /0.64725.238 /0.652DBPNDBPN + est. 校正2229.512/0.82727.784 /0.82826.371 /0.71127.761 /0.7694425.268 /0.66227.103/0.72224.357 /0.62825.485/0.671通过（9）来恢复HR图像。注意，算法1利用预先训练的DNN来估计校正滤波器。在这里，我们只将其应用于DBPN，DBPN具有比RCAN 和proSR 更紧凑的架构，因此导致更快的推理。然而，对于RCAN和proSR也可以获得类似的结果。在这种情况下，我们将我们的方法与kernelGAN [3]进行了比较，后者使用对抗训练（在测试时）来估计降尺度内核，然后使用ZSSR来恢复HR图像。Set 14和BSD 100的结果分别见表4和表5，目视示例见图5。有关DIV2KRK的更多结果和比较见补充材料。可以看出，与其普通应用相比，所提出的滤波器校正方法改善了DBPN的结果。它也优于kernelGAN，尽管它更简单。5. 结论近年来，SISR任务从深度学习的发展中获益匪浅。然而，领先的DNN方法在不符合其训练阶段使用的采集过程假设的图像上进行测试时，会遭受巨大的性能下降-通常情况下，降尺度内核是双三次的。在这项工作中，我们通过信号处理方法解决了这个问题：计算一个校正滤波器，该滤波器修改低分辨率观测，使得它们模仿用双三次核获得的观测。（请注意，我们在这项工作中对双三次内核的关注是为了演示的简单性和它的流行性。然而，也可以将我们开发的工具用于其他重构内核）。然后，修改后的LR被馈送到现有的最先进的DNN中，这些DNN仅在双三次内核的假设各种实验原始图像（裁剪）LR图像双三次上采样KernelGANDBPN DBPN + est. 校正图5：来自集合14的斑马图像的盲SR，对于缩放因子4和具有标准3的高斯降尺度内核。5/2。表明，所提出的方法显着提高了预训练DNN的性能，并优于其他（更复杂）的方法，这些方法专门设计为对不同的内核具有鲁棒性。谢谢。这项工作得到了NSF- BSF（No. 2017729）和ERC-StG（No. 757497）补助金。1438引用[1] Shady Abu Hussein Tom Tirer和Raja Giryes基于图像自适应GAN的重建. 2020年AAAI人工智能会议。3[2] Sanjeev Arora，Nadav Cohen，Noah Golowich，and WeiHu.深度线性神经网络的梯度下降收敛性分析。ICLR，2019。5[3] Sefi Bell-Kligler、Assaf Shocher和Michal Irani。使用内部GAN的盲超分辨率核估计。神经信息处理系统进展，2019。三、五、八[4] 约柴·布劳和托莫·麦克利。感知失真的权衡。IEEE计算机视觉和模式识别会议，2018年6月。2[5] Ashish Bora，Ajil Jalal，Eric Price，and Alexandros GDi- makis. 使用生成模型的压缩感知在第34届机器学习国际会议上，第70，第537JMLR。org，2017.第1、3条[6] 保罗·里奥·布泽。Whittaker-Shannon采样定理及其一些扩展的。J. 数学Res.博览会1983. 3[7] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。在欧洲计算机视觉会议上，第184-199页。Springer，2014. 一、二、四[8] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi.图像恢复的非局部中心稀疏表示。IEEE transactionson Image Processing，22（4）：1620-1630，2012。1[9] 尤尼娜·C·埃达采样理论：超越带宽限制系统。剑桥大学出版社，2015年。一、三、四[10] Yonina C Eldar和Tomer Michaeli。超越带宽限制采样。IEEE信号处理杂志，26（3）：48-68，2009。3[11] William T Freeman，Ellis R Jones和Egon C Pasztor。基于示 例的 超分辨 率。 IEEE计算 机图 形学与 应用，（2）：56-65，2002年。1[12] 卡·比。点扩散函数已知的图像最优线性插值。InProceedings of the Scan- dinavian Conference on ImageAnalysis,, pages 161–168, 2001. 3[13] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的图像超分辨率。在2009年IEEE第12届计算机视觉国际会议上，第349美国电气与电子工程师协会。1[14] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在IEEE计算机视觉和模式识别会议论文集，第1604-1613页，2019年。一、二、三[15] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集，第1664-1673页，2018年。一二四五六[16] 彼得·J·胡贝尔。位置参数的鲁棒估计。数学统计年鉴，第73-101页，1964年。5[17] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第1646-1654页，2016年。一、二、四[18] Diederik P. Kingma和Jimmy Ba。Adam：A method forstochastic optimization，2014. 6[19] 弗拉基米尔·亚历山德罗维奇·科捷尼科夫。关于“以太”和电缆在电气通信中的传输容量。1933. 3[20] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页一、二、四[21] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在IEEE计算机视觉和模式识别研讨会集，第136-144页，2017年。一、二、四[22] Tomer Michaeli和Michal Irani非参数盲超分辨率。在IEEE计算机视觉国际会议论文集，第945-952页，2013年。3[23] 哈利·奈奎斯特。Certain topics in telegraph transmissionthe- ory. 美国电气工程师，47（2）：617-644，1928年。3[24] Sathish Ramani ， Dimitri Van De Ville ， and MichaelUnser.非理想采样与随机母模型自适应重建。在2006年IEEE国际会议上声学语音和信号处理进展，第2卷，第II-II页。IEEE，2006年。3[25] Mehdi SM Sajjadi ， Bernhard Scholkopf ， and MichaelHirsch. Enhancenet：通过自动纹理合成实现单幅图像超分辨率。在IEEE计算机视觉国际会议论文集，第4491-4500页，2017年。2[26] 克劳德·埃尔伍德·香农。有噪声时的通信Proceedings ofthe IRE，37（1）：10-21，1949. 3[27] Assaf Shocher、Nadav Cohen和Michal Irani。 在IEEE计算机视觉和模式识别会议论文集，第3118-3126页，2018年。一、二、六[28] FilipSroubek，GabrielCris to'bal，andJanFlusse r. 超分辨与多通道盲解卷积的统一方法。IEEE Transactions onImage Processing，16（9）：2322-2332，2007。3[29] 汤姆·蒂勒和拉贾·吉里斯基于迭代去噪和后向投影的图像 复 原 。 IEEE Transactions on Image Processing ， 28（3）：1220-1234，2018。3[30] 汤姆·蒂勒和拉贾·吉里斯基于反投影的不适定线性反问题 的 保 真 度 项 。 arXiv 预 印 本 arXiv ： 1906.06794 ，2019。2[31] 汤姆·蒂勒和拉贾·吉里斯通过图像自适应去噪CNN实现超分辨率：强调外部学习和内部学习。 IEEE SignalProcessing Letters，2019。 一、二、三1439[32] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深度图像先验。在IEEE计算机视觉和模式识别会议论文集，第9446- 9454页，2018年。一、二[33] 迈 克 尔 · 昂 瑟 采 样 -50 年 后 香 农 。 Proceedings of theIEEE，88（Article）：569-587，2000. 第1、3条[34] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen Change Loy.Esrgan：增强型超分辨率生成对抗网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第0-0页，2018年。2[35] Yifan Wang ， Federico Perazzi ， Brian McWilliams ，Alexan- der Sorkine-Hornung，Olga Sorkine-Hornung，and Christo- pher Schroers.一种完全渐进的单图像超分辨率方法。在IEEE计算机视觉和模式识别研讨会会议集，第864-873页一二四五六[36] 埃德蒙·泰勒·惠特克。关于插值理论的展开式所表示的函数。爱丁堡皇家学会首席执行官，35：181-194，1915年。3[37] Jianchao Yang，John Wright，Thomas S Huang，and YiMa.通过稀疏表示实现图像超分辨率。IEEE transactionson image processing，19（11）：28611[38] 张凯、左王梦、古书航、张磊。学习深度CNN去噪器先验用于图像恢复。在IEEE计算机视觉和模式识别会议论文集，第3929-3938页，2017年。一、二、三[39] 张凯、左王梦、张磊。 学习一个单一的卷积超分辨率网络的多重退化。在IEEE计算机视觉和模式识别会议论文集，第3262- 3271页，2018年。一、二、三、六[40] 张凯、左王梦、张磊。深度即插即用的超分辨率任意模糊内核。在IEEE计算机视觉和模式识别会议论文集，第1671-1681页，2019年。三、六[41] Yulun Zhang ， Kunpeng Li ， Kai Li ， Lichen Wang ，Bineng Zhong，and Yun Fu.基于极深残差通道注意力网络的图像超分辨率。在欧洲计算机视觉会议（ECCV）的会议记录中，第286-301页，2018年。一二四五六