利用原始图像实现真实场景超分辨率

1723利用原始图像实现真实场景超分辨率向宇徐永瑞马文秀孙SenseTime研究图1.现有的超分辨率方法（RDN [38]）对于（c）中所示的真实捕获图像表现不佳。我们可以通过使用我们的方法生成的数据重新训练现有模型[38]来获得更清晰的结果（d）此外，我们恢复更多的结构和细节（e），通过利用记录在原始图像中的辐射信息两个输入图像（a）分别由Leica SL Typ-601和iPhone 6s拍摄，在训练过程中两个相机都不会被模型看到最好以电子方式查看结果摘要现有的超分辨率方法由于缺乏真实的训练数据和模型输入的信息丢失，在实际场景中表现不佳。为了解决第一个问题，我们提出了一个新的管道，通过模拟数码相机的成像过程来生成逼真的训练数据。为了弥补输入的信息丢失，我们开发了一个双卷积神经网络来利用原始图像中原始捕获的辐射信息此外，我们建议学习空间变化的颜色变换，这有助于更有效的颜色校正-S.大量的实验表明，原始数据的超分辨率有助于恢复精细的细节和清晰的结构，更重要的是，所提出的网络和数据生成管道在实际场景中实现了单幅图像超分辨率的优异效果。1. 介绍在光学摄影技术中，表示一个物体的像素数，即像素数.图像分辨率与照相机焦距的平方成正比[11]。虽然人们可以使用长焦距镜头来获得高分辨率的图像，年龄，捕获的场景的范围通常受到图像平面处的传感器阵列的大小的限制因此，用户通常希望用短焦距相机（例如，相机）以较低的分辨率捕获宽范围场景。广角镜头），然后应用从其低分辨率版本恢复高分辨率图像的单图像超分辨率技术大多数最先进的超分辨率方法[4，18，31，34，20，32，38，37]基于数据驱动的模型，特别是深度卷积神经网络（C-NN）[4，27，21]。虽然这些方法对合成数据是有效的，但是由于缺乏真实的训练数据和网络输入的信息丢失，它们对于由相机或手机（图1（c）中所示的示例）捕获的真实图像表现不佳。为了解决这些问题并实现真实场景超分辨率，我们提出了一种用于生成训练数据的新管道和一种用于利用额外原始信息的双CNN模型，如下所述。首先，大多数现有方法不能合成真实的训练数据;低分辨率图像通常用固定的下采样模糊核（例如，双三次核）和同方差高斯噪声[38，35]。一方面，模糊核在实践中可以随着缩放而变化。1724图2.数码相机的典型ISP流水线。(b)表示拜耳模式原始图像，其中由黑点曲线包围的传感器是拜耳模式块。cus和图像捕获期间的相机抖动，这超出了固定内核假设。另一方面，图像噪声通常服从异方差高斯分布[26]，其方差取决于像素强度，这与同方差高斯噪声形成鲜明对比。更重要的是，模糊核和噪声都应该应用于线性原始数据，而以前的方法使用预处理的非线性彩色图像。为了解决上述问题，我们通过模拟数码相机的成像过程，在线性空间中合成训练数据，并采用不同的核函数和异方差高斯噪声来逼近真实场景。如图1（d）所示，我们可以通过使用来自生成管道的数据训练现有模型[38其次，虽然现代相机提供原始数据和预处理的彩色图像（由图像信号处理系统产生，即，ISP）给用户[12]，大多数超分辨率算法只以彩色图像作为输入，没有充分利用原始数据中存在的辐射信息。相比之下，我们直接使用原始数据来恢复高分辨率清晰图像，这具有以下几个优点：（i）可以在原始像素中利用更多信息，因为它们通常是12或14位[1]，而ISP产生的彩色像素通常是8位[12]。我们在图2（a）中显示了一个典型的ISP管道。除了比特深度之外，ISP管道内还有额外的信息损失，例如降噪和压缩[25]。(ii)原始数据与场景辐射成比例，而ISP包含非线性操作，例如色调映射。因此，成像过程中的线性退化，包括模糊和噪声，在处理后的RGB空间中是非线性的，这给图像恢复带来了更多困难[24]。（iii）ISP中的去马赛克步骤与超分辨率高度相关，因为这两个问题都涉及相机的分辨率限制[39]。因此，用预处理图像解决超分辨率问题是次优的，并且可能不如同时解决两个问题的单个统一模型在本文中，我们介绍了一种新的超分辨率方法，利用相机传感器的原始数据。现有的原始图像处理网络[2，29]通常学习从降级的原始图像到所需的全色输出的但是，原始数据不包含使用以下方法进行颜色校正的相关信息在ISP系统中，因此用它训练的网络只能用于一个特定的相机。为了解决这个问题，我们提出了一个双CNN架构（图3），它将退化的原始图像和彩色图像作为输入，因此我们的模型可以很好地推广到不同的相机。该模型由两个并行分支组成，第一个分支利用原始数据恢复清晰的结构和细节，第二个分支利用低分辨率RGB图像作为参考恢复高保真的颜色。为了利用多尺度特征，我们在编码器-解码器框架中使用密集连接的卷积层[15]对于颜色校正分支，简单地采用[29]中的技术来学习全局变换通常会导致伪影和不正确的颜色外观。为了解决这个问题，我们建议学习逐像素的颜色变换来处理更复杂的空间变化的颜色操作，并生成更吸引人的结果。此外，我们引入了特征融合，以获得更准确的颜色校正估计。如图1（e）所示，所提出的算法显著改善了真实捕获图像的超分辨率结果。本工作的主要贡献总结如下。首先，我们设计了一个新的数据生成管道，它可以合成逼真的原始和彩色训练数据，以实现图像超分辨率。其次，我们开发了一个双向网络架构，利用原始数据和彩色图像的真实场景的超分辨率，这是能够推广到不同的相机。此外，我们建议学习空间变化的颜色变换以及特征融合以获得更好的性能。大量的实验表明，使用原始数据解决该问题有助于恢复精细的细节和清晰的结构，更重要的是，所提出的网络和数据生成管道在实际场景中实现了单图像超分辨率的优越效果2. 相关工作我们讨论了最先进的超分辨率方法以及基于学习的原始图像处理，并将这项工作放在适当的背景下。超分辨率大多数最先进的超分辨率方法[34，18，32，4，38，20，6，37]学习CNN从低分辨率颜色输入重建高分辨率图像。Dong等人[4]提出了一种三层CNN，用于将低分辨率补丁映射到高分辨率空间，但未能在更深的网络中获得更好的结果[5]。为了解决这个问题，Kimet al.[18]引入残差学习以加速训练并获得更好的结果。Tong等人[32]使用密集跳过连接来进一步加速重建过程。虽然这些方法在插值像素方面是有效的，但是它们基于预处理的彩色图像，因此在产生真实感方面具有局限性1725图3.拟议网络概述 我们的模型具有两个并行分支，其中第一分支利用原始数据Xraw来恢复具有清晰结构和精细细节的所有颜色通道的高分辨率线性测量值Xraw，并且第二分支使用低分辨率彩色图像Xraf作为参考来估计变换矩阵以重新获得最终颜色结果Xraf。续费相比之下，我们建议在一个统一的框架中利用原始数据和彩色图像，以获得更好的超分辨率。联合超分辨率和去马赛克。针对此问题的许多现有方法估计具有多个低分辨率帧的高分辨率彩色图像[7，33]。与我们的任务更密切相关的是，Zhouet al. [39]提出了一种用于具有镶嵌图像的单图像超分辨率的深度残差网络然而，该模型是在伽马校正的图像对上训练的，这可能不适合真实的线性数据。更重要的是，这些作品没有考虑到复杂的颜色校正步骤所应用的相机ISP，因此不能恢复高保真的颜色外观。与之不同的是，该算法同时解决了图像恢复和颜色校正的问题，更适合于实际应用。基于学习的原始图像处理。近年来，基于学习的方法已经被提出用于原始图像处理[16，2，29]。Jiang等[16]建议学习 大量的局部线性滤波器来近似复杂的非线性ISP流水线。在他们的工作之后，Schwartzet al.[29]使用深度CNN来学习特定数码相机的色彩校正操作Chen等人[2]用原始数据作为输入训练神经网络，以实现快速低光成像。在这项工作中，我们学习的背景下，原始图像超分辨率的颜色校正我们使用低分辨率彩色图像作为处理来自更多样化ISP系统的图像的参考，而不是3. 方法为了在真实场景中获得更好的超分辨率结果，我们提出了一个新的数据生成管道来合成更真实的训练数据，以及一个双CNN模型来利用记录在原始数据中的辐射信息我们在第3.1节中描述了合成数据生成管道，在第3.2节中描述了网络架构。3.1. 训练数据大多数超分辨率方法[18，4]通过使用固定的双三次模糊内核对高分辨率彩色图像进行下采样来生成训练数据。而同方差高斯噪声通常用于模拟真实图像噪声[38]。然而，如第1节中所介绍的，以这种方式生成的低分辨率图像与真实捕获的图像不相似，并且对于训练真实场景超分辨率模型将不太有效。此外，我们还需要生成低分辨率的原始数据来训练所提出的du-alCNN，这通常是通过直接镶嵌低分辨率彩色图像来实现的[9，39]。这种策略忽略了这样一个事实，即彩色图像已经通过ISP系统的非线性操作进行了处理，而原始数据应该来自像素的线性颜色测量。为了解决这些问题，我们从高质量的原始图像开始[1]，并通过模拟退化图像的成像过程来生成逼真的训练数据。我们首先通过对高质量的原始图像进行下采样来合成地面真实线性颜色测量，使得每个像素都可以具有其地面真实红色，绿色和蓝色值。特别是，对于拜耳模式原始数据（图2（b）），我们将拜耳模式传感器块定义为一个新的虚拟传感器。sensel，提供所有颜色测量。通过这种方式，我们可以获得所需的图像Xlin∈RH×W×3，其中每个像素的所有三种颜色都具有线性测量H和W表示地面实况的高度和宽度线性图像与[17]类似，我们通过对齐新传感器中每种颜色的质心来补偿色移伪影。通过地面实况线性测量Xlin，我们可以轻松生成地面实况彩色图像1726HW参考2 2参考图4.图像恢复分支采用编码器-解码器框架中的密集块，其从降级的低分辨率输入Xr_a_w重构高分辨率线性颜色测量Xr_a_w。通过模拟摄像机ISP系统的色彩校正步骤，如色彩空间转换、色调调整等，得到了Xgt∈RH×W×3对于模拟，我们使用Dcraw [3]这是一个广泛使用的原始处理软件。生成降级的低分辨率原始图像XE ∈R× ，我们分别应用模糊，下降-3.2. 网络架构利用原始数据实现超分辨率的一种简单方法是使用神经网络直接学习从原始图像到高分辨率彩色图像的映射函数。虽然原始数据有利于图像原始22线性颜色测量上的采样、拜耳采样和噪声Xraw=fBayer（fdown（Xlin_def_mot））+n，（1）其中，fBayer是Bayer采样函数，其根据Bayer模式（图2（b））拼接- s图像fdown表示采样因子为2的下采样函数。由于成像过程可能会受到离焦效应以及相机抖动的影响，我们将散焦模糊kdef建模为磁盘ker，具有不同大小的nels和适度的运动模糊k不是由随机游走生成的[28]。表示卷积运算器。为了合成更真实的训练数据，我们将异方差高斯噪声[23，26，13]添加到生成的原始数据中：n（x）<$N（0，σ2x+σ2），（2）但是，这种天真的策略在实践中并不奏效。这是因为原始数据不具有在数字相机的ISP系统内进行的颜色校正和色调增强的事实上，一个原始图像可能潜在地对应于由各种ISP流水线的不同图像处理算法生成的多个地面实况彩色图像，这将混淆网络训练，并且使得训练模型以重建具有期望颜色的高分辨率图像是为了解决这个问题，我们提出了一个双分支CNN，如图3所示，其中第一个分支利用原始数据来恢复所有颜色通道的高分辨率线性测量，具有清晰的结构和精细的细节，第二个分支估计变换矩阵，以使用低分辨率彩色图像作为参考来恢复高保真的颜色参考图像补充了原始数据的局限性;因此，12用原始数据和彩色数据联合训练两个分支可以其中噪声n的方差取决于像素强度x。 σ1和σ2是噪声的参数。 最后，用AHD [14]对原始图像Xraw进行去马赛克，一种常用的去马赛克方法，并进一步由Dcraw处理，以产生低分辨率的彩色图像X∈RH×W×3。我们将X压缩为8位JPEG，就像在数码相机中通常做的那样请注意，Dcraw中的颜色校正步骤与产生Xgt中所使用的步骤相同，使得参考颜色很好地对应于基本事实。所提出的流水线对真实数据进行合成，以便在X raw和X ref上训练的模型能够很好地推广到真实退化的原始图像和彩色图像（图1（e））。基本上有助于恢复更好的结果。图像恢复。我们在图4中展示了图像恢复网络的说明。与[2]类似，我们首先将原始数据Xraw打包到四个通道中，这四个通道重新对应于图2（b）中的R、G、B、G模式。然后，我们将卷积层应用于打包的四通道输入以学习低级特征，并相应地采用四个密集块[15，32]来学习更复杂的非线性映射以进行图像恢复。致密区块由8个紧密相连的褶积层组成。与以前的工作不同[15，32]，我们在编码器-解码器框架中部署密集块，使模型更加紧凑和高效。我们使用1727图5.色彩校正分支的网络架构我们的模型预测了参考彩色图像的逐像素变换L（Xref）。g1（Xraw）来表示如图4所示的编码特征。最后，具有相同空间大小的特征图被连接并馈送到卷积层，并且该层产生48个特征图，这些特征图由子像素层重新排列 [30] 以 恢 复 具 有 2 倍 分 辨 率 的 三 通 道 线 性 测 量X^lin∈RH×W×3。输入.色彩校正。 利用预测的线性测量X^lin，我们学习用于颜色校正的第二分支，其使用颜色参考图像X ref重建最终结果X^∈RH×W×3。 与[29]类似，我们使用CNN来估计变换G（X ref）∈ R3×3，以产生图像的全局颜色校正。在数学上，校正可以用公 式 表示为：G（Xref）X^lin[i，j]，其中X^lin[i，j]∈R3×1表示线性图像的pi x el[i，j]处的RGB值。然而，这一全球调整当颜色变换涉及空间变化的操作。为了解决这个问题，我们建议学习一个逐像素变换L（Xref）∈RH×W×3×3，它允许对每个空间位置进行不同的颜色校正因此，我们可以生成最终结果为：特征融合。 当变换L（X ref）应用于恢复图像时，使矩阵估计网络知道图像恢复分支中的特征将是有益的，使得L（X ref）可以更准确地适应恢复图像的结构。 为此，我们开发的g2（X ref）的特征融合使用的 编码 功 能 ，从 第一 个分 支 g1 （ Xraw）。由于g2（X ref）和g1（X raw）可能具有不同的尺度，我们通过加权和来融合它们，其中权重被学习以自适应地更新特征。 我们可以将特征融合公式化为：g2（Xref）←g2（Xref）+φ（g1（Xraw）），（4）其 中 φ 是 1×1 卷 积 。 在 此 之 后 ， 我 们 将 更 新 的 g2（Xref）放回原始分支，并且后续解码器可以进一步使用融合的特征进行转换。队形估计卷积用零初始化以避免中断颜色校正分支的初始行为。4. 实验结果我们描述了我们的方法的实现细节，并在本节中对合成数据和真实数据进行了分析和评估。4.1. 实现细节为了生成训练数据，我们使用MIT-Adobe 5 K数据集[1]，该数据集由5000张原始照片组成。尺寸在2000×3000左右。手动删除后使用具有明显噪声和模糊的图像，我们获得了1300张用于训练的高质量图像和150张用于测试的高质量图像，这些图像由19种佳能相机拍摄。我们使用3.1节中描述的方法来合成训练X^[i，j]=L（Xref）[i，j]X^林 [i，j]，（3）和测试数据集。散焦模糊的半径是随机的-y从[1，5]采样，运动的最大大小其中L（Xref）[i，j]∈R3×3是像素[i，j]处RGB向量的局部变换矩阵。请注意，我们直接变换RGB向量，而不是使用二次型[29]，因为我们经验地发现它没有好处。我们采用U-Net结构[8，36]来预测图5中的变换L（Xref）。CNN从一个编码器开始，该平均池化以提取编码特征g2（Xref）。为了估计空间变化变换，我们采用由连续的反卷积和卷积层组成的解码器，其将编码特征扩展到期望的分辨率H×W。我们在编码器和解码器中将具有相同分辨率的特征最后，输出层的de-编码器为每个像素生成3×3权重，其形成逐像素变换矩阵L（Xref）。Kernel是从[3，11]中采样的。噪声参数σ1、σ2分别从[0，10-2]和[0，10-3]采样。我们使用Xavier初始化器[10]作为网络权重-s和斜率为0.2的LeakyReLU [22]作为激活函数。我们采用L1损失函数来训练网络，并使用Adam优化器[19]，初始学习率为2×10−4。我们裁剪256×256块补丁作为输入，批量大小为6。我们首先用4×104迭代训练模型，其中学习率降低了0倍。每2×103次更新，然后以较低的速率10−5进行另外4×104次迭代。在测试阶段，我们将输入切割成重叠的补丁，并单独处理每个补丁重建的高分辨率补丁被放回相应的位置，并在重叠区域中进行平均。基线方法。我们将我们的方法与最先进的超分辨率方法[4，18，32，38]以及1728图6.我们的合成数据集的结果基准方法的参考资料见表1。表1.对建议的合成数据集进行定量评估。“盲”表示具有可变模糊核的图像，而“非盲”表示固定核。红色和蓝色文本分别表示第一和第二最佳性能方法盲非盲PSNRSSIMPSNRSSIMSID [2][29]第二十九话21.8721.710.73250.732321.8921.840.73460.7382SRCNN [4]28.830.755629.190.7625VDSR [18]29.320.768629.880.7803SRDenseNet [32]29.460.773230.050.7844RDN [38]29.930.780430.460.7897w/o颜色分支20.540.725221.130.7413w/o局部颜色校正29.810.795430.290.8095无原始输入30.050.782730.510.7921无特征融合30.730.802531.680.8252我们的完整模型30.790.804431.790.8272基于学习的原始图像处理算法[2，29]。由于原始图像处理网络[2，29]最初不是为超分辨率设计的，因此我们在它们之后添加了反卷积层以提高输出分辨率。所有的基线模型都是在我们的数据上用相同的设置训练的。4.2. 合成数据的结果我们使用上述测试数据集定量评估我们的方法。表1显示，所提出的算法与基线方法相比表现良好-s的PSNR和结构相似性（SSIM）。图6显示了我们的合成数据集的一些恢复结果。由于低分辨率原始输入不具有在ISP系统内进行的颜色转换和色调调整的相关信息，因此原始图像处理方法[2，29]只能近似一个特定相机的颜色校正，因此无法恢复我们测试集中不同相机类型的良好结果。此外，原始处理模型的训练过程受到预测和地面实况之间的颜色差异的影响，并且不能专注于恢复尖锐结构。因此，图6（c）中的结果仍然是模糊的。图6（d）-（e）示出了以低分辨率彩色图像作为输入的超分辨率方法生成具有正确颜色的整形器结果，然而，其仍然缺乏精细细节。相比之下，我们的方法通过利用颜色输入和原始辐射信息两者来实现图6非盲超分辨率由于大多数超分辨率方法[4，18，38]是非盲的，假设下采样模糊核是已知的和固定的，因此我们还通过使用半径为5的固定散焦核来合成训练和测试数据集来评估我们的方法。如表1所示，所提出的方法在非盲设置下实现了竞争性超分辨率结果。1729图7.在合成数据集上对拟议网络进行消融研究。图8.从MIT-Adobe 5 K数据集推广到手动修饰的彩色图像[1]。所提出的方法产生清晰的结构和高保真的颜色。学习更复杂的颜色校正。在除了由Dcraw渲染的参考图像之外，我们还在来自MIT-Adobe 5 K数据集[1]的摄影艺术家手动修饰的图像上训练所提出的模型，这些图像代表了更多样化的ISP系统。 在图8中，我们使用由不同艺术家制作的不同参考图像在相同的原始输入上测试我们的模型。所提出的算法生成清晰的结构以及高保真的颜色，这表明我们的方法是能够推广到更多样化和复杂的ISP系统。4.3. 消融研究为了更好地评估所提出的算法，我们通过删除每个组件来测试我们模型的变体版本我们在表1中显示了合成数据集的定量结果，并在图7中提供了定性比较。首先，在没有颜色校正分支的情况下，网络直接使用低分辨率的原始输入来进行超分辨率，这不能有效地为不同的相机恢复高保真颜色（图7（c））。其次，简单地采用[29]中的全局颜色校正策略只能恢复整体颜色外观，例如在在图7（d）的背景中，但是在没有所提出的逐像素变换的情况下，在局部区域中仍然存在显著的第三，为了评估原始输入的重要性，我们使用低分辨率彩色图像作为网络两个分支的输入，这是通过自适应地改变图像扩展分支的包装层来实现的如图7（e）所示，由于ISP系统中的信息丢失，没有原始输入的模型无法生成精细结构和细节。此外，没有特征融合的网络不能预测准确的变换，并且倾向于在图7（f）中的细微结构周围带来颜色伪影。相比之下，我们的完整模型有效地集成了不同的组件，并通过利用原始数据和预处理的彩色图像中的互补信息，在图7（g）中生成具有更好细节和更少伪影的更清晰的结果4.4. 对真实图像我们定性地评估我们的数据生成方法，以及建议的网络上的真实捕获的图像。如图1（d）和9（d）所示，在使用以下生成的数据进行重新训练后，RDN的结果变得更清晰：1730图9.真实图像上的结果由于输出是超高分辨率的，徕卡相机通常为8000×12000，佳能为4000×6000，因此我们只显示从（a）中的小黄色框中裁剪的图像块从上到下的图像分别由佳能、索尼、尼康和徕卡相机拍摄我们的管道另一方面，所提出的双CNN模型不能通过对由双三次下采样、同方差高斯噪声和非线性空间镶嵌[4，9]生成的先前数据进行训练来生成清晰的图像（图9相比之下，我们通过在如图1（e）和9（f）所示的合成数据集上训练所提出的网络来实现具有更清晰边缘和更精细细节的更好结果，这证明了所提出的数据生成流水线以及原始超分辨率算法的有效性。请注意，真实图像由不同类型的相机捕获，并且在训练期间看不到所有这些图像。5. 结论我们提出了一个新的管道来生成逼真的训练数据，通过模拟数码相机的成像过程。此外，我们开发了一个双CNN来利用原始数据中记录的辐射信息。所提出的算法- m相比有利的国家的最先进的方法，定量和定性，更重要的是，启用超分辨率的真实捕获的图像。这项工作表明了用原始数据学习的优越性，并期望我们的工作在其它图像处理问题中有更多的应用。引用[1] V. Bychkovsky，S. Paris，E. Chan和F.杜兰德学习- ING摄影全球色调调整与数据库的输入/输出图像对。CVPR，2011。二三五七[2] C.陈角，澳-地Chen，J. Xu，and V.科尔顿。学会在黑暗中看东西。在CVPR，2018年。二三四六[3] D. 棺 材 Dcraw ： 在 linux 中 解 码 原 始 数 码 照 片 。http://www.cybercom.net/dcoffin/dcraw/. 4[4] C.东角，澳-地C. Loy，K.他，还有X。唐学习用于图像超分辨率的深度卷积网络2014年，在ECCV一二三五六八[5] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络的图像超分辨率。TPAMI，38：295-307，2016。2[6] C.东角，澳-地C. Loy和X.唐加速超分辨率卷积神经网络。在ECCV，2016年。21731[7] S. Farsiu，M. Elad和P.米兰法彩色图像的多帧解压缩与超分辨率。TIP，15：141-159，2006年。3[8] Y. 甘，X.Xu，W.Sun和L.是林书具有亲和力、垂直池化和标签增强的单目深度估计在ECCV，2018。5[9] M. 加尔比湾Chaurasia、S.Paris和F.杜兰德深度联合去马赛 克 和 去 噪 。 ACM Transactions on Graph-ics（TOG），35：191，2016。三、八[10] X. Glorot和Y.本吉奥。了解训练深度前馈神经网络的困难。AISTATS，2010年。5[11] J. E.格雷文坎普几何光学现场指南，第1卷. SPIE PressBellingham，WA，2004. 1[12] S. W. Hasinoff，D.沙莱特河Geiss，A.Adams，J.T. 巴伦F. Kainz，J.Chen和M.勒沃用于移动相机的高动态范围和低光照成像的连拍ACM事务处理图表（SIGGRAPH Asia），35（6），2016. 2[13] G. E. Healey和R.康德普迪辐射CCD相机定标与噪声估计。TIP，16：267-276，1994. 4[14] K. Hirakawa和T. W. Parks.自适应均匀性定向去马赛克算法。TIP，14：360-369，2005年。4[15] G. Huang，Z.柳湖，加-地Van Der Maaten和K.Q. 温伯格密集连接的卷积网络。在CVPR，2017年。二、四[16] H. 江角，澳-地Tian，J.Farrell，和B.A. Wandell 学习图像处理流水线。TIP，26：5032-5042，2017。3[17] D. Khashabi，S.Nowozin，J.Jancsary和A.W. 菲茨吉本通过学习的非参数随机场进行联合去马赛克和去噪。TIP，23：4968-4981，2014。3[18] J. Kim，J. K. Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率在CVPR，2016年。一二三五六[19] D. Kingma和J. BA. Adam：一种随机优化方法。CoRR，abs/1412.6980，2014。5[20] W.- S.赖，J. - B. Huang，N. Ahuja和M. H.杨深层拉普拉斯金字塔网络快速和准确的超分辨率。在CVPR，2017年。一、二[21] C. Liu，X.Xu和Y.张某行动建议的时间注意力网络在ICIP，2018。1[22] A. L. Maas，A. Y. Hannun和A. Y. Ng.整流器非线性改进了神经网络声学模型。2013年，《国际反洗钱法》。5[23] B. Mildenhall，J. T. Barron，J. Chen，D.沙莱特河Ng和R.卡罗尔使用核预测网络进行突发去噪。在CVPR，2018年。4[24] R. M. Nguyen和M. S.布朗原始图像重建使用自包含srgb-jpeg图像只有64 kb的开销。在CVPR，2016年。2[25] W. B. Pennebaker和J.L. 米切尔JPEG：静止图像数据压缩标准。Springer Science Business Media，1992.2[26] T. Plotz和S.罗斯用真实照片对去噪算法进行基准测试。在CVPR，2017年。二、四[27]W. Ren，J. Zhang，X.许湖，加-地妈，X。Cao，G. 孟W.刘某 深度视频去雾与语义分割。TIP，28：1895-1908，2019。1[28] C. Schuler，H. Burger，S. Harmeling和B. Scholkopf一种用于非盲图像去卷积的机器学习方法。CVPR，2013。4[29] E.施瓦茨河Giryes和A. M.布朗斯坦Deepisp：学习端到端图像处理管道。TIP，2018年。二三五六七[30] W. Shi，J. 卡瓦列罗角 Hus za'r，J. Totz，A. P. 艾特肯河比什-op，D. Rueckert和Z.王.使用高效的亚像素卷积神经网络实现单图像和视频的实时超分辨率。在CVPR，2016年。5[31] R. Timofte，V. De Smet，and L.范古尔A+：用于快速超分辨率的调整的锚定邻域回归。InACCV，2014. 1[32] T.通，G. Li，X. Liu和Q.高.使用密集跳跃连接的图像超分辨率。InICCV，2017. 一二四五六[33] P. V和ewalle，K. Krichane，D. 所有的E ysson和S. 很好一组未注册混叠图像的联合去马赛克和超分辨率成像。数码摄影，2007年。3[34] Z. Wang，中国山杨D. Liu，J. Yang，W. Han和T.煌基于稀疏先验的图像超分辨率深度网络。在ICCV，2015年。一、二[35] X. Xu，J. Pan，Y.- J. Zhang和M.- H.杨通过深度学习进行运动模糊核估计。TIP，27：1941[36] X. Xu，L.孙习Liu，W.任，Y.-J. 张曼-H. Yang和J. Sun.从单目相机和超越渲染肖像。在ECCV，2018。5[37] X. Xu，L.孙，J.潘湾，澳-地Zhang，H.菲斯特和MH. 杨学习超分辨率模糊的面部和文本图像。InICCV，2017.一、二[38] Y. Zhang， Y.田氏Y.孔湾，澳-地Zhong和Y. Fu.用于图像超分辨率的残差稠密网络。在CVPR，2018年。一二三五六[39] R. 周河，巴西-地 Achanta和S. 很好 联合去马赛克和超分辨率的深度残差arXiv预印本arXiv：1802.06573，2018。二、三