莫尔图案消除神经网络：解决莫尔条纹影响图像质量的问题

2424使用MopNet拖把莫尔图案何斌1王策1石伯新1，2段凌宇1，2 *北京大学视频技术国家工程实验室1深圳鹏程实验室{cs hebin，wce，shiboxin，lingyu}@pku.edu.cn摘要莫尔条纹是一种常见的图像质量下降造成的频率混叠之间的监视器和相机的时代时，采取屏幕截图照片。莫尔条纹复杂的频率分布、颜色通道中不平衡的幅度在本文中，我们提出了一个莫尔图案消除神经网络（Mop-Net）来解决这个问题. Mop- Net的所有核心组件都是专门针对莫尔图案的独特属性而设计的，包括用于解决复杂频率的多尺度特征聚合，用于利用颜色通道之间不平衡幅度的通道方向目标边缘预测器，以及用于表征不同外观的属性感知分类器，以更好地建模莫尔图案。定量和定性比较实验莫尔图案去除结果DMCNNMopNet验证了MopNet的最新性能。1. 介绍随着智能手机的广泛使用和社交媒体的蓬勃发展，如今数字图像在我们的日常生活中占据了不可或缺的一部分，用于捕获和分享难忘的时刻或有用的信息。然而，当人们在显示器前拍摄内容时，经常会出现图像被不希望的莫尔伪影污染的情况，如图1的上排所示。莫尔条纹是一种由频率混叠引起的伪影，特别是重叠图案之间的干扰，如显示元件和相机传感器的网格。莫尔条纹的外观可以是相当多样和复杂的，形状在空间上变化的条纹，曲线或波纹。云纹图案也叠加在图像上的颜色变化，大大降低了图像的视觉质量。从莫尔图像中去除不需要的图案是图像恢复问题，但它对于分析不是微不足道的段凌玉为通讯作者。图1：在显示器前面拍摄的图像上经常观察到不需要的莫尔条纹（上排）。MopNet被提出来比最先进的方法（例如，，DMCNN [20]）。由于莫尔条纹的复杂特性：1）莫尔条纹信号跨越一个与 自 然 图 像 混 合 的 宽 频 谱 ; 2 ） 彩 色 滤 光 片 阵 列（CFA）的不平衡颜色分布使得莫尔条纹在RGB颜色通道中分别显示不同的强度; 3）莫尔条纹的外观，特别是形状，不仅随图像而变化，而且随图像的不同而变化图像，而且在同一图像内局部地改变。这些复杂的特性对云纹图案去除问题提出了独特的挑战为了去除莫尔条纹，可以在相机中添加抗混叠低通滤波器[17用于去除莫尔效应的后处理算法是一种更常用的解决方案。现有的方法[15，22]大多求助于信号处理理论，并探索低秩和稀疏约束，但它们不能处理复杂的莫尔图案。Twitter上的Moiré截图2425图2：我们提出的方法MopNet的框架，由三个主要功能模块组成：多尺度特征聚合用于利用莫尔条纹在宽频率范围内的复杂分布，通道方向目标边缘预测器用于估计无莫尔条纹图像的边缘图，属性分类器用于对具有多个外观属性标签的莫尔条纹进行分类。那些在高度纹理化的图像中。最近，已经提出了一种基于深度神经网络的方法[20]，通过从大规模数据集学习来隐式地对莫尔图案进行建模;尽管产生了比非学习方法更好的恢复图像，但对于在野外拍摄的莫尔图像（具有来自训练数据的不同捕获设置），性能显著下降，如图1的左下角所示，部分原因是由于缺乏解决莫尔条纹的独特性质的具体限制。在本文中，为了更好地利用莫尔条纹的特性并克服相应的挑战，我们提出了一种名为MopNet的莫尔条纹去除神经网络，以我们通过研究它们的频率分布、边缘强度和外观类别来观察莫尔图案的三个关键属性由于面向属性的设计，MopNet提供了一个更干净的去除莫尔污染的图像，如图1右下角所示。我们的贡献可归纳如下：• 我们提出了一个面向属性的学习框架莫尔图案去除。从多个方面发现了莫尔条纹的特性，包括自由度，频率分布，边缘信息和外观属性，我们的框架有助于莫尔图案的综合建模。• 我们提出了具体的学习方案来解决这些有用的属性。特别是，我们提出了多尺度特征聚合、通道边缘预测和属性感知分类器，以处理复杂的频率分布、不均衡的增强了颜色通道之间的边缘强度，以及莫尔条纹的外观多样性。• 我们已经在基准数据集中实现了更清晰的莫尔条纹去除，包括那些具有挑战性的低频莫尔条纹图案。我们的方法可能更好保留目标图像的结构，这在数值度量和主观视觉质量方面优于现有技术的方法。此外，我们对基准数据集进行了额外的属性标注，这有助于通过面向属性的学习框架来提高性能。2. 相关工作Moire图案去除。莫尔条纹是数字图像中常见的退化，这是由于成像中采样的频率混叠造成的，极大地降低了图像质量，但莫尔条纹去除的研究主要限于物理和光学领域，并在硬件层面上对显示设备进行了分析[18]。在过去的十年中，也提出了一些关于演示的计算方法基于传统信号处理的技术[15，22]已被采用，如频率域中的低秩约束和稀疏矩阵分解。虽然这些方法在去除高纹理图像的莫尔条纹方面取得了很好的效果，但它们往往无法处理屏幕截图图像。分层分解法[23]还提出了去除屏幕截图莫尔条纹的方法，但该方法耗时，成功率有限。最近，随着低层次视觉的革命特征提取GmSEGrF0NU iNU jNUpNU qFCFm输入输出多尺度集聚NBiNB jNBpNB qCW 边缘检测Ge特征提取模块间数据流内部模块数据流功能连接Es逐像素目标边缘预测器EpFe上采样LFNB：非本地块NU：非线性上采样SE：挤压激发CW&：按通道Ca上采样曲线上采样MCC属性感知分类器CA2426图3：高斯噪声、雨纹、莫尔条纹和自然场景图像的频谱通过深度学习，基于卷积神经网络的演示方法也应运而生。 Kim等人[7]提出了一种对抗性和内容感知的学习框架，仅对扫描图像中的网状莫尔图案进行去筛选。Sun等人[20]提出了一种多尺度CNN来学习映射到无莫尔条纹图像，并在各种型号的LCD屏幕上捕获基准数据集。Liu等[13]提出了类似的工作与GAN框架和模拟相机成像过程的合成数据集。这些作品没有明确地解释莫尔效应的具体属性，有时由于缺乏对微妙边缘结构的利用而使图像过于平滑。基于学习的图像恢复。图像复原是一个经典的研究领域，针对各种图像退化现象，有许多分支.莫尔条纹的去除问题也是其中之一，具有一些共同的特点，但也提出了许多独特的挑战在最近的为了处理各种不同的噪声，采用了多种设计，例如多层感知器[2]和基于残差学习的卷积神经网络[28，10]。最近，许多工作集中在去除图像中的雨条纹，利用生成对抗网络的优势[26]，特别是利用雨条纹图案的密度信息[25]来恢复干净的图像。此外，还研究了图像恢复的其他失真，如雾[24]和模糊[16]，并引入了特定的物理模型[24]。此外，已经研究了面向一般退化的通用学习框架，其具有退化核的先验[28]或通过非局部操作利用自相似性[14]。然而，对于图像中常见的莫尔条纹污染，研究较少，特别是那些利用深度学习的研究。现有的图像恢复方法可能无法有效地处理莫尔图案，由于形状的多样性和复杂的颜色和频率。3. 方法在本节中，我们将详细介绍所提出的MopNet、网络设计方法以及训练细节。如图2所示，MopNet由三个主要的功能模块组成，将在第3.1、3.2和3.3节中详细介绍。第3.4节和第3.5节分别提供了3.1. 多尺度特征聚合莫尔条纹在频域中的分布比较复杂如图3中的傅立叶频谱所示，单个图像内的莫尔条纹往往覆盖宽范围的频带。另外，我们还发现，与高斯噪声谱相比，莫尔图案的频率更集中在低频带，这使得莫尔图案与普通无莫尔图案的图像难以区分。此外，云纹图的频谱比雨纹图的频谱在不同的方向上表现出变化因此，在频域中研究莫尔条纹的复杂特性是有效去除莫尔条纹的必要条件。因此，我们建议在网络中聚合多尺度特征，以充分考虑莫尔条纹的频率特性，如图2的第一行所示。我们提出从类似于[5]中的瓶颈块中提取多尺度特征，具有不同大小的然后通过连接和挤压和激发（SE）块融合特征[4]。SE块计算每个通道的归一化权重，并且通过乘以由SE块学习的权重来重新加权特征图。从该模块产生的聚合特征可以数学地表示如下：Fm= SE（Cat [NU1（F1），NU2（F2），. . . ，NUn（Fn）]），（1）其中，SE代表SE块的操作，Cat指示级联，Fi表示从多尺度提取器gm获得的不同频带的特征图，并且NUi是用于将特征图转换为相同空间大小的非线性上采样请注意，我们的多尺度特征聚合方案不同于[20]中具有不同分辨率输入的并行分支设计。我们利用SE块来连接卷积特征，而不是来自不同尺度的结果的线性叠加。这种实现有助于在更宽的频率范围内广泛地利用图案特征，并且选择性地强调来自与具有SE块的主导频带相对应的尺度的特征2427图4：灰度图像1和RGB通道的边缘图。黄色框突出显示的区域显示了每个边缘图中莫尔效应的不同幅度3.2. 通道方向目标边缘预测器图5：不同类型的莫尔条纹图案。L：低频，H：高频;S：直型，C：曲线; MC：多种颜色，SC：单色。曲线直型大多数莫尔条纹的形状是曲线和条纹，边缘幅度很大为了解决这样的边缘敏感任务，边缘线索是常见的选择，其被证明在各种层分离问题中是有效的[11，12]。特别地，我们发现对于典型的拜耳形状：54%颜色：59%频率：45%多色低单色高百分之四十六百分之四十一百分之五十五彩色滤光片阵列（CFA）[1]中，R、B通道的采样频率是G通道的一半，根据奈奎斯特定理，这使得R、B通道更容易混叠。这种颜色通道的不平衡在莫尔图案上比在自然图像上更明显，这反映为R、B通道中更强的边缘强度，如图4所示。因此，我们假设当颜色通道中的边缘幅度更不平衡时，莫尔条纹边缘更有可能被分离因此，我们建议通过通道方向目标边缘预测器分离目标内容的边缘图和莫尔条纹的边缘图，其输入是污染图像及其通道方向边缘图（如图2的第二行所示）。我们应用网络来预测无莫尔条纹的目标图像It的通道方向边缘图Ep，其中给定源图像Is。考虑到RGB通道上边缘的不平衡性，我们用Sobel核卷积得到的每个颜色通道Esr，Esg，Esb的独立边缘图代替灰度边缘图来增强源图像Is我们的边缘预测器将这样的增强输入映射到目标边缘图Ep：Ep=Cat（Epr，Epg，Epb）=ge（Is，Esr，Esg，Esb），（2）其中ge表示所提出的逐通道边缘预测器，并且Epr、Epg、Epb代表针对R、G、B通道的预测边缘图。此外，引入非局部块[21]以帮助预测器捕获具有较弱梯度的语义边缘。对于特征图中的每个位置，非局部块计算特征图与特征图之间的相关权重。1灰度图像由R 0从RGB输入转换而来。299 +G= 0。587+ B = 0。一百一十四图6：我们训练集我们可以发现，在每一类中的属性分布近似相等。然后，将响应作为所有位置处的特征的加权和来获得。弱边缘上的点的相关矩阵捕获长距离依赖性，这有助于弱边缘通过在加权求和中加强强边缘处的特征来获得更强的响应。目标边缘图Et的采集对于恢复是必不可少的，因为它有助于引导目标图像It的重建，同时保护其细微结构免受潜在的过度平滑。通道方面的考虑引导目标边缘预测器更好地区分莫尔条纹的边缘和混合边缘。3.3. 属性感知莫尔图案分类器如图5所示，莫尔图案在图案外观上表现出极大的多样性，这也使得使用单一类型的网络通过学习和去除各种图案来建模莫尔图案具有挑战性。然而，我们已经观察到，不同的模式显示了某些明显的属性，可以分类，例如不同的频率，形状和颜色。因此，我们假设模式的额外明确描述将指导学习过程，并提出多标签分类器ca，以通过表征三个外观属性（包括模式的主频、颜色和形状）来更好地描绘莫尔图案的多样性（如图2中的第三行所示）。我们用三个属性标签来2428通过多标记分类，分类图像的例子在图5中示出。属性标签和基于特征的损失作为我们训练网络的目标。可归纳如下：对于主频率、颜色和形状是二进制的，以便于实现，并且由于通常平衡的数据L=αLE，E+LE，o+LF 、（五）在每个属性上观察到的分布，如图6所示。通过连接三个上采样标签图，我们获得输入图像的图案属性信息为：C=Cat[u（C0），u（C1），u（C2）]，（3）其中LE，e和LE，o分别表示用于重建目标边缘图和地面实况图像的每像素欧几里得损失函数，α控制从边缘图预测导出的损失的权重。LF是基于特征的损失对于无莫尔条纹图像，定义为：其中C0、C1和C2表示domi-L=12的预测标量Nant频率、形状和颜色;U代表上采样操作，其生成填充有相应标量的标签图。然后将模式属性的预测输入到目标输出的推理中，以提供对模式外观的辅助指导。频率标签有助于专门处理低频莫尔图案，其能量与图像内容混合，以避免在被错误地视为高频图案时过度平滑目标图像。彩色标签强调由一种以上颜色组成的莫尔条纹，与单色相比，通过与目标图像的原始颜色混合来去除莫尔条纹更复杂。形状标签提请注意弯曲莫尔图案，它具有比直条纹更复杂的曲线。因此，这三种模式属性的分类描述将有利于学习不同的模式，这有望提高泛化到训练数据中看不到的模式的3.4. 总体管道和目标函数如图2所示，MopNet将具有莫尔效应的单个图像作为输入，然后将其传递给三个模块以提取相应的属性特征。估计的目标边缘图Fe的特征被连接到输入图像F0的特征。并通过多尺度特征聚合模块以获得Fm，在此之后，预测的标签C也被聚集以用于最终推断。通过将原始输入F0的特征连同上述聚合特征一起馈送到细化块gr中来重构无莫尔条纹输出。该过程可以描述为以下配方：Io=gr（Cat[Fm，C]，F0），（4）其中Io表示所提出的网络的输出，gr是由SE块和级联卷积层组成的非线性细化。该分类器的训练与二进制交叉熵损失为每个属性。考虑到基于CNN特征的感知损失有助于提高估计图像的视觉质量[26]并增强语义边缘信息[9]，我们将加权像素欧氏损失FCWH<$φ（Io）−φ（It）<$2，（6）其中φ表示提取高级特征图的非线性CNN变换，C、W和H表示特征图的通道号、宽度和高度。3.5. 培训细节和数据准备我们使用PyTorch框架在配备Intel i7-7700 3.60GHzCPU和NVIDIA 1080 Ti GPU的PC上实现了MopNet2我们采用两阶段训练策略。为了保证训练过程的稳定初始化，我们首先分别独立地训练边缘预测网络和分类器50和20个时期，直到收敛。然后，我们修复分类器网络，并对整个网络进行端到端的150个epoch训练。培训期间在这两个阶段中，256×256输入是从具有286×286比例的输入图像中随机裁剪的。我们使用Adam [8]作为优化算法，最小批量大小为2。的学习速率初始设置为0。0002，并且随着训练的进行而线性减小。我们使用的重量衰减为0.0001和动量为0.9。我们设置α= 0。1，并根据从VGG-16模型中提取的层relu 1 2计算特征我们采用的训练和测试数据集是[20]提出的基准数据集，它由135，000个具有莫尔伪影的屏幕截图图像该数据集是从ImageNet数据集[3]中收集的，原始图像作为无莫尔图像的基础事实，并且在各种成像条件下捕获莫尔图像此外，为了训练所需的模式属性分类器，我们随机抽取了一个子集，12000对图像，并补充了多个模式属性标签，包括频率，颜色和模式形状的子集。然后，我们在这个补充的子集上训练MopNet，预训练的VGG-16网络使用这些属性标签作为分类器进行微调。4. 实验在本节中，我们首先将我们提出的方法的性能与最先进的基于学习的莫尔图案去除方法DM-CNN [20]，传统的基于信号处理的方法[23]进行2详细的网络架构见补充资料。2429图7：MopNet，DMCNN [20]，Yang等人之间的视觉质量比较。[23]和Photoshop的Desscreen插件表1：根据平均PSNR（dB）和SSIM评估的定量结果。输入DnCNNVDSRU-Net DMCNN我们的PSNR二十点半24.5424.6826.4926.7727.75SSIM 0.7380.8340.8370.8640.8710.895以及图 像处理软 件Adobe Photoshop 中的相 关SattvaDescreen插件3我们进一步证明了其他图像恢复方法（如DnCNN [27]，VDSD [6]和U-Net [19]）是否可以有效地处理莫尔伪影。为了进一步评估视觉上改善图像质量的能力，我们还对这些方法进行了定性比较。最后，我们对不同的功能模块进行了消融研究，以验证我们提出的网络设计的有效性4.1. 定量评价我们采用了广泛使用的图像质量评价指标PSNR和SSIM，并在表1- 4中进行了定量比较。如表1所示，由于莫尔条纹的污染，输入的PSNR和SSIM处于低水平我们还可以观察到，与其他特定方法相比，通用去噪方法DnCNN [27]和超分辨率方法[6]获得了有限的图像质量改善。这主要是因为它们不是专门为去除莫尔条纹的问题而设计的，而且它们采用的平面网络结构不能有效地处理莫尔条纹，3http://www.descreen.net/eng/soft/descreen/descreen.htm4我们不提供desscreen插件的定量结果和复频率分布最先进的DM-CNN [20]提供了更好的性能，但是它提出的多分辨率方案不能充分利用莫尔图案的属性，包括边缘和外观属性。因此，其在PSNR和SSIM上的性能并不明显优于U-Net [19]，其涉及不同分辨率的解码器的特征链路。如表1所示，MopNet超越了所有其他方法，优于现有的最先进的方法0。PSNR增益为98dB。MopNet还提供了在视觉上类似于SSIM值为0的无莫尔条纹图像的结果。8954.2. 定性评价定性比较的示例如图7和图5所示，我们可以观察到输入图像严重受到莫尔条纹污染，具有明显的颜色退化和叠加在地面真实干净图像上的曲线或条纹形状的图案。我们展示了与Photoshop的Descreen插件的视觉质量比较，基于非学习的[23]和基于学习的[20]云纹图案去除方法。具体地，图7中的第一到第三行示出了具有不同主频带的莫尔图案的情况，分别对应于低频去屏幕插件显示有限的效果，因为它往往模糊的图像，但仍然离开彩色莫尔图案可见。Yang等[23]不能有效地处理低频模式，如图7中的第一行和第四行所示。DMCNN [20]实现了更好的去除莫尔效应的效果然而，其消除低频莫尔图案的能力受到限制，yang等[23]由于前者需要过多的人工操作，的调整参数和后者成本过高的运行时间（约半小时，每个图像）的基准，分别。5补充资料中有更多的结果，我们在此基础上进行了知觉研究。2430图8：我们的方法的不同变体的视觉质量比较。B：基础模型，M：多尺度特征聚合，C：分类器，E：边缘预测器。黄色框标记区域包含需要仔细检查的细微差异。表2：MopNet的变体的定量结果PSNRSSIM基线模型25.3770.862基线+多尺度（MS）26.6170.882基线+ MS +分类27.0760.884基线+ MS +边缘27.4400.890完整模型27.7530.895图9：不同输入和网络架构的边缘预测结果。(a)输入图像，（b）具有非局部块的通道式边缘图，（c）灰度图像边缘图+ 非局部块，（d）没有非局部块的通道式边缘，以及（e）地面实况。详情请放大这可能在输出图像上留下不期望的彩色斑点或条纹，如图7的第一行所示。相比之下，我们提出的方法更有效地消除了低频模式，受益于我们改进的多尺度特征聚合方案。此外，从图7的第三行中的图像的突出显示区域中，我们可以发现，在DMCNN [20]恢复过程中，参考图像中存在的墙壁上的边缘被过度平滑，相反，我们的方法更多4.3. 消融研究为了验证我们的特定网络设计对去除莫尔图案的有效性恢复的无莫尔条纹图像的数值质量如表2所示。基于受控实验，可以看出，所提出的设计都有助于恢复图像的PSNR和SSIM的性能增益。我们模型的不同变体的视觉比较如图8- 6所示。从图8中的第一行，我们可以发现在由黄色框标记的区域中的基线方法的结果中仍然存在宽的浅色条纹。相比之下，具有多尺度特征聚合方案的模型可以更完全地去除这种低频莫尔条纹。在图8的第二行中，我们可以看出，由于过度平滑，没有边缘预测器的模型破坏了由黄色框标记的细线的结构。相比之下，边缘信息的利用提供了约束，以更好地保持原始无莫尔图像中的细微结构。并且从最后一行可以观察到，在添加外观分类之后，由黄色框标记的背景上的复杂曲线被干净地去除。我们还调查了该计划在边缘预测的有效性。在图9中示出了在具有和不具有用于RGB通道和非局部块的单独边缘图的情况下预测的目标边缘图的示例。通过观察黄框标记的区域，可以发现当输入单一灰度混合边缘图时忠实地保留了原始图像的细微结构。年龄的帮助下，预测的目标边缘。6更多结果可在补充资料中找到。2431输入结果图10：使用MopNet的纹理图像的莫尔图案去除结果图像作为输入，预测的目标边缘图不能完全去除背景中的莫尔条纹边缘此外，我们可以从由红色框标记的区域推断，非局部块也有助于更好的目标边缘预测。5. 讨论纹理图像中的莫尔条纹。除了显示器和摄像机之间的混淆之外，在现实世界中还存在由布料或瓷砖等材料上的精细重复纹理引起的莫尔伪像为了测试MopNet在未包含在我们的训练数据中的图像上的泛化能力，我们在从互联网上搜索的纹理图像上测试了我们的如图10所示，虽然不存在直接无莫尔条纹的参考图像，但可以观察到，我们的恢复结果有效地消除了彩色莫尔条纹曲线，同时保持了布料或砖块的微妙请注意，我们的MopNet是用屏幕截图莫尔条纹图像训练的，从未见过由复杂纹理引起的莫尔条纹图像，它可以很好地概括野外的纹理数据。高分辨率莫尔条纹图像。由于训练数据集和GPU内存中部分数据的分辨率限制，我们在256×256图像上训练我们的模型，这与DMCNN中的输入大小相同[20]。这个问题输入大小的限制可以通过对高分辨率输入进行下采样并使用预先训练的超分辨率网络增加输出的分辨率来部分解决[9]。如图11所示，以这种方式获得的高分辨率输出在视觉上高度类似于高分辨率地面实况。尽管如此，高分辨率莫尔图像的直接端到端解决方案将包括在我们未来的工作中。6. 结论我们提出了MopNet，它由一个多尺度聚合、边缘引导和模式属性感知网络组成，图11：高分辨率莫尔条纹图像的去除结果。LR、SR和HR分别代表低分辨率、超分辨率和高分辨率。图12：与DMCNN [20]相比，包含复杂和不规则纹理的图像示例。黄色框突出显示的区域显示了莫尔条纹和复杂纹理的混合“mop”它利用并专门处理莫尔条纹的特性，包括复杂的频率分布，RGB通道之间的边缘强度不平衡定量和定性实验表明，我们的方法优于现有的国家的最先进的在未来，我们将尝试进一步研究莫尔图案的形成机制，以实现更清洁的“拖把”，我们相信这种针对此问题的后处理解决方案将有利于广大智能手机用户捕捉和分享无莫尔的时刻。局限性。有效的MopNet是，仍然有几个极端的情况下，它取得了有限的成功，以消除莫尔图案。图12显示了具有挑战性的场景，其中背景中存在非常复杂和不规则的纹理，例如砾石或路面，这种不规则的背景将使边缘预测器无法正确区分背景边缘和莫尔条纹梯度，导致莫尔条纹图案的不完全然而，如图12所示，与最先进的方法[20]相比，我们的方法仍然提供了更好的恢复结果。我们将在今后的工作中改进此类情况。致谢。作者感谢Jingyu Yang使用我们的数据提供[23]的 结 果 。 本 工 作 得 到 了 国 家 自 然 科 学 基 金61661146005、61872012和U1611461的资助。2432引用[1] 布莱斯·E·拜尔彩色成像阵列，1976年7月20日美国专利3，971，065。4[2] Harold C Burger ， Christian J Schmidt ， and StefanHarmeling.图像去噪：普通神经网络可以与BM3D竞争吗？在IEEE计算机视觉和模式识别会议论文集，第2392- 2399页。IEEE，2012。3[3] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009. 5[4] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集，第7132-7141页3[5] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页3[6] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第1646-1654页6[7] 金泰勋和朴相日半色调图像的深度上下文感知去筛选和重新筛选。ACM Trans- actions on Graphics，37（4）：48，2018. 3[8] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[9] Christ i anLedig ， LucasTheis ， FerencHus za´r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681- 4690页，2017年。五、八[10] Stamatios Lefkimmiatis.通用去噪网络：一种用于图像去噪的新型CNN架构。在IEEE计算机视觉国际会议论文集，第3204-3213页3[11] Anat Levin和Yair Weiss。使用稀疏先验从单个图像中分离 反 射 的 用 户 辅 助 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 29 （ 9 ） ： 1647-1654，2007. 4[12] 作者声明：by Michael S.利用反射变化自动消除反射在IEEE计算机视觉国际会议论文集，第2432- 2439页4[13] Bol inLiu，XiaoShu，andXiaolinWu.使用深度卷积神经网络演示arXiv预印本，arXiv：1804.03809，2018。3[14] Ding Liu ， Bihan Wen ， Yuchen Fan ， Chen ChangeLoy，and Thomas S Huang.用于图像复原的非局部递归网络。神经信息处理系统的进展，第1680-1689页，2018年。3[15] Fanglei Liu，Jingyu Yang，and Huanjing Yue.基于低秩稀疏矩阵的纹理图像莫尔条纹去除分 解 在 IEEEVisualCommunicationsandImageProcessing，第1-4页，2015中。一、二[16] Seungjun Nah，Tae Hyun Kim，and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。在IEEE计算机视觉和模式识别会议论文集，第3883-3891页3[17] 西冈公彦，长谷川直树，小野克也，龙野裕隆.内窥镜系统配备低通滤波器，用于去除云纹，2009年2月。152000。美国专利6，025，873。1[18] 威廉·T·普卢默具有金字塔透明结构的抗混叠光学系统，2月12日。5 1991年。美国专利4，989，959。2[19] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-Net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页，2015年。6[20] 孙玉静、余益州、王文平。 使用多分辨率卷积神经网络 的 莫 尔 照 片 恢 复 。 IEEE Transactions on ImageProcessing，27（8）：4160-4172，2018。一二三五六七八[21] 王晓龙，Ross Girshick，Abhinav Gupta，和Kaiming He.非局部神经网络。在IEEE计算机视觉和模式识别会议集，第7794-7803页，2018年。4[22] 杨靖宇，刘方磊，岳焕晶，付晓梅，侯春平，吴峰. 通过 信号 分 解 和 引 导 滤 波 对 特 定 图 像 进 行 解 调 IEEETransactions on Image Processing ， 26 （ 7 ） ： 3528-3541，2017。一、二[23] 杨靖宇，张雪，蔡昌瑞，李坤。演示使用多通道层分解进行屏幕截图在IEEE Visual Communications and ImageProcessing中，第1-4页。IEEE，2017年。二五六八[24] 杨希彤，郑旭，罗杰波。通过基于物理的解纠缠和对抗训练实现虚拟图像去雾。在AAAI人工智能会议上，2018。3[25] He Zhang和Vishal M Patel.使用多流密集网络的密度感知单图像去噪。在IEEE计算机视觉和模式识别会议论文集中，第695-704页，2018年。3[26] He Zhang，Vishwanath Sindagi，and Vishal M Patel. 使用条件生成对抗网络的图像去训练arXiv预印本arXiv：1701.05957，2017。三、五[27] Kai Zhang ， Wangmeng Zuo ， Yunjin Chen ， DeyuMeng ， and Lei Zhang.Beyond a Gaussian denoiser ：Residual learning of deep cnn for image denoising.IEEETransactions on Image Processing ， 26 （ 7 ） ： 3142-3155，2017。6[28] 张凯、左王梦、古书航、张磊。学习深度CNN去噪器先验用于图像恢复。在IEEE计算机视觉和模式识别会议论文集，第3929-3938页，2017年。3