没有合适的资源?快使用搜索试试~ 我知道了~
1基于可学习带通滤波器的杭州电子科技大学zhengbolun1024@163.com袁善欣华为诺亚shanxin. huawei.com格雷戈里·斯拉博华为诺亚电子邮件:gregory. huawei.comAlesLeonardis华为诺亚ales. huawei.com摘要图像去噪是一个多方面的图像复原任务,涉及到纹理复原和颜色复原。在这篇文章中,我们提出了一种新的多尺度带通卷积神经网络(MBCNN)来解决这个问题。MBCNN作为一种端到端的解决方案,分别解决了这两个子问题。对于纹理恢复,我们提出了一个可学习的带通滤波器(LBF)学习的频率先验的莫尔纹理去除。对于颜色恢复,我们提出了两步色调映射策略,首先应用全局色调映射来校正全局色移,然后对每个像素的颜色进行局部微调通过消融研究,我们证明了MBCNN不同组件在两个公开数据集上的实验结果表明,我们的方法优于国家的最先进的方法,由一个很大的利润(超过2dB的PSNR)。1. 介绍数字屏幕在现代日常生活中无处不在。我们有电视屏幕在家里,笔记本电脑/台式机屏幕在办公室,和大LED屏幕在公共场所。拍摄这些屏幕的照片以快速保存信息正在成为常见的做法有时拍照是保存信息的唯一实用方法。不幸的是,一个常见的副作用是,莫尔图案可以出现,降低图像质量的照片。当两个重复图案彼此干涉时,出现莫尔图案在拍摄屏幕照片的情况下,相机不像其他图像恢复问题,包括去噪[44],去马赛克[9],颜色恒常性[1],锐化[28]等,对图像去噪的关注要少得多,图像去噪是从被莫尔图案污染的图像恢复下面的干净只是最近,一些尝试[31,24,8,12]已经解决了图像demoireing。然而,这个问题在很大程度上仍然是一个未解决的问题,由于大的变化,图1.不同尺度、频率和颜色的莫尔纹理莫尔图案在频率、形状、颜色等方面的变化最近的工作[31,3,12]试图通过多尺度设计来消除不同频带的莫尔条纹。DMCNN [31]提出用具有多分辨率分支的多尺度CNN处理莫尔图案,并将不同尺度的输出相加以获得最终输出。MDDM [3]通过引入基于动态 特 征 编 码 器 的 自 适 应 实 例 归 一 化 [17] 改 进 了DMCNN。DCNN [24]提出了一种从粗到细的结构,以从两个尺度上去除莫尔图案。对粗尺度结果进行上采样,并与细尺度输入进行协调,以进行进一步的残差学习。MopNet [12]使用多尺度特征聚合子模块来解决复频率,并使用另外两个子模块来解决边缘和预定义的莫尔类型。我们的模型还采用了多尺度设计,三个分支用于三个不同的尺度。在不同尺度下,我们的模型采用渐进的上采样策略来平滑地提高分辨率。一般来说,没有一个现有的方法试图明确地对莫尔图案进行建模。在我们的模型中,我们显式地建立模型的莫尔模式,通过学习的频率先验的莫尔模式,并分别从纹理和颜色恢复莫尔图像。我们的贡献如下。• 我们介绍了一个统一的框架,即多尺度带通CNN(MBCNN)的图像demoireing。该网络同时执行纹理恢复和颜色恢复36363637在同一模式下恢复。• 提出了一种可学习的带通滤波器(LBF),用于有效去除莫尔条纹. LBF引入了一个可学习的带通滤波器,用于学习频率先验知识,可以精确地将莫尔条纹从正常图像纹理中分离出来。• 我们的方法包括全局/局部色调映射准确的颜色恢复。全局色调映射学习从莫尔图像到干净的全局颜色偏移图像,而局部色调映射则是对局部进行细粒度的色彩还原。• 我们还提出了一个先进的索贝尔损失(ASL)学习结构的高频信息。通过ASL,我们开发了多尺度监督,三种等级的波纹图案。2. 相关工作图像去噪需要纹理和颜色恢复,这是一个复杂的挑战。在本节中,我们将简要介绍相关任务中的几种基于CNN的方法,其中深度学习产生了重大影响。图像恢复。 Dong等人。 [4,5]是第一个提出端到端卷积神经网络用于图像超分辨率和压缩伪影减少的人。随后的研究[32,19,45]通过增加网络深度,引入跳过连接[26]和剩余学习进一步改进了这些模型。更深的网络工程[21,33,34,47],然后介绍。DRCN[21]提出了参数共享的递归学习。Tai等人 [33,34]介绍了递归残差学习并提出了记忆块。Zhang等人 [47]用密集连接[16]取代了内存块中的递归连接。此外,一些研究集中在受高级计算机视觉方法启发的多尺度CNN上。 Mao等人 [6]提出了一种基于跳跃连接的多尺度自动编码器。Cavigelli等人 [2]介绍了一种用于压缩伪影减少的多监督网络。频域学习几项研究[25,11,49]侧重于频域。Liu等人 [25]介绍了离散小波变换及其逆变换,以取代传统的图像放大和缩小操作修复Guo等人。 [11]介绍了基于卷积的窗口采样,离散余弦变换(DCT)和逆DCT(IDCT)来构建DCT域学习网络。Zheng等人[49]引入了隐式DCT,将DCT域学习扩展到彩色图像压缩伪影减少。颜色恢复。图像去雾和图像增强是两个经典的颜色恢复问题。埃勒特森等人[7]提出了一种基于Gamma校正的损失函数,并训练了一种基于U-Net [29]的CNN,用于高动态范围(HDR)图像重建。Gharbi等人。 [10]提出了HDRNet来学习局部分段线性色调映射。受引导滤波器[13]的启发,Wu等人 [36]提出了一种用于图像增强的端到端可训练引导滤波器。Ren等人。[27]将模糊图像和几个预增强图像组合在一起作为输入,并提出了一个对称的自动编码器来学习图像去模糊的门控融合。Zhang等人[43]提出了一种用于图像去雾的密集连接金字塔CNN。值得注意的是,这些颜色恢复方法中很少有在其溶液中引入残余连接。图像删除。最近,已经提出了几种端到端的图像去噪解决方案。Sun等人。 [31]首先引入了用于图像demoireing的CNN(DMCNN),并创建了一个基于ImageNet [30]的莫尔数据集用于训练和测试。Cheng等人 [3]通过引入基于动态特征编码器的自适应实例归一化[17]他等人。[12]引入了基于形状、颜色和频率的附加莫尔条纹属性标签,以更精确地去除莫尔条纹。现有的方法都没有明确地模拟莫尔条纹我们把图像去噪问题归结为莫尔纹理去除和颜色恢复。3. 该方法由数码相机捕获的莫尔图像可以被建模为:其中Iclean是显示在屏幕上的干净图像Nmoire是引入的莫尔纹理,而Nmx是屏幕和相机传感器引起的颜色退化。Iclean可以表示为:Iclean=−1(Imoire−Nmoire)(2)其中,λ-1是λ的反函数,其在图像处理领域中被称为色调映射函数。以这种方式建模,图像去moireing任务可以是直接的。分为两个步骤,即莫尔纹理去除和色调映射。3.1. 多尺度带通CNN本文提出了一种多尺度带通CNN(MBCNN)图像去噪方法。以从莫尔图像恢复下面的干净图像。我们的模型工作在三个尺度上,有三种不同类型的块,这是 莫 尔 纹 理 去 除 块 (MTRB ) , 全 局 色 调 映 射 块(GTMB),和局部色调映射块(LTMB)。每个模块的详细信息见第2节。3.2和第二节三点三3638PPFCCCN..图2.我们的多尺度带通CNN的架构。MBCNN的架构如图2所示。具有h×w×c形状的输入图像I首先被重新生成。不可见地被采样为四个子图像,h×w×4c.以张量I作为输入,下面的翼网-其中D-1表示块IDCT函数。给定一个彩色图像块P,我们将每个彩色通道的莫尔结构记为Nc,c∈ {R,G,B}。则莫尔纹理NP的表示为:2 2工作包括三个分支,每个分支恢复龟纹以特定比例绘制图像。下式2、各分支依次执行莫尔纹理去除和色调C(NP)=Σc∈{R,G,B}C(Nc)(5)映射,并且最后输出放大的图像以在更精细尺度分支中进行在分支I和分支II中,将当前分支的特征与粗尺度的输出融合后,分支,额外的GTMB和MTRB被堆叠以移除其中C表示可学习的卷积。基于等式4,等式5可以改写为Σ Σ Σ−1si由比例变化引起的纹理和颜色误差。C(NP)=c∈{R,G,B}C(我FS))。IJJ3.2. 莫尔纹理去除Σ Σ Σ−1锡岛莫尔图案在形状、频率、颜色等方面表现出相当大的变化。图1中示出了一些示例,其中莫尔图案具有不同的特性。莫尔纹理可以写为:=C(D)我Σ=C(D−1我.(c∈{R,G,B}Σ(c∈{R,G,B}FSfijJFS岛)的情况).)的情况)(六)Σ ΣN莫尔条纹=si(三)其中FS是i。是组合的频谱,ijc信道c与t h。e标度si.在这里,我们定义I jsic∈{R,G,B}FS岛Sc 作为隐式频谱其中,Nfij表示尺度的莫尔纹理分量,(IFS),表示为If1。现在我们可以s i和频率fi j。 根据这个公式,我们可以首先估计不同尺度和频率下的莫尔纹理分量,然后重建莫尔纹理。C(NP)=ΣiC(D−)(见附件一)(7)基于所有估计的组件。分块DCT是处理频率相关问题的有效方法。假设每个Nsi的块DCT域中的频谱是FSsi,则等式3可以可学习的带通滤波器。 灵感来自于DCT [49],我们可以直接估计 有深度的CNN块由于在等式中呈现的变换。7都是线性的,它们可以通过一个简单的卷积层来建模。作为FC13639FF重写为国际新闻报Σ Σ国际新闻报莫尔纹理的频谱总是规则的,我们可以用带通滤波器来放大某些频率N莫尔条纹=我D−1(FSsi)IJJ(四)而贬低别人。然而,Σ Σ01-0财政司司长(i)IJ在不同的尺度上会有几个频率,它们也会相互影响。为了解决这个问题,我们I j3640在在出来出来于图3.龟纹纹理去除块的结构。提出了一种可学习的带通滤波器(LBF),用于从莫尔图像中学习先验知识。LBF为每个频率引入了可学习的权重,其可以表示为ΣC(NP)= C(D−1(θsi·θsi))(8)我其中θsi 表示尺度si的DCT域频率的可学习权重。假设分块IDCT的大小为p×p,则相应的DCT域频谱共有p2所以θsi的大小是p2。 θsi的所有参数被初始化为1并被约束为非负,通带在训练期间从图像数据中学习。D-1可以通过预定义的1×1卷积层来实现,其权重固定为IDCT矩阵。CNN结构。下式8、可以分别去除不同尺度的莫尔条纹。对于每个特定的尺度,我们提出了一个莫尔纹理去除块(MTRB),见图3。假设MTRB的输入是xMTRB,首先使用密集块进行特征提取,其表示为Fdeep。然后,一个3×3卷积层从Fdeep估计IFS。稠密块有K个稠密连通[16]3 ×3nD通 道 扩张 卷 积 [40], 具 有 ReLU激 活 ( ConvReLU)层。我们采用扩张卷积而不是正常的卷积,以扩大密集块的感受野,以产生F深,使p2大小 从F深可以很容易地估计出Δ。 估算后可学习权重θ和块IDCT层D-1,a图4.全局色调映射块的结构。p×p,并将其与D−1层的卷积核相乘,然后将卷积直接发送到D−1层。这样就可以避免乘积θ·θ3.3. 色调映射RGB颜色空间是一个非常大的空间,包含2563种颜色,使得很难做逐点色调映射。观察到在莫尔条纹图像和干净图像之间存在色移,我们提出了具有两种类型的色调映射块的两步色调映射策略:全局色调映射块(GTMB)和局部色调映射块(LTMB)。层CRG1CRG2CRG3FR1FR2FC步幅2 ×21 ×11 ×1---内核3 ×31 ×11 ×1---输出通道nG·2nG·2nGn八国nG·4nG·2表1.GTMB中可学习层的属性全局色调映射块。GTMB被提出来学习全局色移,关于详细结构,参见图4。给定输入xGTMB,我们首先提取全局特征F通过步长为2的3 ×3Conv ReLU然后,为了提取深度全局特征γ,我们将两个完全连接的图2示出了具有ReLU激活的FC层(FR1,FR2)和不具有 ReLU 激 活 的 FC 层 ( FC ) 。 此 外 , 我 们 使 用1×1Conv ReLU层从xGTMB。 GTMBxGTMB的输出可以如下获得:在卷积层CM2被添加,如等式2所示。8.考虑到D−1可能会导致较大的局部输出并产生过多的梯度,我们堆叠了一个特征尺度出来xGTMB=CRG3(γ·F局部)(10)层(FSL)来线性约束CM2的输出.最后,我们引入剩余连接[14]来消除卷积域莫尔纹理。因此,MTRBxMTRB的最终输出可以通过下式获得:xMTRB=xMTRB+S(CM2(D−1(θ·θ)(9)其中S表示FSL。直接将θ和θ相乘将消耗大量的计算。相反,我们将θ重塑为1×1×3641假设CRG3输出n个G通道张量,列出了GTMB中所有可学习层的属性。GTMB vs.渠道注意力。注意力机制已被证明在许多任务中是有效的[39,35,37,38],并且已经提出了几个通道注意力块[46,15]。我们的GTMB可以被看作是一个通道的张力块。然而,GTMB在几个方面不同于现有的信道注意块。首先,现有的通道注意力块总是由Sig-moid单元激活,而在3642在深处出来-1-2-100012111 0-1-1-20021- 一零一-10-220-101-202-101(a)(b)第(1)款图5.局部色调映射块的结构。GTMB。其次,通道注意力直接应用于现有通道注意力块的输入,而GTMB中的γ应用于局部特征Flocal。最后,现有的通道注意力块旨在进行自适应的通道式特征重新校准; GTMB的目标图6.关于索贝尔晚期死亡的细节。(a)经典的索贝尔过滤器。(b) 两个额外的过滤器,用于高级Sobel过滤器。在训练MBCNN时,我们采用了多监督策略,监督所有分支的输出,可以表示为,loss=Loss(Zs1,Zs1)+Loss(Zs2,Zs2)是进行全局色移,并避免不规则和不均匀的局部颜色伪影(更多的分析是去+Loss(Zs3,Zs3)(十四)在Sec. 4.3.1)。局部色调映射块。 LTMB被开发以适应局部细粒度色调映射函数。 如图5所示,LTMB的结构类似于MTRB。LTMB首先采用MTRB中的类似密集块以从LTMBXLTMB的输入提取深度特征F LTMB。然后,LTMB的输出通过以下方式获得:xLTMB=CRL(FLTMB)(11)其中,s1、s2和s3分别表示分支1、2和3。活泼地4. 实验我们已经进行了广泛的消融研究,并在两个公共数据集 上大 幅超 出最 新技 术水 平:LCDMoire [41]和TIP2018 [31] LCDMoie数据集由10,200个 合成生成的图像组成出来深10,000张训练图像,100张验证图像其中,CRL是1×1卷积,xLTMB与xLTMB具有相同的形状。3.4.损失函数在本文中,我们使用L1损失作为基本损失函数,因为已经证明[23,47,48]对于图像恢复任务,L1损失比L2损失然而,L1损失本身是不够的,因为它是不能提供结构信息的逐点损失,而莫尔图案是结构伪影。我们提出了一个先进的Sobel损失(ASL)来解决这个问题。建议的ASL可表示为100张测试图片TIP2018数据集由真实照片组成,这些照片是通过使用不同相机和屏幕硬件的各种组合拍摄在计算机屏幕上显示的ImageNet [30]数据集的图像而构建的。它有150,000个真实的干净和莫尔图像对,分为135,000个训练图像和15,000个测试图像。LCDMoire和TIP2018数据集都用于与最先进的方法进行比较。LCDMoire数据集也用于消融研究。消融研究在验证集上进行,因为测试数据集请注意:验证数据集是完全独立的并且不用于训练。2001年。∗∗ .4.1. 实现细节ASL(Z,Z)=N. Sobel(Z)−Sobel(Z).(十二)对于MBCNN模型,我们采用以下设置,其中Z表示地面实况,Z表示CNN的输出,Sobel表示高级Sobel滤波。图6示出了ASL的细节。与经典的Sobel滤波器(图6(a))相比,高级Sobel滤波器提供了两个额外的45个方向的滤波器(图6(b)),其可以提供更丰富的结构信息。我们来-将ASL和L1损失作为最终损失函数,其可以表示为,Loss(Z,Z)=L1(Z,Z)+λ·ASL(Z,Z)(13)其中L1表示L1损失,ASL表示ASL,并且λ是平衡L1损失和ASL的超参数。with c = 3, nG = 128, nD = 64, K = 5. Adam [22]被用作我们的训练优化器。学习率初始化为10−4。在每个训练期后进行验证。 如果验证损失连续四个时期低于0.001 dB,学习率减半。当学习率低于10- 6时,训练过程完成。对于LCDMoire数据集,我们运行了128×128个补丁domly裁剪的图像,与批量大小设置为16.当128×128块训练模型收敛时,我们将训练数据重新分组为256×256块,以微调模型。这一次,学习率设置为10- 5,批量大小设置为4。训练MBCNN3643000023莫尔地面实况w/o。MTRB MBCNN000041莫尔地面实况MBCNN-MBCNN-nLPMBCNN图7.使用和不使用MTRB的MBCNN产生的Demoireing结果使用NVidia RTX2080Ti GPU大约需要40小时。对于TIP2018数据集,我们遵循[31]并在整个训练过程中将补丁大小设置为256×2564.2. 消融研究为了验证我们模型中每个组件的有效性,我们进行了 广 泛 的 消 融 研 究 , 包 括 评 估 MTRB 与 GTMB 和LTMB,可学习带通滤波器,和损失函数。4.2.1MTRB与GTMB和LTMB如前所述,MTRB用于去除莫尔条纹,GTMB和LTMB用于颜色恢复。我们使用经过训练的MBCNN研究了MTRB的效果,并将实验结果可视化在图中。7 .第一次会议。由于MTRB中的残余连接,我们可以通过强制特征缩放层中的学习尺度为零来将MTRB的效果与两个色调如图7所示,在没有MTRB的情况下,退化的颜色仍然可以很好地恢复,并且一些非常高频率的莫尔纹理也可以很好地去除。然而,许多高频图像细节丢失,低频莫尔纹理大部分保留。再-nDDT图8.对MBCNN-nDDT、MBCNN-nLP和MBCNN产生的结果进行了演示。通带(LP)。我们应用第4.1节中描述的设置,并分别从MTRB中移除DDT和LP以进行调查。我们通过将其替换为1×1卷积层来移除整个DDT,以保持输出形状不变。在这方面,地铁退化为残差密集块(RDB)。我们通过保留整个DDT来删除LP,但强制通带中的所有参数为1,这在训练阶段不会更新。我们将没有LP或DDT的网络我们在液晶云纹仪的验证 集 上 测 试 了 这 三 种 模 型 的 性 能 。 如 表2 所 示 ,MBCNN-nLP引入了DDT,其可以提供结构学习路径并明确确保内部感受野(块IDCT大小),并且最终导致比MBCNN-nDDT略微改善0.18dBMBCNN引入了可学习的带通来学习莫尔纹理的频率先验,并且比MBCNN-nLP显著提高了0.95dB。这三种模型产生的一些演示结果如图8所示。LBF使MBCNN能够更好地感测莫尔纹理并从莫尔图像恢复更准确的细节。造成这种情况的原因主要有两个。 首先,因为3 ×3卷积用于GTMB和LTMB,CNN已经某些去噪和局部平滑功能。第二,虽然所提出的色调映射块确实具有很大的恢复颜色的能力,但对莫尔纹理去除的主要贡献是由MTRB做出的。实验结果表明 , MTRB 具 有 较 强 的 去 除 莫 尔 条 纹 的 能 力 , 而GTMB和LTMB具有较好的颜色恢复能力。4.2.2可学习带通滤波器在本节中,我们将研究LBF的贡献,并解释我们选择相关设置的原因。型号MBCNN-nDDT MBCNN-nLP MBCNN PSNR/SSIM42.91/0.9932 43.09/0.993644.04/0.9948表2.MBCNN、MBCNN-nLP和MBCNN的性能LCD Moire验证集上的nDDT结构贡献。LBF由DCT域变换(DDT)和可学习的型号MBCNN-6MBCNN-8MBCNN-10MBCNN-12 PSNR/SSIM43.25/0.993744.04/0.994843.45/0.993943.17/0.9937表3.具有不同p值的MBCNN的比较块IDCT大小p。p是DDT的一个非常重要的参数。随着p的增大,LBF可以学习更准确和更完整的频率先验。我们将用块IDCT大小p构造的MBCNN表示为MBCNN-p 。 我 们 分 别 验 证 了 p=6 , 8 , 10 , 12 的MBCNN的性能。发现p=8对于去除莫尔纹理是最好的。如表3所示,较大的p有两个理由可以说明这一点。首先,增大p增加了频率先验学习的复杂性和难度第二,由前致密块提供的感受野不能支持太大的p。我们在图9中从MBCNN-8模型中可视化LBF中的学习通带。LBF主要在分支的开始处执行频带抑制。分支末端的LBF主要避免由级联来自上尺度的输出引起的过度平滑。3644图9.从不同MTRB中的LBF学习的频域先验。4.2.3损失函数在本小节中,我们将研究损失函数的贡献。为了证明所提出的ASL的有效性,我们将其与几个相关和众所周知的损失函数进行了比较,包括Sobel损失,Laplace损失,SSIM损失[48]和基于预训练Vgg 16网络的感知损失[18]。通常,所有损失函数都通过等式1中所述的多监督策略加载。14,最后通过MAE函数测量。为了平衡这些损失和L1损失的输出,我们将不同的λ(在等式13中)分配给不同的损失。如表4所示,Sobel损耗提供的结构高频损耗导致1.81dB的显著改善,ASL的附加双向滤波器进一步改善了0.40dB的性能。尽管拉普拉斯损失也是高频描述符,因为它在中心像素上的权重比相邻像素高得多,所以它的表现类似于L1损失。此外,SSIM损耗和虚损耗也能提高系统的性能.SSIM损失的行为类似于拉普拉斯损失,而感知损失是第二好的损失函数,仅比ASL低0.21dB一般来说,我们 的 ASL 是 一 个 简 单 而 有 效 的 损 失 函 数 的 图 像demoireing任务。LossλPSNR(dB)SSIM图10. LCD莫尔条纹验证集上的演示结果由所提出的方法和其它现有方法产生。4.3. 与先前工作的在本小节中,我们将所提出的方法与几个最相关的先前工作进行比较。4.3.1LCDMoire数据集的比较我们首先与AIM 19图像演示挑战中的参与方法进行比较[42]。验证集的结果(同样,独立且未用于训练)见表5。由于LCDMoire测试集的地面实况尚未发布,我们提供了LCDMoire验证集的性能。我们还比较了几种 没 有 参 与 挑 战 的 方 法 , 包 括 CAS-CNN [2] ,MWCNN [25],DM-CNN [31]。结果和每个图像的平均运行时间如表6所示。因为我们已经证明了ASL的优越性,所以我们用L1损失加上ASL来训练方法(CAS-CNN,MWCNN,DMCNN)由于受全局剩余连接的限制,MWCNN未能解决该问题。表4.使用不同损失函数训练的MBCNN模型的性能比较然而,由于与几种比较方法相比,MBCNN消耗了相 当 多 的 参 数 , 因 此 我 们 提 出 了 一 种 轻 版 本 的MBCNN(MBCNN-light),通过设置nG=年龄demoireing问题,而CAS-CNN实现了一个非常L1-41.830.9905性能接近DMCNN。 建议的MBCNNL1 + Sobel0.543.640.9945方法明显优于这些其他方法,具有信号-L1 +拉普拉斯0.542.920.9927显著的性能增益+7。88 dB/+0。075PSNR比L1 + SSIM0.243.360.9946CAS-CNN. 从图10所示的可视化结果,L1 +知觉1.043.830.9946我们的MBCNN精确地去除了莫尔纹理,L1 + ASL0.2544.040.9948大部分图像细节。3645图11. TIP2018数据集的定性比较。型号IPCV IITM PCALab IAIR XMU-VIPLab KU-CVIP MoePhoto Islab-zju MBCNNPSNR/SSIM 32.23/0.96 32,39.0.97 35.27/0.97 39.21/0.99 40.17/0.98 41.91/0.99 42.90/0.9944.04/0.9948表5.MBCNN模型和AIM19演示挑战中的前7种参与方法的性能比较模型CAS-CNNMWCNNDMCNNMBCNNMBCNN-lightMBCNN+PSNR36.1628.9335.4844.0442.8133.65SSIM0.98730.96980.97850.99480.99400.9859时间(s)0.140.140.100.250.121.14表6. MBCNN模型和其他先前工作在LCDMoire验证集上的性能比较。DnCNNVDSREDSRUNetDMCNNMopNetMBCNNPSNR24.5424.6826.8226.4926.7727.7530.03SSIM0.8340.8370.8530.8640.8710.8950.893表7. MBCNN模型和其他相关工作在TIP2018数据集上的性能比较。64,nD=32,同时保持其他设置不变。如表6所示,参数越少,性能降低-1。46dB/−0。028来自MBCNN 尽管如此,MBCNN-light仍然优于其他竞争对手,即使在该方法的这种简化形式中也可以使用该方法。最近,一些研究报告,几何自集成可以合理地提高性能,在最后的测试阶段。我们在测试期间采用了这种策略,将输入图像旋转90度、180度和270° C以生成三个增强输入图像,以及计算原始输出的平均图像,增加的输出(旋转回来)作为最终输出。我们将这种自集成MBCNN称为MBCNN+。也许令人惊讶的是,这种策略导致性能急剧下降。我们推测,由于莫尔纹理是一种强烈的方向感知伪影,改变方向会误导网络做出不准确的预测。4.3.2TIP2018数据集的比较由于在TIP2018数据集上评估了一些相关工作,因此我们进一步在TIP2018数据集上评估了我们的MBCNN,以与包括DnCNN [44],VDSR [20],EDSR [23],UNet[29],DM在内的几种相关方法进行比较。CNN [31],MopNet [12]. 如表7所示,我们的亲-提出的MBCNN以+2击败了第二好的方法。28dB,达到了第二好的SSIM结果,仅比最好的SSIM结果低0.002。此外,图11中所示的可视化结果也证明了所提出的方法优于其他比较方法。补充材料中列出了更多定性的例子5. 结论在 本 文 中 , 我 们 提 出 了 一 种 多 尺 度 带 通 CNN(MBCNN)的图像demoireing,并显着超过形式的国家的最先进的方法超过2dB的PSNR。提出了一种可学习的带通滤波器(LBF)来学习频率先验知识。我们的模型有两个步骤:莫尔纹理去除和色调映射。基于LBF的残差CNN块用于莫尔纹理去除,并且另外两个CNN块用于全局和局部色调映射。进行消融研究以显示网络中组件的重要性。我们还阐明了块IDCT大小在LBF中的影响,并证明了块IDCT大小为8对于图像去噪任务是最好的。在两个公共数据集上的实验表明,我们的模型大大优于最先进的方法。引用[1] Jonathan Barron和Yun-Ta Tsia快速傅立叶颜色恒常性。在CVPR,2017年。1[2] Lukas Cavigelli , Pascal Hager , and Luca Benini.CAS-CNN:用于图像压缩伪影抑制的深度卷积神经网络InIJCNN,2017. 二、七[3] 席承,付振永,杨剑。用于图像演示的多尺度动态特征编码网络。在ICCVW,2019。一、二[4] Chao Dong , Yubin Deng , Chen Change Loy , andXiaoou Tang. 通过 深度卷积 网络减少 压缩伪 影。在ICCV,2015年。23646[5] Chao Dong , Chen Change Loy , Kaiming He , andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。2014年,在ECCV。2[6] Lian-Feng Dong,Yuan-Zhu Gan,Xiao-Liao Mao,Yu-Bin Yang,and Chunhua Shen.使用具有对称跳过连接的卷积自动编码器学习深度表示在ICASSP,2018年。2[7] Gabriel Eilertsen , Joel Kronander , Gyorgy Denes ,RafałK Mantiuk,and Jonas Unger.使用深cnn从单次曝光重建Hdr图像TOG,2017年。2[8] 高天宇,郭延庆,郑鑫,王倩玉,罗向阳。使用多尺度特征增强网络去除莫尔图案在ICMEW,2019年。1[9] Michael Gharbi,Gaurav Chaurasia,Sylvain Paris,andFredo Durand.深度联合去马赛克和去噪。在2016年的《亚洲签名图》上。1[10] Micha elGharbi,纪文臣,乔纳森·T. 塞缪尔·巴伦 哈辛诺和杜兰神父。用于实时图像增强的深度双边TOG,2017年。2[11] 郭军,赵宏阳。构建双域表示以减少压缩伪影。在ECCV,2016年。2[12] Bin He,Ce Wang,Boxin Shi,and Ling-Yu Duan.使用mopnet拖把云纹图案。在ICCV,2019年。一、二、八[13] 何开明,孙建,唐晓鸥。引导图像滤波。ECCV,2010年。2[14] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。4[15] 杰虎,李申,孙刚。挤压-激发网络。在CVPR,2018年。4[16] 高煌,刘庄,劳伦斯·范德马腾,和Kilian Q.温伯格密集连接的卷积网络。在CVPR,2017年。二、四[17] Xun Huang和Serge Belongie。实时任意样式传输,具有自适应实例规范化。InICCV,2017. 一、二[18] 贾斯汀·约翰逊,亚历山大·阿拉希,李飞飞。实时风格转换和超分辨率的感知损失。在ECCV,2016年。7[19] Jiwon Kim,Jung Kwon Lee,and Kyoung Mu Lee.使用非常 深的 卷积 网络 实现 精确的 图像 超分 辨率 。在CVPR,2016年。2[20] Jiwon Kim,Jung Kwon Lee,and Kyoung Mu Lee.使用非常 深的 卷积 网络 实现 精确的 图像 超分 辨率 。在CVPR,2016年。8[21] Jiwon Kim,Jung Kwon Lee,and Kyoung Mu Lee.用于图像超分辨率的深度递归卷积网络。在CVPR,2016年。2[22] 迪德里克·金马和吉米·巴。Adam:随机最佳化的方法。见ICLR,2014年。5[23] Bee Lim , Sanghyun Son , Heewon Kim , SeungjunNah,and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPRW,2017年。五、八[24] 刘博林,舒晓,吴晓林。使用深度卷积神经网络对相机捕获的屏幕图像进行演示。arXiv,2018年。1[25] Pengju Liu,Hongzhi Zhang,Kai Zhang,Liang Lin,and Wangmeng Zuo.用于图像恢复的多级小波神经网络。在CVPRW,2018年。二、七[26] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。CVPR,2015。2[27] Wenqi Ren , Lin Ma , Jiawei Zhang , Jinshan Pan ,Xiaoxun Cao,Wei Liu,and Ming-Hsuan Yang.基于选通融合在CVPR,2018年。2[28] Yaniv Romano , John Isidoro , and Peyman Milanfar.Raisr:快速准确的图像超分辨率。IEEE Transactions onComputational Imaging,3(1):110-125,2016。1[29] Olaf Ronneberger,Philipp Fischer,and Thomas Brox.U-网:用于生物医学图像分割的卷积网络2015年医学图像计算和计算机辅助干预国际会议。二、八[30] OlgaRussakovsky , Jia Deng , Hao Su , JonathanKrause , San- jeev Satheesh , Sean Ma , ZhihengHuang , Andrej Karpathy , Aditya Khosla , MichaelBernstein,et al.图像网大规模视觉识别挑战。IJCV,2015年。二、五[31] 孙玉静、余益州、王文平。基于多分辨率卷积神经网络的莫尔照片复原。TIP,2018年。一、二、五、六、七、八[32] 帕维尔·斯沃博达,米哈尔·赫拉迪斯,大卫·巴德里纳和帕维尔·泽姆切克。使用卷积神经网络去除压缩伪影Journal of WSCG,24:63-72,05 2016. 2[33] Ying Tai,Jian Yang,and Xiaoming Liu.基于深度递归残差网络的图像超分辨率。在CVPR,2017年。2[34] Ying Tai , Jian Yang , Xiaoming Liu , and ChunyanXu.Mem- Net:一种用于图像恢复的持久存储网络.InICCV,2017. 2[35] Xintao Wang,Kelvin CK Chan,Ke Yu,Chao Dong,and Chen Change Loy. Edvr:使用增强的可变形卷积网络进行视频恢复。在CVPRW,2019年。4[36] Huikai Wu,Shuai Zheng,Junge Zhang,and Kaiqi Huang.快速端到端可训练引导过滤器。在CVPR,2018年。2[37] C.扬湾,澳-地贡,Y. Wei和Y.高.用于图像检索的深度多视图增强散列。TPAMI,2020年。4[38] C.扬湾,澳-地Shao,H. Zhao河,巴西-地Ning,Y.Zhang和F.徐从单个RGB图像估计3D房间布局。TMM,2020年。4[39] Chenggang Yan , Yunbin Tu , Xingzheng Wang ,Yongbing Zhang,Xinhong Hao,Yongdong Zhang,andQionghai Dai. Stat:视频字幕的时空注意机制。TMM,2019年。4[40] Fisher Yu和Vladlen Koltun。通过扩张卷积的多尺度上下文ICLR,2016年。4[41] Shanxin Yuan,Radu Schlafte,Gregory Slabaugh,andAles Leonardis. 2019年图像演示挑战:数据集和研究。在ICCVW,2019。5[42] 袁善欣,拉杜·拉夫特,格雷戈里·斯拉博,阿莱斯·莱昂纳 迪 斯 等 。 Aim 2019 形 象 挑 战 : 方 法 和 结 果 。 在3647ICCVW,2019。7[43] He Zhang和Vishal M Patel.密集连接的金字塔式除雾网络。在CVPR,2018年。23648[44] Kai Zhang , Wangmeng Zuo , Yunjin Chen , DeyuMeng,and Lei Zhang.超越高斯降噪器:用于图像去噪的深度cnn残差学习。TIP,2017年。1、8[45] K. Zhang,W. Zuo,S. Gu和L.张某用于图像恢复的
下载后可阅读完整内容,剩余1页未读,立即下载
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)