没有合适的资源?快使用搜索试试~ 我知道了~
17399|用于图像恢复的深度广义展开网络Chong Mou<$,Qian Wang<$,Jian Zhang<$,†北京大学深圳研究生院,中国‡中国深圳市鹏程实验室eechongm@gmail.comzhangjian.sz; pku.edu.cn lucywq1028@gmail.com摘要深度神经网络(DNN)在图像恢复方面取得了巨大的成功。然而,大多数DNN方法被设计为黑盒,缺乏透明度和可解释性。尽管提出了一些方法来将传统的优化算法与DNN相结合,但它们通常需要预定义的退化过程或手工制作的假设,使得难以处理复杂和真实世界的应用。本文提出了一种用于图像恢复的深度广义反折叠网络具体地说,在不损失可解释性的情况下 , 我 们 将 梯 度 估 计 策 略 集 成 到 近 端 梯 度 下 降(PGD)算法的梯度下降步骤中,使其能够处理复杂和真实世界的40.140.039.939.839.739.639.539.4DGUNet(我们DGUNet+DGUNet+(5个阶段)(OurMPRNetCVPR 2021MIRNetECCV 2020年版DeamNetCVPR 2021GDANetECCV 2020年版VDNetNeurIPS 2019AINDNetCVPR 20200 10 20 30 40参数数量(百万)图像退化此外,我们在不同的PGD迭代中设计跨邻近映射的阶段间信息通路,以通过多尺度和空间自适应的方式纠正大多数深度展开网络(DUN)通过结合灵活的梯度下降和信息邻近映射,我们展开的迭代PGD算法到一个可训练的DNN。对各种图像恢复任务的广泛实验证明了我们的方法在最先进的性能,可解释性和可推广性方面的优越性源代码可在github.com/MC-E/DGUNet上获得。1. 介绍图像复原的目的是恢复高质量的图像图1.我们的DGUNet和一些最近的去噪器(VDNet [75],GDANet [76] , AINDNet [33] , MIRNet [78] , DeamNet[53],MPRNet [79])在DND [52]数据集上的不同参数容量(x轴)下的真实图像去噪性能(y轴)。到A,IR可以被分类为许多子任务,例如,图像去噪、去模糊、去噪、压缩感知。在过去的几十年里,IR得到了广泛的研究,导致了三个主要的研究课题,即,基于模型的方法、深度学习方法和混合方法。基于模型的方法(例如,,[7,12,17,25,32,56])通常将IR公式化为贝叶斯问题,求解Eq.(1)在统一的MAP(最大化后验)框架下:x =argmaxlog gP ( x|y ) =argmaxlog gP ( y|x )+logP(x),X x从其退化测量y获得图像x。降解(二)过程一般定义为:y=Ax+n,(1)其中A是退化矩阵,并且n表示附加噪声。这是一个典型的病态问题。根据其中logP(y x)和logP(x)分别表示数据保真度和正则化项。数据保真度项通常被定义为2范数,其表示为Eq.(2)作为下列能量函数:x=argmin1||y−Ax||2+λJ(x),(3)2X2峰值信噪比(dB)17400本课题得到了深圳市基础研究计划项目(No.GXWD20201231165807007-20200807164903001)和国家自然科学基金项目(No.GXWD20201231165807007-20200807164903001)的部分资助。国家自然科学基金项目(61902009)。(通讯作者:张剑。)其中λ是对正则化项J(x)进行加权的超参数。数据保真度项保证解符合退化。法规术语al-17401通过强制执行所需的prop-estimation,其中涉及复杂的先验,例如,,全变分[49],稀疏表示[15,18,42],低秩[23]和自相似性[7,12]。然而手工设计的表达能力有限,导致结果不稳定,推理耗时。最近,深度学习IR [13,91-到目前为止,已经提出了许多功能单元。[62]提出了一种记忆策略,在不同的层中广泛传播有用的信息[6,24,33,75,79]利用沙漏形架构来探索多尺度特征。提出了一些非局部方法[40,45,46虽然黑盒设计具有良好的性能和快速推理能力,但它很难分析不同组件的作用,并且性能的提高通常归因于以增加模型复杂性为代价堆叠新模块。为了结合可解释性和自适应性,一些混合方法提出将深度网络集成到经典优化算法中。例如,深度即插即用(PNP)方法[44,74,89,92,94]将预训练的CNN去噪器作为先验集成到不同IR任务的迭代优化框架中。不幸的是,他们通常遭受耗时的推理。最近,深度展开网络(DUN)[16,53,83,88]提出端到端优化所有参数,提供更好的性能和更快的推理。然而,由于可解释的设计,它们中的大多数需要已知的降解过程来导出解决方案。然而,在实际应用中的降解过程是复杂的和不确定的,具有信号依赖性和空间变化的分布。因此,大多数DUN方法都是手工制作退化假设[16]或明确提供具有退化因子的网络[88]来处理预定义的图像退化问题。此外,由于传统的基于模型的方法在每次迭代中输出图像,因此相应的DUN必须采用每个阶段的输入和输出作为图像。这种固有的设计不可避免地导致特征到图像的信息失真。DUN中的这种信息丢失在现有的作品中很少注意到。为了纠正上述问题,并弥合基于模型的方法和深度学习方法之间的差距,我们提出了一个深度广义展开网络(DGUNet)。一方面,我们的方法具有良好的解释性,作为基于模型的方法制定的模型设计通过近端梯度下降(PGD)算法。另一方面,与深度学习方法类似,我们的方法是端到端训练的,具有不受阻碍的特征路径,可以轻松应用于复杂和现实世界的应用程序。为了实现这一点,我们首先将梯度估计策略集成到PGD算法的梯度下降步骤中,以预测退化未知中的梯度例然后,我们设计的阶段间的信息通路,以弥补内在的信息损失DUN。总之,这项工作有以下贡献:• PGD算法的迭代优化步骤用于指导模式设计,从而 产 生 端 到 端 可 训 练 且 可 解 释 的 模 型(DGUNet)。• 我们的DGUNet提出了一个通用的CNN为基础的实现DUN结合梯度估计策略到PGD算法,使PGD可以很容易地应用到复杂的和现实世界的IR任务。• 在DUN框架中,我们设计了阶段间的信息路径,以空间自适应的归一化方式广播多尺度特征,纠正了大多数DUN方法固有的信息损失。• 大量的实验表明,我们的方法可以解决一般的IR任务与国家的最先进的性能(包括12个合成和真实世界的测试集)和有吸引力的复杂性(见图。1)。2. 相关作品2.1. 基于模型的图像复原方法如前所述,基于模型的方法[85,87,98,99]通常以贝叶斯观点解决IR,其被公式化为MAP优化问题,如等式(1)所示。(3)包含数据保真度项和正则化项。HQS [27]、ADMM [5]和PGD [4]是常用的优化算法。这些方法通常将目标函数的数据保真度项和正则化项解耦,得到一个交替求解数据子问题和先验子问题的迭代方案。例如,[100]在HQS之前集成高斯混合。在[28]中,Heide等人使用ADMM和HQS的替代方案来解耦数据项和先验项。[64]将特定类别的高斯混合去噪器插入ADMM中,以解决图像去模糊和压缩感知问题。2.2. 深度学习图像恢复方法受深度神经网络(DNN)的巨大成功的推动,基于DNN的方法已被广泛用于低级图像处理任务。[13,14]是将卷积神经网络(CNN)应用于IR的早期尝试。Sub-Jiang,Zhang et al. 提出了DnCNN [91],通过残差学习显著提高了恢复性能。[62]提出了密集连接的存储器块,以从前面的层收集有用的信息。[95,96]提出堆叠剩余块(RB)而不进行批量归一化[30]以扩展网络深度。除了用固定尺度估计干净图像外,还提出了一些沙漏形网络[6,24,33,75,79]来探索IR的多尺度特征图。17402阶段1……FGDMIPMM……阶段K损坏的图像阶段k…恢复结果降解未知转 换转 换转换+++转换ReLUConv已知降解灵活梯度下降模块(FGDM)阶段k信息性近端标测模块(IPMM)起来上采样下采样逐元素乘法逐元素加法 逐元素减法残差块(RB)点积∇·|| −图2.我们提出的深度广义展开网络(DGUNet)的插图。我们在第一行展示了总体架构,主要由几个阶段组成。每个阶段对应于PGD算法中的迭代。第二行呈现了每个阶段的详细设计,包含灵活梯度下降模块(FGDM)和信息性邻近映射模块(IPMM)。2.3. 深度展开网络深度展开网络(DUN)的主要思想是,传统的迭代优化算法可以等效地由递归DNN块的堆栈来这种对应关系最初应用于深度即插即用(PNP)方法[44,57,74,92,94],该方法通过uti训练去噪器来隐式表达正则化在我们提议的DGUNet上进行讨论。3.1. 传统近端梯度下降从技术上讲,PGD算法近似地表示Eq.(3)作为一个迭代收敛问题,通过下面的迭代函数:xk= argmin1||x−(xk−1−ρg(xk−1))||2+ λJ(x),项J(x)作为去噪问题。 灵感来自PNP,DUNx2方法以端到端的方式通过联合操作进行训练,2(四)在特定任务中对可训练的降噪器进行优化。 比如说,[16]联合优化了UNet作为ADMM [5]算法中的邻近映射。然而,其网络结构与处理预定义图像退化的手工退化假设密切相关。[88]使用ResUNet代替HQS [27]算法中的近端映射。然而,退化过程也是手动设计的,并且其网络需要尺度因子、模糊核和噪声水平作为额外的输入,导致性能在很大程度上取决于所提供的退化因子的准确性。[60,73,83]通过PGD算法[4]解决了压缩感知,具有已知的退化过程。此外,大多数DUN方法都受到信息损失的困扰,由于在每个阶段结束时的特征到图像的转换。虽然[ 48 ]中的跳过连接有利于信息传输,但其实现仍然很原始,例如,特征融合通过在邻近映射模块的单个解码器层上的级联来执行3. 方法在本节中,我们首先简要回顾传统的近端梯度下降(PGD)算法,然后进行实验。其中,x=k是指第k次迭代的输出,并且g()表示等式(1)中的数据保真度项。(三)、是由步长ρ加权的线性算子。从数学上讲,上述函数的红色部分是梯度下降运算-蓝色部分可用近端操作者proxλ,J.因此,它导致两个子问题,即。,梯度下降(等式(5a))和近端映射(Eq.(5b)):vk=xk−1−ρA(Axk−1−y),(5a)xk=proxλ,J(vk).(5b)PGD算法迭代更新vk和xk,直到收敛。ISTA [4]是一种典型的基于PGD的算法,其中调节项被定义为1范数,即,J(x)=||X||1 .一、因此,ISTA中的近端映射被导出为软阈值函数:proxλ,J(vk)=sign(vk)max(0,vkλ)。 然而,手工制作的101监管的代表性有限,其适用范围有限。阳离子被限制到几个已知降级的任务(例如,压缩感RBRBCABRBISFF下来RBISFF下来RBISFF向下转换ConvUpRB上RB上RB17403测)。针对传统PGD算法的不足,提出了一种基于深度神经网络的PGD算法,该算法具有鲁棒性和通用性。17404−一×一n恩茨恩一一n恩茨恩fk十二月αk,βk= Convα(Hk−1),Convβ(Hk−1)ENC恩茨恩n=1十二月n=1恩茨恩nn3.2. 提出的深度广义展开网络我们提出的DGUNet的整个网络架构如图所示。2,其是基于深度神经网络(DNN)的近端梯度下降(PGD)算法的展开框架。我们的DGUNet由几个重复的阶段组成。每个阶段包含一个灵活的梯度下降模块(FGDM)和一个信息性的近端映射模块(IPMM),对应于梯度下降(等式2)。(5a))和近端映射(Eq.(5b))分别在PGD算法的迭代步骤中。默认情况下,级数设置为7个,除了第一个和最后一个级数外,它们共享相同的参数。为了进一步提高模型的性能,我们还提出了一个加版本,被称为DGUNet+,其中所有阶段都是参数无关的。灵活的梯度下降模块。如等式所示。(5a),当退化矩阵A已知时,梯度下降步骤是平凡的然而,在一些退化问题中,A是未知的,使得梯度计算(即,,A(Axk−1y))棘手。在本文中,我们提出灵活的梯度下降模块(FGDM),如图的第二行。二、它有两个模型设置,以合理地处理已知和未知情况下的退化在A已知的情况下,我们直接使用精确的A来计算梯度。为了提高鲁棒性,我们将步长ρ设置为每个阶段中的可训练参数,导致以下梯度下降操作:vk=xk−1−ρkA(Axk−1−y).(六)如果A是未知的,而不是针对不同的退化问题进行特定任务的预测,我们采用数据驱动的策略来预测梯度。从技术上讲,我们使用两个独立的残差块,称为Fk和Fk,在第k阶段模拟A及其转置A.梯度计算为Fk <$(Fk(x<$k−1)−y)。因此图3.第k阶段中第n尺度的阶段间特征融合模块(ISFF)的图示来自前一阶段的编码器和解码器特征以空间自适应归一化方式融合到当前阶段。第k级,第n级.为了在我们的IPMM中切换尺度,我们使用步长为2的2 × 2与许多竞争性去噪器类似,我们添加了从输入到输出的全局路径,这鼓励网络绕过低频信息。在IPMM结束时,我们利用[79]中的监督注意模块(SAM)提取干净的特征,然后通过子空间投影将它们注入到下一阶段[11]。考虑到大多数DUN方法固有的信息损失,我们设计了在每个尺度上的级间信息路径,以广播不同阶段的编码器和解码器的有用信息。为了说明的目的,我们使用不同颜色的线来区分图1中具有不同尺度的编码器和解码器信息。二、为了融合级间信息,在编码器的每个尺度上设计了级间特征融合子模块(ISFF)。注意,由于跳过连接,级间信息也可以自然地传播到解码器在编码器和解码器之间。 详细架构在不损失可解释性的情况下,我们的梯度下降所提出的DGUNet可以在退化未知的情况下被定义为以下vk=x<$k−1−ρkFk<$(Fk(x<$k−1)−y)。(七)我们的ISFF在图中呈现。3.这是由[51,66]启发的。具体地说,在每个尺度上,我们将编码器和解码器的特征从前一阶段传输到当前阶段。阶段 它们首先被两个独立的1×1A A卷积层,并通过逐元素加法合并,信息性近端标测模块。 对于Eq.(5b),已知的是,从贝叶斯的角度来看,它实际上对应于去噪问题[9,74]。第在第k阶段,将第n尺度的融合结果表示为Hk. 它被用来计算两个仿射粒子,参数{αk,βk}∈RC×H×W,在这种情况下,我们设计了一个信息丰富的近端地图-ping模块(IPMM),如图2第二行所示二、n n径向输出Fk∈ RC×H×W 变成一个信息丰富的我们的IPMM是一个沙漏形架构,克恩琴 ∈RC×H×W,其中C、H和W是指尺寸以利用多尺度特征图。具体来说,我们的IPMM开始与一个通道的注意力块(CAB)提取浅功能。我们通道、高度和宽度。从数学上讲,我们提出的级间特征融合被定义为以下特征表示:使用残差块(RB),而不使用批量归一化-[30]以三种尺度提取特征。在这里,我们利用Fk={Fk3个月Dec={Fk3个月Hk−1=Conv(Fk−1nn)+Conv(Fk−1)n(八)重新发送从Fk=FkJαk+ βk。按元素相乘逐元素加法Convα ConvβConvConvF代表n恩茨恩17405解码器特征,即,,F ={F空间维度。以这种方式,当编码器和解码器获得多尺度特征时,每个尺度处的特征图都是相同的。2一的Tk=1表1.图像去噪的定量结果(PSNR和SSIM)最好和第二好的分数被突出显示并加下划线。方法测试100 [79] Rain100H [71] Rain100L [71]测试2800 [79]测试1200 [79]PSNR↑SSIM↑PSNR↑SSIM↑PSNR↑SSIM↑PSNR↑SSIM↑平均PSNR↑SSIM↑[19]第十九话22.770.81014.920.59227.030.88424.310.86123.380.83522.480.796SEMI [68]22.350.78816.560.48625.030.84224.430.78226.050.82222.880.744DIDMDN [81]22.560.81817.350.52425.230.74128.130.86729.650.90124.580.770UMRL [72]24.410.82926.010.83229.180.92329.970.90530.550.91028.020.880RESCAN [38]25.000.83526.360.78629.800.88131.290.90430.510.88228.590.857PreNet [54]24.810.85126.770.85832.440.95031.750.91631.360.91129.420.897MSPFN [31]27.500.87628.660.86032.400.93332.820.93032.390.91630.750.903MPRNet [79]30.270.89730.410.89036.400.96533.640.93832.910.91632.730.921DGUNet(我们的)30.320.89930.660.89137.420.96933.680.93833.230.92033.060.923DGUNet+(我们的)30.860.90731.060.89738.250.97434.010.94233.080.91633.460.927上述特征融合过程是标准的空间自适应归一化[51]。与条件归一化方法[30,65]不同,αk和βk不是向量,而是张量培训的目标是:Kn nL(n)=n×x−x×k×2,(10)尺度还可以具有先前阶段的精细记忆,具有保存良好的空间信息,从而导致信息丰富的邻近映射。为了说明的目的,我们利用Fk来表示多尺度编码器的集合,其中,K是指总的阶段数,并且xk表示第k阶段的恢复结果。 Ω={ρk,Fk(·),Fk (·),θk}K是可训练参数的集合。K KENCIPMM表示Eq.(5b)作为:kdec{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}最后我们我们提出的DGUNet。4. 实验xk,Fk=proxθk(vk,Fk−1),(9)其中θk表示第k级中IPMM的参数。根据以上讨论,我们最终定义了算法1中DGUNet的收敛过程。算法一:拟议DGUNet初始化:(1) 初始化迭代深度k=0和上限K;(2) 初始化输入x0=y;(3) 初始化级间特征F0=无;而kk如果A是未知的,通过等式更新vk+1。(6);其他通过等式更新vk+1。(7);端通过等式更新xk+1和Fk+1(9);k=k+1;端输出:[x1,x2,···,xK]3.3. 损失函数设计没有花里胡哨的东西,我们使用通常使用的102损失函数优化DGUNet和DGUNet+,涉及所有阶段的输出具体地,给定退化的测量y和地面实况图像X,、Fk=117406×××××我们将DGUNet应用于图像去噪,去模糊,去噪和压缩感知。对于每个应用程序,我们都使用标准基准和常用设置来训练和评估我们的DGUNet。并与近年来的几种方法进行了比较。4.1. 培训详细信息我们的DGUNet以端到端的方式进行训练 对于图像去噪、图像去失真和图像去模糊任务,我们应用与MPRNet相同的训练策略[79]。具体来说,我们使用Adam优化器[34],初始学习率为2 10−4。考虑到模型深度,我们利用预热策略[26]来逐步提高学习率。该网络在256 256个图像块上进行训练批量大小设置为16,用于4 105次迭代。在图像压缩感知中,网络在32 32个图像块上训练,学习率为110−4。对于200个时期,批次大小被设置为128模型训练在2个Nvidia Tesla V100 GPU上进行为了进行评估,我们报告了标准指标(PSNR和SSIM[67])。4.2. 图像去重结果对 于 图 像 去 训 练 , 训 练 数 据 与 MSPFN [31] 和MPRNet [79]相同。具体来说,我们在Rain14000 [20]中使用了11,200个清洁雨图像对,Rain1800 [71]中使用了1,800个图像对,Rain800 [82]中使用了700个图像对,在Rain800 [ 82 ]中使用了12个图像对。17407雨天图像PSNR地面实况二十二岁88DB阴雨23岁41分贝[19]第十九话23岁86DBSEMI [68]23岁17DB[第81话]二十六岁77DB二十五50dB二十六岁07分贝二十五13DB三十54DB三十二25dB三十二58DBUMRL [72]RESCAN [38]PreNet [54]MSPFN [31]MPRNet [79]DGUNet(我们的)DGUNet+(我们的)图4.图像去噪的视觉比较。我们的DGUNet和DGUNet+在去除雨滴的同时生成更自然的细节。Rain12 [39]中的图像对来训练我们的模型。为了进行评 估 , 使 用 了 五 个 数 据 集 , 包 括 Test2800 [20] 、Test1200 [81] 、 Test100 [82] 、 Rain100H [71] 和Rain100L [71]作为测试集。我们将我们提出的DGUNet与八种竞争性方法进行比较[19,31,38,54,68,72,79,81]。定量比较结果见表1。1.一、可以看到我们的DGUNet和DGUNet+在所有测试集上都可以超过其他方法具体来说,1 . 一 、 85dB , 0. 65dB , 0. 与 最 近 的 MPRNet 在Rain100L、Rain100H上相比,这五个测试集,分别。目视比较见图。4,显示了我们的DGUNet和DGUNet+的更好的恢复结果。特别是与MSPFN和MPRNet相比,该方法能更好地去除不规则的雨线,并能产生更逼真的细节效果。4.3. 图像去模糊结果对于图像去模糊,类似于[36,55,63,79,80],我们使用GoPro [47]数据集的2,103个图像对训练我们的模型,并在Go-Pro和HIDE [58]的测试集上评估每种方法,分别包含1,111和2,025个样本。与预定义的模糊核不同,这两个数据集是在真实场景中生成的,涉及真实世界的退化因素,例如相机响应函数和人类感知的运动模糊。我们将我们的方法与几个竞争作品[50,61,80,90]和最近的最佳算法MPRNet [79]进行了比较。定量评价总结见表1。2,在这两个测试集上,我们的DGUNet和DGUNe t+优于其他方法。具体来说,我们的DGUNet+优于MPRNet,0. 51dB和0.GoPro和HIDE测试套件上的44dB表2. GoPro [47]和HIDE [58]上的图像去模糊结果。最好和第二好的分数被突出显示并加下划线。方法GoProPSNR↑[47个]SSIM↑隐藏PSNR↑[58个]SSIM↑Xu等人[70个国家]21.000.741--Hyun等人[29日]23.640.824--Whyte等人[第六十九话]24.600.846--Gong等人[22日]26.400.863--[36]第三十六话28.700.85824.510.871Nah等人[47个]29.080.91425.730.874Zhang等人[八十四]29.190.931--免费WiFi [37]29.550.93426.610.875SRN [63]30.260.93428.360.915Shen等人[58个]--28.890.930Gao等人[21日]30.900.93529.110.913DBGAN [90]31.100.94228.940.915MT-RNN [50]31.150.94529.150.918DMPHN [80]31.200.94029.090.924Suin等人[第六十一届]31.850.94829.980.930MPRNet [79]32.660.95930.960.939DGUNet(我们的)32.710.96030.960.940DGUNet+(我们的)33.170.96331.400.944视觉比较如图所示。五、显然,我们的DGUNet 和DGUNet+的结果具有更高的视觉质量,特别是在恢复复杂纹理方面。4.4. 图像去噪结果对于此应用程序,我们在常用的SIDD数据集[2]上训练我们的DGUNet,该数据集包含320个被未知分布和噪声水平的真实噪声损坏的退化-干净图像对我们在SIDD和DND [52]测试集上评估每种方法。我们将我们17408的DGUNet与几种最近的方法[10,53,76,77,79]进行了比较,并在Tab中报告了评估结果(PSNR和SSIM)3 .第三章。一17409PSNR二十六岁51DB29岁46DB29岁77DB29岁71分贝三十58DB三十67DB三十89DBPSNR地面实况二十五43分贝模糊图像三十二87分贝Gao等人[21日]三十三岁。48DBDBGAN [90]三十二88DBMT-RNN [50]三十五13DBMPRNet [79]三十五37DBDGUNet三十五97DBDGUNet+图5.图像去模糊的视觉比较我们的方法产生了更清晰的结果,在视觉上更接近地面实况。[76]第77话:我的世界,我的世界 [79]第53话:我的世界,我的世界真实图像去噪的视觉对比我们的方法可以更好地去除未知噪声,同时保留令人满意的细节。表3. SIDD [2]和DND [52]的图像去噪结果。最好和第二好的分数被突出显示并加下划线。方法SiddPSNR↑[二]《中国日报》SSIM↑DNDPSNR↑[五十二]SSIM↑[91]第九十一话23.660.58332.430.790MLP [8]24.710.64134.230.833BM3D [12]25.650.68534.510.851CBDNet [24]30.780.80138.060.942RIDNet [3]38.710.95139.260.953AINDNet [33]38.950.95239.370.951VDN [75]39.280.95639.380.952SADNet [10]39.460.95739.590.952DANet+[76]39.470.95739.580.955MIRNet [78]39.720.95939.880.956CycleISP [77]39.520.95739.560.956[53]第五十三话39.430.95639.700.953MPRNet [79]39.710.95839.800.954DGUNet(我们的)39.880.95940.040.956DGUNet+(我们的)39.910.96040.120.957可以看出,我们的方法在SIDD和DND测试集上都达到了 最 佳 性 能 。 具 体 来说, 我 们 的 DGUNe t+ 优 于MPRNet,0. 32dB和0. 在DND和SIDD测试装置上分别为20dB。目视比较见图。6,包括来自DND(第一行)和SIDD(第二行)测试集的两个样本。显然,我们的方法对高强度和低强度都具有良好的鲁棒性17410--强度噪声来恢复实际的纹理和结构,例如,木头的图案和字母的边缘。4.5. 压缩感知结果对于这个应用,我们选择广泛使用的BSD400数据集[43]作为训练数据,并在Set11 [35]和BSD68 [43]测试集上评估每种方法。与[41,86,97]相同,对于给定的CS比率1%,4%,10%,25%,50%,我们与整个网络联合优化采样矩阵。注意,在压缩感测的任务中,降级矩阵A是确切已知的,即,,采样矩阵Φ。因此,我们直接使用Φ来计算梯度。定量比较见表。4.第一章可以看出,我们的DGUNet和DGUNet+相对于经典方法[59,83]和最近的最佳性能方法[41,86,97]具有明显的优势,并且在低CS比率下边际变得更加明显例如,与Set11测试集上的OPINENet+[86]相比,有2dB增益,CS比为1%。一个有趣的发现是DGUNet在某些情况下比DGUNet+表现更好。这主要是因为训练集很小,大模型不能完全优化。 目视比较见图。7,表明我们的方法可以恢复更多的细节和更清晰的边缘比其他方法。17411表4.图像压缩感知的定量结果最好和第二好的分数被突出显示并加下划线。数据集比ISTANet+ [83]CSNet [59][41]第四十一话[第86话]AMPNet [97]DGUNetDGUNet+百分之一17.42/0.402919.87/0.497719.63/0.484820.15/0.534020.04/0.513222.09/0.609622.15/0.6114百分之四21.32/0.603723.93/0.733823.87/0.727925.69/0.792024.64/0.752726.84/0.824926.83/0.8230设置11百分之十26.64/0.808727.59/0.857527.39/0.852129.81/0.888428.84/0.876531.07/0.912330.93/0.9088百分之二十五32.59/0.925431.70/0.927431.75/0.925734.86/0.950934.42/0.951336.11/0.961136.18/0.9616百分之五十38.11/0.970737.19/0.970035.87/0.962540.17/0.979740.12/0.981841.22/0.983641.24/0.9837百分之一19.14/0.415821.91/0.495821.50/0.482522.11/0.514021.97/0.508622.65/0.539622.70/0.5406百分之四22.17/0.548624.63/0.656424.30/0.649125.00/0.682525.40/0.698525.55/0.700825.45/0.6987BSD68百分之十25.32/0.702227.02/0.786426.72/0.782127.82/0.804527.41/0.803628.26/0.819328.14/0.8165百分之二十五29.36/0.852530.22/0.891830.10/0.890131.51/0.906131.56/0.912131.90/0.915531.98/0.9158百分之五十34.04/0.942434.82/0.959033.60/0.947936.35/0.966036.64/0.970737.01/0.971437.04/0.9718PSNR23岁51DB23岁06分贝二十四岁41分贝二十四岁73分贝二十四岁56DB二十六岁13DB二十六岁41分贝地面实况[41]第四十一话:一个女人CSNet [59][97]第97话:我的世界DGUNetDGUNet+图7.压缩感知的视觉比较,CS比率为10%。我们的方法可以产生更高质量的结果。表5.在Rain100H测试集上对我们的方法中的阶段数和特征融合尺度数进行了消融研究。阶段9753鳞片332133PSNR31.2731.0630.8730.6830.4329.67表6.在我们的方法中对不同成分的消融研究模式DGUNet+不含FGDM不含SP不含ISFFPSNR31.0630.5130.9230.094.6. 消融研究消融研究见表。5、Tab6调查阶段的数量,特征融合尺度的数量,以及我们的方法的不同组成部分。对图 像去 同 步 进行 实 验 ,并 在 Rain100H上 进行 评 价[71]。为了突出性能变化,所有修改都是在我们的DGUNe t+上进行的。阶段数在 这一部分中,我们将探讨由级数带来的,包括9级、7级、5级和3级。从Tab。5.我们可以发现,性能随着级数的增加而增加,证明了迭代网络设计的有效性 通过在性能和计算复杂性之间进行权衡,我们在DGUNet和DGUNe t+中使用了几个阶段。级间特征融合。 如前所述,为了纠正在每个阶段结束时将多通道特征映射转换回图像的弱点,我们引入了一个阶段间特征融合模块(ISFF)。为了证明ISFF的有效性,我们将其从DGUNe t+中删除,在Tab中表示为“w/o I S FF”。6,并研究了多尺度特征融合的性能增益17412在制表符中使用五、我们可以发现,我们的ISFF有明显的增益,和性能增加的特征融合尺度的数量。此外,我们研究了空间自适应融合的有效性,将其替换为直接添加,在表中表示为“w/o SP”。六、性能下降证明了这种设计的积极效果。梯度下降模块。虽然我们提出的DGUNet具有良好的可解释性,这种设计的效果还需要仔细讨论。在实验中,我们从DGUNet+中删除了灵活的梯度下降模块(FGDM),从而产生了UNet级联结构。是的。该变体在Tab中表示为“w/o FGDM”。六、与DGUNet+相比,有0. Rain100H上的55dBde渐变因此,结果表明,我们的可解释的设计也有性能增益。5. 结论与讨论在本文中,我们提出了一个深度广义展开网络(DGUNet)的IR。我们开发的原则旨在结合基于模型的方法和深度学习方法的优点。为此,我们将PGD优化算法展开到深度网络中,并将梯度估计策略集成到梯度下降步骤中,使其能够轻松应用于复杂和现实世界的应用。为了补偿DUN中的内在信息损失,我们设计了多尺度和空间自适应归一化的阶段间特征路径。大量的IR任务(包括12个合成和真实世界的测试集)上的广泛实验证明了我们的方法在最先进的性能,可解释性和可推广性方面的优越性。未来的工作将在MindSpore [1]平台上支持DGUNet17413引用[1] 意识孢子https://www.mindspore.cn/,2020年。8[2] Abdelrahman Abdelhamed,Stephen Lin,and Michael SBrown.智能手机摄像头的高质量去噪数据集。在计算机视觉和模式识别(CVPR),第1692六、七[3] 赛义德·安瓦尔和尼克·巴恩斯。具有特征注意力的真实图像去噪。在IEEE计算机视觉国际会议(ICCV)的会议中,第31557[4] Amir Beck和Marc Teboulle。线性反问题的一种快速迭代收缩阈值算法。SIAM Journal on Imaging Sciences,2(1):183-202,2009。二、三[5] 斯蒂芬·博伊德尼尔·帕里克和埃里克·朱分布式优化和统计学习通过交替方向法的乘数。出版社,2011年。二、三[6] Tim Brooks , Ben Mildenhall , Tianfan Xue , JiawenChen,Dillon Sharlet,and Jonathan T Barron.未处理图像,用于学习的原始去噪。在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第11036-11045页2[7] Antoni Buades,Bartomeu Coll,and J-M Morel.一种非局部图像去噪算法。在IEEE计算机视觉和模式识别会议(CVPR)论文集,第60-65页,2005年。一、二[8] Harold C Burger , Christian J Schmidt , and StefanHarmeling.图像去噪:普通神经网络能与bm3d竞争吗?在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第2392-2399页,2012年。7[9] Stanley H Chan,Xiran Wang,and Omar A Elgendy.即插即用admm用于图像恢复:不动点收敛性及其应用。IEEE Transactions on Computa-tional Imaging , 3(1):84-98,2016。4[10] 孟昶,李琦,冯华军,徐志海。用于单幅图像去噪的空间自适应网络。在欧洲计算机视觉会议(EC
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)