没有合适的资源?快使用搜索试试~ 我知道了~
5087↓↑深度图像去噪先验的再思考Yeonsik Jo§LG AI Researchyeonsik.jo邮件lgresearch.ai世英春ECE、INMC、首尔国立大学sychun@snu.ac.krJonghyunChoi<$ GIST,韩国jhc@gist.ac.kr摘要深度图像先验(DIP)作为一个很好的归纳偏置不同的反问题。其中,已知去噪对于DIP是特别具有挑战性的,这是由于噪声与早期停止的要求拟合。为了解决这个问题,我们首先通过有效自由度(DF)的概念来分析DIP以监控优化进程,并在拟合噪声之前提出一种原则性的停止cri-cri,而无需访问高斯噪声的成对地面真实图像。我们还提出了我们还将我们的方法扩展到泊松噪声。我们的经验验证表明,给定一个单一的噪声图像,我们的方法去噪的图像,同时保留丰富的文本细节。此外,我们的方法在LPIPS中以大幅度优于现有技术,在七个不同的数据集上具有相当的PSNR和SSIM。1. 介绍深度神经网络已广泛用于许多计算机视觉任务,自AlexNet以来,与传统方法相比产生了显着改进[18]。然而,图像去噪一直是传统方法(如BM 3D [7])优于许多早期基于深度学习的方法[5,47,48]的任务之一,直到DnCNN [51]以大量无噪和有噪图像对为代价,对合成高斯噪声进行去噪[51]。不需要干净和/或有噪声的图像对,深度图像先验(DIP)[42,43]已经表明,具有沙漏结构的随机初始化网络可以作为几个逆问题的先验,包括去噪,超分辨率和单个退化图像的修复。尽管DIP在这些逆问题中表现出显著的性能,但是去噪是DIP不能很好地执行的特定任务,即,即使对于合成高斯噪声设置,单次运行也产生比BM3D低得多的PSNR [42,43]。此外─§:使用GIST时完成的工作。†:通讯作者。代码:https://github.com/gistvision/DIP-denosing(a) 图(b)与CSet9数据集0.100.110.120.130.140.150.160.170.1829.5 30.0 30.5 31.0 31.5PSNR噪音BM 3D S2 S DIP Ours GT 20.83/0.56 33.06/0.16 32.83/0.1830.92/0.18 32.86/0.14P↑/ L↓图1:基于单个图像的去噪方法的比较。“L”是指LPIPS,越低越好。“P”是指PSNR,并且它越高越好。我们的方法去噪的图像,同时保留丰富的细节;示出了具有与Self 2Self(S2S)可比较的PSNR的最佳LPIPS [30]。我们的方法在PSNR和LPIPS方面表现出比所有其他方法(包括所有不同的最新技术(S2S)的集成尝试)更好的权衡。(S2S的圆圈中的数字表示集合中的模型的数量)此外,为了获得最佳性能,需要监视PSNR(即,这里需要地面实况干净图像),并在拟合噪声之前停止迭代深度解码器通过提出强结构正则化来解决该问题,以允许针对包括去噪的逆问题进行更长的迭代[15]。然而,由于模型复杂度低,它的去噪性能比DIP差。为了更好地使用DIP进行去噪,而不使用干净图像监测PSNR,我们首先通过有效自由度(DF)的概念分析DIP的模型复杂性[10,12,41]。具体地,DF量化过拟合的量(即,乐观主义)(即,训练的神经网络模型)到给定的训练数据[10]。换句话说,当过拟合发生时,DF增加。因此,为了防止DIP网络对噪声的过拟合,我们希望抑制DF过拟合。BM3d烫我们S2sLPIPS5088迭代但是再次获得DF需要干净的(地面实况)图像。幸运的是,对于高斯噪声模型,存在不使用干净图像的DF的近似; Stein的无偏风险估计器(SURE)中的Monte-Carlo散度近似(8、9)(DFMC)。利用DIP [43]中的SURE和改进技术,我们提出了一个具有“随机时间集成(STE)”的目标,该目标在单个优化运行中模拟许多噪声实现的集成。在提出的目标与STE,我们建议停止iteration时,提出的目标函数过零。所提出的方法导致更好的解决方案比DIP和优于现有技术的单图像去噪。此外,受PURE公式[20,24]的启发,我们扩展了目标函数以解决泊松噪声。我们通过比较基于DIP的现有技术在文献[13]中提出的各种度量中的去噪性能,例如PSNR,SSIM和七个不同数据集上的学习感知图像补丁相似性(LPIPS)[54LPIPS已广泛用于超分辨率文献中,以补充PSNR,SSIM用于测量细节的恢复能力[21]。由于去噪器在抑制噪声和保留细节方面具有挑战性[4],因此我们认为LPIPS是评估去噪器的另一个合适的度量请注意,它尚未被广泛用于去噪文献中,以分析去噪性能。我们的方法不仅去噪的图像,但也保留了丰富的文本细节,优于其他方法在LPIPS具有可比的经典措施,包括PSNR和SSIM。我们的贡献总结如下:• 分析了网络有效自由度(DF)去噪的DIP,并提出了一种基于损失的停止准则,无需地面真实图像。• 结合噪声正则化和指数移动平均所提出的随机时间集成(STE)方法。• 在七个不同的数据集中进行各种指标的多样性评估,如LPIPS,PSNR和SSIM。• 将我们的方法扩展到泊松噪声。2. 相关工作2.1. 学习方法基于学习的去噪方法使用大量干净的噪声图像对来训练去噪器。在早期的研究中,神经网络显示出良好的性能,即使噪声水平是未知的,即盲噪声设置[5]。然而,不久之后,[28]已经表明,大多数基于早期学习的研究往往产生比经典技术(如BM3D)更差的结果[7]。但最近,具有残差学习的DnCNN模型 [51]优于BM3D。然后,提出了几个改进的工作计算效率,IRCNN [52]使用扩张卷积,FFDNet [53]使用下采样子图像和噪声水平图。2.2. 基于模型的方法传统的基于模型的方法不需要训练,而是依赖于作为先验给出的归纳偏置。基于模型的方法的性能取决于所选择的先验知识。有几种图像先验,例如总变差(TV)[34]、小波域处理[9]和BM3D [7]。每个先验分别假设先验分布是平滑的、低秩的和自相似的。深度神经网络的图像先验。 Ulyanov等人[43]示出了随机初始化的卷积神经网络用作图像先验,并将其命名为深度图像先验(DIP),并应用于几个逆问题。除了广泛的用途外,DIP去噪的性能仍然令人失望,因为对噪声的“过拟合”(见第二节)。(3)第三章。对于DIP的噪声过拟合有几种补救措施[6,15,26,42]。DIP-RED [26]结合了DIP的即插即用先验,改变了DIP的收敛点。GP-DIP [6]显示DIP渐近等价于平稳高斯过程先验,并引入了随机梯度朗之万动力学(SGLD)[49]深度解码器[15]基于过拟合与模型复杂度相关的事实利用欠参数化网络。受此启发,我们系统地分析了网络的拟合,但在不牺牲网络规模的情况下提高了DIP的性能。最近,Self2Self(S2S)[30]引入了基于dropout和ensembling的自监督学习。由于模型的不确定性,从辍学,S2S产生多个独立的去噪实例和平均输出的低方差的解决方案。它优于现有的解决方案,但需要大量的迭代非常低的学习率,由于辍学。此外,还有一种将SURE [40]与DIP [27](DIP-SURE)结合的方法。他们分享我们的工作都使用SURE的相似性,但我们进一步扩展它,提出了一个请参阅第二节的进一步讨论。4.1.2.3. 有效自由有效自由度(DF)[10,41]提供了模型与训练数据拟合量的定量分析。Efron表明,乐观的估计是测试和训练数据的误差之差,并将其与模型复杂性的度量(被认为是有效自由度)相关联[10]。直观地说,它反映了模型在产生拟合输出时使用的有效参数数量[41]。我们使用DF的概念来分析和检测网络的过拟合,并提出我们的方法。5089···L·Σ2∈·L·n··σ2我我2.4. SteinStein它是在去噪问题中选择模型或超参数的有用工具,因为它在没有目标向量的情况下保证了风险估计器的无偏性[8,50]。SURE的解析解只适用于有限条件;非局部均值或线性滤波器[44,45]。当封闭形式的解决方案是不可用的,Ramani等人。[32]提出了基于蒙特卡罗的SURE(MC-SURE)方法,以基于参数空间的蛮力搜索来确定接近最优的参数。由于基于SURE的方法仅限于高斯噪声[38],因此一些工作将其扩展到其他类型的噪声噪声h_i()和y_i指示对应向量的第i个元素。例如,如果h()的输入是n,并且y是噪声图像,即, h(n),它是DIP的DF。请注意,h()可以接受ny输入,我们使用y(而不是n)进行公式化。有趣的是,DF与估计量h的乐观概念密切相关,它由测试误差和训练误差之间的差异定义[14,41]:ρ(h)=E[L(y~,h(·))-L(y,h(·))],⑷哪里是均方误差(MSE)损失,y~是来自模型的另一实现(即,在Eq.(1)与y无关。在[41]中,证明了ρ(h)=包括泊松[24],泊松-高斯[20],指数ni=1 C〇 v(hi(·),yi)。因此,结合Eq. 3、是家庭[11]或非参数噪声模型[35]。我们还修改了我们的目标,将我们的方法扩展到泊松噪声[20,24,37](第二节)。4.3)。3. 预赛深度图像先验(DIP)。假设噪声图像yRN被建模为y=x+n,(1)其中x∈RN是一个无噪声的图像很简单地表明2σ2·DF(h)= ρ(h)。(五)由于h()是非线性的(例如,神经网络),在优化中逐渐变化,并且ρ(h)需要许多对噪声和干净(地面实况)图像来计算(注意,它是一个估计)。在这里,我们引入一个简单的近似自由度与一个单一的地面实况,并称之为DF.recover和n∈RN 是身份证。高斯噪声使得nN(0,σ2I)其中I是单位矩阵。去噪GT我们推导DFGT如下:可以用公式表示为从已知噪声观测y预测未知x的问题。Ulyanov等人[43]认为,网络架构自然鼓励从退化图像y恢复原始图像,并将其命名为深度图像先验(DIP)。具体而言,DIP通过一个简单的参数θ优化卷积神经网络h最小平方损失L为:θ=argmin(h(n;θ),y),⑵θ其中n是独立于y的随机变量。如果H具有足够的容量(即,如果模型h(n; θ()的输出值(例如,足够大数量的参数或架构尺寸)以适合噪声图像y,则模型h(n;θ()的输出应该等于y,这是不期望的。DIP算法采用了提前停止的方法,在保证图像质量的前提下获得了最佳的PSNR。DIP的有效自由度。有效自由度[10,41]量化了模型对训练数据的拟合量。我们分析了训练的DIP的有效自由度(DF)在方程。3作为用于监视对给定噪声图像的过拟合的工具。对于具有输入y的x的估计器h()的DF可以定义如下[14]:DF(h)=1ΣCov(h(·),y),(3)i=12σ2·DFGT(h)≈L(x,h(·))−L(y,h(·))+σ2(6)我们描述了一个简单的证明估计在柔软的材料。大的DF意味着对给定输入y的过拟合,这是不期望的。如果DIP拟合x,则DFGT接近于0。DIP越适合y,DF越大。我们使用DFGT来分析在第二节的实验研究中的DIP优化。第5.1条4. 方法为了防止DIP的过拟合,我们尝试抑制DF(等式10)。3)在优化期间不访问地面实况干净图像X。由方程式3、计算DF等效于噪声图像y和模型输出h()的每个元素的协方差之和。在统计学习文献中有许多技术可以简单地近似协方差计算,例如AIC [1]、BIC [36]和Stein然而,AIC和BIC都通过计算模型的参数数量来近似DF,因此对于通常的过参数化深度神经网络,基于它们的近似可能是不正确的[3]。请注意,DFGT不能用于优化模型,因为它需要地面真实干净的图像X.其中h()和y是模型(例如,神经网络)和噪声图像。σ是标准偏差在这里,我们建议使用SURE抑制DF推导DIP配方使用斯坦引理。的5090γ→日N·γ∼NL(y)i¨¨FN伊NXx¨联系我们·θγ伊γ多元高斯向量y的Stein1ΣΣΣnh(y)在每次迭代时σ γ的平均值和标准差为零。σ2i=1 Cov(hi(y),yi)=Ei=1我塞济岛.(七)通过Eq.8、我们替换模型的输入h(),n,其中噪声图像y(来自等式3、Eq。(七).利息-Eq.10变得类似于去噪自动编码器它简化了DF的计算从协方差是-在y和h(y)之间的期望偏导数这是一个很好的近似在一些计算。有效的方法[32]。注意,被表示为η(h(y),y)的SURE由以下等式组成:7和DIP损耗(等式2)将其输入(从n到y)修改为:(DAE),它防止模型学习一个微不足道的[46]第46章:我的心同时,收缩式自动编码器(CAE)[33]迷你最小化雅可比矩阵的Frobenius范数,并且SURE及其变体最小化雅可比矩阵的迹(等式10)。9)从而抑制DF。因为我们假设不同的真实-2σ2Σhi(y)η(h(y),y)=L(y,h(y))+−σ2。( 八)噪声的各分量是独立的,非对角元素的矩阵为零,CAE与SURE在divergencetermX当σγ→0时,DAE是CAE的特殊情况。我们可以虽然普通DIP损失鼓励将模型h的输出拟合到有噪声的图像y,但等式(1)(8)鼓励在不访问的情况下,将其近似地适合于清洁图像。重写Eq。通过使用CAE配方如下:h(y;θ)arg minL(h(y;θ),y)+σ2¨+〇(〇2),(11)由于发散项的算法[32]。Monte-Carlo近似方程。[32]中的8可以是计算成本的补救措施,但它引入了必须正确选择的超参数ε,为了不需要调整超参数λ,我们对发散项采用了另一种蒙特卡罗近似[39]:N当σγ0时,其中o(σ2)是泰勒展开式的高阶误差项。因此,解决这个优化问题相当于惩罚DF的增加。这里,噪声水平σγ用作用于确定性能的超参数,并且其通过在DIP的优化处使用多个水平的σz来因此,我们进一步提出将σγ建模为均匀随机变量而不是经验选择的超参数,使得1Σhi(y)≈1n~TJi=1、(9)σ γ U(0,b).(十二)其中n~是标准正态随机向量,即,n~N(0,I)和i雅可比矩阵Jn~Th(y)的元素为n~Th(y;θ)/ 我们通过DFMC表示该4.2)。4.1.随机时序集成为了提高拟合精度,DIP提出了几种方法,包括噪声正则化、指数移动平均[43]。我们提出对在最后一次迭代中获得的恢复图像进行分级提高了去 噪 的 性 能 [43] , 我 们 将 其 称 为 “ 指 数 移 动 平 均(EMA)”。它可以被认为是一个类比的效果合奏[31]。随机时间合成。利用噪声正则化和EMA,我们提出了一种称为“随机时间集成(STE)”的方法,以提高DIP损失的拟合性能。具体地,我们修改我们的公式(Eq.8)通过允许两个噪声观测,y1用于MSE损失的目标,y2用于模型h的输入,而不是一个y,通过将y1=y和y2=y+γ设置为:这些方法对我们的目标。2σ2η(h(y),y)=L(h(y),y)+2121Σhi(y2)−σ2,(13)DIP上的噪声正则化。 DIP显示,添加ex-datafidelityXNi=1 (y2)i在每个时间点,将时间噪声传输到函数h()的输入n迭代提高了反问题的性能-包括图像去噪[43]。其是添加噪声向量γ,其中γ N(0,σ21)在优化的每次迭代处被施加到函数的输入,为:θ=argmin(h(n+γ;θ),y),(10nN2i=1抑制DF。Alain等人[2]后来证明然而,使用Eq. 8作为优化的损失,我n~Th(y)指数移动平均线。D I P 进一步显示,AV-`5091)θ正则化其中,σ是y1的已知噪声水平(与等式1相同)。1)、hi(y2)和(y2)i分别是h(y2)和y1的向量的第i个有趣的是,Eq。13相当于扩展SURE(eSURE)[55]的公式,这被证明是MSE的更好的无偏估计量,其中5092−∞⊙Ni=1联系我们烫我们的落脚点过零停止准则PSNR到XDIP的手动停止点我们PSNR到Y常规现有早期停止(蓝色T4)。我们的公式具有与DIP(黑色)不同的训练轨迹(橙色),并且通过过零停止(橙色t4)自动停止优化我们认为,通过我们的公式得到的图像通常比通过DIP的解决方案更接近干净的图像(蓝色X),这比通过DIP的解决方案保留了更多的高频细节(第二节)。5.3),这要归功于更好的拟合目标(在噪声图像y上近似干净的x,以及我们提出的不使用地面真实图像的原则性停止准则)。我们对此进行图2:我们和DIP的解决方案轨迹图。我们考虑从退化的测量y重建图像x的问题。DIP通过提前停止找到其最佳停止点(t4)。我们改变了DIP黑色到橙色,其停止点(t5)由损失值(Sec. 4.2)并且接近无噪声解(X)。干净的图像x.但我们与[55]有许多关键性的分歧。首先,我们的方法不需要训练,而Zhussip等人。[55]需要使用许多噪声图像进行训练。因为朱西普等人[55]使用γ的固定实例,没有正则化的效果(Eq.)10),这给出了合理的性能增益(现象与我们提出的DFGT,并比较它第二节DFMC5.1和补充材料。4.3.泊松噪声由于SURE仅限于高斯噪声[38],因此有几种尝试将其扩展到其他类型的噪声[11,20,35]。在这里,我们扩展我们的配方泊松噪声,因为它是一个有用的模型,在低光条件下的噪声我们修改我们的公式(等式2)。13)使用泊松无偏风险估计器(PURE)[17,20,24]用于泊松噪声,如下所示:L(h(y),y)−ζΣNyi+2ζ(n⊙y)T(h(y+n)−h(y),(十四)参见第5.2)。这是我们最终的DIP目标函数,它会根据停止准则自动停止,如下节所述4.2.过零停止准则如果模型h满足平滑条件,即,h允许定义良好的二阶泰勒展开[27,38]。虽然典型的基于学习的去噪器满足该平滑条件[38,55],但DIP网络我们观察到,在我们的公式中的发散项(等式10)。13)在早期迭代时增加(即,在收敛之前)而在稍后的迭代中开始发散(即,收敛后)。这一观察结果在我们所有的实验中是一致的。注意,[27]中没有报告这种发散现象,因为具有SURE损失的DIP网络似乎没有完全收敛,以恢复迭代次数不足的精细细节基于对我们提出的目标的这种观察,我们提出了13)偏离零。解轨迹。为了帮助理解我们的方法与优化过程中的DIP之间的差异,类似于图1。 3在[43]中,我们说明DIP图像恢复轨迹与我们的方法在图。二、DIP通过过拟合降低了恢复图像的质量。为了获得接近干净地面实况图像的解,DIP使用其中n是k维二元随机变量,其元素ni以0.5的概率为-1或1,是一个小正数,是一个阿达玛积。我们经验验证的泊松扩展Sec。5.45. 实验实作详细数据。 为的σ,我们使用σ=15,25,50,遵循[51],并且对于深入分析,σ= 25对于Eq中的b12,我们将其设置为与σ相同的值。RAadamopimizer [23]用于学习率训练0.1. 包括网络架构和数据集在内的详细信息在补充材料中。评估指标。我们使用峰值信噪比(PSNR)、结构相似性(SSIM)和学习的感知图像块相似性(LPIPS)[54]。PSNR广泛用于去噪文献[16,29,51-出于这个原因,我们比较的算法与LPIPS作为人类研究的替代测量。我们使用作者基于AlexNet的公开可用的预训练权重[54]。此外,我们还报告了在我们的方法优化期间峰值PSNR的性能作为参考(表示为“我们的5.1. DFGT收敛性分析图3a示出了DFGT、到y的PSNR和到X的PSNR; DFGT是具有地面真实的有效自由度,到y的PSNR和到X的PSNR分别指来自模型输出到y和X的随着优化的进行,DIP的自由度逐渐5093↑↓0.40.20.00.100.050.000.250.502015252015200 600 1000 1400 1800迭代(a) 收敛性分析302520200 400 600 800 100012001400323028200 500 800 11001400迭代(b) STE的影响0.0100.0050.0000.0050.0103530252015(x,f(y))我们我们我们的(EMA)0 500 1000 1500 2000迭代(c) 过零停止准则图3:使用DF GT的学习分析。(a)随着优化的进行,DIP的自由度随着噪声观测的拟合而增加。我们的模型不会过拟合噪声观测,并且由于Stein无偏风险估计而显示出更好的性能。绿色虚线表示DIP和我们在DFGT中的交叉点。(b)所提出的方法使优化比单一的更稳定实例1,并且在PSNR到x、PSNR到x(EMA)上也观察到这种趋势(c)eSURE的蒙特卡罗估计DF MC稳定但是估计的误差在飙升。它通常发生在损失已经接近零的时候(图中的绿色虚线因此,我们建议一旦损失达到零就停止优化。PSNR为x。但是DIP的PSNR到x从1,300次迭代开始下降。相比之下,在我们的算法中,DFGT在迭代开始时上升有趣的是,DIP的最佳停车点在交叉口附近DIP和我们在DFGT中的方法之间的差异。这意味着收敛DF用我们的方法得到的GT值接近DIP的最优解(图中DIP的t42)的情况。图3b示出了DFGT上的两个目标的轨迹;(1) 我们的w/o STE和(2)我们的。如第4.1节所示,STE通过最小化雅可比矩阵的范数来抑制DF,这类似于雅可比矩阵的迹(来自Stein引理因此,我们的在DFGT中比我们的w/o STE更好地抑制DF(图3b(顶部))。在“PSNR对x”和“PSNR对x(EMA)”中也观察到这种趋势DF GT和DF MC的优化过程如图所示。3c. DFMC在某个迭代之后开始低估DFGT,并且等式13因此,我们提出的零停止准则检测何时DFMC未能估计DFGT;何时损失过零。5.2. 定量分析与DIP变体的比较。表1显示了几种基于DIP的方法的去噪结果。深度解码器(DD)[15]在所有指标中表现最差。我们认为,DD缓解了欠参数化网络的过拟合问题,GP-DIP [6]在PSNR和SSIM方面优于DIP。它使用SGLD [49]对后验分布的多个实例进行采样,并对它们进行平均,这与Self2Self [30]相似。这种策略可能对PSNR分数有用,但它可能会丢失图像的纹理,这导致相对较低的LPIPS分数(更多讨论请参见下一节)。DIP-RED显示了除了我们的方法及其消融版本之外的最佳结果。其即插即用过拟合预防表1:与CSet9数据集上的DIP变体的比较(σ= 25)。():越高越好,():越低越好。'上一个过拟合'是指“过拟合预防方法”。'Under-param.'是指“参数化不足”。(Best值:粗体。第二个最佳值:下划线)。‘ZCSC’ refers to theproposed zero crossing stopping使用其他去噪方法作为先验。即插即用的方法可能与我们的方法,但它超出了本文的范围。请注意,除了我们的方法,DIP- SURE* 和DIP之外,所有上述方法都在作者代码中提供的预定义迭代次数处停止优化特别是,DIP-SURE* [27]和我们认为,这是因为他们使用一个单一的噪声实现。此外,它们彼此非常相似,除了DIP-SURE* 依赖于ε作为超参数,而4).不需要超参数调整导致“我们的w/o STE”的显著增益。请注意,原始的DIP-SURE依赖于早期停止监测,荷兰国际集团的PSNR与一个干净的图像。为了公平比较,我们使用我们的停止标准,并将其标记为DIP-SURE*。与最先进的技术相比。 表2示出了在六个数据集(四种颜色和两种灰度)中与其他单图像去噪方法的比较结果。比较方法包括CBM3D [7]、DIP [42]、Self2Self(S2S)[30]。除BM3D外,其余方法均为烫我们我们的无STE我们DFGTDF MCPSNR到y东风燃气轮PSNR到xPSNR到xPSNR到x(EMA)东风燃气轮损失DFPSNR到x方法上一个过拟合峰值信噪比(↑)SSIM(↑)LPIPS(↓)中文(简体)提前停止29.960.9400.152深度解码器[15]under-param.26.940.8890.377红色[26]即插即用30.880.9320.197GP-DIP [6]SGLD29.990.9480.251DIP-SURE*[27]ZCSC30.330.9410.149Oursw/o STE [55]ZCSC31.340.9550.108我们ZCSC31.540.9530.1075094↑↓PSNR(↑)SSIM(↑)LPIPS(↓)数据集 σBM3D [7]中文(简体)S2S [30] Ours(Ours*)BM3D [7]中文(简体)S2S [30] Ours(Ours*) BM3D [7]中文(简体)S2S [30] Ours(Ours*)彩色图像数据集1533.8331.8333.2433.83(34.07)0.9720.9600.9680.973(0.975)0.1110.1140.1350.070(0.077)CSet92531.6829.9631.7231.54(31.88)0.9560.9400.9560.953(0.960)0.1610.1520.1730.107(0.118)5028.9227.4229.2528.90(29.03)0.9220.9000.9280.923(0.930)0.2670.2910.2350.181(0.200)1533.5131.4832.7833.43(33.56)0.9610.9410.9560.961(0.963)0.0810.0810.1020.060(0.057)CBSD682530.7028.6630.6730.67(30.86)0.9320.9000.9320.932(0.936)0.1480.1560.1470.102(0.100)5027.3725.7027.6227.43(27.58)0.8710.8320.8790.873(0.881)0.2980.3290.2440.194(0.198)1534.4132.1733.7034.35(34.49)0.9620.9410.9580.961(0.963)0.1040.1050.1180.080(0.077)柯达2531.8229.6831.7931.60(31.98)0.9380.9070.9390.932(0.941)0.1610.1730.1590.117(0.118)5028.6226.7729.0828.58(28.76)0.8860.8430.8980.882(0.892)0.2870.3380.2350.203(0.209)1534.0532.5433.9234.13(34.35)0.9690.9560.9680.967(0.970)0.0680.0670.0890.053(0.052)MCM2531.6630.0932.1531.89(31.98)0.9500.9290.9550.950(0.953)0.1070.1230.1170.085(0.085)5028.5127.0629.2928.83(28.82)0.9100.8820.9240.913(0.918)0.2070.2520.1780.151(0.162)灰度图像数据集1531.0728.8330.6230.98(31.21)0.8720.8120.8580.873(0.882)0.1470.1630.1630.090(0.099)BSD682528.5726.5928.6028.40(28.78)0.8010.7340.8010.800(0.818)0.2260.2620.1970.157(0.159)5025.6124.1325.7025.75(25.81)0.6860.6250.6870.696(0.708)0.3630.4430.3130.262(0.282)1532.3630.1232.0732.20(32.26)0.8950.8370.8890.891(0.894)0.1170.1320.1390.084(0.092)Set122529.9327.5430.0229.79(29.76)0.8500.7760.8490.844(0.848)0.1590.2180.1590.122(0.137)5026.7124.6726.4926.60(26.47)0.7680.6830.7340.755(0.760)0.2620.3610.2320.208(0.228)表2:与单图像去噪算法的现有技术的比较。()表示越高越好,()表示越低越好。最佳表现为粗体。第二个最好的是下划线。对于DIP,我们在优化期间报告峰值PSNR分数基于卷积神经网络。对于DIP的网络体系结构,我们使用与我们相同的网络体系结构进行公平的比较。对于S2S,我们使用略有差异的网络,因为它需要丢弃而不是批量归一化。我 们 的 方 法 优 于 所 有 其 他 单 图 像 降 噪 方 法 在LPIPS,表现出可比的PSNR和SSIM。我们的 * 具有最好的PSNR性能优于所有比较方法,除了S2S在高噪声实验。但是我们的 * 丢失了一些高频细节(参见LPIPS ) 。 我 们 认 为 这 是 由 于 指 数 移 动 平 均(EMA),因为它减轻了训练的不稳定性(即,粗糙解空间),其不能被PSNR捕获。我们的表现很好,特别是在低噪音。我们相信,MC估计的误差是在小噪声设置较小然而,我们的方法在几乎所有的设置中在LPIPS和SSIM中表现出值得注意的是,S2S表现出高LPIPS,特别是在低噪声(σ= 15)比所有其他方法,尽管在PSNR领先于DIP。考虑到MSE是平方偏差和方差的总和,我们认为S2S实现了令人印象深刻的PSNR结果,具有显著减小的方差和增加的平方偏差(即,破坏纹理细节)。在图中可以清楚地观察到。1-(b),其中我们显示了S2 S与不同数量的ensemble的结果。随着系综数量的增加,PSNR也增加,作为LPIPS分数损失的回报。相比之下,我们的方法实现了更好的LPIPS得分和PSNR之间的权衡没有集成。此外,在没有并行处理的情况下,S2S对CSet9的推理时间几乎为35小时,而我们的推理时间仅为4小时。通过并行处理[30]可以进一步加快S2S和我们的速度,但差距将保持不变。虽然将我们的方法与5095噪声比例BM3D-VST [25]中文(简体)S2S [30] Ours(Ours*)ζ= 0。0130.5030.9932.1832.00(31.94)ζ= 0。121.57 23.5422.8424.87(24.94)ζ= 0。18.48 21.4320.1022.85(22.90)表3:与泊松噪声(PSNR(dB))的现有技术的比较。最佳性能:大胆点第二好:强调。基于学习的方法包括DnCNN [51],N2 N [22],HQ-N2 V [19],IRCNN [52],因为我们只使用单个噪声观察,所以为了空间的原因,我们还在补充材料中与它们进行了比较5.3. 定性分析我们在图中呈现去噪图像的示例4.第一章在第一行中,我们观察到CBM3D和S2S的结果比我们的方法的结果过平滑(具有更少的高频细节)DIP保留了纹理,但比我们的噪音大得多。同样,我们观察到我们的结果在PSNR和LPIPS之间有更好的权衡。第二行具有比第一行更高的噪声水平(σ= 50)S2S和CBM3D显示清晰的图像,边缘清晰。但它们也使标志中的英文字符模糊不相比之下,我们的方法保留了更清晰的细节,在字符的标志,而噪音大多被抑制。更多的定性结果正在补充。5.4. 泊松噪声泊松噪声很可能在诸如显微成像的低光条件下发生。在[37]中,他们使用MNIST图像来模拟这种情况。我们进行了单图像泊松去噪实验,并在表3中总结了与BM 3D-VST [25]、DIP和S2 S的比较结果。请注意,BM 3D-VST是最受欢迎的5096σ=2520.95/0.475σ=5015.52/0.608CBM3d31.74/0.096CBM3D27.82/0.245DIP*29.46/0.095DIP*26.77/0.265S2S31.59/0.088S2s28.67/0.193我们的31.61/0.061我们的28.07/0.136GTPSNR/LPIPSGTPSNR/LPIPS图4:定性比较。最佳表演:大胆。第二好:强调。更多结果在补充中6. 结论噪声BM 3D-VST [7] DIP [43] S2 S [30]我们的18.81/0.053 19.87/0.04021.17/0.02420.09/0.04022.99/0.020图5:泊松噪声(ζ= 0. 2)的情况。泊松去噪方法。对于低噪声水平(ζ= 0. 01),噪声分布变得几乎对称,类似于高斯分布。因此,我们的方法执行得不好。但在较高的噪声水平,我们的方法优于其他方法。DIP显示出比经典方法更好的结果,例如具有VST的BM3D [25],以及在较高噪声中的最新技术S2S我们的方法优于所有比较方法,包括使用VST的经典方法(BM 3D-VST)[25]。图5示出了泊松噪声设置的定性结果。我们观察到BM3D+VST图像比其他方法明显更模糊,并且S2S也由于过拟合而产生模糊图像。DIP显示了第二好的结果,这要归功于早期停止。相比之下,我们的方法去噪图像中的孔与详细的纹理保留没有提前停止。我们研究了DIP去噪的概念,有效的自由度,以监测过拟合噪声,并提出了随机时间集成(STE)和零交叉停止标准停止优化之前,它过拟合没有一个干净的图像。我们显着提高了性能的高斯去噪DIP没有手动提前停止,并扩展该方法的泊松去噪与纯。我们的实证验证表明,所提出的方法优于国家的最先进的LPIPS的大利润率与可比的PSNR和SSIM,评估与七个不同的数据集。谢谢。这项工作部分得到了韩国政府资助的韩国国家研究基金会(NRF)资助(编号2019 R1 C1 C1009283)和韩国政府资助的信息&通信技术规划&评估研究所(IITP)资助(编号2019 -0-01842,人工智能研究生院计划(GIST)),(编号2019 -0-01351,开发具有激活/内核数据压缩/解压缩的超低功耗移动深度学习半导体,17%),(不。2021- 0-02068,人工智能创新中心),并由DAPA和ADD资助的人工智能应用研究中心(CARAI)资助(UD 190031RD)进行。SY Chun的工作得到了教育部资助的韩国国家研究基金会(NRF)基础科学研究计划的支持(NRF-2017 R1 D1 A1 B05035810)。5097引用[1] 赤池裕IEEE int symp info.在选定的论文Hirotugu赤池。施普林格纽约,1973年。3[2] Guillaume Alain和Yoshua Bengio正则化的自动编码器从数据生成分布中学习什么。JMLR,2014年。4[3] Ulrich Anders和Olaf Korn神经网络中的模型选择神经网络,1999年。3[4] Y. Blau和T. Michaeli感知失真的权衡。在CVPR,2018年。2[5] HC。汉堡CJ Schmidt和S.伤害。图像降噪:普通神经网络能与bm3d竞争吗?CVPR,2012。一、二[6] Zezhou Cheng,Matheus Gadelha,Subhransu Maji,andDaniel Sheldon.基于贝叶斯理论的深度图像先验。在CVPR,2019年。二、六[7] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪。IEEE TIP,2007年。一二六七八[8] David Donoho和Iain M.约翰斯通通过小波收缩适应美国统计协会杂志,1995年。3[9] D. L. Donoho 软阈值去噪 IEEE Trans.Inf. Theory,1995. 2[10] 布拉德利·埃夫隆预测误差的估计。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功