没有合适的资源?快使用搜索试试~ 我知道了~
一种用于真实图像去噪的Jun Xu1,Lei Zhang1,David Zhang1, 21香港理工大学,中国香港特别行政区2香港中文大学(深圳)科学与工程学院,中国{csjunxu,cslzhang,csdzhang} @ comp.polyu.edu.hk抽象。现有的图像去噪方法大多假设被破坏的噪声是加性高斯白噪声(AWGN)。然而,现实世界的噪声图像中的现实噪声比AWGN复杂得多,很难用简单的解析分布来建模因此,文献中的许多最先进的去噪方法在应用于由CCD或CMOS相机捕获的真实世界的噪声图像时变得不那么有效在本文中,我们开发了一个三边加权稀疏编码(TWSC)计划鲁棒的真实世界的图像去噪。具体来说,我们引入三个权重矩阵的数据和regulization条款的稀疏编码框架来表征现实的噪声和图像先验的统计学TWSC可以转化为一个线性等式约束问题,可以用交替方向乘子法求解分析了算法解的存在唯一性和收敛性大量的实验表明,所提出的TWSC计划优于国家的最先进的去噪方法去除现实噪声。关键词:真实世界图像去噪,稀疏编码1介绍噪声将不可避免地引入成像系统中,并且可能严重损害所获取的图像的质量。从所获取的图像中去除噪声是摄影和各种计算机视觉任务(诸如分割[1]、HDR成像[2]和识别[3]等)中的重要步骤。图像去噪旨在从其噪声观测y=x+n中恢复干净的图像x,其中n是损坏的噪声。这个问题已经在文献中被广泛研究,并且已经在本文中提出了许多统计图像建模和学习方法[4- 26]。大多数的索引是针对具有高斯白噪声(AWGN)的广告的分类方法[4-20],并且它们可以被分类为基于词典学习的方法[ 4,5 ]、非局部搜索的相似性方法[ 6 - 14]、局部搜索的相似性方法[4,5,7 - 11 ]、低秩相似性方法[ 12,13 ]、通用搜索的相似性方法[ 6 - 14]。本项目获香港研究资助局“研究成果基金”项目(理大152124/15 E)资助。2许杰湖,澳-地Zhang和D.张图1:真实世界噪声图像(左)和具有加性高斯白噪声的合成噪声图像(右)中的噪声图像块的比较。(a)(b)(c)(d)(e)(f)图2:真实噪声的示例。(a)由Nikon D800相机捕获的真实世界噪声图像,其中IS0=6400;(c)(a)与(b)之间的差异(为了更好地说明而放大);(d)-(f)分别是(c)的红色、绿色和蓝色通道。(c)中绘制的三个框(白色、粉红色和绿色)中的噪声的标准偏差(stds)分别为5.2、6.5和3.3,而每个通道(d)、(e)和(f)中的噪声的标准偏差分别为5.8、4.4和5.5。方法[14- 16 ],以及作为方法[ 17 - 20]等的临界值。 然而,由CCD或CMOS相机捕获的真实世界图像中的真实噪声比AWGN[21-24,26-28]更复杂,其可以是显著的,并且随着不同的相机和相机设置(诸如ISO、快门速度和光圈等)而变化。在图1中,我们显示了来自达姆施塔特噪声数据集(DND)[29]的真实噪声图像和来自柯达PhotoCD数据集(http://r0k.us/graphics/kodak/)的合成AWGN图像。我们可以看到,真实世界噪声图像中的不同局部块表现出不同的噪声统计,例如,黑色和蓝色框中的块显示不同的噪声级,尽管它们来自相同的白色物体。相比之下,来自合成AWGN图像的所有块显示均匀噪声图 案 。 此 外 , 现 实 的 N 〇isevariesin differerentchannelas wellasdiffererentlocalpatches[2 2- 2 4,26 ]。 在图中。 在图2中,我们示出了由具有IS0=6400的Nikon D800相机捕获的真实世界噪声图像,其为“Ground Truth”(如图4所示)。3),以及全色图像中以及每个通道中的I/D比。在红色,绿色和蓝色通道的整体噪声标准偏差(标准差)分别为5.8,4.4和5.5此外,现实噪声是不均匀的。例如,在图3中绘制的三个框中的噪声标准。2(c)差异很大。实际上,现实世界的噪声图像中的噪声比AWGN噪声复杂得多 虽然已经在AWGN噪声去除方面显示出有希望的性能,但是上述方法[4- 20 ]中的许多方法将具有与图1所示的复杂的现实噪声相当的更好的效果。二、在过去的十年中,已经开发了几种用于真实世界噪声图像的去噪方法[21- 26 ]。 刘伟 [2 1]提供数据存储的“无保留功能”,并恢复无保留功能,以实现对数据的处理。然而,单独地处理每个通道通常将实现不令人满意的结果。三边加权稀疏编码的真实图像去3性能和生成工件[5]。方法[22,23]通过将RGB通道的补丁连接到向量中来执行图像然而,级联不考虑不同信道之间的不同噪声统计。此外,[23]的方法通过混合高斯分布对复杂噪声进行建模,由于使用变分贝叶斯推理技术,这是耗时的。[24]的方法通过多变量高斯对噪声图像中的噪声进行建模,并通过贝叶斯非局部均值[30]进行去噪。商业软件Neat Image [25]从给定噪声图像的平坦区域估计全局噪声参数,并相应地过滤然而,这两种方法[24,25]都忽略了噪声的局部统计特性,该特性与信号相关并且随不同像素而变化方法[26]考虑了不同通道中的不同噪声统计,但忽略了噪声是信号相关的,并且在不同的局部补丁中具有不同的水平。到目前为止,真实世界的图像去噪仍然是低水平视觉中的一个具有挑战性的问题[29]。稀疏编码(SC)已经在许多计算机视觉和模式识别方案[31 - 33 ]中得到了很好的研究,包括图像编码[ 4,5,10,11,14]。通常,给定输入信号y和编码原子的字典D,SC模型可以被公式化为:miny−Dc2+λcq,(1)C2其中,c是字典D上的信号y的编码向量,λ是正则化参数,并且q= 0或1以对C.一些代表性的基于SC的图像去噪方法包括K-SVD [4]、LSSC [10]和NCSR [11]。虽然基于SC的去噪方法在处理AWGN上是有效的,但本质上受到由2(或Frobenius)范数描述的数据保真度项的限制,其实际上假设了高斯白噪声,并且不能表征信号相关的和现实的噪声。在本文中,我们提出了提升SC模型(1)的鲁棒去噪现实世界的噪声图像,通过利用信道的统计和本地信号相关的属性的现实噪声,如图所示二、具体来说,我们提出了一个三边加权稀疏编码(TWSC)计划,为现实世界的图像去噪。在SC模型的数据保真度项中引入两个权矩阵来表征真实噪声特性,在正则化项中引入另一个权矩阵来表征自然图像的稀疏特性我们将所提出的TWSC方案重新表示为线性等式约束优化程序,并在交替方向乘子法(ADMM)[34]框架下求解我们的ADMM的一个步骤因此,我们提供了理论分析的存在性和唯一性的建议TWSC计划。三个数据集上的真实世界的噪声图像的实验表明,所提出的TWSC计划取得了更好的性能比国家的最先进的去噪方法。4许杰湖,澳-地Zhang和D.张22R YB22G22真实世界图像去噪算法2.1三边加权稀疏编码模型现实世界的图像去噪问题是从其噪声中恢复干净的图像。在此,我们将详细介绍[4- 16]中所述的方法。给定一幅含噪图像,从其中提取一个大小为p×p×3的局部块,并拉伸为向量,表示为y= [y<$y<$y<$$>]<$∈R3p,其中yc∈Rp是R gB信道c中的对应补丁,其中c∈ {r,g,b}是R,G,B频道 对于每个局部补丁y,我们在它周围的局部窗口中通过欧氏距离搜索与它最相似的M个补丁(包括y本身)。通过逐列叠加M个相似块,我们形成了一个噪声块矩阵Y=X+N∈R3p ×M,其中X和N分别是相应的干净和噪声块矩阵。噪声贴片矩阵可以写成其中Yc是通道c的子矩阵。假设我们有一个字典D= [DDD],其中Dc是子字典R gB对应于信道C。事实上,字典D可以从外部学习。自然图像,或者来自输入噪声块矩阵Y。在传统的稀疏编码(SC)框架[35]下,可以通过下式获得D上Y的稀疏编码矩阵:C=argminY−DC2+λC1,(2)CF其中,λ是所述约束条件。OnceC计算,潜在清洁patc hmatrixXcanbeestimate dasX=DC.尽管有一个很好的方案-传统的基于SC的去噪方法[4,5,10,11,14]在处理由CCD或CMOS相机捕获的真实世界图像中的真实噪声方面非常有限原因是实际噪声是非高斯的,局部地并且跨信道变化,这不能通过SC模型(2)中的Frobenius范数很好地表征[21,24,29,36]。为了说明不同信道中的实际噪声的变化统计,并且在不同的分片中,我们引入了两个权矩阵W1∈R3p×3p和W2∈ R3p × 3pRM×M,以表征方程(1)的数据保真度项中的SC残差(Y-DC(二)、此外,为了更好地表征自然图像的稀疏性先验,我们引入了第三个权重矩阵W3,它与稀疏系数矩阵C的分布有关,到方程的正则化项(二)、 对于字典D,我们通过将SVD [37]应用于给定的数据矩阵Y来自适应地学习它,因为Y= DSV。(三)请注意,在本文中,我们的目标不是像[4]那样提出一个新的字典学习方案。一旦从SVD获得,字典D就被固定并且不迭代地更新。最后,所提出的三边加权稀疏编码(TWSC)模型被公式化为:最小值<$W1(Y − DC)W2<$2+<$W−1C <$1。(四)CF3注意,参数λ已被隐含地并入权重矩阵W3中。三边加权稀疏编码的真实图像去5M2.2权矩阵本文将三个权矩阵W1、W2和W3设为对角矩阵,并赋予它们明确的物理意义W1是具有三个块的块对角矩阵,每个块具有相同的对角元素以描述对应的R、G或B信道中的噪声特性基于[29,36,38],局部补丁中的现实噪声可以近似建模为高斯,并且W2的每个对角元素用于描述对应补丁y中的噪声方差。一般来说,W1用于正则化残差矩阵(Y-DC)的行差异,而W2用于正则化(Y-DC)的列差异对于矩阵W3,基于C上的稀疏先验来设置每个对角元素。我们通过使用以下公式确定三个权重矩阵W1、W2和W3:最大后验概率(MAP)估计技术:C=argmaxlnP(C|Y)=a rgmax{lnP(Y)|C)+lnP(C)}。(五)C C对数似然项ln P(Y|C)的特征在于噪声的统计。根据[29,36,38],可以假设噪声独立且同分布(i.i.d.)在每个通道和每个贴片中具有高斯分布。分别用ycm和Cm表示矩阵Yc和C的第m列,并且用σcm表示ycm的噪声std。我们有YYM2 −2 2P(Y|C)=c∈{r,g,b}m=1(πσcm)−p e−σcmycm−Dcc m2。(六)从统计学[39]的角度来看,{σcm}的集合可以被视为由两个变量σc和σm创建的3×M列联表,并且它们的关系可以通过对数线性模型σcm=σl1σl2来建模,其中l1+l2= 1。这里CM我们认为{σc},{σm}具有同等重要性,并根据经验设定l1=l2= 1/ 2。{σcm}的估计可以转化为{σc}和{σm}的估计,这将在实验部分(第4节)中介绍。稀疏先验被施加在系数矩阵C上,我们假设C的每一列cm遵循i.i.d.拉普拉斯分布具体地,对于每个条目ci,其是字典D的第i个原子上的第m 个补 丁 ym 的 编 码 系 数, 我 们 假 设 它 遵 循 ( 2Si)-1exp( -S-1 ) 的 分 布|Ci|),Im其中Si是等式(1)中的奇异值矩阵S的第i(三)、注意,我们将分布的比例因子设置为第i个奇异值Si的倒数。这是因为奇异值Si越大,第i个奇异向量)应该是,并且因此编码系数在该奇异向量上的分布应该具有较弱稀疏性的较强正则化。在Eq.(5)成为2YM Y3P−1iP(C)=m=1i=1(2Si)−1e−Si|Cm|.(七)将(7)和(6)代入(5),考虑对数线性模型σ=σ1/ 2σ1/2,我们有cmcm6许杰湖,澳-地Zhang和D.张3ΣC=argminΣMΣMσ−2 ycm−Dccm<$2+S−1cmCcmc∈{r,g,b}m=1Σ2m=1= arg minσ−1(Yc−DcC)W22+S−1C1(八)Cc Fc∈{r,g,b}= arg min<$W1(Y−DC)W2<$2+<$W−1C <$1,CF3哪里W1= diag(σ−1/2Ip2,σ−1/2Ip2,σ−1/2Ip2),R gB(九)W2= diag(σ−1/2,...,σ−1/2),W3= S,1M并且,p2是在rix处的p2维度的集合。 W1和W2的边值分别由相应通道和块中的噪声标准偏差确定。通道和补丁中的噪声越强,通道和补丁对去噪输出的贡献就越小2.3模型优化令C*=W−1C,我们可以将权重矩阵W3转换为(4)的数据保真度项因此,TWSC方案(4)被重新表述为min<$W1(Y − DW3C<$)W2<$2+<$C<$1。 (十)C*F为了使符号简单,我们去掉了C*中的上标*,在下面的开发中仍然使用C我们采用变量分裂方法[40]来解决问题(10)。通过引入增广变量Z,问题将问题(10)转化为一个二元线性等式约束问题C和Z:minW1(Y−DW3C)W22+Z1 s. t. C= Z。( 十一)C、 Z和F由于目标函数是可分离的w.r.t.这两个变量,概率lem(11)可以在交替方向乘数法(ADMM)[34]框架下求解。(11)的增广拉格朗日函数是:L(C,Z,Z,ρ)=W(Y−DW C)W2+ WZ+W,C−Z+ρC−Z2,(12)1 3 2F12F其中∆是增广拉格朗日乘子,ρ >0是惩罚参数。我们将矩阵变量C0、Z0和∆0初始化为舒适的零矩阵,并且ρ0>0。 用(Ck,Zk)和Δk表示迭代k(k = 0,1,2,…)的情况下。通过取拉格朗日函数Lw.r.t.C和Z,并且将导数设置为零,我们可以替代地如下更新变量:(1) 通过固定Z和∆更新C:C=arg minW(Y−DW C)W2+ρkC−Z+ ρ−1∆||二、(十三)k+ 11C3 2F2kkkF这是一个双边加权最小二乘回归问题的解法满足AC哪里k+1 +Ck+1Bk =Ek,(14)A=WDWW DW,B=ρk(WW)−1,3 11⊤ ⊤ ⊤3K2ρk122⊤−1(十三边加权稀疏编码的真实图像去7五)Ek=W3DW1W1Y+(2Zk−2 ∆k)(W2W2) 。8许杰湖,澳-地Zhang和D.张Kj=1算法1:经由ADMM求解TWSC模型⑷输入:Y、W1、W2、W3、µ、Tol、K1;初始化:C0 = Z0 = ∆ 0 = 0,ρ 0>0,k = 0,T = False;While(T== false)do1. 通过Eq进行升级。(13);2. 通过软刷新(18)更新Zk+1;3. 通过等式更新∆k+1(19);4. Updateρk+1byρk+1=μρk,其中μ≥1;5. k←k+1;如果(收敛)或(k≥K1)6.T ←True;end ifend while输出:矩阵C和Z。当量(14)是标准Sylvester方程(SE),当且仅当σ(A)∩σ(−Bk)=时,该方程有唯一解,其中σ(F)表示谱,即,矩阵F的特征值集合[41]。我们可以将SE(14)重写为( IMA + BI3 p2 ) vec ( Ck+1 ) = vec ( Ek ) ,( 16)而解Ck+1(如果存在)可以通过Ck+1= vec −1(vec(Ck+1))得到,其中vec −1(·)是vec算子vec(·)的逆算子。关于唯一解的存在性的详细理论分析在3.1节中给出。(2) 通过修复C和∆更新Z:Z= arg minρk<$Z −(C+ ρ−1)2 + Z。(十七)k+1Zk+1KKF1这个问题有一个封闭形式的解决方案Zk+1=S−1(Ck+1+ρ−1k),(18)ρkk其中Sλ(x)= sign(x)·max(x−λ,0)是软阈值算子。(3) 通过修复X和Z更新∆:∆k+1=∆k+ρk(Ck+1−Zk+1)。( 十九)(4) e ρ处的Upd:ρk+1=µρk,其中µ≥1。重复上述替代更新步骤,直到满足收敛条件或迭代次数超过预设阈值K1。当同时满足Ck+1−Zk+1F≤Tol,Ck+1−CkF≤Tol和Zk+1−ZkF≤Tol时,ADMM算法收敛,其中Tol> 0是一个小容差数。我们总结了算法1中的更新过程收敛分析由于总体目标函数(11)是凸的,具有全局最优解,因此 可 以 保 证 算 法 1 的 收 敛 IinFig.3 , 我 们 可 以 看 到 最 大 值 在|Ck+1−Zk+1|、|Ck+1−Ck|、|应用程序在50个IP地址中运行。|approa chto0simultaneouslyin50iterations.2.4去噪算法给定一个有噪声的彩色图像,假设我们已经提取了N个局部块2三边加权稀疏编码的真实图像去9j=1{yj}N和他们相似的补丁。则N个噪声补丁矩阵{Yj}N可以10许杰湖,澳-地Zhang和D.张j=1j=1j=1Cj=1CC20.80.60.40.205 10 15 20 25 30 35 40 45 50迭代kFig. 3:以下各项的最大价值的相关性|Ck+1−Zk+1|(蓝色)Li ne),|Ck+1−Ck|(redli ne),and|Zk+1−Zk|(ye ll owli ne). 该图像是图2(a)中的图像。以估计干净的补丁矩阵{Xj}N.在马-三次{Xj}Nareagregatedtoormthedenoisedimagexc. 为了获得更好的结果去噪结果,我们对几个(例如,K2)迭代。所提出的基于TWSC方案的真实世界图像去噪算法总结在算法2中。算法2:通过TWSC的图像去噪输入:噪声图像yc,{σr,σg,σb},K2;其中x∈(0)=y,y(0)=y;c c c c c c c对于k=1:K2,则为1 .一、Sety(k)=x<$(k−1);C c2. 从y(k)中提取局部块{yj}N;对于每个补丁yjdo3.搜索非局部相似块Yj;4.将TWSC方案(4)应用于Yj,并获得估计的Xj=DC;对于5. 一个gg区域{Xj}N ,以形成矩阵x∈(k);端Output:Denoisedimgex(K2).3Sylvester方程Sylvester方程(SE)(14)的解并不总是存在,尽管如果存在,则解是唯一的此外,求解SE(14)在高维情况下通常是计算昂贵的在本节中,我们提供了一个充分条件来保证SE(14)的解的存在性,以及(14)的更快的解以节省算法1和2的计算成本。3.1存在唯一解在我们证明SE(14)的唯一解的存在性之前,我们首先引入以下定理。2 2定理1. 设A∈R3p ×3p,B∈RM×M都是对称半正定矩阵. 若A,B中至少有一个正定,则Sylvester方程AC + CB = E对C ∈R3p ×M有唯一解.|Ck+1-Zk+1||Ck+1-Ck||Zk+1-Zk|最大值三边加权稀疏编码的真实图像去11K一KK一定理1的证明可以在补充文件中找到。那么我们有以下推论。推论1. SE(14)具有独特的解决方案。证据由于(14)中的A,Bk都是对称正定矩阵,根据定理1,SE(14)有唯一解。3.2更快速的解决方案SE(14)的解通常通过Bartels-Stewart算法[42]获得。 该算法首先采用QR分解[43],通过Gram-Schmidt过程实现,将矩阵A和Bk分解为Schur形式,然后通过回代法[ 44 ]求解得到的三角系统。然而,由于矩阵A和B是 3p2M×3p2M 维 的 3p2 区 域 , 所 以 它 是 通 过 计 算 所 有 的 整 数 倍 ( O(p6M3))来计算QR分解以得到Schur形式. 通过利用我们问题的特定属性,我们为SE(14)提供了一个更快而精确的解决方案。由于(14)中的矩阵A、Bk是对称正定的,因此矩阵A可以被特征分解为A=UA<$AU<$,计算成本为O(p6)。利用U_E(1~ 4)的恒等式,我们将U_A_K+1+A AUCk+1Bk=UEk。这可以被视为SE w.r. t。矩阵UCk+1,A A a有唯一解vec(UCk+1)=(IMΣA+BI3p2)−1vec(UEk)。原名由于矩阵(IMΣA+ BI3 p2)是对角正定的,所以它的逆矩阵可以在(IMΣA+ BI3 p2)的每个对角元素上计算。这一 步 的 计 算 代 价 是O(p2M). 最终,Ck +1上的解可以通过Ck+1=UAvec −1(vec(UCk+1))获得。通过这种方式,用于求解SE(14)的复杂度从O(p6M3)降低到O(max(p6,p2M)),这是巨大的计算节省。4实验为了验证我们提出的TWSC方案的有效性,我们将其应用于合成加性高斯白噪声(AWGN)损坏的图像和由CCD或CMOS相机捕获的真实世界的噪声图像为了更好地展示三个权重矩阵在我们的模型中的作用,我们与基线方法进行比较,其中权重矩阵W1、W2被设置为舒适的单位矩阵,而矩阵W3被设置为(8)中的。我们将这种基线方法称为加权稀疏编码(WSC)。4.1实验设置噪声水平估计。对于大多数图像去噪算法,噪声的标准差(std)应该作为参数给出。在这项工作中,我们提供了一个探索性的方法来解决这个问题。具体地,可以通过一些独立的估计方法[45 - 47]来估计信道的噪声std σc。在实施例2中,所述方法不适用于所述方法。在Y的c处的p可以被简化为σm=σ,(σ2+σ2+σ2)/3(20)R gB并在以下迭代中更新为10许杰湖,澳-地Zhang和D.张2表1:不同去噪算法在被AWGN噪声破坏的20个灰度图像上的PSNR(dB)和SSIM的平均结果。σn 度量BM3D-SAPCALSSCNCSRWNNMTNRDDnCNNWSCTWSC15峰值信噪比32.4232.2732.1932.4332.2732.5932.0632.34SSIM0.88600.88490.88140.88410.88150.88790.86730.884625峰值信噪比30.0229.8429.7630.0529.8730.2229.5729.98SSIM0.83640.83290.82930.83650.83140.84150.81790.837235峰值信噪比28.4828.2628.1728.5128.3328.6628.0128.49SSIM0.79690.79080.78550.79580.79070.80210.77650.798750PSNR26.8526.6426.5526.9226.7527.0826.3526.93SSIM0.74810.74050.73910.74990.74150.75630.72580.753075峰值信噪比24.7424.7724.6625.1524.9725.2424.5425.15SSIM0.66490.67460.67930.69030.68010.69310.66120.6949σm= .max(0,σ2−ym−xm2),(21)其中ym是补丁矩阵Y中的第m列,并且xm=Dcm是在先前迭代中恢复的第m个补丁(请参考第2.4节)。实施详情。 我们根据经验设定参数ρ0= 0。5和μ = 1。1.最大迭代次数设为 K1= 10。相似块搜索的窗口大小设置为60× 60。对于参数p,M,K2,当0 σ ≤ 20时,设p= 7,M= 70,K2= 8;当0<σ≤ 20时,设p=8,M= 90,K2= 12。20<σ≤ 40;对于40<σ≤ 60,p= 8,M=120,K2=12;p= 9,M=140,当60<σ≤ 100时,K2= 14在我们的实验中,所有参数都是固定的我们将在发布本作品时发布代码。4.2AWGN噪声去除我们首先将所提出的TWSC方案与领先的AWGN去噪方法进行比较,例如BM 3D-SAPCA [9](通常比BM 3D [7]表现更好),LSSC [10],NCSR[11],WNNM [13],TNRD [19]和DnCNN [20]。常用的灰度图像[7]。请注意,TNRD和DnCNN都是基于判别学习的方法,我们使用的是作者最初训练的模型每一幅含噪图像都是在干净图像上加入AWGN噪声而生成的,而噪声的标准设置为σ∈ {15, 25,35, 50, 75}。注意,在本实验中,我们设置权重矩阵W1=σ−1/2Ip2,因为输入图像是灰度级的。平均PSNR和SSIM [48]结果列于表1中。可以看出,在大多数情况下,所提出的TWSC实现了与WNNM、TNRD和DnCNN相当的性能应该注意的是,TNRD和DnCNN是在干净和合成的噪声图像对上训练的,而TWSC仅利用测试的噪声图像。此外,可以看出,所提出的TWSC比基线方法WSC工作得更好,这证明了权重矩阵W2可以更好地表征局部图像块中的噪声统计由于篇幅有限,我们将不同方法的直观比较留在补充文件中。4.3真实感噪声去除我们在三个公开的真实世界噪声图像数据集上评估了所提出的TWSC方案[24,29,49]。三边加权稀疏编码的真实图像去11数据集1在[ 49 ]中提供,其包括在运行时收集的大约20个真实世界噪声图像。由于噪声图像不受影响,我们只比较了不同方法去噪后数据集2在[24]中提供,其中包括由Canon 5D Mark 3,Nikon D600和Nikon D800相机拍摄的11个静态场景的噪声图像。在受控的室内环境下采集真实世界的噪声图像。每个场景在相同的相机和相机设置下拍摄500次。500秒的平均图像被粗略地称为“粗纹理”,其中可以计算PSNR和SSIM [ 48 ]。裁剪了15幅尺寸为512×512的图像,以评估不同的去噪方法。最近,一些其他数据集,如[50]也是通过采用该数据集的策略来构建的。数据集3被称为达姆施塔特噪声数据集(DND)[29],其中包括由索尼A7R,奥林巴斯E-M10,索尼RX100 IV和华为Nexus 6P拍摄的相同场景的50对不同图像。真实世界的噪声图像是在较高ISO值下以较短曝光时间收集的,而“地面噪声”图像是在较低ISO值下以较长曝光时间收集的。由于捕获的图像是百万像素大小的,因此作者从数据集中的每个 图 像 中 裁 剪 了 20 个 512 × 512 像 素 的边界框, 总 共 产 生 1000 个testcrops。 然而,“粗纹理”图像不具有可操作性,并且可以仅将所述粗纹理替换到所有预jec_t_we b it, 并 获 得 PS N R 和 SS I M [ 48 ] 结 果 。比较方法。我们将所提出的TWSC方法与CBM3D [8]、TNRD [19]、DnCNN [20] 、 商 业 软 件 Neat Image( NI ) [25] 、通过“噪声控制“(NC)[ 22 ]、CC [ 24 ]和MCWNNM [ 26 ]进行的实时图像设计进行了我们还将第4节中描述的基线方法WSC作为基线进行比较。CBM3D和DnCNN的方法可以直接处理彩色图像,并且输入噪声std由等式2设置。(20)、对于TNRD、MCWNNM和TWSC,我们使用[46]来估计噪声标准差σc(c∈ {r,g,b})。对于盲模式DnCNN,我们使用作者提供的彩色版本,不需要估计噪声标准。由于TNRD是为灰度图像设计的,因此我们将其应用于真实世界噪声图像的每个通道。当在这些数据集上将训练模型的噪声标准设置为σc=10时,TNRD实现了其最佳结果。数据集1上的结果。图图4示出了“狗”的去噪图像(由于其测试代码不可用,因此未比较方法CC [ 24 ])。 可 以 看 到 CBM3D 、 TNRD 、DnCNN、NI和NC在整个图像上生成一些噪声引起的颜色伪影,而MCWNNM和WSC倾向于使图像稍微过平滑所提出的TWSC更清楚地去除噪声,而不会过度平滑图像细节。这些结果表明,为AWGN设计的方法对于实际噪声去除是无效的。虽然NC和NI方法是专门为真实世界的噪声图像开发的,但它们的性能并不令人满意。相比之下,建议的TWSC在去除噪音的同时保持细节方面效果更好(请参阅放大图12许杰湖,澳-地Zhang和D.张(a) 噪声(b)CBM3D(c) TNRD(d) DnCNN(e) NI(f) NC(g) MCWNNM(h) WSC(i) TWSC图4:通过不同方法对真实噪声图像Dog[49]进行去噪的图像。注意,噪声输入的真实干净图像不可用。窗口中的“狗”)比其他竞争方法。更多的视觉比较可以在补充文件中找到。数据集2上的结果。表2中列出了通过竞争方法对15个裁剪图像的平均PSNR和SSIM结果。可以看出,所提出的TWSC比其他竞争方法,包括基线方法WSC和最近提出的CC,MCWNNM要好得多图图5示出了由尼康D800在ISO = 6400下捕获的场景的去噪图像可以看出,所提出的TWSC方法不仅导致更高的PSNR和SSIM测量,而且比其他方法更好的视觉质量由于篇幅有限,我们没有显示基线方法WSC在视觉质量比较中的结果更多的视觉比较可以在补充文件中找到表2:[ 24 ]中使用的15个裁剪的真实世界噪声图像上不同去噪方法的PSNR(dB)和SSIM的平均结果。CBM3D TNRD DnCNN NI NC CC MCWNNM WSC TWSC峰值信噪比35.1936.6133.86 35.4936.43 36.8837.7037.3637.81SSIM 0.85800.94630.86350.9126 0.9364 0.94810.95420.95160.9586数据集3上的结果。 在表3中,我们列出了竞争方法在DND数据集中的1000个裁剪图像上的平均PSNR和SSIM结果[29]。我们可以再次看到,所提出的TWSC实现了比其他组合方法好得多的性能。尽管该数据集的原始图像尚未公布,但可以将去噪后的图像提交到项目网站并获得 PSNR 和 SSIM 结 果 。 更 多 结 果 可 以 在 DND 数 据 集 的 网 站(https://noise.visinf.tu-darmstadt)中找到。de/benchmark/#results_srgb)。图6示出了由Nexus 6P相机捕获的场景的去噪图像。人们仍然可以看到,所提出的TWSC方法比其他去噪方法产生更好的视觉质量。更多的视觉比较可以在补充文件中找到。速度比较。我们比较了不同方法(CC除外)在DND数据集上处理一张512×512图像的平均计算时间(秒)[29]。结果示于表4中。所有实验均在三边加权稀疏编码的真实图像去13表3:[ 29 ]中1000个裁剪的真实世界噪声图像上不同去噪方法的PSNR(dB)和SSIM的平均结果。CBM3D TNRD DnCNN NI NC MCWNNM WSC TWSC峰值信噪比32.1434.1532.41 35.1137.3836.8137.94SSIM 0.77730.82710.78970.8778 0.90130.92940.91650.9403(a) 嘈杂29.63dB/0.7107(b) CBM3d31.12dB/0.7948(c) TNRD32.80dB/0.8959(d) DnCNN29.83dB/0.7204(e) NI31.28dB/0.7781(f) 地面实况(g) NC33.49dB/0.9024(h) CC34.61dB/0.9206(i) MCWNNM34.80dB/0.9217(j) TWSC35.47dB/0.9369图5:通过不同方法对真实噪声图像Nikon D800 ISO 6400 1 [24]进行去噪。这一幕在相同的相机和相机设置下拍摄了500次。这500家酒店的整体形象是一个“大团圆”。(a) 噪声(b)CBM3D(c) TNRD(d) DnCNN(e) NI(f) NC(g) MCWNNM(h) WSC(i) TWSCFig. 6:通过不同的方法定义由Nexus 6P [ 29 ]捕获的相关数据“00012”的数据。请注意,噪声输入的真实干净图像尚未公开发布。在Matlab 2014 b环境中,在具有3.5GHz的Intel(R)Core(TM)i7-5930 K CPU和32 GB RAM的机器上。最快速度以粗体突出显示。可以看出,Neat Image(NI)是最快的,它花费大约1.1秒来处理图像,而所提出的TWSC需要大约195秒。需要注意的是,Neat Image是一个高度优化的并行化软件,CBM3D,TNRD和NC是用编译的C++ mex函数和并行化实现的,而DnCNN,MCWNNM和拟议的WSC和TWSC纯粹是在Matlab中实现的。14许杰湖,澳-地Zhang和D.张表4:不同方法处理DND数据集中512 × 512图像的平均计算时间[29]。CBM3D TNRD DnCNN NI NC MCWNNM WSC TWSC时间6.9 5.2 79.51.1 15.6 208.1 188.6 195.24.4权矩阵所提出的TWSC模型(4)中的三个对角权重矩阵具有明确的物理意义,并且通过可视化所得到的矩阵来分析矩阵实际上如何与输入图像相关是有趣的。为此,我们将TWSC应用于真实世界(R/G/B的估计噪声标准:11.4/14.8/18.4)和合成AWGN(所有通道的标准:25)噪声图像,如图所示1.一、来自两个图像的两个典型块矩阵(Y)的最终对角权重矩阵在图2中可视化。7.第一次会议。可以看出,矩阵W1很好地反映了图像中的噪声水平。虽然矩阵W2被初始化为单位矩阵,但是由于不同块中的噪声被不同地去除,所以它在迭代中被改变。对于真实世界的噪声图像,Y中不同块的噪声水平是不同的,因此W2的元素变化很大。相反,合成噪声图像中的块的噪声水平是相似的,因此W2的元素是相似的。权值矩阵W3基本上是由贴片结构而非噪声决定的,我们在这里不绘制它。图7:图7中所示的真实世界噪声图像(左)和合成噪声图像(右)上的权重矩阵Wl和W2的可视化。1.一、5结论由于数字相机流水线中的各种因素,CCD或CMOS相机捕获的真实世界噪声图像中的真实噪声非常复杂,使得真实世界图像去噪问题比加性高斯白噪声去除更具挑战性我们提出了一种新的三边加权稀疏编码(TWSC)计划,利用不同的通道和局部补丁的噪声特性具体来说,我们引入两个权重矩阵到传统稀疏编码模型的数据保真度项中,以自适应地表征每个通道的每个补丁中的噪声统计,并将另一个权重矩阵引入正则化项中,以更好地利用自然图像的稀疏先验。在ADMM框架下求解了所提出的TWSC方案,并保证了Sylvester方程的解。实验表明,TWSC优于现有的国家的最先进的去噪方法,包括那些为现实世界的噪声图像中的现实噪声设计的方法三边加权稀疏编码的真实图像去15引用1. Zhu,L.,中国科学院,Fu,C.W.,Brown,M.S.,Heng,P.A.:一个非局部的低秩框架,用于ultrason undspecklereduce。 In:CVPR. (2017)56502. Granados,M.,Kim K Tompkin,J.,Theobalt,C.:自动噪声建模,用于无杂波恢复。 ACMTrans. Graph. 32(6)(2013)13. Nguyen,A.,Yosinski,J.,Clune,J.:深度神经网络很容易被愚弄:高精度可恢复数据。 In:CVPR. (2015)4274. Elad,M.,Aharon,M.:通过学习字典上的 IEEE Transactions on ImageProcessing 15(12)(2006)3736- 3745 1,2,3,45. Mairal,J.,Elad,M.,Sapiro,G.:用于彩色图像恢复的稀疏表示IEEETransacti onsonImageProce ss sing,17(1)(2008)536. Buades,A.,Coll,B.,Morel,J.M.:一种非局部图像去噪算法。In:CVPR. (2005)607. Dabov,K.,Foi,A.,Katkovnik,V.,Egiazarian,K.:稀疏三维变换域协同滤波图像去噪。IEEE Transactions on Image Processing16(8)(2007)2080-
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功