没有合适的资源?快使用搜索试试~ 我知道了~
基于GMM的单幅噪声图像自监督先验学习
2845基于GMM的单幅噪声图像自监督先验学习Haosen Liu1,2,Xuan Liu1,Jiangbo Lu2,Shan Tan1*1华中科技大学、2SmartMore公司{haosen.liu0803,jiangbo.lugmail.com}@ www.example.com,{liuxuan99,shantan}@ hust.edu.cn摘要干净图像的缺乏破坏了监督图像先验学习方法的实用性,其中的训练方案需要大量干净图像。为了将图像先验学习从图像采集负担中解放出来,提出了一种新的高斯混合模型自监督学习方法(SS-GMM)。该方法可以直接从单幅含噪图像中同时实现噪声水平估计和图像先验学习。这项工作是来自我们的GMM的协方差矩阵的特征值的研究。通过统计实验和理论分析,我们得出:(1)干净图像的协方差特征值具有稀疏性;以及(2)用于噪声图像的那些包含用于噪声估计的足够信息。第一个结论启发我们在学习过程中对协方差特征值施加稀疏性约束,第二个结论导致一个独立的噪声估计模块的高精度,在我们提出的方法。该模块用于估计噪声水平,并自动确定稀疏约束的具体 水 平 。 我 们 最 终 导 出 的 方 法 只 需 要 轻 微 的modification标准的期望最大化算法。这使得它易于实现。非常有趣的是,通过我们提出的自监督学习方法学习的GMM甚至可以实现比其监督对应物更好的图像去噪性能,即,EPLL。此外,它与最先进的自监督深度 学 习 方 法 , 即 自 我 2 自 我 代 码 可 在https://github.com/HUST-Tan/SS-GMM上获得。1. 介绍图像建模和先验学习在图像去噪算法的设计中起着关键作用。传统的图像建模方法通常是手工设计的。这些*通讯作者。这项工作得到了国家自然科学基金(NNSFC)的部分资助。61672253和62071197。部分工作是在浩森在SmartMore公司实习时完成的。公司28.628.428.228.027.827.627.428.4 28.6 28.8 29.0 29.2 29.4 29.6Set12的平均PSNR(dB)图1.Set12和BSD68上三个噪声水平σ=15、25、50的图像去噪结果的平均PSNR这些结果基于表1计算。比较方法包括a)非学习方法:BM 3D [8]; b)GMM相关方法:EPLL [33],PGPD [30]和NL-Bayes [16]; c)自监督深度学习方法:N2 V[15],DIP [28]和S2 S [22]; d)我们提出的自监督GMM(SS-GMM)。方法可以分为两大类[13],即,基于分析的方法和基于综合的方法。基于分析的方法直接对图像本身进行建模[26,4,5,17,18],而基于合成的方法对变换域中的图像系数进行建模[10,12,23,11]。传统的手工设计方法的主要缺点是,在现实世界中的图像是太复杂,有效地建模与简化的假设。为了解决这个问题,数据驱动学习方法被用作替代方案。这个分支的一些代表包括[25,33,27,7,32]。这些方法在图像去噪任务中确实取得了巨大的成功。然而,它们的最先进的性能是基于获取大量的干净图像,这在实践中通常是这破坏了这些方法的实用性。为了减少甚至消除图像采集负担,在训练过程中只需要噪声图像本身的自监督学习方法受到了越来越多的该领域的一项最新工作是深度图像先验(DIP)[28]。它执行的自监督学习的发电机网络的早期停止策略。由于早期停止策略作为对网络参数的隐式约束[14],我们想到的一个想法是强加的原因-SS-GMMEPLLPGPDNL-BayesBM3DS2s烫N2VSS-GMM自我监督方法其他方法BSD 68上的平均PSNR(dB)2846算法1:SS-GMM(一次迭代)噪声水平估计(步骤:5-6 /秒第3.1节)噪音等级:贴片提取伊nn 1N粗略估计(步骤:1-4)Σ EKkk1协方差校正(步骤:7-8),μKKKk1克雷Kk1GMM:pNminSflogpPF22nn1噪声图像g 保留图像f去噪框架:[33]图2.总体示意图。对参数的有效约束可能是以自监督方式学习生成模型的关键。受此思想的启发,我们对如何实现经典生成模 型 的 自 监 督 学 习 进 行 了 研 究 , 高 斯 混 合 模 型(GMM)为了达到这一目的,我们首先研究了噪声对高斯混合模型参数的影响。一个常见的假设是噪声跟随i。I.D. 本文采用高斯分布。我们观察到,在统计意义上,高斯噪声的存在只影响GMM的协方差矩阵的特征值。因此,我们将进一步的研究集中在协方差特征值的性质上。通过统计实验和理论分析,我们得到了两个重要结论:1)干净图像的协方差特征值保持稀疏性,而有噪图像的协方差特征值不保持稀疏性; 2)有噪图像的特征值偏离稀疏性的程度由噪声水平确定。第一个结论启发我们对协方差特征值施加稀疏性约束以抑制噪声的影响。第二个进一步指示该稀疏性约束的水平应当与噪声水平相关。此外,它表明,有噪图像的特征值包含用于噪声估计的足够信息,即,这些特征值偏离稀疏性的程度基于这些结论,我们新提出了一个Self-S监督GMM(SS-GMM),可以学习参数,只有一个单一的噪声图像。如图图2示出,SS-GMM首先进行GMM的参数的粗略估计该估计与标准的基于期望最大化的GMM学习方法(EM-GMM)[2,3]相同。通过该方法学习的协方差矩阵易受噪声影响。因此,协方差校正模块,伴随着一个自包含的噪声水平估计模块,进一步进行抑制噪声的影响。为了评估SS-GMM的有效性,将其应用于具有[33]中提出的框架的图像去噪任务。如图1所示,SS-GMM优于其监督的对应物,即预期补丁日志似然(EPLL)[33]。此外,它与最先进的自监督深度学习方法(即[22]第综上所述,我们的主要贡献包括:• 通过统计实验和理论分析,详细研究了高斯噪声对高斯混合模型• 提出了一个自包含的噪声水平估计模块,我们提出的自监督算法,以实现噪声水平估计,并帮助确定的稀疏性约束的水平。• 提出了一种易于实现的自监督学习算法,实现了GMM对单幅噪声图像的先验学习。2. 相关工作本节将我们提出的方法与几个高度相关的工作进行简要比较2.1. 基于GMM的先验学习方法GMM作为一种经典的生成式模型,已成功地应用于基于块的图像先验建模.一个代表是EPLL [33]。在[30]中,基于补丁组的图像去噪(PGPD)将GMM扩展到基于补丁组的版本,以建模图像非局部自相似性(NSS)先验。这些方法都需要一组干净的图像作为训练数据。这削弱了这些方法的实用价值。该问题的一些现有解决方案需要合适的参数初始化[31]或搜索非局部相似补丁,例如,非局部贝叶斯(NL-Bayes)[16]。此外,所有这些GMM相关的方法都必须预先提供噪声水平作为超参数,因为它们不包含噪声估计模块。相比之下,我们提出的方法除了补丁大小等必要参数之外不需要任何额外的信息,而且还实现了与EPLL [33],PGPD [30]和NL-Bayes [16]相当甚至更好的性能。2.2. 自监督深度学习方法自监督深度学习方法旨在直接从输入数据中实现网络训练Noise2Self(N2S)[1],Noise2Void(N2V)[15],Self2Self(S2S)[22]和Deep Image Prior(DIP)[28]都属于这种方法。前三种方法分别基于盲点策略和丢弃策略。这两种策略的关键是从网络感受野中去除部分像素,以避免学习身份函数。然而,恢复被移除的像素本身是图像修复问题。因此,这些策略实际上增加了问题的复杂性。DIP提供了实现自监督学习方法的另一种可能性。如上所述,它利用早期停止策略正则化网络受DIP的启发,我们提出了对协方差特征值施加稀疏约束2847|·|·Ks=1--Σ≤ ≤ N·×××.K不KKk=1KK11exp−1(x −µ)TΣ−1(x −µ)、KNknKKΣ.·Σ.Σ在ue与早期停止不同,这种稀疏约束有严格的理论分析支持。 由于这一点,我们提出的方法优于DIP有很大的余量,虽然DIP的迭代次数已经其中表示行列式运算符,µk和Σk分别是均值向量和协方差矩阵根据高斯分布手动调谐以实现最高的PSNR。见图1{πk,µk,Σk},并且噪声η被假定为直观的比较。I. I. D.k=11 σ,则噪声级加性高斯噪声噪声图像块y将属于具有参数2.3. 噪声估计方法传统方法(如[24])只能准确估计具有足够平坦区域的图像的噪声水平。最近提出的几种方法[19,21]通过将所选低秩补丁的最小协方差特征值作为噪声水平来克服这一限制。通过统计分析,Chenet al. [6]证明了这些方法系统地低估了噪声水平,并提出将最小特征值到第m个最小特征值的平均值作为噪声水平,其中m是可以自动确定的超参数。本文将文献[6]中的统计分析从单一高斯分布推广到广义矩分布。实验结果表明,GMM的协方差特征值直方图具有明显的不对称性。这违反了[6]的理论基础。为了解决这个问题,我们建议提出了一种新的方法,将均值计算集中在直方图更重要的是,我们的工作揭示了噪声水平估计如何与自监督图像先验学习过程相关,即,所估计的噪声电平还可以用于确定施加在参数上的约束电平这未被噪声水平估计领域中的先前工作所覆盖。3. 方法从理论上讲,GMM可以适合任何分布[3]。它已成功用于对图像块进行建模,使用一组干净的图像作为训练集[33]。然而,干净的图像在许多应用中是不可用的为了克服这个问题,在本节中提出了一种新的自监督学习方法用于GMM。GMM是K个高斯分布的线性组合。它可以写成Kp(x)=πk·N(x;µk,Σk),(1)k=1其中,X是表示本文中的图像块的S维向量,πk是相加为1并且满足0πk-1的混合系数,()是高斯分布,计算为eters π,µ,Σ+σ2IK.这里,I表示身份矩阵。因此,在没有任何其他约束的情况下,从噪声图像块中学习只能估计矩阵Σ~k=Σk+σ2I,其中潜在方差矩阵和噪声水平是相互耦合的。这是主要的挑战用噪声数据学习GMM。对于每个高斯分量,其协方差矩阵必须是正定的,因此可以分解为Σk=DkΛkDT,其中Dk是正交矩阵,Λk表示具有特征值λksS作为对角元素。使用这种分解,Σ~k可以写成Σ~k=Σk+σ2I=Dk~k+σ2IDT=Dk~ kDT,(3)这就是Σ~k的特征值分解。这意味着Σk和Σ~k具有相同的特征向量,并且这两个矩阵的特征值之间的差是由噪声电平(noiselevel)来终止,即, λ~ks=λks+σ2。现在关键问题是如何将λks与噪声水平σ解耦从λ~ks。3.1. 协方差特征值针对这一问题,我们首先研究了协方差特征值的统计性质。在图3中,示出了(a)干净图像和(b)绘制有噪声的图像。为了获得图。在图3(a)中,从大小为180 180 [ 7 ]的400个干净图像中提取大小为77的400 3600个补丁,以利用EM-GMM算法[ 2,3 ]训练200个组件的GMM模型。 那么,本征-值被计算并用于绘制直方图。对于图3(b),图像添加了σ=15的高斯噪声。直观地,从干净图像学习的大多数特征值λks在零附近累积,这意味着特征值λks应该保持稀疏性。 更有趣的是,特征值-从σ2=22.5附近的噪声图像中学习到的UEλ~k,峰值频率出现的地方这就提出了一个问题,即,为什么这个直方图在σ2处达到峰值?为了回答这个问题,理论分析图。3提供如下。在实践中,Σk和Σ~k是不可用的。我们只能用训练数据凭经验估计它们。对于EM-GMM算法,Σk估计为NΣE=1Σγ(x−µ)(x-µ)、(4)(2 π)S/2|Σk|二分之一2kkK(二)n=11为方便起见,我们将σ和σ2互换使用为噪声水平KNKn2848清洁频率不KΣλKSΣ1KSKS·Σ1KSNKK≈k=1s=1;µk,EΣΣKKΣΣ≈Σ250020005004001500 3001000 200500 10000 200 400 600 8001000值(a) λE直方图00 200 400 600 800 1000值(b) λ~E的直方图图3.由EM-GMM从(a)干净图像和(b)添加有噪声水平σ=15的高斯噪声的图像学习的协方差特征值的直方图。其中N是训练块的数量,γnk表示第n个图像块属于第k个高斯分量的概率,Nk是γnk在n. 如果GMM经过良好训练并且它能够以高精度分类每个图像块,意味着γnk≈1或0,则存在a高斯分布在其平均值点处达到峰值,这些分量共同构成最显著的fea。p(λ~E)的真实性,使其对应的直方图显示图3(b)在σ2处的峰。回答了男人们的问题楼上的除了平均值约为σ2的组分外,E1kNk(xn−µk)(xn−µk),(5)n∈Sk当量(8)还包括其平均值远大于〇2的分量。如图3(b)所示,这些成分共同使直方图曲线下降得更多其中Sk表示包含所有属于第k个高斯分量,并且Nk表示Sk中的面片的数量。基于[6],如果Nk足够大(例如,Nk>1000),等式中ΣE(5)近似属于高斯分布,即,右边比左边慢。这种明显的不对称性破坏了将[6]中提出的噪声水平估计方法应用于GMM的理论基础工作[6]最初是为单一高斯分布设计的。它的基本假设是存在一个可以分割直方图的独立点p.KS≈N。λE;λks,2kS,(6)Nk将特征值分成对称部分和另一部分。然而,显然,这样的点在图中不存在。3(b)款。为了解决这个问题,我们建议集中这进一步意味着随机选取的特征值λEEK,S直方图的峰值区域上的噪声水平估计其与λ~E局部对称 =σ2作为sym-从{λks}k=1,s=1将属于GMM,即,KS测量轴这通过以下步骤实现p. λEΣ≈ S·NΣN.λE;λks,2KS.(七)Nk将{λks}k=1,s=1分成若干个bin,并对每个bin计算λ~E的数量;b)找到具有最大值的bink=1s=1图中所示的直方图。3(a)基本上由概率分布p(λE)确定。为了生成这样的直方图,大多数特征值λks必须接近于零,并且其他特征值将分布在宽范围内。换句话说,干净图像的特征值保持稀疏性。类似地,如果Nk足够大,则对于对应于噪声图像的特征值,存在number. c)找到其数目大于r_c_max(0
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功