没有合适的资源?快使用搜索试试~ 我知道了~
20080使用Tweedie分布和得分匹配的噪声分布自适应自监督图像去噪0金宽永1,权泰成2,叶钟哲1,201 金在哲 人工智能研究生院,2 生物与脑工程系,KAIST0{cubeyoung, star.kwon, jong.ye}@kaist.ac.kr0图1. 我们在Kodak数据集上的图像去噪结果。顶部:高斯噪声(σ = 25,σ = 50),中部:泊松噪声(ζ =0.01,0.05),底部:伽马噪声(k = 100,50)。0摘要0Tweedie分布是指数分布模型的一种特殊情况,经常被用作广义线性模型的分布。在这里,我们展示了Tweedie分布在现代深度学习时代中也发挥着重要作用,从而导致了一种无需干净参考图像的分布自适应自监督图像去噪公式。具体而言,通过将最近的Noise2Score自监督图像去噪方法与Tweedie分布的鞍点近似相结合,我们提供了一种通用的闭式去噪公式,可用于大类噪声分布,而无需了解底层噪声分布。与原始的Noise2Score类似,新方法由两个连续的步骤组成:使用扰动噪声图像进行得分匹配,然后使用闭式图像去噪公式。0通过与分布无关的Tweedie公式。此外,我们揭示了一种系统的算法,用于估计给定噪声图像数据集的噪声模型和噪声参数。通过大量实验证明,所提方法可以准确估计噪声模型和参数,并在基准数据集和真实数据集中提供最先进的自监督图像去噪性能。01. 引言0图像去噪是低级计算机视觉问题中的一个基本问题。如今,典型的监督学习方法很容易超越传统的去噪算法,如块匹配和3D滤波(BM3D)[2]和加权核范数最小化(WNNM)[5]。然而,监督方法在许多实际应用中并不实用,因为它们需要大量匹配的干净图像进行训练。Although these algorithms appear seemingly different, arecent Noise2Score [10] revealed that the procedure of gen-erating altered target images or SURE-based regularizationterm is closely related to the score matching [7], and thereexists a Bayes optimal denoising formula in terms of scorefunction for any exponential family distributions. Unfortu-nately, Noise2Score requires a prior knowledge of the noisedistribution, so when the underlying noise distribution is un-known, Noise2Score provide a sub-optimal performance.• We propose an algorithm to estimate the noise modeland noise parameter for given noisy images. In partic-ular, the proposed noise estimation algorithm signifi-cantly improves the performance and boosts the infer-ence speed compared to the original Noise2Score [10].20090图2.所提方法的整体重建流程,其中第一步是通过训练神经网络RΘ来估计得分函数ˆl',然后估计噪声模型和噪声水平以获得最终去噪结果。在训练过程中,从属于训练集PY分布的输入图像y被采样。0尽管这些算法看起来似乎不同,但最近的Noise2Score[10]揭示了生成改变的目标图像或基于SURE的正则化项的过程与得分匹配[7]密切相关,并且存在着一个在任何指数族分布中以得分函数为基础的贝叶斯最优去噪公式。不幸的是,Noise2Score需要对噪声分布有先验知识,因此当底层噪声分布未知时,Noise2Score提供了次优性能。0为了解决这个问题,研究人员提出了各种形式的自监督学习方法,这些方法使用与干净参考图像无关的巧妙形式的损失函数进行训练[1, 6, 9, 12, 14,21]。具体而言,这些方法专注于设计损失函数,以防止学习身份映射,并可分为两类:1)通过从噪声输入图像生成改变的目标图像[1, 6, 12,14],2)通过从Stein的无偏风险估计(SURE)中添加正则化项[9, 21]。0因此,本文最重要的贡献之一是,经典的Tweedie分布可以提供一个“神奇”的配方,即使不知道分布,也可以用于大类噪声分布。具体而言,Tweedie分布可以与Noise2Score相结合,提供一个明确的去噪公式和一个用于估计噪声模型和参数的算法。特别是,受到各种指数族分布(如高斯分布、伽马分布、泊松分布等)可以通过简单地改变一个参数来用Tweedie分布的鞍点近似来描述的事实的启发,我们提供了一个通用的去噪公式,可以用于大类指数族分布,而不需要先验知识的噪声模型。此外,通过假设稍微扰动的噪声图像可能产生类似的去噪结果,我们提供了一个系统的算法,可以估计给定图像的噪声类型和相关参数。尽管该算法具有盲目性,实验结果表明,我们的方法优于那些使用噪声分布的先验知识进行训练的其他自监督图像去噪方法。我们的贡献可以总结如下。0•我们提出了一种算法,用于估计给定噪声图像的噪声模型和噪声参数。特别是,所提出的噪声估计算法在性能和推理速度上显著优于原始的Noise2Score [10]。0•我们通过结合Noise2Score方法和Tweedie分布的鞍点近似,为大类噪声分布提供了一种通用的闭式去噪公式。0•我们展示了所提方法在基准数据集和真实环境数据集中在各种自监督图像去噪算法中产生了最先进的性能。02. 相关工作02.1. 自监督图像去噪0最近,使用仅包含噪声图像的自监督图像去噪方法得到了广泛探索。Noise2Noise[14](N2N)提出了通过最小化噪声图像与同一源图像的另一个噪声实现之间的L2距离来训练神经网络。当没有其他噪声版本的相同图像可用时,Noise2Void(N2V)[12]、Noise2Self(N2S)[1]采用盲点网络来避免学习身份噪声图像。还探索了其他类型的基于掩蔽的盲点网络方法,包括Self2Self [20]、Noise2Same [25]、Laine19[13]等。Neighbor2Neighbor(Nei2Nei)[6]不使用盲点方法,而是使用随机邻居子采样器方法生成训练图像对。Noisier2Noise [18](2)̸p(y; µ, ϕ) = (2πϕyρ)−20100通过在单个噪声输入上添加合成噪声来对图像进行双重噪声采样。此外,Soltanayev等人[21]提出了使用Stein的无偏风险估计器(SURE)对加性高斯噪声进行去噪的训练方案。在[9]中,作者通过扩展这个想法,提出了使用Poisson无偏风险估计器(PURE)来训练用于泊松噪声的深度神经网络的损失函数。然而,这些方法大多是通过分布无关的启发式方法设计的,或者针对特定的噪声模型,我们不知道是否有任何可以用于估计噪声模型和参数的通用方法。02.2. Noise2Score0最近,提出了Noise2Score[10]来通过噪声数据的学习得到干净图像的Tweedie公式来估计。具体而言,Noise2Score[10]由两个步骤组成:使用噪声图像进行得分函数估计,然后使用Tweedie公式估计干净图像。为了从噪声数据y中学习得分函数,Noise2Score采用了阻尼残差DAE(AR-DAE)[15],它是去噪自动编码器(DAE)[24]的稳定实现。实际上,这个过程与Noise2Void、Noise2Self、Noiser2Noise等中的掩蔽过程密切相关。具体而言,Noise2Score试图最小化以下损失:0arg min Θ = E y � P Y ∥ u + σaRΘ(y + σau)∥2 (1)0其中RΘ是由Θ参数化的得分模型,u�N(0, I),σa�N(0,δ2)。σa是逐渐减小的扰动噪声,具有一个退火计划。最小化方程(1)得到网络R�Θ,它可以直接估计带噪声数据的得分函数R�Θ=�y logp(y)=l′(y)。一旦学习到带噪声图像的得分函数l′(y),Noise2Score使用Tweedie的公式为干净图像提供了一个明确的公式。更具体地说,考虑一个概率分布的指数族:0p(y|η) = p0(y)exp(η�T(y) - A(η))0其中上标�表示转置操作。这里,η是家族的典型(向量)参数,T(y)是y的(向量)函数,A(η)是使p(y|η)积分为1的累积生成函数,p0(y)是当η=0时的密度的比例因子。然后,Tweedie的公式[4]显示了典型参数的后验估计ˆη应满足以下方程:0ˆη�T′(y) = -l′0(y) + l′(y) (3)0其中l′0(y):=�y log p0(y)是得分函数,T′(y)=�yT(y)[10]。03. 主要贡献0在实践中,当收集到带有噪声的图像时,很难假设底层的噪声模型。例如,低剂量X射线CT图像受到许多噪声的污染,但不清楚是来自高斯噪声、泊松噪声还是混合分布。通常,为了去噪,会假设特定的噪声模型,但当假设的噪声模型不正确时,估计图像中存在不可避免的偏差。在Noise2Score中的情况也是如此,根据假设的噪声模型使用Tweedie公式的特定形式。因此,图像去噪的一个基本问题是是否存在一种通用算法,可以用于各种噪声模型而不会失去其最优性。在本节中,我们肯定地回答了这个问题。具体而言,我们展示了经典的Tweedie分布模型是一种多功能工具,可以与Noise2Score结合使用,为各种噪声分布提供近乎最优的解决方案,而无需了解底层噪声模型。03.1. Tweedie分布0Tweedie分布是一族包括纯连续正态分布、伽马分布和逆高斯分布、纯离散比例泊松分布以及复合泊松-伽马分布的概率分布[8]。具体而言,对于一个遵循指数离散模型的随机变量y,Tweedie密度函数由以下公式给出:0p(y; µ, ϕ) = bρ(y, ϕ)exp(-d(y, µ))02ϕ0(4)0其中µ是均值,ϕ>0是与噪声水平相关的离散参数,d(y,µ)是当ρ≠0, 1, 2时的单位偏差:0d(y, µ) = 2(y2-ρ)0(1 - ρ)(2 - ρ) - yµ(1 - ρ)01 - ρ + µ2-ρ02 - ρ0(5)0Tweedie家族的密度由形式为V[µ]=ϕµρ的功率方差函数所特征化,其中ρ∈(−∞, 0]∪[1,∞)是确定分布的指数[8]。对于特殊情况,如正态分布(ρ=0),泊松分布(ρ=1),伽马分布(ρ=2)和逆高斯分布(ρ=3),它具有封闭形式的表达式(见表1)。然而,函数bρ(y,ϕ)除了特殊情况外无法用封闭形式表示。因此,可以经常使用鞍点近似来近似Tweedie密度,其中bρ(y,ϕ)被一个简单的解析表达式所取代,从而导致密度的简单表达式[3]:02 exp(−d(y,µ))02ϕ0�. (6)11−ρ(7)(9)̸(10)(11)20110表1. 具有幂方差函数的指数离散模型。0分布 ρ V[µ] ϕ0高斯 0 1 σ20泊松 1 µ 1 泊松-伽马 1 < ρ < 2 µ ρ ϕGamma(α,β) 2 µ 2 1 /α 逆高斯 3 µ 3 ϕ0在下一节中,我们将展示(6)是推导出适用于Tweedie分布的各种特殊情况的通用去噪公式的关键。03.2. Tweedie分布的Noise2Score0现在使用与Noise2Score相同的思想,依赖于(3),我们可以从鞍点近似(6)中得到以下通用去噪公式。本节中的所有证明将推迟到补充材料中。0命题1对于给定的测量模型(6),未知µ的贝叶斯最优估计为:0ˆµ = E[µ|y] = y(1 + (1 − ρ)α(y,ρ,ϕ))0其中0α(y,ρ,ϕ) = ϕyρ−1 � 02y + l′(y)�.0命题2估计(7)对于给定的参数对(ρ,ϕ)收敛到表2中的特定公式。0表2. Tweedie去噪公式的特殊情况。0分布 ρ ϕ ˆµ02 � exp(ζl′(y)) Gamma(α,α) 2 1 /α αy0(α − 1) − yl′(y)0注意,表2中的特定公式与Noise2Score[10]的原始论文等效。这表明通过简单地估计参数对(ρ,ϕ),我们可以估计噪声模型和噪声水平。接下来,我们提供一个系统的算法,从给定的噪声测量中估计这些参数。03.3. 噪声模型和水平估计03.3.1 噪声模型估计0在这里,我们提供了一个用于估计噪声模型参数ρ的算法。设y1为噪声测量。假设我们添加了一小部分独立噪声0生成y1:0y2 = y1 + ϵu, u � N(0, I)0其中ϵ是一个已知的小值。如果注入的噪声足够小,可以期望使用(7)进行去噪后的图像是相似的,即:0E[µ|y1] � E[µ|y2] (8)0因此,我们有α(y1,ρ,ϕ)�α(y2,ρ,ϕ),这等价于:0ϕyρ−1 10�02y1 + l′(y1)� � ϕyρ−1 20�02y2 + l′(y2)�0现在,关键观察是当等式成立时,噪声水平参数ϕ可以从(9)中消除。因此,(9)提供了一个封闭形式的公式,用于噪声模型参数ρ的估计,如下命题所述:0命题3 假设在(9)中对于y1 ≠y2等式成立。那么,分布参数ρ由以下给出:0ˆρ = − a ( b − 2) ± 0(a(b − 2)2 − 4a(−2ab + w)0y1),b = 2y1l′(y1)和w = 2y2l′(y2) − 2y1l′(y1)。0命题3表明,我们可以通过求解二次方程来估计未知的噪声模型。在两个解中,我们通过取正确估计ρ的两个值的最大值来经验确定ˆρ。由于我们假设ρ∈(0,2),我们将最终的ˆρ设置为max(0,ˆρ)。为了确定底层噪声是来自于高斯、泊松还是伽马分布,我们设置经验规则从ˆρ中估计噪声模型:0� 0� 0Gaussian,如果0 ≤ ˆρ < 0.9,0Poisson,如果0.9 ≤ ˆρ < 1.9,0Gamma,如果1.9 ≤ ˆρ < 2.9。0具体来说,如果估计的模型参数ˆρ包含在特定范围内,我们可以得出结论,噪声图像属于相应的噪声分布。实现的详细信息在补充材料中描述。03.3.2 噪声水平估计0如果噪声模型参数ρ已知或正确估计,那么(7)中的通用降噪公式仍然需要噪声水平ϕ的知识。虽然原始的Noise2Score也可以使用图像质量惩罚度量(如总变差(TV))来估计噪声水平,但我们的方法可以估计未知的噪声̸(12)20120参数更加高效。再次基本的直觉是,如果注入的噪声足够小,可以预期使用(7)进行去噪的图像应该是相似的。命题4提供了基于该假设的具体公式。0命题4 假设噪声模型参数ρ已知。此外,假设在y 1 ≠ y2的情况下等式在(8)中成立。那么,多个噪声分布的噪声水平参数由以下给出0� � 0� �0ˆσ2 = � − 0l ′ ( y 2 ) − l ′ ( y 1 ) �,Gaussian,0ˆζ = � − y 1 + 0y 2 1 − 2 c �,Poisson,0ˆα = ˆβ = ˆk = � 1 + l ′ ( y 2 ) − l ′ ( y 1 )0�,Gamma,0其中c = ϵu/(l ′ ( y 2 ) − l ′ ( y 1 ))。0对于泊松噪声的情况,解是由于ζ的二次方程导出的。由于ζ>0,我们只计算带有正号的解。所有这些公式都适用于每个像素级别,因此我们应该使用中位数来估计像素级别。与需要多次推断噪声水平估计的Noise2Score相比,我们提出的方法只需要进行一次额外的推断步骤来找到未知的噪声水平参数。因此,从速度和简单性的角度来看,所提出的方法具有优势。04. 实验结果04.1. 实现细节0训练细节为了公平地比较所提出的方法与其他比较方法,对于所有方法都使用了修改版的U-Net生成器[12]。小批量大小采用16,总时期设置为100进行训练。使用Adam优化器[11]以初始学习率2×10−4训练神经网络。学习率在50个时期后衰减为2×10−5。为了在这项工作中训练得分模型,我们采用了Noise2Score方法[10]中的AR-DAE,并采用了衰减率为0.999的指数移动平均方法。对于所需学习噪声数据的得分函数的退火sigmaσa,我们生成了几何序列,其值从σmaxa到σmina的扰动噪声水平[22]。实现的更多细节在补充材料中描述。我们的方法在PyTorch [19]中使用NVIDIA GeForce GTX2080-Ti进行实现。0用于合成实验的数据集 我们使用DIV2K [23]和CBSD400[16]数据集作为训练数据集。我们采样了220,000个大小为128×128的裁剪补丁来训练网络。对于数据增强,我们0使用了随机的水平、垂直翻转和翻转方法。我们为盲目噪声情况生成了合成噪声图像,其中噪声水平从特定范围中随机采样每个噪声分布。对于高斯噪声,噪声水平在σ∈[5,55]之间变化。对于泊松噪声,噪声水平在ζ∈[0.1,0.005]之间变化。对于伽马噪声,噪声水平在k∈[40,120]之间。为了评估所提出的方法在盲目合成噪声实验中的性能,采用了Kodak、CBSD68 [16]数据集作为测试集。04.2. 合成实验结果。0高斯噪声为了评估我们的方法在各种噪声分布上的表现,我们采用了九种比较方法,如表3所示,包括BM3D [2],N2V[12],N2S [1],Nei2Nei [6],Laine19 [13],N2Score[10],N2N[14]以及监督学习方法。比较方法根据噪声分布的不同而有所变化。监督学习和使用多对图像的N2N表现最佳,但不实用。在加性高斯噪声的情况下,我们的方法不仅在所有数据集上优于其他自监督学习方法,而且与监督学习方法相比提供了可比较的结果。由于在补充材料中描述的改进的评分函数估计,我们的方法提供了更好的N2Score性能。图3和图4中的定性比较显示,所提出的方法提供了最佳的重建结果。0泊松噪声对于泊松噪声情况,BM3D被Anscombe变换(BM3D+VST)所取代,如表3所示。我们提出的方法相比其他算法在性能上有显著的提升,尽管Laine19-pme利用了已知先验的噪声模型,在泊松噪声情况下显示出最佳性能。需要注意的是,我们的方法假设噪声模型未知并估计噪声统计量。尽管噪声模型未知,我们的方法的结果仍然可比较。我们发现,当噪声水平参数未知时,我们的方法显著改善了Poisson情况下Noise2Score的结果。这证实了所提出的噪声水平估计方法比Noise2Score中的质量惩罚度量更有效。图3和图4中的视觉比较结果显示,与其他自监督方法相比,我们的方法提供了更好的视觉效果。0伽马噪声由于BM3D和Laine19的扩展方法不适用于伽马噪声,我们只使用了六种比较方法来评估所提出的方法,如表3所示。在伽马噪声的情况下,我们设置α=β=k。同样,所提出的方法在自监督学习方法中取得了最佳结果,并且在Noise2Score的性能上有显著提升,提升幅度约为1dB。图3中的定性比较结果显示,所提出的方法提供了最佳的重建结果。20130图3.CBSD68数据集中我们的方法与其他竞争方法的视觉比较。顶部:标准差为σ=25的高斯噪声。中部:泊松噪声,ζ=0.01。底部:伽马噪声,k=100。图像左下角的数字表示PSNR值(以分贝为单位)。0图4.CBSD68数据集中我们的方法与其他竞争方法的视觉比较。顶部:标准差为σ=50的高斯噪声。中部:泊松噪声,ζ=0.05。底部:伽马噪声,k=50。图像左下角的数字表示PSNR值(以分贝为单位)。0并且 4证明我们的方法在自监督深度去噪器中提供了有竞争力的视觉质量。04.3. 真实图像噪声去除0为了验证该算法能够应用于真实数据集,我们进行了一项真实的噪声去除实验,使用了AAPMCT数据集[17],该数据集包含来自10个不同患者的512×512分辨率的4358张图像,分别在低剂量和高剂量X射线水平下。输入图像为0我们采用AAPMCT数据集的四分之一剂量图像作为训练集,将目标图像设为全剂量图像。我们随机选择了3937张图像作为训练集,剩下的421张图像作为测试集。X射线光子测量和正弦图中的噪声分布通常被建模为泊松噪声和高斯噪声,但是重建图像中的真实噪声是空间相关且更加复杂的,因此在建模特定噪声分布方面存在困难。0为了处理低剂量下的盲目图像去噪20140表3.在噪声参数未知的情况下,使用各种方法的去噪结果的PSNR(dB)的定量比较(N2V: Noise2Void, N2S: Noise2Self, Nei2Nei:Neighbor2Neighbor, N2Score: Noise2Score, N2N: Noise2Noise, SL: supervised learning, Anscombe: Anscombe method forBM3D)。0噪声类型 传统 自监督 监督0高斯数据集 BM3D N2V N2S Nei2Nei Laine19-mu Lain19-pme N2Score 我们的 N2N SL0σ = 25 CBSD68 28.61 29.22 29.71 30.56 28.61 30.88 30.75 30.89 30.92 30.92 Kodak 29.94 30.02 30.81 31.55 30.19 31.92 31.78 31.9531.96 31.960σ = 50 CBSD68 26.71 25.13 27.14 27.32 26.42 27.65 27.32 27.56 27.73 27.73 Kodak 27.02 25.75 28.21 28.28 27.78 28.63 28.23 28.6428.70 28.710Poisson数据集 Anscombe N2V N2S Nei2Nei Laine19-mu Lain19-pme N2Score 我们的 N2N SL0ζ = 0.01 CBSD68 30.68 31.02 30.74 31.64 30.61 32.73 31.87 32.53 32.94 32.95 Kodak 31.93 31.98 31.92 32.61 31.67 33.51 32.96 33.4133.86 33.870ζ = 0.05 CBSD68 26.93 28.12 28.33 28.46 27.53 28.83 28.27 28.73 29.07 29.07 Kodak 28.27 29.32 29.49 29.54 28.68 30.17 28.98 29.7230.23 30.250Gamma数据集 N2V N2S Nei2Nei N2Score 我们的 N2N SL0k = 100 CBSD68 - 31.83 31.71 34.21 - - 33.82 34.52 35.33 35.33 Kodak - 31.66 32.83 35.10 - - 34.23 35.42 36.16 36.160k = 50 CBSD68 - 30.51 30.63 32.11 - - 31.32 32.43 33.41 33.41 Kodak - 31.38 31.71 32.38 - - 31.81 32.81 34.39 34.400图5.使用各种方法对AAPM数据进行去噪的结果。黄框和绿框分别显示了图像和网络输入与输出之间的差异图的放大视图。CT图像的强度窗口为(-500,500)[HU],差异的强度窗口为(-200,200)[HU]。0为了处理CT图像,我们使用图2中的方法对提出的方法进行了实验。其他实验设置与合成实验相同。根据(11)中的模型估计规则,我们观察到低剂量CT图像可以解释为受到高斯噪声的污染(ˆρ�0)。为了评估所提出的方法,我们与其他方法进行比较,如N2S [1]、N2V [12]、Nei2Nei [6]、N2Score[10]和监督学习方法。为了实现原始的Noise2Score,我们假设噪声分布是加性高斯噪声。定量结果表明,所提出的方法产生了0与其他自监督学习方法相比具有竞争力的结果。然而,在医学成像中,视觉质量也是评估结果的一个重要标准。在图5中,定性比较显示其他自监督方法提供的去噪图像过于平滑,如表4所示。特别是,这些方法的差异图显示了CT图像的结构。然而,我们的方法产生的结果在视觉上与全剂量CT图像相似,并且在网络输入和输出之间的差异图中仅提供噪声。因此,我们的方法还具有这样的优势。20150(a)0(b)0图6.在Kodak数据集中估计的噪声模型参数ˆρ的直方图。(a)σ=25,ζ=0.01,k=100的情况。(b)σ=50,ζ=0.05,k=50的情况。0可以应用于真实环境数据集。0表4.使用各种方法在AAPMCT数据集上以PSNR(dB)为指标的定量比较(N2V: Noise2Void,N2S: Noise2Self, Nei2Nei: Neighbor2Neighbor, N2Score:Noise2Score SL: supervised learning)。0方法 N2S N2V Nei2Nei N2Score 我们的 SL0PSNR 35.82 35.93 37.83 36.63 36.92 38.5305.消融研究05.1. 噪声模型估计结果0在这里,我们通过(11)验证了所提出的噪声模型估计。图6显示了Kodak数据集中估计的噪声模型参数ˆρ的直方图。我们为每个噪声分布计算了ˆρ,并在每个图中绘制了分布。根据Tweedie分布,我们期望噪声模型的参数可以区分每个噪声分布,例如高斯(ˆρ�0),泊松(ˆρ�1)和伽马(ˆρ�2)。从图中我们可以观察到,在低噪声水平的情况下,噪声模型参数ˆρ明显分布。此外,在高噪声水平的情况下,分布也可以区分每个噪声分布。这意味着成功地用所提出的方法估计了噪声模型,从而导致了在盲目图像去噪中使用精确的Tweedie公式。0表5. CBSD68数据集上使用各种噪声参数估计方法的重建结果,以PSNR(dB)为单位。0噪声类型 N2Score 我们的 已知值 SL0高斯(σ=25)30.78 30.89 30.91 30.92 泊松(ζ=0.01)31.8932.53 32.63 32.95 伽马(k=100)33.92 34.52 34.53 35.330推理速度3.1秒0.1秒 - -05.2. 噪声水平估计消融研究0我们通过将Noise2Score与质量惩罚度量[10]和其他方法进行比较,分析了所提出的噪声水平估计的效果。为了公平评估所提出的方法,0我们在每种情况下使用相同的评分模型权重进行了消融研究。我们通过固定噪声模型估计过程,仅改变噪声水平估计来进行消融研究,如表5所示。这里,“已知值”是指假设已知真实噪声水平参数的结果。“SL”表示监督学习的结果。我们发现,质量惩罚度量在高斯的情况下与“已知值”具有可比性,但在泊松和伽马噪声的情况下,质量惩罚度量的性能下降。然而,所提出的方法在所有情况下都优于质量惩罚度量方法,并且产生与“已知值”相当的结果。此外,我们比较了估计阶段的推理速度。与我们的方法相比,Noise2Score估计噪声水平参数的时间大约多了30倍。06. 结论0在本文中,我们提供了一种新颖的自监督盲目图像去噪框架,不需要干净数据和噪声模型和水平的先验知识。我们的创新来自于Tweedie分布的鞍点近似,它涵盖了广泛的指数族分布。通过利用这个特性,我们提供了一个可以用于现实生活中各种分布的通用去噪公式。此外,我们提出了一种新颖的算法,可以在统一框架中估计噪声模型和噪声水平参数。最后,我们使用基准和真实CT图像数据集验证了所提出的方法,并确认该方法优于现有的最先进的自监督学习方法。0限制0虽然我们为噪声分布自适应自监督图像去噪提供了一种统一的方法,但该方法并不是没有限制的。由于噪声模型和水平的估计公式是从几个近似中推导出来的,它可能在真实世界的数据集中失败。此外,噪声模型在真实环境中可能无法用Tweedie分布描述。0致谢0本工作得到了韩国科学技术院重点研究所(跨学科研究小组)项目和韩国政府(MSIT)资助的信息与通信技术规划与评估研究所(IITP)资助的项目(编号2019-0-00075,韩国科学技术院人工智能研究生院计划)。本工作还得到了韩国国家研究基金会在GrantNRF-2020R1A2B5B03001980下的支持。20160参考文献0[1] Joshua Batson和Loic Royer.Noise2Self:自监督盲去噪。在国际机器学习会议上,页524-533。PMLR,2019年。2,5,70[2] Kostadin Dabov,Alessandro Foi,VladimirKatkovnik和Karen Egiazarian.带块匹配和3D滤波的图像去噪。在图像处理:算法和系统,神经网络和机器学习中,卷6064,页606414。国际光学和光子学学会,2006年。1,50[3] Peter K Dunn和Gordon K Smyth.Tweedie家族密度:评估方法。在第16届国际统计建模研讨会上,丹麦奥登塞,页2-6。Citeseer,2001年。30[4] Bradley Efron.Tweedie的公式和选择偏差。美国统计协会杂志,106(496):1602-1614,2011年。30[5] Shuhang Gu,Lei Zhang,Wangmeng Zuo和XiangchuFeng.带加权核范数最小化的图像去噪。在IEEE计算机视觉和模式识别会议论文集中,页2862-2869,2014年。10[6] Tao Huang,Songjiang Li,Xu Jia,HuchuanLu和Jianzhuang Liu.Neighbor2Neighbor:从单个噪声图像中自监督去噪。在IEEE /CVF计算机视觉和模式识别会议论文集中,页14781-14790,2021年。2,5,70[7] Aapo Hyv¨arinen和Peter Dayan.通过得分匹配估计非归一化统计模型。机器学习研究杂志,6(4),2005年。20[8] Bent Jorgensen. 离散模型理论。CRC出版社,1997年。30[9] Kwanyoung Kim,Shakarim Soltanayev和Se Young Chun.无监督训练用于低剂量CT重建的去噪器,无需全剂量基准。IEEE信号处理选定主题杂志,14(6):1112-1125,2020年。2,30[10] Kwanyoung Kim和Jong Chul Ye.Noise2Score:Tweedie方法用于无干净图像的自监督图像去噪。arXiv预印本arXiv:2106.07009,2021年。2,3,4,5,7,80[11] Diederik P Kingma和Jimmy Ba.Adam:一种随机优化方法。arXiv预印本arXiv:1412.6980,2014年。50[12] Alexander Krull,Tim-Oliver Buchholz和Florian Jug.Noise2Void-从单个噪声图像中学习去噪。在IEEE /CVF计算机视觉和模式识别会议论文集中,页2129-2137,2019年。2,5,70[13] Samuli Laine,Tero Karras,Jaakko Lehtinen和Timo Aila.高质量的自监督深度图像去噪。arXiv预印本arXiv:1901.10277,2019年。2,50[14] Jaakko Lehtinen, Jacob Munkberg, Jon Hasselgren,Samuli Laine, Tero Karras, Miika Aittala和Timo Aila.Noise2Noise:学习图像恢复而无需干净数据。arXiv预印本arXiv:1803.04189,2018年。2,50[15] Jae Hyun Lim,Aaron Courville,ChristopherPal和Chin-Wei Huang.AR-DAE:面向无偏神经熵梯度估计。在国际机器学习会议上,页6061-6071。PMLR,2020年。30[16] David Martin, Charless Fowlkes, Doron Tal, and JitendraMalik.一个人类分割自然图像的数据库及其在评估分割算法和测量生态统计方面的应用。在第八届IEEE国际计算机视觉会议ICCV2001中的论文集,卷2,页416-423。IEEE,2001年。50[17] Cynthia H McCollough,Adam C Bartley,Rickey ECarter,Baiyu Chen,Tammy A Drees,PhillipEdwards,David R Holmes III,Alice E Huang,FarhanaKhan,ShuaiLeng等。低剂量CT用于检测和分类转移性肝病变:2016年低剂量CT大挑战的结果。医学物理学,44(10):e339-e352,2017年。60[18] Nick Moran, Dan Schmidt, Yu Zhong, and Patrick Coady.Noisier2noise:从不成对的噪声数据中学习去噪。在IEEE/CVF计算机视觉和模式识别会议论文集中,页12064-12072,2020年。20[19] Adam Paszke, Sam Gross, Soumith Chintala, GregoryChanan, Edward Yang, Zachary DeVito, Zeming Lin, AlbanDesmaison, Luca Antiga, and Adam Lerer.PyTorch中的自动微分。2017年。 50[20] Yuhui Quan, Mingqin Chen, Tongyao Pang, and Hui Ji.带有辍学的自我自我:从单一图像学习自监督去噪。在IEEE/CVF计算机视觉和模式识别会议论文集中,页1890-1898,2020年。 20[21] Shakarim Soltanayev and Se Young Chun.无地面真实数据的训练和改进基于深度学习的去噪器。arXiv预印本arXiv:1803.01314,2018年。 2 , 30[22] Yang Song and Stefano Ermon.训练基于分数的生成模型的改进技术。arXiv预印本arXiv:2006.09011,2020年。 50[23] Radu Timofte, Shuhang Gu, Jiqing Wu, Luc Van Gool, LeiZhang, Ming-Hsuan Yang, Muhammad Haris, et al. NTIRE2018单幅图像超分辨率挑战:方法和结果。在IEEE计算机视觉和模式识别(CVPR)研讨会上,2018年6月。 50[24] Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, YoshuaBengio, Pierre-Antoine Manzagol, and L´eon Bottou.堆叠去噪自编码器:在具有局部去噪准则的深度网络中学习有用的表示。机器学习研究杂志,11(12),2010年。 30[25] Yaochen Xie, Zhengyang Wang, and Shuiwang Ji.Noise2Same:优化自监督边界以进行图像去噪。arXiv预印本arXi
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功