没有合适的资源?快使用搜索试试~ 我知道了~
1基于帧间训练蒂博·埃雷特·阿克塞尔·戴维·让-米歇尔·莫雷尔·加布里埃莱·法乔洛·巴勃罗·阿里亚斯CMLA、ENS Cachan、CNRSUniversité Paris-Saclay,94235 Cachan,Francethibaud. ens-cachan.fr图1:从相同的起点,仅使用视频,我们的微调网络能够消除不同的噪声,而不会产生任何伪影。上面的图像是有噪声的,下面的是去噪的。从左至右:高斯噪声、泊松型噪声、椒盐型噪声和JPEG压缩高斯噪声。摘要对产生视频的处理链进行建模是一项困难的逆向工程任务,即使在摄像机可用的情况下也是如此这使得基于模型的视频处理成为一项更加复杂的任务。在本文中,我们提出了一个全盲视频去噪方法,离线和在线两个版本。这是通过使用新颖的帧到帧训练策略将预训练的AWGN去噪网络微调到视频来实现的。我们的去噪器可以在不了解视频或突发的来源以及相机传感器应用的后处理步骤的情况下使用。在线过程只需要一对夫妇的帧之前,实现视觉上令人愉快的结果,为广泛的扰动。尽管如此,它仍然达到了标准高斯噪声的最先进的性能,并且可以离线使用,具有更好的性能。1. 介绍去噪是图像和视频处理的基本问题。虽然去噪方法和成像传感器的性能在几十年的研究中稳步提高,但也出现了新的挑战。高端摄像机在低光照条件下仍能获得嘈杂的图像。高速摄像机使用短曝光时间,降低了捕捉帧的SNR廉价、低质量的传感器被广泛使用,例如在移动电话或监控摄像机中,并且即使在良好的场景照明下也需要去噪。已经提出了大量用于图像和视频去噪的方法:PDE和变分方法[36,7],双边滤波器[41],域变换方法[31,33],基于非局部块的方法[3]。在过去的十年中,大多数研究集中在对图像块[51,45,15]或类似块[13,27,22,17,5]的组进行建模。最近1136911370焦点已经转向神经网络。在[5]中介绍了第一个与基于块的方法具有竞争力的神经网络,它由一个经过训练的全连接网络组成,用于对图像块进行降噪最近,[48]提出了DnCNN,一种深度CNN,17到20个卷积层,3×3滤波器,并报告了对最先进技术的显著改进。作者还训练了一个盲去噪网络,可以对具有未知噪声水平σ∈[0,55]的图像进行去噪,以及一个多任务网络,可以盲处理三种类型的噪声。DnCNN的一个更轻的版本是亲-在[49]中提出的,其通过添加噪声方差图σ2(x)作为附加输入来允许空间变化的噪声变化。DnCNN和FFDnet的架构在整个网络中保持图像大小。已经提出了其他网络[30,38,8],其在U形架构中使用池化和上卷积层[35]。其他作品提出了神经网络,其架构通过展开优化算法获得,例如用于MRF概率模型的MAP推理的算法[2,39,10,43]。对于由重复图案形成的纹理,基于非局部块的方法仍然比“局部”CNN表现得更好为了解决这个问题,已经进行了一些尝试,以在CNN框架中包括非局部补丁相似性[34,10,24,44,11]。在文献中最广泛采用的假设是加性高斯白噪声(AWGN)。这通过以下事实来证明:在成像传感器处由光子计数过程生成的噪声可以被建模为泊松噪声,泊松噪声又可以在方差稳定变换(VST)之后通过AWGN来近似[1,29,28]。然而,在许多实际应用中,可用的数据不是直接来自传感器的原始数据。相机输出是处理流水线的结果,其可以包括量化、去马赛克、伽马校正、压缩等。流水线末端的噪声是空间相关的并且依赖于信号,并且难以建模。此外,图像或视频所经历的过程的细节通常是未知的。为了使事情变得更加困难,大量的图像和视频是由移动电话应用程序生成的这个处理的细节是未知的,并且可能随着不同的版本而改变。处理这种情况的文献要有限得多作品[23,16]解决了去噪噪声压缩图像。RF3D [26]处理红外视频中的相关噪声。数据驱动的方法在建模不具有挑战性时提供了一个有趣的CNN已成功应用于对具有非高斯噪声的图像进行降噪[48,8,18]。 在噪声类型未知的应用中,可以使用模型盲网络,如DnCNN-3 [48],经过训练可以对几种类型的噪声进行降噪,或者[18]的盲目去噪器。然而,这些有两个重要的限制。首先,这种模型盲去噪网络的性能相对于模型特定的网络经常下降[48]。其次,训练网络需要一个被我们希望去除的每种类型的噪声损坏的图像数据集(或者合成生成它的能力[18])。为真实照片生成地面实况数据并不简单[32,8]。此外,在许多情况下,我们无法使用相机,只有一张图像或一段视频。在这项工作中,我们表明,对于某些类型的噪声,在视频去噪的背景下,一个视频就足够了:通过将视频本身视为数据集,可以从单个噪声视频训练网络。我们的方法受到两项工作的启发:单次对象分割方法[6]和[25]在去噪背景下提出的噪声到噪声训练。单次学习的目的是训练一个分类器网络,以仅使用非常有限的标记示例来对新类别进行最近Caelleset al.[6]提出了一种用于视频中对象分割的一次性框架,其中对象在第一帧上被手动分割,目标是在其余帧中对其进行分割。他们的主要贡献是使用预先训练的分类网络,该网络被微调为第一帧的手动然后,这个微调的网络能够在其余的帧中分割对象。这将一次性原则从分类推广到其他类型的问题。 借用[6]中的概念,我们的工作可以解释为一次性盲视频去噪方法:网络可以通过将不可见的噪声类型微调到单个视频来对它进行降噪。然而,在我们的情况下,我们不需要“标签”(即,没有噪声的地面实况图像)。相反,我们受益于[25]提出的噪声到噪声训练:可以通过惩罚给定同一图像的噪声和第二噪声版本的预测输出之间的损失来训练去噪网络,其中噪声的实现是独立的。我们受益于视频的时间冗余,并使用相邻帧之间的噪声到噪声训练也就是说,通过最小化预测帧与过去(或未来)帧之间的误差来训练网络。用于预训练网络的噪声可能与视频中的噪声类型非常不同。我们提出了不同的工具,即一种最先进的去噪网络DnCNN [48]和一种称为noise2noise [25]的去噪训练原理,这是在第2节中导出我们的改进模型所必需的。我们在第3节中提出了真正的盲去噪原理。我们比较了我们的盲去噪器的质量与第4节中的最新技术。最后,我们总结并在第5节中为这种类型的去噪打开新的视角。113712. 预赛所提出的模型盲去噪器建立在DnCNN和噪声到噪声训练的基础上。在本节中,我们提供了这些作品的简要回顾,以及其他一些相关的工作。2.1. DnCNNDnCNN [48]是第一个报告比基于补丁的方法(如BM3D [13]和WNNM [17])有显着改进的神经网络。它有一个简单的架构,灵感来自VGG网络[40],由17个控制器组成旋转层第一层由64个3×3组成,随后是ReLU激活,并输出64个特征图。接下来的15层还计算64个3×3卷积,然后进行批量归一化[19]和ReLU。输出层只是一个3 ×3卷积层。为了改进训练,除了批量归一化层之外,DnCNN还使用残差学习,这意味着网络被训练来预测输入图像中的噪声,而不是干净图像。这背后的直觉是,如果从噪声输入f到干净目标u的映射接近于恒等函数,则对于网络学习残差映射,f›→f−u。DnCNN以相当简单的架构为高斯噪声提供了最先进的图像去噪。因此,我们将在所有实验中使用它。2.2. 噪音训练训练神经网络去噪(或其它图像恢复问题)的通常方法是根据噪声模型从干净图像ui合成退化图像fi然后通过最小化惩罚网络预测Fθ(fi)和净目标ui之间损失的经验风险。该方法不能应用于噪声模型未知的许多实际情况在这些设置中,噪声不能被合成地添加到干净的图像中。一个人可以产生嘈杂的通过获取数据(例如通过相机拍照),但相应的干净目标是未知的,或者难以获取[9,32]。Lehtinen等人[25]最近指出,对于某些类型的噪声,有可能从对应于相同的干净基础数据和独立噪声实现的噪声图像对(Fi,Gi)训练去噪网络,从而消除对干净数据的需要这允许学习网络的噪声,不能很容易地建模(一个适当的选择的损失仍然是必要的,但使网络收敛到一个良好的去噪)。假设对(f,u)根据p(f,u)= p(u)分布|f)p(f). 对于无限大的数据集,估计量F的经验风险收敛于贝叶斯风险,即预期损失:R(F)=Ef,u{F(u),f)}. 最佳估计量F取决于损失的选择根据贝叶斯估计理论[20],我们知道:1L=L2⇒F(f)=E{u|f}(一)L1=L1⇒F(f)=median {u|f}(二)=L0|f}(3)这里E{u|f}表示后验分布p(u)的期望|f)给定噪声观 测 f 。 在 训 练 过 程 中 , 网 络 学 习 近 似 映 射f<$→F<$(f)。导致噪音对噪音训练的关键观察当在F(f)和g之间计算损失时,同样的最佳估计量适用,g是联合 在这种情况下,我们获得后验p(g)的均值、中值和众数|f)的方法。然后,例如,如果噪声使得E{g|f}=E{u|f},则可以通过最小化F(f)与第二噪声观测g之间的MSE损失来训练网络。如果中位数(resp.模式)被保留1.一个人,可以使用L0)损失。3. 模型盲视频去噪在本节中,我们将展示如何使用针对任意噪声学习的预训练去噪网络,并使用单个视频序列将其微调为其他目标噪声类型,从而获得与针对经典噪声的目标噪声专门训练的网络相同的性能这种微调可以离线(使用整个视频作为数据集)或在线完成,即,逐帧,这取决于应用程序和手头的计算资源。正如我们将在第4节中展示的那样,从预先训练的网络开始是成功训练的关键,因为我们没有像[25]中那样的大数据集,而只有一个视频序列。预训练网络的使用部分地受到诸如Za- mir等人的关于迁移学习的工作的激励。[47 ]第47段。对不同的噪声模型进行降噪是相关的任务。我们的直觉是,网络的一部分专注于噪声类型,而其余部分则对自然图像的特征进行编码。我们的方法受到[6]的一次性视频对象分割方法的启发,其中使用手动分割的第一帧微调分类网络,然后将其应用于其他帧。与分割问题相反,我们不假设我们有一个真实的基础(干净的帧)。相反,我们将噪声到噪声训练适应于单个视频。我们需要对同一个底层干净图像的独立噪声观测。为此,我们利用视频中的时间冗余:我们认为连续帧是对相同的基本干净的观测,1中位数和众数是按元素取的。对于连续随机变量,L0损失被定义为一个极限.见[20]和[25]。11372t1t−1t−1t−1t−1t−1由场景中的运动变换的信号。为了解释运动,我们需要估计它并将一帧扭曲到另一帧。我们使用光流估计运动。我们使用TV-L1光流[46]和[37]中的实现这种方法是相当快的,是相当强大的噪声时,在一个粗略的规模计算的流量让我们用vt表示从帧ft到在实践中经常遇到的噪声类型(泊松、JPEG压缩、低频。噪声)可以通过L1损失和配准来处理。我们现在有了图像对(ft,fw)和相应的遮挡掩模κt,我们应用噪声对噪声原理来微调这个数据集上的网络。为了增加训练样本的数量,sym-帧ft−1。弯曲的ft−1则为f w(x)=ft−1(x+也可以进行度量变形,即,warping ft+1to ftvt(x))(我们使用双线性插值)。类似地,我们使用从ft到ft+1的前向光流来定义。这允许翘曲的清洁框架uw .我们假设来加倍用于微调的数据量。 我们考虑两个设置:离线和在线培训。(i)扭曲的干净帧u_w匹配u_t,即,ut(x)uw(x),以及离线 微调我们 表示 的 网络 作为(ii)连续帧的噪声是独立的。从t到t-1的反向流中的被遮挡像素在帧t-1中不具有对应性。但参数化函数Fθ,其中θ是参数向量。在离线设置中,我们对网络参数进行通过在视频中的所有帧上进行固定数目N光流为它们分配一个值。 我们使用一个简单的occlu-探测器来消除这些错误的对应关系。检测遮挡的一种简单方法是确定光流发散较大的区域[4]。因此,我们将二进制遮挡掩模定义为N,θ0θft=arg minθN,θ0ΣTt=1Fθ(ft),fw,κt)(6)kt(x)=.0 如果|divvt(x)|> τ(4)1 如果|divvt(x)|≤ τ。其中,通过arg minE(θ),我们表示这样的算子:θ从θ0开始的函数E的N个优化步骤,遵循给定的优化算法(例如梯度下降,Adam [21]等)。的初始条件具有指向图像区域外的光流的像素被认为是被遮挡的。在实践中,我们计算一个更保守的遮挡掩模通过扩大的结果方程。(四)、然后我们计算遮挡像素的损失。例如,对于L1损失,我们有:优化是预训练网络的参数向量。然后将微调后的网络应用于视频的其余部分。在线微调在在线设置中,我们以逐帧的方式训练网络。因此,我们使用不同的参数向量θft对每个帧进行降噪。在n.托夫特1(f,g,κ)=κ(x)|f(x)− g(x)|.(五)X我们计算θt 通过执行N个优化步骤,响应于帧t和t−1:类似地,可以定义其他损失的掩蔽版本在噪声到噪声设置中,损失的选择取决于ftt−1θft= argmin1(Fθ(ft),fw,κt)。(七)[25]关于噪声的特性噪音类型,可以通过噪声到噪声中的每个损失进行处理,具有精确的特征(噪声位置的平均值/中值/模式),内部p(g|f)必须等于干净的poster-rior p(u|f))。这需要一些关于噪声分布的知识由于缺乏这种知识,这种方法相当快,另一种方法是测试不同的损耗,看看哪一种能给出最好的结果。原则上,我们的方法能够处理与噪声到噪声相同的噪声类型。在实践中,我们有一些限制强加的登记,因为它降低了严重的噪音。出于这个原因,我们不显示与非中值保持噪声需要L0损失的例子。对于我们所有的实验,我们使用掩蔽的L1损失,因为它具有比L2更好的训练属性[50]。最相关N,θ11373不t t−1θ该迭代的初始条件由前一帧处的微调参数向量θft给出。使用预先训练的网络对第一帧进行降噪。第二帧开始微调.一个合理的担忧是,网络在每一步都过度拟合了噪声和帧的给定实现。如果我们在单个帧处使用大量优化迭代N,则确实是这种情况。在[42]中报告了类似的行为,它训练网络以最小化单个数据点的损失。我们通过使用少量的迭代来防止这种情况发生(例如,N=20)。我们已经观察到,在t处微调的参数可以被应用于对任何其他帧进行降噪,而性能没有任何显著下降。11374不在线微调通过不断调整网络以适应噪声和信号分布的变化来解决终身学习的问题[47当噪声的统计取决于时变参数(例如受温度影响的成像传感器)时,这特别有用。4. 实验在本节中,我们通过几个实验结果证明了所提出的微调盲去噪方法的灵活性。对于所有这些实验,微调过程的起点是针对标准的加性高斯白噪声训练的DnCNN网络。变异σ=25。在所有情况下,我们使用相同的超参数进行微调:学习率为5。Adam优化器的10- 5和N=20次对于离线情况,我们使用整个视频。本节中使用的视频来自Derf它们用于重现本节所述结果的代码和数据可在https上获得//github.com/tehret/blind-denoising网站。据我们所知,文献中没有任何其他我们将比较不同类型噪声的最先进的方法。大多数方法都是针对特定的噪声模型和特定的噪声水平而设计(或训练)的。我们还将与Le- brun等人提出的图像去噪方法进行比较。[23]其假设具有取决于图像的强度和局部频率的方差的高斯噪声模型。提出了一种用于压缩噪声图像去噪的模型.我们无法与一些最近的盲去噪方法进行比较,例如[9],因为没有可用的代码。我们将与DnCNN[48]和VBM3D [12]进行比较。VBM3D是一种视频去噪算法。所有其他方法都是逐帧应用的图像去噪(视频的视角在第5节中提到)。第一个实验的目标是与常规方式针对这些噪声训练的参考网络每帧PSNR如图2所示。我们将所提出的学习过程应用于受标准差σ=25的AWGN污染的序列,这正是网络训练的噪声类型,并验证了它不会恶化预训练。离线微调与预先训练的网络相当。在线处理的PSNR具有较高的方差,对于某些帧具有一些显著的下降对于σ=50,我们可以看到两个微调的网络都比σ=25的预训练网络表现更好。事实上他们的表现2https://media.xiph.org/video/derf/网站363432302826240 50 100 150 200 250 300 350帧32302826242220180 50 100 150 200 250 300 350帧图2:微调过程是在由标准差σ=25(上图)或σ=50(下图)的加性高斯噪声破坏的序列上完成的微调网络(离线和在线)实现了与参考网络相当的性能。与专门针对σ=50训练的DnCNN网络一样好(实际上,离线训练的性能甚至略优于参考网络)。我们的过程也优于[ 23 ]的我们亦曾就其他四类噪音测试建议的微调:乘法高斯、相关、椒盐和压缩高斯。我们在图3中呈现了对应的每帧PSNR。多重高斯噪声由下式给出:ft(x)=ut(x)+rt(x)ut(x),(8)其中rt(x)是标准偏差为75/255的高斯白噪声(图像在范围[0,1]内)。结果方差σ2(x)取决于像素强度ut(x)。相关噪声通过将AWGN与圆盘核卷积来获得得到的标准偏差为σ=25。盐和胡椒均匀噪声类似于[25]中使用的噪声,通过替换为概率0获得。25具有在[0,1]中均匀采样的值的像素的值。最后,压缩的高斯噪声,从压缩的图像被破坏的AWGN为σ=25与JPEG。最后一个特别有趣,因为它是一个现实的用例,噪声模型很难估计[16]。虽然在这种情况下,可以在数据集上同步生成噪声来训练网络,但这对于其他压缩工具(例如,对于专业技术)是不可能的。 我们可以看到,DnCNN25在线微调批量微调噪音诊所DnCNN 25在线微调批量微调DnCNN50噪音诊所峰值信噪比(dB)峰值信噪比(dB)11375的t0方法步行人群足球站平均法 拟议培训的主要参数是学习速率和每帧迭代次数较少的迭代需要更多的帧来收敛。反过来,结果具有较小的方差。可以对学习率进行类似的分析。我们还展示了使用预先训练的网络与随机初始化相比的重要性。存在有利于预训练网络的2dB差距。另一个重要的参数是用于微调的帧数。微调停止在帧t0和θft 用于处理剩余帧。表1:具有标准偏差σ=50的AGWN的4个序列的PSNR值。方法步行人群足球站平均我们可以看到,用于微调的帧越多,性能就越好最后,图7显示了终身学习的例子。第一个示例示出了缓慢演变的噪声(从具有标准偏差σ=25的高斯噪声开始,线性增加直到σ=50)。微调网络分别对于σ=25和σ=50,性能优于两个参考网络。 第二个示例示出了突然的变化(从具有标准偏差σ=50的高斯噪声开始,并且在帧200处改变为椒盐噪声)。在这种情况下,经过微调的网络可以快速适应新的噪声模型。运行时间取决于网络。我们使用了DnCNN,但也可以使用其他网络进行训练。表2:JPEG压缩AWGN噪声其中σ=25,压缩因子为10。对所有例子进行微调。离线训练更稳定(方差更小),并给出稍好的结果,尽管差异很小。与其他方法的视觉比较如图4所示,JPEG压缩噪声和图5中的AWGN与σ=50。 补充材料中提供了真实数据的直观示例。微调的结果是,网络没有可见的伪影,并且在视觉上令人愉悦,即使网络在微调之前从未见过这种类型的噪声。该方法的一个局限性是纹理的过度平滑。事实上,DnCNN有过度平滑纹理的趋势。使用为视频去噪设计的网络应该有助于恢复更多的纹理并提高时间一致性[14]。另一个原因是光流。由于它是在缩小的噪声帧上计算的,因此它在边缘周围是不精确的。这导致帧之间的错误对应,并引入一些模糊。改进的配准应该会带来更清晰的结果。在表1和表2中,我们显示了在σ=50的AWGN和σ=25的JPEG压缩AWGN以及压缩因子10的情况下,在4个序列上获得的结果的PSNR。对于AWGN的情况,微调网络达到针对该特定噪声训练的DnCNN的性能。对于JPEG压缩的高斯噪声,批量微调网络的平均值为0。比预训练网络高3dB图6显示了不同参数的影响与所提出的方法。 每次微调迭代运行一个反向传播步骤 , 该 步 骤 花 费 0 。 33 秒 的 NVIDIA Ti- tan XP 的DnCNN为960×540帧。50帧,每帧20次迭代需要5分钟。相比之下,在数据集上从头开始训练DnCNN需要大约6小时(and数据集)。通过使用更轻的网络,每帧迭代有可能实现实时帧速率。此外,对于计算效率重要的情况,可以在开始时对固定数量的帧进行微调,或者在后台运行每个数量的帧5. 讨论和展望基于深度学习的去噪方法通常需要大型数据集才能实现最先进的性能。Lehtinen等人[25]指出,在许多情况下,干净的地面实况图像是不必要的,从而简化了训练数据集的获取。通过本文中提出的框架,我们更进一步,表明单个视频通常就足够了,不需要图像数据集。通过在通用预训练网络上应用简单的帧到帧训练(例如,针对具有固定标准差的加性高斯噪声训练的DnCNN网络),我们成功地对各种不同的噪声模型进行了降噪,即使网络在微调之前从未见过视频或噪声模型这为轻松处理来自任何未知来源的数据提供了可能性。我们认为目前的微调过程仍然可以DnCNN 2517.0211.2415.0913.8614.30DnCNN 5031.0225.8331.6730.0929.65在线微调30.8425.5831.3329.9029.59批量微调31.2225.8331.5430.3929.75噪音诊所23.8522.1324.5724.3923.74VBM3D31.5727.0231.9731.3330.47DnCNN 2532.6227.3132.4831.4830.97在线微调32.8627.2032.7930.8830.94批量微调33.2827.1932.9131.5831.24噪音诊所27.6225.1727.2026.8926.72VBM3D34.1628.9533.8333.5332.6211376363432302826240 50 100 150 200 250 300 350帧2423.52322.52221.52120.5DnCNN25在线微调批量微调噪音诊所0 50 100 150 200 250 300 350帧3230282624222018160 50 100 150 200 250 300350帧3432302826240 50 100 150 200 250 300 350帧图3:不同类型的噪音。从左上到右下:乘性高斯噪声、相关高斯噪声、椒盐噪声、JPEG压缩后的高斯噪声。微调后的网络(在线和批处理)总是比原始网络性能更好。图4:JPEG压缩高斯噪声损坏的图像去噪示例。与用于微调过程的原始DnCNN相反,微调后的网络 从左到右,从上到下:噪声,微调,VBM3D,地面实况,DnCNN训练高斯噪声,噪声诊所。提高首先,考虑到应用是视频去噪,预计视频去噪网络将获得更好的结果(DnCNN网络独立于其他帧处理每一帧)。利用时间信息可以提高去噪质量,就像视频去噪方法比逐帧im-to-frame方法更好一样。年龄去噪的方法,而且还可能稳定方差的结果进行在线微调。确认作者衷心感谢NVIDIA公司捐赠Titan XpDnCNN 25在线微调批量微调噪音诊所DnCNN 25在线微调批量微调噪音诊所峰值信噪比(dB)DnCNN 25在线微调批量微调噪音诊所峰值信噪比(dB)峰值信噪比(dB)峰值信噪比(dB)11377图5:标准差σ=50的高斯噪声破坏的图像去噪示例。微调后的网络从左到右,从上到下:噪声,微调,针对σ = 50的高斯噪声训练的DnCNN,VBM3D,地面实况,噪声诊所,针对σ = 25的高斯噪声训练的DnCNN。323028262422201816140 50 100 150 200 250 300 350帧3432302826242220180 50 100 150 200 250 300 350帧3230282624222018160 50 100 150 200 250 300 350帧323028262422200 50 100 150 200 250 300 350帧图6:参数的影响。上图:学习率和迭代次数的影响。它还显示了使用预先训练的网络和随机初始化之间的差距。底部:用于微调的帧数的影响GPU用于本研究。由IDEX Paris-Saclay IDI 2016部分资助的工作,ANR-11-IDEX-0003-02,Of-海军研究基金申请表N 00014 -17-1-2552,DGA图7:终身学习。上一篇:缓慢的变化下:突变。经过微调的网络能够毫无困难地适应缓慢的变化和突然的变化。更多详情请Astrid 项 目 «filmer la Terre»编 号 ANR-17-ASTR-0013-01,MENRT。随机初始化, lr5e-3,20iter。 随机初始化, lr5e-5,20iter。随机初始化, lr5e-6,20iter。预先训练,lr5e-5,5iter。预先训练,LR5E-5,50iter。预先所有102550100在线微调DnCNN 25DnCNN 50在线微调DnCNN50峰值信噪比(dB)峰值信噪比(dB)峰值信噪比(dB)峰值信噪比(dB)11378引用[1] F. J. 安 斯 库 姆 泊 松 、 二 项 和 负 二 项 数 据 的 转 换Biometrika,35(3/4):2462[2] A. 巴 布 训 练 一 个 主 动 随 机 场 用 于 实 时 图 像 去 噪 .Transactions on Image Processing , 18 ( 11 ) : 2451-2462,2009. 2[3] A.布阿德斯湾Coll和J. - M.莫瑞尔一种非局部图像去噪算法。见CVPR,第2卷,第60IEEE,2005年。1[4] A. Buades ,J.- L. Lisani和M. Miladin o v ic'. 基于光流估计的视频去噪。Transactions on Image Processing,25(6):2573-2586,2016. 4[5] H. C.伯格角J. Schleman和S.伤害。图像去噪:普通神经网络能与bm3d竞争吗?在CVPR中,第2392-2399页。IEEE,2012。一、二[6] S. 凯尔斯,K.- K. Maninis,J.蓬蒂塞湖莱亚尔-塔伊谢,D. Cremers和L.范古尔单镜头视频对象分割。见CVPR,第221-230页。IEEE,2017年。二、三[7] A. Chambolle和P. -L. 狮子通过总变差最小化的图像恢复及相关问题。Numerische Math- ematik,76(2):167-188,1997. 1[8] C.陈角,澳-地Chen,J. Xu,and V.科尔顿。学会在黑暗中看东西。在CVPR中,第3291-3300页。IEEE,2018年。2[9] J. 陈,J.Chen,H.Chao和M.杨基于噪声建模的生成对抗网络图像盲在CVPR中,第3155-3164页。IEEE,2018年。三、五[10] Y. Chen和T. Pock可训练的非线性反应扩散:一个灵活的快速有效的图像恢复框架。Transactions on PatternAnalysis and Machine Intelligence , 39 ( 6 ) : 1256-1272,6 2017。2[11] C.克鲁兹A. Foi,V.Katkovnik,and K.埃吉亚扎利安人用于图像去噪的非局部增强卷积神经网络。SignalProcessing Letters,25(8):1216- 1220,2018。2[12] K.达博夫河Foi和K.埃吉亚扎利安人基于稀疏三维变换域协同滤波的视频去噪。在欧洲信号处理会议上,第145-149页IEEE,2007年。5[13] K.达博夫河Foi,V.Katkovnik,and K.埃吉亚扎利安人结合块匹配和三维滤波的图像去噪。在图像处理中:算法和系统,神经网络和机器学习,卷6064,页606414。国际光学与光子学学会,2006年。第1、3条[14] A.戴维,T.埃雷特湾Facciolo,J. Morel和P.咏叹调基于CNN 的 非 局 部 视 频 去 噪 。 CoRR , abs/1811.12758 ,2018。6[15] M. Elad和M. Aharon通过学习字典上的稀疏和冗余表示进行图像去噪。图像处理的跨学科研究,15(12):3736-3745,2006. 1[16] M.冈萨雷斯普雷乔齐山口Musé,和A.阿尔曼萨使用cnn正则化的联合去噪和解压缩。见CVPR研讨会,第2598-2601页。IEEE,2018年。二、五[17] S.古湖,澳-地Zhang,W. Zuo和X.峰加权核范数最小化及其在图像去噪中的应用。在CVPR中,第2862-2869页。IEEE,2014。第1、3条11379[18] S. Guo,Z. Yan,K. Zhang,W. zuo和L.张某真实照片的卷积盲去噪。CVPR,2019年。2[19] S. Ioffe和C.赛格迪批次标准化:通过减少内部协变量移位来加速深度网络训练。在ICML,第448-456页中。PMLR,2015. 3[20] S.凯 统计处理基础估计理论:估计理论V 1,1993年。3[21] D. P. Kingma和J. BA. Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。4[22] M. Lebrun,A. Buades和J M.莫瑞尔一种非局部贝叶斯图像去噪算法。SIAM Journal on Imaging Sciences,6(3):1665-1688,2013。1[23] M.勒布伦湾科罗姆和J. - M.莫瑞尔噪音诊所:一种盲图像去噪算法。Image Processing On Line,5:1-54,2015. 二、五[24] S.左金米提斯卷积神经网络在非局部彩色图像去噪中的应用在CVPR中,第5882-5891页。IEEE,2017年。2[25] J.莱赫蒂宁,J.芒克伯格,J。哈塞尔格伦S。莱恩,T.Kar-ras,M. Aittala和T.艾拉Noise2noise:没有干净数据的学习图像恢复。ICML,第2971PMLR,2018。二三四五六[26] M. Maggioni,E. Sánchez-Monge和A. Foi.通过时空视频滤波联合去除随机和固定模式噪声Transactions onImage Processing,23(10):4282-4296,2014。2[27] J. Mairal,F. Bach,J. Ponce,G. Sapiro和A.齐瑟曼。图像复原的非局部稀疏模型。在CVPR中,第2272-2279页。IEEE,2009年。1[28] M. Makitalo 和 A. Foi.一 个 封 闭 形 式 的 近 似Anscombe 方 差 稳 定 化 变 换 的 精 确 无 偏 逆 。Transactions on Image Processing , 20 ( 9 ) : 2697-2698,2011。2[29] M. Makitalo和A. Foi.低计数泊松图像去噪中的最优反anscombe变换Trans-actions on Image Processing,20(1):99-109,2011. 2[30] X.毛角,澳-地沈,和Y。B.杨使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。In D.D.李,M。杉山联合卢克斯堡岛Guyon和R. Garnett,编辑,神经信息处 理 系 统 进 展 29 , 第 2802- 2810 页 。 CurranAssociates,Inc. 2016. 2[31] P. Moulin和J.刘某基于广义高斯和复杂度先验的多分辨 率 图 像 去 噪 方 案 Transactions on InformationTheory,45(3):9091[32] T. Plotz和S.罗斯用真实照片对去噪算法进行基准测试。见CVPR,第1586-1595页。IEEE,2017年。二、三[33] J. Portilla,V. Strela,M. Wainwright和E. 西蒙-切利。基于高斯尺度混合的图像去噪在waveletdomain 。 Transactions on Image Processing , 12(11):1338-1351,2003. 1[34] P. Qiao,Y.Dou,W.丰河,巴西-地Li和Y.尘学习非局部图像扩散用于图像去噪。国际多媒体会议,第1847-1855页。ACM,2017。211380[35] O.龙内贝格山口Fischer和T.布洛克斯U-net:用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议,第234-241页。施普林格,2015年。2[36] L. I. Rudin,S. Osher和E.法特米基于非线性全变分的噪声消除算法。Physica D:Nonlinear phenomenon,60(1-4):259-268,1992. 1[37] J. Sánchez Pérez,E. Meinhardt-Llopis和G.法乔洛Tv-l1光流 估 计 Image Processing On Line , 2013 : 137-150 ,2013。4[38] V. Santhanam,V. I. Morariu和L. S.戴维斯广义深度图像到图像回归。在CVPR中,第5609IEEE,2017年。2[39] 联合Schmidt和S.罗斯有效图像恢复的收缩场在CVPR中,第2774-2781页。IEEE,2014。2[40] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv:1409.1556,2014。3[41] C. Tomasi和R.曼杜奇灰度和彩色图像的双边滤波。见ICCV,第839-846页。IEEE,1998年。1[42] D. Ulyanov,A.Vedaldi和V.Lempitsky 深度图像先验。在CVPR中,第9446-9454页。IEEE,2018年。4[43] R.韦穆拉帕利岛Tuzel和M.刘某Deep Gaussian constantrandom field network:一种基于模型的深度网络,用于区分去噪。在CVPR中,第4801IEEE,2016. 2[44] D. Yang和J. Sun. Bm 3d-net:一个用于变换域协同过滤的卷积神经网络。Signal Processing Letters,25(1):55-59,2018。2[45] G. Yu,G. Sapiro和S.马拉特使用分段线性估计求解逆问题:从高斯混合模型到结构稀疏模型。图像处理学报,21(5),2012。1[46] C. Zach,T. Pock和H.比肖夫基于对偶性的实时tv-l1光流计算方法。在联合模式识别研讨会。Springer,2007.4[47] A. R.扎米尔A. Sax,W.申湖,澳-地J. Guibas,J. Malik和S. Savarese任务经济学:解开任务转移学习。在IEEE计算机视觉和模式识别会议论文集,第3712-3722页,2018年。三、五[48] K. Zhang,W.左,Y. Chen,中国粘蝇D. Meng和L.张某Be-yond a Gaussian Denoiser:Residual Learning of DeepCNNforImageDenoising.TransactionsonImageProcessing,26(7):3142-3155,7 2017. 二三五[49] K. Zhang,W. zuo和L.张某Ffdnet:基于cnn的图像去噪的 快 速 灵 活 解 决 方 案 。 Transactions on ImageProcessing,27(9):4608-4622,201
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功