图形和视觉计算：局部引导神经去噪

图形和视觉计算7（2022）200058技术部分局部引导神经去噪Lukas Bodea，Luka，Sebastian Merzbacha，Julian Kaltheunera，Michael Weinmannb，Reinhard Kleinaa波恩大学，Friedrich-Hirzebruch-Allee 8，Bonn，53115，Germanyb代尔夫特理工大学，Van Mourik Broekmanweg 6，Delft，2628 XE，荷兰ar t i cl e i nf o文章历史记录：接收21七月2022收到修订版2022年9月20日接受2022年9月22日2022年9月27日网上发售关键词：计算机图形学图像处理去噪SVBRDF恢复a b st ra ct噪声类伪影在各种领域的测量或拟合数据中很常见，例如摄影，点云或网格方面的几何重建，以及反射率测量和常用反射率模型对其的相应拟合。最先进的去噪方法专注于通常在摄影中观察到的特定噪声特性。然而，如果数据被位置相关的噪声破坏，这些方法不能很好地执行。一个典型的例子是采集非均匀材料，这导致不同的噪声水平，由于不同的行为的组件在采集或重建期间。我们首先通过自动确定输入数据中的位置相关噪声水平来解决这个问题，并证明最先进的去噪算法通常可以受益于这种指导，只需对其损失函数或正则化机制进行微小修改。为了生成这些信息用于指导，我们分析了分片方差，随后推导出每个像素的重要性值。我们在示例中展示了这种局部引导去噪的好处深度图像先验方法和Self2Self方法。版权所有2022作者。爱思唯尔有限公司出版这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍包含高水平噪声的数据对娱乐、广告和设计中的许多应用造成了巨大的问题。场景和对象的沉浸式体验依赖于各自的高保真度，并且受到捕获或建模过程产生的噪声数据的显著影响。不幸的是，在数据捕获期间无法避免某些类型和级别的噪声。物理或经济约束可能影响传感器的选择或在满足关于任务的计算负担的要求的同时可以处理的数据的量和质量。因此，方法通常被设计为对噪声数据具有鲁棒性。尽管包括传感器噪声的某些类型的噪声通常可以被鲁棒地处理，但是对包括压缩伪影或缺失数据的其他噪声类型的鲁棒性通常仍然缺乏并且依赖于复杂的去噪方法。在外观捕捉和建模领域-这篇文章是由M推荐出版维莫*通讯作者。电子邮件地址：lbode@cs.uni-bonn.de（L.Bode），merzbach@cs.uni-bonn.de（S.Merzbach），kaltheun@cs.uni-bonn.de(J. Kaltheuner），M. tudelft.nl（M.Weinmann），rk@cs.uni-bonn.de（R.Klein）。https://doi.org/10.1016/j.gvc.2022.200058Fig. 1. 我们提出了一种新的方法来消除图像中的空间集中噪声。给定有噪声的输入图像（顶行），指导图（中间行）可以用于以空间变化的方式控制最先进的去噪算法的去噪强度。 我们提出了一种全自动的方法来生成这样的指导信息，通过检测噪声像素的输入（中间行，下半部分）。因此，可以对输入的损坏像素进行降噪，同时保留其他像素的精细细节（底部）。它们的真实世界的同行-嘈杂的3D测量，不准确的校准和图像噪声必须处理。通常情况下，这些被非均匀的位置依赖破坏2666-6294/©2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表图形与视觉计算期刊首页：www.elsevier.com/locate/gvcL. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000582˜X;=： →噪音如图所示。1.一、处理这些数据的典型方法是应用图像恢复算法，如超分辨率，去噪和修复，其目的是从其损坏的版本x中恢复原始图像x。这可以用优化问题argminE（x;x）+R（x）（1）具有数据项E（x x）和正则化项R（x）。与特定于任务的数据项相比，找到一个好的先验R（x）很有挑战性对于满射映射gθ x，泛函（1）对应于argminE（g（θ）;xθ）+R（g（θ））.（二）如Ulyanov等人[1]所示，选择一个好的（可能是内射的）映射g可以去掉先前的项。通过将g（θ）定义为fθ（z），其中f由具有参数θ的深度神经网络给出，并使用固定的输入z，我们得到argminE（fθ（z）;xθ），（3）其可以基于梯度下降来求解，即，我们优化神经网络的参数以最终表示图像的搜索的恢复版本f θ（z）基于最优网络权重θ。换句话说，逆问题由深度网络本身正则化其他方法[2，3]将该方法与额外的先验结合。这些恢复方法（如Deep Image Prior）很难控制，这在上面的数据被位置相关噪声破坏的示例中造成了问题。在没有修改的情况下应用深度图像先验方法会导致精细细节的丢失或携带大量伪影。在本文中，我们提出了一种方法来控制最先进的基于学习的去噪算法的训练，以成功恢复这些数据。在拟合的空间变化双向反射分布函数（SVBRDF）的纹理，描述了表面的反射行为，我们展示了如何发生文物的特征属性，可以利用来指导优化的explanation的例子。 特别是，我们引入空间变化的指导手段，每个像素的重要性值，可以通过分析图像中的分块方差以全自动的方式计算。基于两种示例性去噪方法[1，4]，我们展示了如何在去噪过程中利用每像素重要性值，仅对原始算法进行微小修改（见图1）。①的人。我们验证了我们的方法与相应的原始算法相比的潜力，而无需修改以及另一种基于学习的最先进的去噪方法[5]，其中我们的方法在恢复图像的图像质量方面优于基线2. 相关工作在用于诸如恢复、去噪、超分辨率和去模糊等逆问题的基于模型的优化的上下文中，众所周知，通常涉及的正则化项对所得到的性能具有显著影响。因此，大量的努力已经花在寻找好的降噪先验。全变差[6，7]已被广泛应用，但结果可能会显示水彩样的伪影。进一步的方法包括高斯混合模型（GMM）[8]和计算昂贵的K-SVD降噪先验[9]。此外，非局部均值[10]以及块匹配和3D滤波（BM3D）[11]往往会对不表现出自相似性的图像的不规则结构进行过平滑处理。由于通过联合处理与颜色通道的独立处理[12]相比，它们已经显示出导致更好的性能，几项工作集中在颜色先验（例如[13流行的技术，如CBM3D[13]依赖于首先将图像解相关为亮度-色度颜色空间，并且随后分别对每个变换的颜色通道应用灰度BM 3D方法。然而，所得到的亮度-色度颜色通道仍然保持相关[16]，这表明联合处理RGB通道可能是有益的代替上述手工设计的方法，最近的工作特别集中在基于学习的方法，以找到相应的彩色图像先验捕捉给定数据的特性Zhang等人[17]学习的深度CNN去噪先验受益于GPU上推理的并行化，并利用了深度架构提供的先验建模能力在这项工作的基础上，Yang等人的去噪算法。[18]利用集成学习来改进结果，而Quan等人。[19]设计了一个复值CNN，以利用经典图像恢复算法的见解。然而，该方法涉及在数千个干净/嘈杂图像对的大型数据集上进行训练。尽管也依赖于图像数据集进行训练，但Recordrupted-to-Recordrupted [20]通过提出学习损坏图像到遵循相同噪声分布但噪声独立于输入图像中的噪声的其他损坏图像因此，可以通过对多个损坏的图像进行平均来找到干净的图像。相比之下，Ulyanov等人[1]关于深度图像先验（DIP）的未经训练的方法表明，单个输入图像的低级统计数据可以通过单个DIP生成器网络的结构来充分捕获。对抗性扰动的不变性和非鲁棒图像特征的抑制特别是在早期迭代中实现的[21]，之后开始发生过拟合为了避免过早停止，即找到合适的迭代次数，其中图像先验不过拟合噪声特性或伪影，其他工作依赖于贝叶斯方法[22，23]或基于深度解码器方法的欠参数化[24]，以防止过拟合并达到稳定的收敛性。关于DIP的进一步工作集中在优化底层网络架构，作为去噪过程的一部分[25，26]。这种深度先验的潜力也已被证明用于高光谱图像去噪[27，28]，甚至用于表面重建[29Quan等人在Self2Self中引入了一种类似的方法，与DIP相反，该方法不依赖于早期停止。[4]。他们没有找到从固定噪声到输入图像的映射，而是使用类似的U-Net架构来直接找到从噪声输入图像到干净图像的映射。正则化是通过采用伯努利输入掩蔽方案以及解码器层中的丢弃来处理的最近，CVF-SID [5]被提出作为一种自监督单图像去噪方法，通过端到端的方式分离在非盲图像去卷积领域，Chen等人[32]引入了一种空间自适应丢弃方案来处理由去模糊问题引入的解模糊。虽然也假设输入图像被高斯白噪声破坏，但它们依赖于噪声均匀分布在图像上并且独立于图像信号的假设，以便在去模糊过程中对图像进行降噪。θθL. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）20005833--联系我们N⊆I√）[客户端]}P=∑I=3. 方法我们工作的目标是拓宽问题的范围，使常用的基于学习的自监督单图像去噪算法能够成功地应用于。虽然不是我们工作的唯一用例，但我们专门针对任意数量的通道被位置相关噪声破坏的图像去噪问题，而不是均匀分布在整个图像上的噪声。目前的状况Nupper（x， y），取决于相应像素是低于还是高于块平均值μ（N（x， y）），使得N（x，y）=Nlower（x，y）<$Nupper（x，y）（7）和Nlower（x，y）<$Nupper（x，y）=<$。（8）随后，将两个子集的像素提升到R3中现有技术算法倾向于在原始干净的像素中引入额外的N{下，上}（x，y）=x′y′∈N{lower，upper}（x，y）、图像中的噪声我们首先提出了基于估计的每像素噪声水平的重要性图像的计算。随后，我们介绍I（x′，y′）⏐（九）对深度图像先验（DIP）的其中·{a， b}结合了·a和·b的公式，用于符号模拟。以及Self2Self（S2S）方法，以指导他们的阴谋 然后，协方差矩阵M3可能是骗局-根据重要性值进行去噪处理。3.1. 制导图N下部，上部结构化以执行奇异值分解（SVD）（de-像素（x， y）上的悬垂（pendence）为了符号简单而省略我们提出像M3这样的图像处理操作=U{lower，upper}VT、（十）根据每像素IM的指导图进行去噪N{下，上}{下，上}像素（x，y）的重要性值m（x，y），其中接近1的值指示输入图像的像素应保留在去噪图像中，而重要性接近0的像素其中σ{lower，upper}，i=Σ{lower，upper}，ii，即矩阵Σ{lower，upper}的对角项是奇异值。我们在寻找最小的奇异值应该尽可能地去噪，因为它们被假定为具有低信噪比。注意，这种重要性是σ下限、上限、最小值最小值{1，2，3}σ{lower，upper}，i（11）直接与像素的噪声电平相关，m（x，y）=1−n（x，y），（4）其中n（x， y）是像素（x， y）的噪声水平。虽然从图像信号计算真实噪声水平是一个约束不足的问题，但为了指导地图的目的，它足以找到它的粗略估计，因为我们可以依赖于底层去噪算法的自然正则化能力。如果使用RGB图像，则独立计算所有通道的噪声水平估计值。在第3.1.3节所述的重新映射步骤之前，计算所有通道噪声水平的最大值。对于本节的剩余部分，我们假设使用灰度图像来简化标记。3.1.1. 基于方差的噪声电平估计因为该值可以被解释为方差，因此可以被解释为子集在拟合到各个像素的平面的法线方向上的噪声量。由于这种分析是单独进行的像素的两个子集，该方法是强大的对图像的不连续性，而不是直接依赖于分片方差。此外，由于SVD，平滑的颜色梯度也不会被检测为噪声。这两个部分噪声水平估计可以通过选择适当的约简算子来约简为整个贴片的估计实验表明，采用σlower和σupper的最小值，效果最好.我们认为，一个额外的鲁棒性对检测高频细节的图像作为噪声是更重要的比额外的精度估计的噪声水平。因此，噪声水平可以估计为：基于噪声区域通常具有高方差的假设，简单的方法是将每个像素的噪声水平估计为相应像素的分块方差。nsvd（x，y）=s∈{min下，上}σs，min（x，y）.（十二）小区这样的邻域（x， y）的方差被定义为：n（x，y）=1∑（I（x′，y′）−μ（N（x，y）2（5）3.1.3. 重新映射尽管噪声像素通常具有更高的估计噪声水平值n{var，svd}（x，y），我们仍然可以观察到显著的值|（x′，y ′）∈ N（x，y）|(x′,y′) ∈N (x,y)并且任意像素集合P上的平均值被定义为：µ（）1（x′，y′）。（六）|（x ′，y ′）∈ P|(x′ ,y′) ∈P然而，这种噪声水平估计容易在输入图像中的不连续处产生错误的高值，我们通常希望在去噪图像中保留这些不连续处，使得这种方法仅适用于非常平滑的图像。对于干净的图像像素也是如此。非零噪声水平估计可能防止去噪网络的完全过拟合以清洁像素，并且因此可能为各个像素引入不想要的模糊。为了避免这种情况，我们应用重新映射技术来生成最终的引导图像。我们观察到，估计噪音水平的平方根即 对于干净的像素，像素值的标准偏差大致遵循如图1所示的高斯分布。 二、通过计算所有像素的噪声水平的直方图，我们找到了bin，假设此时的最高像素计数是平均值n峰值分布。 重新映射我们估计的3.1.2.基于SVD的噪声水平估计为了缓解上述问题，并允许更好地适应本地噪声特性，我们应用本地噪声水平估计。为此，我们建议将像素噪声水平值使用（2 N峰值）24 N峰值作为下限和第95百分位数N0。95作为上限并箝位到0， 1最终产生鲁棒的引导图像m{var svd}（x，y）= 1 −n{var，svd}− 4 npeak.（十{（varL. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000584三）邻域N（x， y）分成两个不相交的子集Nlower（x， y），n0. 95−4n峰值L. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000585[客户端]阿吉尔岛LDec我∑<$（（I（x，y）−I（x，y））·wDec[客户端]L图二. 重 新 映射程序：估计的噪声水平的平方根，即像素值的标准偏差，大致遵循无噪声像素的高斯分布。通过找到分布的峰值，可以丢弃相应的像素（左），并且将直到第95百分位的剩余部分重新映射到 01从而产生鲁棒的引导地图（中间）。这也适用于其他例子（右）。图三. 原始DIP：基于噪声输入图像，训练修改后的U-Net [33]以将固定噪声图像映射到噪声输入图像本身。 在训练过程中，由于网络固有的正则化能力，自然图像内容首先被学习。提前停止用于在达到最高质量时立即停止训练过程。如果进一步训练网络，网络输出最终将收敛到实际的噪声输入图像。3.2. 引导深度图像先验首先学习噪声输入图像的高频分量，而仅在稍后阶段学习高频分量。因此，通过在网络学习重建不需要的噪声之前中断训练过程，我们可以将网络输出视为去噪图像。对于进一步的正则化，从正态分布N（0， 1/ 30）中提取的随机噪声在每个步骤中被添加到网络输入，以进一步正则化训练过程。与原始方法一样，网络的输出在多次迭代中根据下式以指数权重进行平滑：Ii=0。01Ii+0.99Ii−1，（ 14）其中i是迭代i中的输出图像，i是实际的网络预测。通过这种方式，训练后的网络意外产生的伪影大多被平滑掉，从而产生更准确的解释。如果没有不同的说法，我们在去噪设置中使用与原始方法相同的超参数。特别地，我们将网络配置为具有编码器和解码器，每个编码器和解码器由具有128个滤波器的五个双卷积层组成。每个双卷积还包含批量归一化和LeakyReLU激活函数。反射填充被使用，因为它被描述为最好的工作由作者[1]。使用标准Ulyanov等人[1]提出的2-loss会导致干净部分中的精细细节丢失，而伪影已经被网络学习到损坏的部分，因此会被带到输出图像中。由于系统的原因，伪影可能局限于噪声输入图像的某些部分，因此我们提出了一种引导损失功能，以进一步控制恢复过程。为此，我们使用第3.1节中描述的引导图像。根据像素该权重取决于当前迭代次数i，随着时间的推移减少相应像素对损失由此产生的损失期限为生成的引导图像可以很容易地用于最先进的去噪算法，如DIP[1]。这种方法使用Ldec1为|我|我我Dec（x，y）∈I（x，y））2.（十五）神经网络作为图像恢复任务的自然先验，包括去噪。 如图所示 3、网络输入衰减权重Wi（x， y）被选择为具有指数分布。是具有32个通道的固定噪声图像，其由在0，0范围内均匀分布的随机数组成。1 .一、迭代地，网络学习从噪声图像到噪声输入的映射- 在初始预热阶段之后的衰减，其对损失有全部贡献（为了符号简单，省略了对像素（x， y）的依赖性）：图像通过最小化2-损失。在这个训练过程中，网络学习更自然的低频分量我Dec1我<的世界（0. 九比零。1m）（i−κw）·κr·（1−κc）+κc否则，（十六）我的天WL. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000586==Dec==-=-M见图4。衰减DIP的每像素权重使得能够局部控制去噪效果。在具有完全去噪强度的初始预热阶段（此处κ w=225）之后，权重以指数方式衰减（此处κr=0）。15），并收敛于一个固定的下限（这里κc= 0。2用于可视化目的，但设置为多个单独的网络和平均各自的结果。作者已经表明，这提高了所得图像的质量。类似于我们修改的DIP方法，我们使用原始作者类似于DIP，S2S在干净区域中导致不必要的模糊，这对于我们设置空间集中噪声是一个问题。此外，我们无法控制去噪强度，如果信噪比 在输入图像中为低。为了缓解这些问题，我们提出了S2S的泛化，以允许利用我们的指导信息以及额外的去噪强度参数。与原始算法一样，目标是生成两个二进制图像掩码-M1，用于掩蔽网络输入图像，κc= 0。02在所有实验期间）。图五、 原始S2 S：修改后的U-Net [33]被训练为自动编码器，以映射t用于在损失函数中掩蔽差异图像。这里的基本思想是使网络过拟合重要性高的像素，但对重要性低的图像进行降噪。我们通过基于每像素概率p{i，t }对二进制掩码进行采样来实现这一点，p { i，t}定义为：pi=pimp·1+（1−pimp）·pm·pd（17）pt= pimp·1+（1 − pimp）·（1 − p m）·p d。（18）与噪声输入图像本身。在训练过程中，应用了两种不同的正则化机制：首先，执行Bernoulli掩蔽以分离噪声pimp（x，y）=m（x，y）κm，（19）将图像分割成用作网络输入的像素子集，并且将其他像素用作损失函数中的目标图像。这样，损失只计算在在各个迭代中网络看不到的像素上。其次，网络解码器层的dropout进一步帮助防止自动编码器学习噪声。其中，κw指定没有任何权重衰减的初始预热迭代次数，而κr控制衰减速率，κc指定单个权重的贡献的下限。基于所述引导图像m来控制对高重要性图像部分的过拟合。此外，κm控制具有中等重要性值的像素的去噪强度（我们设置κm2 在所有的实验中），并且Pd是从两个掩模中完全丢弃像素以进一步增加去噪效果的概率。在没有明确说明的地方，我们使用p d0。01我们的实验直观地，所得到的掩模可以被认为是线性互-在完全没有掩蔽发生之间的polation，即，M{i，t}=I，并且象素注意我们设计wi收敛到κc而不是0标准S2S输入屏蔽根据pimp与一个额外的以避免引导图像不完全适合退化区域我们依靠网络本身的自然图像我们使用kw225，κr0。15和κc0。我们所有的实验。相应的曲线图如图2所示。 四、3.3. Self2自我第二个示例性算法，我们正在仔细研究这里是S2S [4]。与DIP类似，该算法依赖于神经网络提供的固有正则化能力。 与DIP相反，如图5所示，S2 S使用类似U-Net的网络将噪声图像映射到恢复图像。为了防止过度拟合，作者添加了两个额外的正则化机制：网络输入图像的掩蔽以及解码器层中的丢失和通过对输入图像应用伯努利采样来执行掩蔽，使得我们得到包含概率为pm的1和否则为0的掩码。因此，该掩模可以用于将输入图像的像素划分为两个子集。 在将图像提供给网络之前，它乘以掩码。因此，只有第一个像素子集对网络输出有贡献。此外，L2损失被修改为仅使用在相应迭代中对网络不可见的像素。直观地说，该网络经过优化，可以预测尽可能接近噪声输入图像的解码器层中的丢弃是正则化的另一种手段。与大多数依赖dropout的方法相反，它在测试模式下不会被禁用。相反，网络会被随机丢弃多次评估，以模拟训练在网络输入和损失计算中均不考虑像素的概率Pd原始的S2S方法对不相交的输入和目标掩码进行采样。为了在我们的泛化中复制这种行为，对于每个像素j，我们必须在采样期间处理四种不同的情况，并使用它们各自的概率：Pr（j∈Mi<$j∈Mt）=pb=pimp（20）Pr （j∈Mij∈Mt） =pi=pm·pd·（ 1−pimp）（ 21 ） Pr （ j∈Mij∈Mt ） =pt= （ 1 −pm ） ·pd· （ 1 − pimp ）（ 22 ） Pr （ j∈Mij∈Mt ） =pn= 1 − （ pb+pi+pt ） .（二十三）注意，设置pimp0和pd1产生原始S2S算法。为了确保网络能够过拟合高重要性像素，我们还修改了解码器层中使用的dropout，以使用修改后的dropout权重p_dropout=p_imp·0+（1−p_im_p）·p_dropout（ 24）每个神经元。对于具有较低分辨率的内部解码器层，相应地使用下采样的重要性图像4. 结果4.1. 测试数据我们使用Merzbach等人的拟合网络[34]. 测量L. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000587见图6。包 含 空间集中噪声的两个不同图像（顶行）的估计噪声水平。仅错误地使用分片方差（中间行）产生图像中的不连续性的高值对补丁进行基于SVD的分析（底部行）有助于过滤掉这些错误。见图7。 原始DIP和S2S方法的结果与我们修改后的变体的比较。第一行：Pantora SVBRDF拟合的漫反射纹理。二row：网络拟合纹理用作所有测试算法的输入。第三和第五行：原始去噪算法DIP和S2S。第四和第六行：Out使用基于SVD的引导图像的DIP和S2S算法的修改版本L. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000588∈NN∈∈ ∈∈∈∈见图8。 Merzbach等人[ 34 ]的拟合网络拟合的两个不同SVBRDF的渲染图。没有去噪（左），使用我们的指导去噪漫射纹理DIP变体（中）和使用我们的指导S2S变体（右）的去噪漫射纹理在UBOFAB 19数据库中可找到所有这些材料的详细信息[34]。UBOFAB 19数据库使用Ward BRDF [36]的 Geisler-Moroder变体[35]和Schlick的Fresnel近似项，因为该模型足以表达各种真实世界的该模型基于着色法线nsR3、漫射法线adR3、镜面反射系数asR3，波瓣粗糙度参数σxR和σyR、各向异性角α R和0-倾角反射系数F0R。我们只将我们的恢复过程应用于漫反射纹理，因为这些是最终渲染中大部分伪影的漫反射纹理Pantora [37] SVBRDF拟合如图1的第一行所示。7被认为是基础事实，因为它们也被用作训练Merzbach等人的拟合网络的标签。但是，请注意，网络拟合的SVBRDF不仅包含大量噪声，而且很可能存在偏差。因此，我们不能期望仅使用图像恢复方法来实现与地面真实情况无法区分的完美结果。4.2. 噪声水平估计图6中示出了使用朴素分块方差和更复杂的基于SVD的方法得到的两种不同纹理的估计噪声水平。这两种方法都成功地将高噪声水平分配给图像中实际存在噪声的区域。虽然朴素方法已经表现良好，但基于SVD的算法显著减少了不连续处的不必要的高值这在黄色图像的上部区域中清晰可见，其中黄色到灰色像素的突然过渡产生高的分块方差值，但产生低的基于SVD的噪声水平，因为上部和下部的各个子集可以通过平面很好地近似。由于基于SVD的噪声水平估计比朴素方法表现得更好而没有明显的缺点，因此我们将前者用于所有去噪实验。表1定量比较几种去噪方法对一组14个漫反射纹理的网络拟合SVBRDF使用各自的Pantora拟合的漫反射纹理作为地面实况。算法PSNR（↑）SSIM（↑）输入25.9294 0.5437CVF-SID [5] 27.8025 0.6085DIP-Base [1] 26.8042 0.5846DIP-OursS2S-Base [4] 27.4815 0.6149S2S-Ours4.3. 去噪图7描绘了对两个不同纹理的去噪结果。网络拟合纹理包含强烈的噪声伪影，特别是在捕获的织物的有光泽的区域中。 DIP和S2S都不能以令人满意的方式去除这些伪影，同时模糊了织物的干净结构。修改后的算法能够产生大多数是干净的彩色伪影的图像，但对于红色织物，我们的DIP变量似乎删除了更多的细节比必要的。使用引导S2S方法保留更多精细细节。在黄色织物上，我们的两种算法都产生了类似的结果，分别明显优于它们原来的对应物。我们的指导方法的强大去噪效果也可以在图中的渲染SVBRDF中看到。八、使用去噪漫反射纹理渲染的结果包含更少的干扰彩色伪影。定量比较可以在表1中找到，将我们的引导去噪方法与CVF-SID [5]，DIP [1]和S2 S [4]在14个不同图像的数据集上进行比较。我们正在计算所有图像的PSNR和平均SSIM，并对各自的值取平均值。对于这两个图像，值越高越好。我们的引导去噪算法不仅优于其原始补充，而且比另一种最先进的基于学习的去噪算法表现略好。L. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）2000589=Dec见图9。S2 S-Base（第二行）和S2 S-Ours（第三行）在三个自然图像和一个被空间集中的白噪声破坏的纹理上的比较（第一行，插图示出了用于S2 S-Ours的指导图）。 我们在 这些 实 验 中使用p d= 1。自然图像和完全不同的纹理的其他结果如图所示。第九章我们使用pd1进行这些实验。与原始的S2S方法相比，我们的引导方法能够在干净的像素中保留精细的细节4.4. 限制虽然在我们的示例中能够很好地区分干净和有噪声的图像部分，但很容易构建人工场景，其中我们基于SVD的噪声水平估计失败。然而，在这方面，我们的结果表明，它在实践中应该工作得很好，因为我们可以退回到去噪方法的自然正则化能力我们能够自适应地去噪部分噪声图像使用我们的指导去噪算法，因此能够克服一些原始方法的局限性，但其他问题与各自的方法保持不变。作为原来的DIP，我们的指导版本仍然依赖于超参数调整.尽管对我们的例子进行了计算，但最佳的训练迭代次数和w的选择是L. Bode，S. Merzbach，J. Kaltheuner等.图形和视觉计算7（2022）20005810控制参数对于每个噪声输入图像可能不相同，这也可能是图1中红色织物的噪声区域过度平滑的原因。第七章类似地，与是否被引导无关，S2S必须被调谐到预期噪声的方差最后，图9表明，与某些图像的原始方法然而，根据使用情况，这比丢失干净像素中的细节更可取。5. 结论和今后的工作在这项工作中，我们已经显示了现成的去噪算法的局限性，关于它们处理包含位置相关噪声样伪影的图像的能力。我们提出了一种新的方法来检测这样的噪声像素，并利用这些额外的信息来指导最先进的基于学习的去噪方法，只有很小的修改。根据底层去噪方法的性质，生成的指导图像可以用于提前停止图像部分的训练过程，同时继续其他部分的训练过程，或者可以用于指导随机正则化方法。通过结合这一额外的指导信息，所产生的去噪算法能够击败其原来的同行，以及优于另一个国家的最先进的去噪算法。由于我们的研究结果表明，其他去噪算法可以以类似的方式从我们的指导信息中受益，因此应该作为未来研究的一部分进行测试竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作数据可用性数据将根据要求提供。资金这项工作得到了DFG，Germany-Project KL 1142/9-2的支持。引用[1] Ulyanov D，Vedaldi A，Lempitsky V.深度图像先验。在：CVPR。2018，p.9446 -54[2] 放大图片作者：J. DeepRED：由RED提供的Deep Image Prior。In：ICCVworkshops.2019年。[3] 刘军，孙勇，徐翔，卡米洛夫美国.基于全变分正则化深度图像先验的图像恢复。在：声学，语音和信号处理国际会议。IEEE; 2019，p.7715-9[4] 关毅，陈明，彭庭，纪宏。Self2Self with dropout：从单个图像学习自监督去噪。在：CVPR。2020年，p.1890年8月。[5] Neshatavar R，Yavartanoo M，Son S，Lee KM. CVF-sid：循环多变量函数，用于自监督图像去噪，从图像中去除噪声。在：CVPR。^John，p.17583-91。[6] 尚博尔河全变差最小化算法及其应用。数学成像视觉杂志2004;20（1）：89-97.[7] Osher S，Burger M，Goldfarb D，Xu J，Yin W.基于全变分图像复原的迭代正则化方法。多尺度模拟2005;4（2）：460-89.[8]放大图片作者：Zoran D.从自然图像块的学习模型到整体图像恢复。In：ICCV.IEEE; 2011，p.479-86.[9]放大图片Elad M，Aharon M.通过学习字典上的稀疏和冗余表示进行图像去噪。IEEE TransImage Process2006;15（12）：3736-45.[10]Buades A，Coll B，Morel JM.一种非局部图像去噪算法。在：CVPR，Vol.二、IEEE; 2005，p.六成五[11]Dabov K，Foi A，Katkovnik V，Egiazarian K.稀疏图像去噪三 维 变换域协同过滤。IEEE Trans Image Process2007;16（8）：2080-95.[12]放大图片作者：Foi A，Katkovnik V，Egiazarian K.亮度-色度空间结构保持的逐点形状自适应DCT去噪。 参加：消费电子视频处理和质量指标国际研讨会。2006年。[13]Dabov K，Foi A，Katkovnik V，Egiazarian K.基于亮度-色度空间分组约束的稀疏三维协同滤波彩色图像去噪。在：国际会议上的图像处理，卷。1。IEEE;2007年。[14]放 大 图 片 作 者 ： J. 用 于 彩 色 图 像 恢 复 的 稀 疏 表 示 。 IEEE Trans ImageProcess2008;17（1）：53-69.[15]放大图片作者：A.基于高阶奇异值分解的图像去噪。TPAMI2012;35（4）：849-62。[16]宫田湾基于通道间关系的矢量全变分彩色图像恢复。在：图像处理国际会议。IEEE;2015，p. 2251-5[17]张凯，左伟，顾S，张磊。学习深度CNN去噪器，用于图像恢复。在：CVPR。2017年，p. 3929-38.[18]杨晓，徐艳，权艳，季华.基于序贯集成学习的图像去噪。IEEE Trans ImageProcess2020;29：5038-49.[19]Quan Y，Chen Y，Shao Y，Teng H，Xu Y，Ji H.使用复值深度CNN进行图像去噪。模式识别2021;111：107639。[20]Pang T，Zheng H，Quan Y，Ji H. Recorrupted-to-recorrupted：无监督深度学习图像去噪。在：CVPR。^P.2043-52[21]放大图片作者：A.探索深度图像先验的性质。在：NeurIPS 2019。2019年，海报。[22]Cheng Z，Gadelha M，Maji S，Sheldon D.一个关于深层图像先验的基本观点。在：CVPR。2019年，p.5443-51[23]托尔M，Laves MH，Schlaefer A.医学成像反问题中深度图像先验的平均场变分推理方法。在：机器学习研究论文集。2021年[24]Heckel R，Hand P.深度解码器：来自未经训练的 非卷积网络的简洁图像表示。In：ICLR.2019年。[25]陈永春，高C，罗博E，黄杰波。Nas-dip：在神经架构搜索之前学习深度图像。arXiv预印本arXiv：2008117132020。[26]Ho K，Gilbert A，Jin H，Collomosse J. Neural architecture search for deepimage prior. arXiv预印本arXiv：2001047762020。[27]Sidorov O ， Yngve Hardeberg J. Deep hyperspectral prior ： Single-imagenotifying，inpainting，super-resolution。In：ICCV workshops.2019年。[28]王丽，孙春，付永，金明华，黄宏。基于深空谱先验的高光谱图像重建。在：CVPR。 2019年，p. 8032 -41[29]Gadelha M，Wang R，Maji S.使用可微投影和深度先验的形状重建。In：ICCV.2019年，p.22-30分钟。[30]2005年10月27日，李文辉.曲面重构的深度几何先验。在：CVPR。2019年，p.10130-9[31]杨文忠，王晓刚，王晓刚. Point2Mesh：可变形网格的自先验。arXiv预印本arXiv：2005110842020。[32]陈明，全英，彭天，季华。在未经训练的深度神经网络中利用模型不确定性进行非盲图像反卷积。Int J Comput Vis2022;1-20.[33]杨伟，王伟. U-net：用于生物医学图像分割的卷积网络。在：医学图像计算和计算机辅助干预国际会议。Springer; 2015，p. 234比41[34]张文辉，张文辉，张文辉.空间变化BRDF的学习拟合。In：Comp. graph.论坛Wiley Online Library; 2019，p. 193 -205.[35]Geisler-Moroder D ， Dür A.一 个 新 的 有 界 边 界 的 ward BRDF 模 型 。 In ：Comp. graph. Forum ， Vol. 第 二 十 九 章 。 Wiley Online Library; 2010 ，p.1391-8.[36]沃德GJ。测量和建模各向异性反射。第19届计算机图形学和交互技术年会论文集。1992年，p. 265比72[37] X仪式Pantora材料中心。2019年，https://web.archive.org/web/20190424232441/https：www.xrite.com/categories/appearance/pantora-software。