基于非对称PD和盲点网络的真实图像自监督去噪

17725AP-BSN：基于非对称PD和盲点网络的真实图像自监督去噪Wooseok Lee1Sanghyun Son1Kyoung Mu Lee1，21 Dept.首尔国立大学欧洲经济委员会ASRI，2IPAI，adntjr4@gmail.com，{thstkdgus 35，kommu}@ snu.ac.kr摘要盲点网络（BSN）及其变体在自监督去噪方面取得了重大进展。尽管如此，由于不太实际的假设（如像素独立噪声），它们仍然受到合成噪声输入的约束。因此，使用自监督BSN来处理空间相关的真实世界噪声最近，像素重排下采样（PD）已经被提出来去除真实世界噪声的空间相关性。然而，直接集成PD和BSN并不简单，这阻碍了真实世界图像上的完全自监督去噪模型。我们提出了一个非对称PD（AP）来解决这个问题，它引入了不同的PD步幅因子用于训练和推理。我们系统地证明，建议的AP可以解决固有的权衡所造成的特定PD步长因素，使BSN适用于实际的情况。为此，我们开发了AP-BSN，这是一种最先进的自监督去噪方法，用于真实图像的去噪。(a) [43]第43话(c) [39]第三十九话（自我监督）(b)[40]第四十话：一个人的世界（未配对）(d) AP-BSN+ R3（Ours）（自我监督）世界sRGB图像。我们进一步提出了随机替换细化，这显着提高了我们的AP-BSN的性能，广泛的研究表明，我们的方法优于其他自监督，甚至不配对的去噪方法一个很大的幅度，而不使用任何额外的知识，例如，噪声水平，关于潜在的未知噪声。1. 介绍图像去噪是计算机视觉领域的重要课题之一，其目的是从噪声信号中恢复出清晰的图像。由于其在几个视觉相关应用中的实际使用，随着卷积神经网络（CNN）的出现，已经提出了几种基于学习的去噪算法[28，36，43，44]传统的方法通常采用加性高斯白噪声（AWGN）来获取大规模的训练数据，通过合成干净的噪声图像对来进行监督学习。从来没有-代码可在：https://github.com/wooseoklee4/AP-BSN图1. DND基准上不同去噪方法之间的视觉比较[34]。（a）DnCNN在来自SIDD [1]数据集的真实世界噪声-干净对上训练。(b)C2N使用干净的SIDD [1]和嘈杂的DND [34]样本以无监督的方式模拟真实世界的噪声分布。（我们标记PSNR（dB）和SSIM相对于地面实况清洁图像的定量比较。然而，在合成噪声上学习的模型在实践中不能很为了克服这一限制，已经进行了几次尝试来构建像SIDD [1]和NIND [4]这样的真实世界数据集对。使用真实世界的训练对，可以训练监督去噪方法[8，16，21，41，42]以从嘈杂的真实世界输入中恢复然而，构建真实世界的数据集需要大量的人力、严格控制的环境和复杂的后处理。此外，由于噪声的特性对于不同的捕获设备变化很大，所以难以将学习的模型推广到各种实际场景。17726最近，一些自我监督的方法[3，17，23，24，31，38，39]，它不依赖于成对的训练数据。这样的方法需要噪声图像仅用于训练，而不是干净的噪声对。其中，盲点网络（BSN）[23]是受Noise2Noise [25]启发的代表性方法之一。在噪声信号是逐像素独立和零均值的假设下，BSN从相邻的噪声像素重建干净的像素，而不参考相应的输入像素。基于BSN，几种方法[15，24，37]在合成噪声上实现了更好的性能，同时确保了严格的盲性。中心像素。然而，已知真实世界的噪声是空间相关的[6，20，32]，这不符合BSN的基本假设：噪声是逐像素独立的。为了打破空间相关性的现实世界的噪音，周等。[45]利用像素混洗下采样（PD）。PD通过以固定步幅因子对噪声图像进行二次采样来创建马赛克，从而增加噪声信号之间的实际距离。然而，当以完全自监督的方式处理真实世界噪声时，将PD集成到BSN是不平凡的，其中在没有来自额外的噪声清洁合成对的知识的情况下，它不能独立存在[37]。我们确定，这种限制的主要原因是像素独立的重建和重建质量之间的权衡。例如，大的PD步长因子（>3）确保严格的逐像素独立噪声假设并且在训练期间有益于BSN。怎么-而且，它还破坏了噪声图像的详细结构和纹理。相比之下，小PD步长因子（≤3）保留图像结构，但在训练BSN时不能满足受这些观察的启发，我们提出了Asymmetric PD（AP），它使用不同的步幅因子进行训练和推理。对于真实世界的噪声，我们系统地验证了训练和推断步幅的特定组合可以补偿彼此的缺点。然后，我们将AP集成到BSN（AP-BSN），其可以学习以完全自监督的方式对有噪声的真实世界输入进行去噪此外，我们提出了随机替换细化（R3），一种新的后处理方法，提高了我们的AP-BSN的性能，而无需任何额外的训练。据我们所知，我们的AP-BSN是第一次尝试为真实世界的sRGB噪声图像引入自监督BSN大量的研究表明，我们的方法不仅优于最先进的自监督去噪方法，而且还优于几种非监督/非配对方法。我们总结我们的贡献如下：• 为了以盲的方式处理空间相关的真实世界噪声，我们提出了一种新的自监督AP-BSN。我们的框架采用不对称PD步长因子与BSN结合进行训练和推理。• 我们提出了随机替换细化（R3），一种新的后处理方法，进一步提高了我们的AP- BSN没有任何额外的参数。• 我们的AP-BSN是第一个自监督BSN，它覆盖了真实世界的sRGB噪声输入，并且优于其他自监督甚至几个未配对的解决方案大幅度地。2. 相关工作深图像去噪为合成噪声除了经典的基于非学习的方法[2，9，12，18]之外，DnCNN [43]引入了一种基于CNN的架构，以从给定图像中去除AWGN。在DnCNN之后，已经提出了几种基于学习的方法，如FFDNet [44]，RED 30 [28]和MemNet [36]，具有先进的网络架构。然而，AWGN训练的方法遭受泛化到现实世界的去噪，由于实际和合成噪声之间的域差异。具体而言，Guoet al. [13]已经证明，当输入噪声信号是信号相关的[10]或空间相关的[6，20，32]时，基于AWGN的去噪器性能不佳。真实世界图像去噪。为了减少合成和真实世界去噪之间的差距，CBDNet [13]模拟了具有伽马校正和去马赛克的相机内ISP过程然后，合成的异方差高斯噪声可以被转换成现实的噪声信号，它可以被用来生成训练对的监督学习。Zhou等[45]提出了像素混洗下采样（PD），以用传统的AWGN去噪器覆盖空间相关的真实世界相比之下，已经有一些尝试从现实世界中捕获噪声干净的训练对[1，4]。 使用现实世界的配对，训练监督去噪方法[8，16，21，41，42]是简单的，其在相应的真实世界输入上很好地推广。然而，构建现实世界的对需要大量的劳动力，并不总是可用的。不成对图像去噪。当未配对的干净和真实世界噪声图像的集合可用时，几种方法利用生成方法[11]来从干净样本合成真实噪声[5，7，14，19]。其中，GCBD [7]选择性地使用噪声图像中的平坦区域最近，C2N [19]明确考虑了各种噪声特性，以更准确地模拟真实世界的使用生成的噪声-干净对，可以训练以下监督去噪模型[40，43]来处理真实世界的噪声。另一方面，Wuet al. [37]从自监督去噪模型中提取知识，同时采用合成的噪声-干净对。尽管如此，即使在非配对配置中，匹配干净和噪声数据集的场景统计数据也很重要[19]，这在实践中可能很困难。17727SIDDNIND相机SBSNS自监督去噪。现实世界去噪的一个主要瓶颈是缺乏适当的训练数据。因此，已经提出了几种方法来仅使用噪声图像来训练它们的模型。受Noise2Noise [25]的启发，Noise2Void [23]和Noise2Self [3]通过从输入图像中屏蔽一部分噪声像素来引入新的自监督学习框架。值得注意的是，BSN [23]的概念后来被扩展到更有效的架构，其形式为四个减半的接收域[24]或扩张和掩蔽卷积[37]。相关性10010−11 3 5 7d(a) 相对距离d相关性100420-210−1-4y/x-4-2024(b) 按相对位置虽然Noise 2Same [38]不使用BSN，但在去噪网络中使用了一个新的损失项来满足J-不变性质[3]另一方面，Neighbor 2Neighbor [17]获取噪声-噪声对进行自我监督对给定的输入进行二次采样。然而，上述自监督方法严重依赖于噪声信号是逐像素独立的假设。因此，当应用时，它们通常以学习标识映射结束到真实世界的sRGB图像，因为噪声信号是空间相关的[6，20，32]。最近的Noisier2Noise [29]，NAC [39]和R2R [31]将不同的合成噪声信号添加到给定的输入中，以形成辅助训练对。然而，Noisier 2Noise需要关于潜在噪声分布的先验知识，而Noisy-As-Clean依赖于弱噪声假设。R2R还需要几个先验信息，例如噪声水平和ISP功能，这在现实世界的场景中可能是不可用的。3. BSN和PD盲点网络。BSN [23]是传统CNN的变体，它看不到接收场中的中心像素来预测相应的输出像素。几研究[3，23]已经证明BSNB（·）能够以自监督的方式学习去噪噪声图像IN∈RH×W我们注意到图像的分辨率为H×W，为了简单起见，省略了颜色通道为了训练BSN，必须满足以下两个假设：噪声是空间上的，即，像素级、独立和零均值。在这样的假设下，已知[3，38]最小化自监督损失Lselfw.r.t.BSN相当于传统的监督学习，如下所示：图2.真实世界噪声的空间相关性分析。(a)当两个噪声信号之间的相对距离d增加时，它们的相关性降低。我们注意到不同的摄像机设备，SIDD[1]数据集中的Motorola Nexus 6（N6）或LG G4在空间相关性方面显示出类似的噪声行为，如虚线所示。(b)x轴和y轴分别表示沿水平和垂直方向拜耳滤波器[6，20，32]涉及噪声子像素之间的插值图2表明，在现实世界中，相邻像素之间的噪声强度基于它们的相对距离显示出不可忽略的相关性。由于邻近的噪声信号可以是用于推断看不见的中心像素的线索，因此我们已经确定BSN作为真实世界sRGB图像上的近似身份映射来操作像素混洗下采样。Zhou等[45]已经引入了PD的新概念，以分解真实世界噪声中的空间相关性。具体地，PDs可以被认为是具有步幅因子s的像素混洗[35]的逆操作。 由于真实世界的噪声信号与很少的相邻像素相关，PD过程中的二次采样可以打破它们之间的依赖性。然后，传统的去噪算法可以应用于下采样的图像，其中PD逆运算PD-1随后重建全尺寸输出。为了保留图像的纹理和细节，Zhou等. [45]将步幅因子设置为2，即，PD2，为了最好的表现。4. 方法我们的目标是以自我监督的方式在真实世界的sRGB图像上推广BSN。为此，我们采用PD并最小化以下损失LBSN来训练BSN：¨−1 ¨2LBSN=<$PDs（B（ PDs（ IN）− IN<$1Lself=EIN<$B（IN）−IN<$2=E2（一）SBSN -IN1（二）、IN，IC<$B（IN）−IC<$2+c=Lsuper+c，其中Is是来自PD和BSN流水线的输出，其中，IC∈RH×W分别是噪声输入IN的干净地面实况，Lsuper是监督去噪损失函数，c是常数。因此，构建了几种类型的BSN [24，37]即PDs-BSN。代替广泛使用的L2损失，我们使用L1范数以更好地推广[26]。简而言之，我们首先将给定的噪声图像IN分解成S2个子图像。我们注意到PDs（IN）是那些子图像的平铺[45]在逐像素独立噪声假设下。怎么-S子 ∈RH/s×W/s，如图所示。4.第一章然后，我们应用BSN然而，由于IM，真实世界的噪声在空间上是相关的。并重建输出Is使用信号处理器（ISP）。具体而言，对PD-逆运算PD−1。BSN=1我17728子子子(a) 真实世界噪声图像IN（b）干净图像IC(c)PD2-BSN（d）PD5-BSN图4. PD2和PD5之间的比较。每个操作将给定图像分解为4和25个子图像，分别。在PD 5的子图像中，我们标记了混叠伪影，即一个黑点，带有红色，这可以被解释为BSN的噪声。我们注意到伪影没有出现在蓝色子图像中。相关，其中BSN的逐像素独立噪声假设不成立。混淆伪影。尽管如此，从（e）Zhouet al.[45]（f）AP-BSN + R3（Ours）图3. 处理真实世界噪声时的PD s-BSN问题。(c)在小步幅因子的情况下，PD-BSN不能从输入IN中去除噪声。(d)随着大的步幅因子，PD-BSN破坏边缘结构。(e)当AWGN去噪器满足PD [45]时，该模型无法完全去除真实世界的噪声。(f)我们的自监督方法通过克服PD和BSN相结合的局限性提供了准确的去噪结果然而，将PD-BSN直接应用于真实世界的sRGB图像并不简单。而Wuet al. [37]也试图整合PD和BSN，他们求助于知识蒸馏结合额外的合成噪声-清洁对。我们还观察到，PD-BSN不适用于现实世界的噪声图像时，训练的自我监督损失方程。（二）、图图3c和3d表明，PD2-BSN和PD5-BSN不能从给定的噪声输入恢复干净和清晰的图像，而不管PD步幅因子s如何。4.1. PD BSN当将基于AWGN的去噪器应用于真实世界的图像时，Zhouet al.[45] I'm sorry.然而，我们有一个Ob-PDs遭受更强程度的混叠作为步幅因子s变得更大。从信号处理的角度来看，众所周知，当原始信号未被适当地带宽限制时，下采样图像会遭受混叠[30]。由于PD过程在子采样之前不利用低通滤波器，因此我们已经识别出当应用大步幅PD时，混叠作为噪声的形式出现，例如，s=5，如图所示。4.第一章4.2. PD BSN我们接下来建立一个训练PD S-BSN的策略为此目的，必须最小化训练输入图像IN中的噪声信号之间的相关性[23]。然而，如第4.1节中所讨论的，PD2不足以打破真实世界噪声的空间相关性。由于不满足BSN的基本假设，因此模型无法学习PD2去噪。通过设置s=5来抑制训练样本中噪声信号之间的空间相关性，我们可以在较小的子图像I5上训练BSN。我们注意到，BSN还学习去除由大PD步幅因子引起的混叠伪影。当高频信号在二次采样之前没有被去除时，就会发生混叠[30]。由于原始含噪图像中高频分量变化很快，因此可以忽略子图像中混叠伪影的空间相关性服务于PD表现出不同的行为作为步幅面，5子 .伪影也满足零均值约束，即，不同的人。 因此，我们首先描述两个重要的-PD-BSN关于步幅因子s的方面。打破空间关联。最初，PD已经被提出来减少真实世界图像中相邻噪声信号之间的空间相关性。而Zhouet al.[45]采用步长因子2，我们在图中的分析图2a表明步幅因子至少应为5，以最小化给定噪声信号中的相关性。换句话说，子图像I2中的噪声信号仍然是空间相关的。它们的统计平均值与噪声图像IN，因为它们是观察到的信号的随机样本。由于混叠伪影满足BSN的两个先决条件，因此我们的PD-BSN也学会了移除它们。4.3. BSN的不对称PD几项研究[7，19]已经确定，训练样本和测试样本之间的匹配数据分布在准确的图像去噪中起着关键作用。因此有我17729子BSNNBSN×W图5. 概述拟议的AP-BSN和R3后处理。我们可视化所提出的AP5/2-BSN。为了将BSN应用于真实世界的sRGB图像，我们引入APa/b以最大化使用不同步幅因子进行训练和推断的协同作用。我们使用大步幅因子，α= 5，以确保用于训练的噪声信号之间的逐像素独立性。在推断过程中，我们使用b= 2的最小步幅因子来避免混叠伪影，同时在一定程度上分解噪声的空间相关性我们的随机替换改进（R3）在没有任何附加参数的情况下进一步提高了AP-BSN的性能当应用PD-BSN时，自然使用相同的步幅因子用于训练和推断然而，我们已经发现，学习的BSN将来自PD5的混叠伪影识别为要在推断期间去除的噪声信号。由于这些伪影包含重建高频细节所需的信息，PD5-BSN在去除噪声的同时破坏了推理过程中的图像结构，3D.相反，我们在PD-BSN的推理过程中提出了一个非对称步幅因子，我们称之为非对称PD（APa/b）。我们注意到a和b是训练的步幅因子(a) 预期相关性(b) 替换策略和推理，分别。具体来说，我们设置b = 2图6。PD-细化和我们的R3之间的比较。使得子图像I2包含最小混叠艺术品，而PD-细化采用规则二进制掩码Mi，步长为2，我们的R3使用随机掩码R。（a）我们比较在推理过程中的事实，而neigh之间的相关性可以减少无聊的噪声信号。在第5节中，我们将展示每一种权衡，即，空间相关性和混叠伪影，影响我们的方法的去噪性能。 我们的BSN与拟议的AP5/2（AP-BSN）可以我噪声信号的预期空间相关性，图像IMi和IRi。（b）每个灰色框表示来自图像的像素的原始噪声图像I，其替换I中的去噪像素。第i个替换图像IMi公式化如下：学习以自我监督方式消除现实世界的噪音-ner，同时保留图像结构，如图所示。3楼IMi=MiIN+（1−Mi）Is、（3）我们还注意到，我们的AP-BSN不需要任何干净的样本进行训练，并且在实际场景中直接适用于sRGB噪声图像。图5示出了我们用于AP-BSN的非对称训练和推理方案。4.4. 随机替换加细即使有最小的步幅因子，PD和以下-其中Mi∈ {0，1}H是指示要被替换的像素的二进制掩码，并且“x”表示逐元素乘法。这里，Mi是结构化的 二 进制矩 阵 ， 其 中 1 以 固 定 步 幅 2 放 置 ， 并 且iMi=1。 Af-在替换之后，再次对每个图像IMi进行降噪，求平均以如下重构最终结果IDN：1ΣT降低去噪步骤可以从输入中去除一些有信息的高频分量，IDN=Ti=1D（IMi），（4）人工制品[45]。因此，Zhouet al. [45]提出PD细化以抑制PD过程中的伪影并增强去噪结果的细节。在PD细化中，17730其中D是以逐像素独立噪声为目标的去噪模型，T是掩模的数量，即，22=4，对于原始PD-细化。17731a=6然而，PD细化中的确定性策略在替换的噪声信号之间留下不可忽略的相关性。 具体地，IM中的被替换的噪声像素 是 总是与它的一些邻居相关，如图6a所示。这样的相关性负面地影响以下去噪方法D的性能，其为：峰值信噪比（dB）三十四86三十四00三十三岁。00三十二0027.0026.00a =2a=3a=5峰值信噪比（dB）（8a）35.0033.00a=431.00（8b）30.0028.0026.0024.00求和空间不相关的噪声。 所以我们提出提出了一种改进的随机替换精化（R3）策略，克服了PD精化的局限性。1 2 3 4 5 6推理步幅因子b(a) 非对称a/b1 2 3 4 5 6推理步幅因子b(b) 别名伪影在我们的R3中，我们采用T个随机化二进制掩码Ri代替，其定义如下： .1、概率为p图7. SIDD确认数据集上AP a / b -BSN的消融研究。我们注意到，在这些消融研究中未应用拟议的R3后处理。(a)当b= 2时，我们的APa/b-BSN始终实现最佳性能。（b）我们确认AP5/b-Ri（x，y）=0，否则，（五）BSN在两个代表性图像上显示，如图1和图2所示。8a和8b。其中，（x，y）表示H×W矩阵中的元素的索引。对于方程（3）和方程（4），我们采用随机掩码Ri而不是固定掩码Mi来获得最终输出。由于噪声像素被随机放置在第i个替换图像IRi后，两个噪声信号之间的预期相关性乘以p，如图2所示6a. 因此，我们的R3显着降低了预期的相关系数，前PD细化。当我们将R3与AP-BSN组合时，我们不执行PD并且直接将替换图像IRi馈送到BSN，因为输入中的噪声的空间相关性几乎可以忽略不计。图6突出了PD细化和我们的R3之间的主要差异。5. 实验5.1. 实验配置数据集。为了训练和评估我们的AP-BSN，我们采用了广泛使用的真实图像去噪数据集：SIDD [1]和DND[34]。SIDD-Medium由320个真实世界的噪声和干净图像对组成。对于验证和性能评估，我们分别采用SIDD验证和基准数据集两者都包含1，280个噪音大小为256×256的补丁，其中还为验证集提供了相应的干净图像。DND数据集不包括训练图像，由50个真实世界噪声输入组成，仅用于评估。在这种情况下，我们没有使用SID-Medium训练数据集，而是享受完全自我监督学习框架的优势，并使用相同的数据进行训练和性能评估。换句话说，我们在50个嘈杂的DND图像上训练我们的AP- BSN，并从相同的输入中重建最终的公制。为了评估我们的AP-BSN并将其与其他去噪方法进 行 比 较 ， 我 们 引 入 了 广 泛 使 用 的 峰 值 信 噪 比（PSNR）和结构相似性（SSIM）度量。对于SIDD和DND基准测试，我们将结果上传到评估站点以计算指标。在SIDD验证数据集上，我们使用cor-(a) （b）纹理区（c）AP5/1（d）AP5/2（e）AP5/5（f）AP5/1（g）AP5/2 （h）第5/5号议定书图8. AP a / b -BSN中折衷的视觉比较。（c- e）对于（a）中的平坦区域，AP-BSN的性能随着推断步幅因子b变大而逐渐增加。（更多细节请参考图7b在skimage.metrics库和RGB颜色空间中响应函数进行比较。实施和优化。我们使用PyTorch1.9.0 [33]用于执行。 默认情况下，我们采用AP5/2并设置p和T分别为0.16和8，为拟议的R3。对于BSN，我们修改了Wu等人的架构。[37]效率。AP-BSN使用Adam [22]优化器进行训练，初始学习率从10-4开始。更多细节在我们的补充材料中描述。5.2. 分析非对称PD我们首先验证AP对现实世界sRGB去噪的效果。 为此，我们进行了广泛的研究，基于可行步幅因子的所有可能组合，即，a∈{2，3，4，5，6}和b∈{1，2，3，4，5，6}。我们注意，当a=2时，由于真实世界噪声的空间相关性。 更大的训练步长因子a，BSN的输入噪声更严格地遵循逐像素独立假设因此，模型可以更好地学习去噪函数，其中性能在a=5时最大化。 当使用a=6图8a8b17732T=8T=4T=2R3PD细化方法SIDD DND表1. 在SIDD和DND基准上定量比较各种去噪方法。我们注意到，几种监督方法利用SIDD噪声-清洁对进行训练，并且比我们的AP-BSN表现得更好，而我们只使用带噪的sRGB图像进行训练。默认情况下，我们报告来自SIDD和DND基准网站的官方评估结果R2和R分别表示性能由我们自己评估，或由R2R [31]报告。我们还使用自集成策略标记方法[26]。†表示模型以完全自我监督的方式在SIDD基准图像上进行训练AP6/b-BSN的性能稍差，因为SIDD [1]数据集中的噪声显示出增加的相关性，如图2a所示。有趣的是，在NIND[4]数据集上，a=6比a=5稍好，因为相关性逐渐降低w.r.t.像素之间的相对距离。在我们的补充材料中报告了对NIND数据集的更多在推理过程中，BSN不能在没有PD的情况下去除真实世界的噪声，即，b=1，因为它是在像素方面峰值信噪比（dB）35.7635.6035.4035.200的情况。00。10.203(a) p上的消融峰值信噪比（dB）35.7635.7035.6335.50p2 4 6 8T(b) T上的消融独立噪音性能最大化时，b=2，因为可以优化空间相关性和混叠之间的折衷对于较大的推理步幅因子，即，b >2时，AP-BSN表现较差，因为更多的图像细节以混叠伪影的形式被去除。在图7b中，我们证明了混叠伪影的存在是我们的去噪框架的关键因素。当将AP5/b-BSN应用于图8a所示的平坦区域时，随着推断步幅因子b变得更大，模型表现得更好。由于该区域不包含高频信息，因此图1和图2中不会出现混叠伪影。8c、8d和8e。相反，噪声信号的空间相关性随着b的增大而变小，这导致更好的性能。对于图8b中的一般图像，我们的AP5/b-BSN示出了与图7a的行为类似的行为，而性能下降由于如图8b中所示的更强的混叠伪影而严重得多。8小时。图9. SIDD验证数据集上的AP-BSN + R3 我们注意到，没有R3的AP-BSN在相同的数据集上达到34.86dB。（a）我们研究了T= 2、4、8时不同p的影响。（b）我们固定p = 0。16来看看T在我们的R3中的效果。5.3. 随机替换精化图9示出了针对所提出的R3的超参数的详细消融研究。我们首先设置T=2，4，8以找到最佳替换概率p。如图 9a，我们的R 3显示出一致的行为，其中最大性能是在p=0时实现的。十六岁 我们注意到，较大的p增加了噪声信号这降低了性能。由于随机性，随机掩码T的数量在我们的R3中不受限制，而PD细化只能使用T=4。图9b表明，即使在T=2的情况下，所提出的R3也比PD细化执行得更好，并且性能随着随机化掩码的数量T变高而增加。以来PSNR↑（dB）SSIM↑PSNR↑（dB）SSIM↑非学习型BM3D [9]25.650.68534.510.851WNNM [12]25.780.80934.670.865[43]第四十三话23.660.58332.430.790（合成对）CBDNet [3]33.280.86838.050.942Zhou等[45个]34.00日元0.898万38.400.945DnCNN [43]35.13米0.89637.89美元0.932磅受监督的AINDNet（R）网络[21]38.840.95139.340.952(Real[41]第四十一话39.260.95539.380.952DANet [42]39.430.95639.580.955无监督GCBD [7]--35.580.922[40]第四十话：一个人的世界35.350.93737.280.924[27]第27话：我的世界--37.930.937[23]第二十三话27.68R0.668R--Noise2Self [3]29.56R0.808R--[39]第三十九话--36.200.925[31]第三十一话34.780.898--AP-BSN（我们的）34.900.90037.460.924AP-BSN+ R3（Ours）35.970.92538.090.93717733(d)[39]第三十九话(a) [43 ]第43话：一个人(b) Zhou等[45]第四十五话（c）C2N [19]+ DIDN[40]未配对（e）R2R[31]自我监督（f）AP-BSN + R3（我们的）自监督图10. DND [34]和SIDD [1]基准上不同去噪方法之间的定性比较。 （a）DnCNN在配对的SIDD-Medium数据集上训练。(b)Zhou等在合成AWGN和脉冲噪声上训练他们的方法。然后，将学习的去噪模型与PD相结合，以处理真实世界的噪声。(c)C2N从干净的输入生成真实的噪声图像，其中以下去噪模型，即，在生成的对上训练DIDN（（f）我们的方法可以直接在实际的sRGB图像上学习我们注意到DND基准（上）提供了每个样本的PSNR/SSIM，而SIDD基准（下）没有，即，不可用.R3的计算复杂度与T成正比，我们设置T=8以平衡性能和运行时间。5.4. 用于真实世界去噪的我们的AP-BSN旨在以自我监督的方式对真实世界的sRGB图像进行降噪。表1比较了广泛使用的SIDD和DND基准数据集上的各种图像去噪模型。仅使用噪声图像进行训练，所提出的AP-BSN + R3在几种非配对[19，37]和自监督方法中实现了最佳性能。特别是，我们注意到自监督NAC [39]和R2R [31]是基于不太实际的假设构建的，如噪声水平较弱或ISP函数已知。另一方面，我们的方法采用BSN与几个观察有关的属性PD和现实世界的噪声。因此，我们不依赖于特定的假设，并在几个真实世界的数据集上表现出更好的泛化能力此外，在SIDD基准轨道上，所提出的R3后处理进一步提高了评估PSNR超过图10提供了表1中提出的几种方法之间的视觉比较。此外，AP-BSN可以直接在噪声样本上训练，而无需使用任何干净的图像。由于几种非监督/自监督方法是在辅助图像[31]或生成的噪声[19]上训练的，因此训练和测试分布之间的差异可能导致次优解决方案。相比之下，我们的方法可以在训练阶段直接使用目标sRGB噪声图像为了验证我们的框架的优点，我们在SIDD平台上训练AP-BSN在同一个数据集上进行标记和评估。表1的最后一行显示，完全自监督策略在不进行任何修改的情况下将去噪性能提高了约1dB。虽然SIDD培养基含有约比基准分割多60 ×60像素，这种改进突出了AP-BSN也可以很好地推广仅存在噪声测试样本的实际情况6. 结论在本文中，我们首先确定了几个权衡regarding不同的PD步幅因素的角度BSN。我们提出了训练和推理之间的非对称PD，而不是直接集成PD和BSN，以满足像素独立的假设，同时保留图像细节。为此，我们提出了AP-BSN，一种用于现实世界去噪的完全自监督方法。我们还提出了随机替换细化R3，它消除了视觉伪影的AP-BSN没有任何额外的参数。所提出的AP-BSN+ R3不需要任何关于真实世界噪声的先验知识，并且优于最近的自监督/无监督去噪方法。确认这项工作得到了韩国政府（MSIT）资助的IITP赠款的部分支持[No.2021 -0-01343，人工智能研究生院计划（首尔国立大学）和No.2021-0-02068，人工智能创新中心]17734引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown. 智 能 手 机 摄 像 头 的 高 质 量 去 噪 数 据 集 。 在CVPR，2018年。一二三六七八[2] Michal Aharon，Michael Elad，and Alfred Bruckstein. K-SVD：一种为稀疏表示设计过完备字典的算法. IEEETSP，54（11）：4311-4322，2006年。2[3] 乔舒亚·巴特森和罗伊克·罗耶Noise2Self：通过自我监督进行盲去噪。在ICML，2019。二、三、七[4] Benoit Brummer和Christophe De Vleeschouwer。自然图像噪声数据集。在CVPR研讨会，2019年。一、二、七[5] ChaSungmin ， TaeeonPark 和 TaesupMoon 。GAN2GAN：生成式噪声学习，用于单噪声图像的盲图像ICLR，2021年。2[6] 普里亚姆·查特吉，尼尔·乔希，康星兵，松下雅由之.通过联 合去 噪和 去马 赛克 抑制弱 光图 像中 的噪 声。CVPR，2011。二、三[7] 陈静雯，陈嘉伟，赵宏阳，杨明。基于生成对抗网络噪声建模的图像盲去噪在CVPR，2018年。二四七[8] Shen Cheng ， Yuzhi Wang ， Haibin Huang ， DonghaoLiu，Haoqiang Fan，and Shuaicheng Liu. NBNet：使用子空间投影进行图像去噪的噪声基础学习。在CVPR，2021年。一、二[9] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE TIP，16（8）：2080二、七[10] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和Karen Egiazarian。单图像原始数据的实用泊松-高斯噪声IEEE TIP，17（10）：1737-1754，2008。2[11] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。2[12] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。CVPR，2014。二、七[13] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷积盲去噪。在CVPR，2019年。二、七[14] Zhiwei Hong，Xiaocheng Fan，Tao Jiang，and JianxingFeng.使用条件对抗网络进行端到端非配对图像去噪。在AAAI，2020年。2[15] Da vidHonza' tk o ， Siav ashABigdeli ， EnginTu'retk en ，andL Andrea Dunbar.用于图像去噪的高效盲点神经网络在SDS中，2020年。2[16] 胡晓万，马瑞军，刘志宏，蔡元昊，赵喜奥乐，张玉伦，王浩谦.用于真实图像去噪的伪三维自相关网络在CVPR，2021年。一、二[17] Tao Huang，Songjiang Li，Xu Jia，Huuchuan Lu，andJianzhuang Liu. Neighbor2Neighbor：从单个噪声图像中进行自监督去噪。在CVPR，2021年。二、三[18] Samuel Hurault Thibaud Ehret和Pablo Arias EPLL：一种使用在大量补丁上学习的高斯混合模型的图像去噪方法IPOL，8：465-489，2018。2[19] 张健云，李宇石，孙尚贤，李启武。C2N：用于真实世界去噪的实用生成噪声建模。ICCV，2021。一、二、四、七、八[20] Qiyu Jin，Gabriele Facciolo，and Jean-Michel Morel.重新审视一个古老的困境：先去马赛克，还是先去噪？在CVPR研讨会，2020年。二、三[21] Yoonsik Kim ， Jae Woong Soh ， Gu Yong Park ， andNam Ik Cho. 通过自适应实例归一化将学习从合成噪声降噪转移到真实噪声在CVPR，2020年。一、二、七[22] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年，国际会议。6[23] Alexander Krull，Tim-Oliver Buchholz，and Florian Jug.Noise 2 Void-learning从单个噪声图像去噪在CVPR，2019年。二、三、四、七[24] Samuli Laine，Tero Karras，Jaakko Lehtinen，and TimoAila.高质量的自监督深度图像去噪。NeurIPS，2019。二、三[25] Jaakko Lehtinen 、 Jacob Munkberg 、 Jon Hasselgren 、Samuli Laine、Tero Karras、Miika Aittala和Timo Aila。Noise2Noise：学习没有干净数据的图像恢复在ICML，2018。二、三[26] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPR研讨会，2017。三、七[27] Pengju Liu，Hongzhi Zhang，Kai Zhang，Liang Lin，and Wangmeng Zuo.用于图像恢复的多级小波CNN。在CVPR研讨会，2018年。7[28] 毛晓娇，沈春华，杨玉斌。使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。在NIPS，2016年。一、二[29] Nick Moran ， Dan Schmidt ， Yu Zhong ， and PatrickCoady. Noisier2Noise：学习从不成对的噪声数据中去噪。在CVPR，2020年。3[30] Alan V Oppenheim ， Alan S Willsky ， Syed HamidNawab ，GloriaMataHer na'ndez ， et