图像去噪的迭代数据细化自监督方法[IDR]

2098IDR：通过迭代数据细化的自监督图像去噪张毅1李大松1罗家龙2王晓刚1秦宏伟2李洪生11香港中文大学2商汤科技研究zhangyi@link.cuhk.edu.hk摘要大规模噪声-干净图像对的缺乏限制了监督去噪方法在实际应用中的虽然现有的无监督方法能够在没有地面真实干净图像的情况下学习图像去噪，但它们要么表现出较差的性能，要么在不切实际的设置下工作（例如，成对的噪声图像）。在本文中，我们提出了一种实用的无监督图像去噪方法，以实现最先进的去噪性能。该方法只需要单个噪声图像和一个噪声模型，易于在实际的原始图像去噪中实现它迭代地执行两个步骤：（1）从噪声模型构造具有随机噪声的噪声-噪声数据集;（2）在噪声-噪声数据集上训练模型，并使用经训练的模型来细化噪声图像以获得下一轮中使用的目标。我们进一步近似我们的全迭代方法与快速算法更有效的训练，同时保持其原有的高性能。对真实世界、合成噪声和相关噪声的实验表明，我们提出的无监督去噪方法比现有的无监督方法具有更好的性能，并且与监督方法具有竞争力。此外，我们认为现有的去噪数据集质量较低，只包含少量的场景。为了评估真实世界应用中的原始图像去噪性能，我们构建了一个包含500个真实场景的高质量原始图像数据集SenseNoise-500。数据集可以作为更好地评估原始图像去噪的强有力的基准代码和数据集将发布11. 介绍近年来，深度神经网络在图像去噪方面取得了很大进展。主流的优势是由基于监督学习的方法提供动力[6，11，13，22，29]。然而，由于高度的人为因素，具有高质量地面实况的大规模数据集仍然不可用。1https://github.com/zhangyi-3/IDRepoch 0 epoch 2 epoch 3 epoch 5Noisier2noise DBSN我们的GT图1. 顶行：在不同时期创建的训练目标。在我们的方法中，这些原则已逐步得到完善。下一行：与以前作品的比较：DBSN [31] （ ECCV 2020 ） ， Noisier2Noise [23] （ CVPR2020）。和时间成本，这限制了基于学习的方法已经提出了一些基于无监督学习的方法来学习图像去噪，而无需地面实况。然而，现有的无监督去噪方法要么表现出较差的性能，要么在非实际设置下工作。一个研究方向专注于从单个噪声图像中去噪的非监督学习[5，14，16，28，31]。尽管这样的训练数据便于收集，但是从单个噪声图像中学习显示出相对较差的性能，因为任务是高度不适定的。另一个研究方向专注于从成对的噪声图像中学习[18]。它利用同一场景的两个完全对齐的图像作为训练对。这种方法显著提高了去噪性能，有时甚至可以优于基于监督学习的方法。然而，同一场景的多个完全对准的噪声图像有时在实践中难以最近的一种方法应用噪声模型在已经有噪声的图像上添加合成噪声，以创建噪声-噪声图像对，用于训练去噪网络以部分捕获噪声先验[23]。然而，这种合成的噪声-噪声训练对2099干净的图像对（我们称这种训练推理分布不匹配两个数据集之间的数据偏差），这限制了该方法对实际噪声图像的去噪性能。还有一些方法[26，32]可以训练一个单独的网络来分别对每个图像进行去噪，并显示出更好的结果。然而，这样的方法不可避免地具有较高的计算成本。在本文中，我们提出了一种无监督去噪方法，该方法采用实用的设置来准备训练数据，并实现了最先进的性能。它只需要单个噪声图像和一个噪声模型来训练去噪神经网络。注意，噪声模型在实际的原始图像去噪（例如，DNG文件[15]中的噪声轮廓），并且可以是逐点和相关类型（例如，原始图像噪声、条纹噪声、乘性噪声）。首先，我们将已知噪声模型中的噪声添加到实际噪声图像中，以创建噪声-噪声数据集，该数据集将创建的噪声图像作为输入，将实际噪声图像作为学习目标。然后，我们进行了一项关于从这种噪声-噪声数据集学习去噪的研究，以实证验证两个发现：（1）在含噪-含噪数据集上训练的去噪模型具有对实际含噪图像去噪的泛化能力;（2）减少所创建的噪声-噪声数据集与理想噪声-干净数据集之间的失配（数据偏差）导致更好的去噪模型来处理实际噪声图像。这两个发现启发我们提出了迭代数据细化（IDR）方案，该方案迭代地减少了创建的噪声-噪声数据集和理想的噪声-清洁数据集之间的数据偏差，以训练更好的去噪模型。特别地，我们首先基于噪声-噪声数据集训练去噪模型根据我们的发现1，在噪声-噪声数据集上训练的网络可以推广到实际的噪声图像去噪。然后可以使用与噪声模型一起的去噪图像来创建新的中间数据集以用于新一轮训练，其将来自前一轮的去噪图像视为目标。随着噪声-噪声数据集和理想噪声-干净数据集之间的数据偏差减少（基于我们的发现2），我们可以在下一轮中在新构建的中间数据集上训练更好的去噪模型这个新训练的模型可以再次对原始噪声图像进行去噪，在此基础上，可以为下一轮创建更好的学习目标。这个过程可以迭代地执行，以逐渐训练更好的去噪模型。为了减轻这种迭代方法的繁重的训练时间成本，我们进一步提出了一个快速版本的IDR，通过减少每个数据细化迭代中的训练时期。为了评估去噪模型在真实世界原始图像去噪中的性能，我们收集了一个低光数据集SenseNoise-500，其中包含500个不同的我们的方法在现实世界和合成噪声去噪任务上都优于现有的无监督方法，具有广泛噪声类型和噪声等级。除了点态噪声，我们还展示了我们的算法对典型相关噪声的去噪能力。结果表明了该方法的有效性和优越性。我们的贡献总结如下：• 提出了一种自监督的图像去噪算法--迭代数据精化（IDR）。它在更实际的设置下工作，只需要单个噪声图像和噪声模型。• 我们还提出了完整方法IDR的快速近似，其训练时间与训练普通去噪模型相同，同时保持与完整版本模型相似的性能。• 我们收集了一个高质量的原始图像去噪数据集，用于训练去噪模型，并在真实场景中测试其性能。它包含500个不同的场景，图像对齐良好，清晰的图像是在>60秒的曝光下创建的。• 我们的方法优于现有的无监督的方法，ods在广泛的噪声类型和噪声水平。在某些情况下，它甚至表现出与完全监督方法相当的性能。2. 相关工作图像去噪在文献中得到了广泛的研究。在本文中，我们将其分为三类：非学习去噪方法，从干净数据中学习，从噪声数据中学习。最后，我们还回顾了一些流行的现实世界中的去噪基准，这些基准在其他论文中被广泛使用。非学习去噪方法。典型的非学习方法通常基于不同的假设.这类方法包括各向异性扩散、全变差去噪[27]、小波域去噪[25]、稀疏编码[20]等。另一类重要的方法是由图像自相似性驱动的。经典方法，如NLM [7，8]，BM 3D [12，21]，利用类似的补丁来去除噪声。从干净的数据中学习。从干净数据中学习是图像去噪的主流。许多作品[1，3，11]已经探索了直接从自然噪声和干净图像对中学习。虽然可以使用理想的训练对，但这些对的数量非常有限。 另一种方式使用外部干净图像并基于噪声模型创建合成噪声图像[13，22，35，36]。因此，在真实数据集和合成数据集之间存在自然的域间隙。为了减少合成图像和自然噪声图像之间的域间隙，已经取得了一些进展[4，6，33]来处理目标域的外部数据，以便外部数据变得与测试数据相似。其他作品[2，10，13，30，37]集中于为真实世界2100×i=1i=1i=0时i=0时噪声为训练生成更真实的噪声有助于模型在实际应用中更好地泛化。从噪声数据中学习。无监督学习中的一条线是基于单个图像的[26，28，32]。它们需要为不同的图像重新训练模型，这通常是不实际的。据self2self报道[26]，它的成本约为1.2 GPU（RTX 2080Ti）小时重新训练和测试，256 256图像。另一方面，基于批处理的非监督方法从Noise2Noise（N2N）[18]开始，它演示了如何使用带噪图像对学习图像去噪。 但噪声图像对在现实世界中通常是不可用的，并且N2N还需要根据噪声类型设计不同的损失函数。后续的工作尝试着学习我们的图像去噪-通常难以获得地面实况干净图像Y另一种可行的方式是将噪声η添加到实际的噪声图像X上以创建更大噪声的图像x+n，其中将后面的噪声更大的图像x+n视为输入，并且将前面的噪声图像X用作学习目标。我们称这种训练数据为噪声-噪声数据集。虽然后面的数据集更容易获得，但在上述两种类型的数据集之间存在不可避免的数据偏差，并且在后面的噪声-噪声数据集上训练的去噪网络不能很好地处理实际的噪声图像x。我们进行了如下的试点研究，并从经验上验证了两个重要的发现。形式上，数据集表示为Noisy-clean数据集：{（yi+ni，yi）}N，单独的噪声图像。基于掩模的无监督方法[5，16，17]设计不同的掩模模式来盲化输入噪声图像中的像素。然后，他们训练网络-根据噪声像素预测被掩蔽的像素噪声-噪声数据集：{（xi+ni，xi）}N，其中xi= yi+ ni。（一）在输入感受野中。最近的工作DBSN [31]使用未配对的干净图像通过两阶段方案来改善无监督去噪结果。Noisier2noise[23]将噪声模型引入到无监督学习中，直接训练网络进行单噪声级去噪。因此，仍然存在数据集偏差。真实世界去噪数据集。几个数据集有这里， yi 是干净图像（其在实践中非常难以获得），xi= yi+ ni是其对应的噪声图像，ni是从噪声模型生成的随机噪声，并且yi+ ni2表示将采样噪声ni应用于实际噪声图像yi以创建合成的但噪声更大的图像。为了简单起见，我们分别使用{yi+ ni，yi}和{xi+ni ， xi} 来 表 示 { （ yi+ ni ， yi ） }N 和 { （ xi+ ni ，xi）}N。在文献中提出。达姆施塔特噪声数据集（DND）[24]收集了50个只能用于测试的图像对并且DND中的大多数图像具有相对较低的噪声水平。智能手机图像去噪数据集（SIDD）[3]被提出来评估智能手机上的去噪。它为每个场景捕获多次，并包含10个室内场景，但偶尔会出现明显的错位。SID数据集[11]由具有曝光不足策略的DSLR捕获。它用一张长时间曝光的照片作为基本事实。3. 方法在本节中，我们首先介绍了噪声-噪声数据集的创建，在此基础上，我们对噪声-噪声数据集的学习去噪进行了研究，并实证验证了两个发现。然后，我们提出 了 我 们 的 自 监 督 去 噪 框 架 ： 迭 代 数 据 精 化（IDR）。为了加速这种迭代方法的训练过程，我们进一步引入了IDR的快速版本，以减少训练时间，同时获得与完整版本IDR相似的性能3.1. 学习去噪的数据偏差初探为了用已知的噪声模型训练去噪模型，一种典型的方法[35]是通过将噪声n添加到地面真实干净图像y上来创建合成噪声图像，其表示为y+n并用作网络输入。我们将这样的合成训练数据命名为noisy-cleandataset，用于学习映射（y+n）→y。怎么-为了分析使用噪声-噪声数据集训练网络的数据偏差，我们在噪声-干净和噪声-噪声数据集3上从头开始训练U-Net，并研究了三种代表性的噪声类型，原始图像，高斯和相关噪声，具有不同的噪声水平。它们涵盖了常见的噪音类型，信号相关/信号无关噪声和逐点/相关噪声。噪声模型的更多设置可以在图1的标题中找到。二、为了进行测试，我们从训练噪声水平中均匀地采样4个离散噪声水平，并在具有真实地面真相的实际噪声干净图像对上测试去噪模型。如图2、对各种噪声类型和噪声级的训练显示出一致的结果，这导致了以下两个发现：（1）用噪声-噪声数据集训练的去噪网络可以对实际的噪声图像（红色与红色）进行去噪。图中的蓝点2）具有相同的噪声模型。(2)使用相同的噪声模型，在偏差较小的数据集上训练理想的噪声干净数据集有助于去噪网络实现更好的去噪性能（表1）。对于第一个发现，使用噪声较大的噪声数据集训练的模型（图中的红点） 2）总是显示出比没有任何去噪的实际噪声图像更好的PSNR（图中的蓝点）。2）对所有噪声类型，表明该模型能在一定程度上去除实际含噪图像{xi}的噪声2注意，这里的3我们随机选择ImageNet验证数据集的70%图像进行训练，其余用于测试。2101----FFF--××FF{}FFF联系我们F0我噪声图像使用噪声-噪声数据集进行训练40使用噪声干净数据集进行训练表1.使用具有不同强度的偏置数据集训练的模型的去噪性能。我们通过施加不同强度353035（σ）以创建有偏差的目标（ygn&ygb ）并添加三个不同的303025255 10 15 20高斯噪声100020003000原始噪声（ISO）25202 3 4 5相关噪声（CorrelatedNoise）噪声类型，以创建输入噪声较大的图像（ygn+nygb+n）。最后六行显示了当使用不同的偏置数据集训练模型时，PSNR下降到理想的噪声干净数据集（第一行）。图2.使用三种代表性噪声和一系列噪声水平的噪声-干净数据集和噪声-噪声数据集训练的去噪网络的去噪性能。对于高斯噪声和相关噪声，我们分别从[5，20]和[2，5]中均匀采样其噪声水平。至于真实世界的原始图像噪声*，我们使用华为Mate 20的噪声曲线，它可以被建模为泊松-高斯噪声5{ygb+n，ygb}3-0。074- 0。101-0。944-0。069- 0。097- 0。595模型，并从[800，3200]均匀采样ISO*这里，即使在噪声较大的数据集和噪声较小的数据集之间存在数据偏差。最近，基于单个图像的[32]和基于批处理的[23]方法都对高斯噪声做出了类似的结论，但它们只研究单个噪声水平。我们的调查扩展了他们的观察范围，以涵盖更广泛的噪音类型和噪音水平。对于第二个发现，我们首先去除噪声-噪声数据集中的所有数据偏差，它成为噪声-干净数据集（零数据偏差）。基于它训练的模型被认为具有最佳性能（图中的绿点2）所有三种噪声类型和不同的噪声水平。然后，我们综合不同类型和强度的数据偏差，以进一步验证第二个发现。具体地，我们应用不同级别的高斯噪声或高斯模糊（在表1中表示为σ）来污染干净图像y以创建有偏目标（表示为ygn和ygb）。同样的三个噪音模式-eels（高斯，原始，相关）具有不同的噪声水平，1-0067-0。081-0。150性能我们首先基于初始噪声较大的噪声数据集xi+ni，xi训练模型0。根据我们在3.1节中的发现1，它可以在一定程度上对实际的噪声图像xi进行降噪。因此，我们可以使用它来对噪声图像进行降噪，并获得一组新的细化训练数据集：{F0（xi）+ni，F0（xi）}.（二）新构造的数据集与原始噪声-噪声数据集xi+ni，xi共享相同数量的图像和场景内容。然而，这个新的数据集与噪声干净的数据集相比具有更少的数据偏差，因为它们的目标的L2距离已经被我们训练的去噪模型04减小了（根据我们在第3.1节中的发现1）。然后，使用上述偏差较小的数据集构造，我们可以在下一轮从头开始训练新的去噪模型1F1← {F0（xi）+ni，F0（xi）}.（三）由于新数据集{F（x）+以上的被进一步添加到偏置目标，用于创建噪声较大的图像（ygn+n和ygb+n），作为网络训练的输入使用不同强度的偏置数据集训练单独的去噪网络，并在实际环境相同噪声模型的噪声图像。表1中的结果显示，在具有较小数据偏差（表1中较小的σ）的数据集上训练的去噪网络显示出更好的去噪性能，并且第二个发现对于两种类型的数据偏差、三种不同的噪声类型和三种噪声水平是一致的（3 23 =训练和评估18个单独的去噪网络）。3.2. 迭代数据细化第3.1节中的两个发现启发我们迭代地减少噪声数据集和理想噪声干净数据集之间的数据偏差。逐步创建偏差较小的数据集并对其进行训练，从而实现有希望的去噪ni，0（xi）和理想的无噪声数据集yi+ni，yi根据我们在第3.1节中的发现2，训练模型1可以比在第一轮噪声-噪声数据集上训练的0更好地推广到实际的噪声图像xi基于改进的模型1，上述过程可以通过细化训练目标和训练更好的模型来迭代地和交替地执行，如图1所示。3.第三章。从模型Fm+1← {Fm（xi）+ni，Fm（xi）}.（四）先前的模型Fm有助于缩小新的噪声-噪声数据集{Fm（xi）+ n i，F m（i）}和新的噪声-噪声数据集{Fm（x i）+ni，Fm（xi）}之间的差距4去噪后PSNR的提高表明去噪后L2距离明显减小.峰值信噪比（dB）训练数据集σ高斯去噪原始去噪相关去噪{y+n，y}-三十896三十五263三十4845{ygn+n，y gn} 31-0。355-0。093-0。008-3。100-1。620-0。310-0。172-0。082-0。0192102--{x} ← {F（x）}FF（m）（m）F--{F}FX实际噪声图像去噪模型100x1x100万+1x培训X012000年+1n成品目标布勒姆x，mx +n吉吉吵闹的数据集成品数据集0成品数据集mmx +nixn噪声噪声图3.Iterative Data Refinement（IDR）迭代数据精化算法1：快速迭代数据细化输入：噪声图像xi;噪声模型n;总历元M;输出：最终模型FM1 随机初始化模型F0;2 在噪声-噪声数据集上优化模型F0{xi+ni，xi}对于一个时期;3 form←1toMdo4初始化模型m=m−1;5创建（m）im−1i6构建新的训练数据集{x+ni，x };我们在两个方面近似我们的完整方法。首先，我们引入单历元训练，在每个历元后执行一具体来说，对于每个新构建的数据集，我们使用它来训练我们的模型仅一个时期，而不是像以前那样训练它直到完全收敛。在下一个时期，我们基于新构建的数据集训练去噪我们牺牲了全模型优化所需的时间，但增加了数据细化的迭代轮次我们引入的开销是在每个训练时期之前产生细化的目标。它的成本不到总培训时间的5%5。因此，总训练时间减少到几乎与仅训练一轮去噪模型相同。其次，当在每个时期对新数据集进行训练时，i i我们的模型由前面的模型初始化7优化当前模型m通过最小化L1损失一个时期;端8理想噪声干净数据集yi+ni，yi。在下一轮训练中，新创建的噪声-噪声数据集的改进导致我们新训练的模型m+1的进步。另一方面，从目标的角度来看 ，一系列中间细化目标m（xi）（对于m=0，1，. - 是的- 是的）由中间去噪模型产生。如图1.去除训练目标上的噪声，逐步恢复更多的纹理此外，不同于传统的迭代方法，去噪一个噪声图像多次，导致严重丢失纹理，我们的方法细化训练数据集和去噪噪声图像在推理过程中一次。3.3. 快速迭代数据精化虽然上述迭代数据精化不会增加推理的时间成本，但其训练时间与所提出的自监督数据精化的轮数成比例。为了减轻沉重的训练时间成本，我们进一步提出了一个快速近似的训练方案。整个算法在算法1中示出。而不是从零开始。这种累积训练策略帮助去噪网络更快地收敛所提出的快速数据细化方案，并确保最终去噪模型在整个训练过程中得到了不断优化。近似算法收敛速度快，且保持了与完整算法相似的性能.4. SenseNoise-500数据集现有的原始图像去噪基准与真实场景之间存在明显的差距。例如，SID [11]是用日常摄影中罕见的曝光不足的照片创建的移动基准SIDD [3]为每个场景（10个室内场景）捕获多个图像并且，其偶尔遭受全局失准（例如，参见图像编号 101 52在SIDD）由于不同的自动对焦或OIS。为了评估真实场景中的去噪性能，我们提出了一个新的高质量数据集，在常见的低光条件下使用流行的移动CMOS传感器：IMX586，3000×4000像素。该数据集包含500个场景和5产生精细目标的正演过程可以并行进行。我们使用批量大小32进行推断。对于训练，我们的批量大小为4。2103××噪音BM3D N2S N2V N2NNoisier2noise DBSN Ours Supervised Ground truth图4.比较了几种去噪方法对高斯噪声（σ=50）图像的去噪效果大于常用的去噪基准：SIDD（10个场景）[3]，DND数据集（50个场景）[24]和SID Sony（231个场景）[11]。它收集了3个城市，涵盖了日常生活中常见的室内和室外场景当我们构建数据集时，有一些重要的考虑因素：高质量的地面真相。前去噪基准[3，11]中的地面实况仍然或多或少有噪声，特别是在高噪声水平下。为了获得高质量的地面实况，我们为每个场景捕获64帧的序列，其中，其中4帧是在正常曝光下使用默认相机设置捕获的，并用作噪声测试图像。另外60帧是长时间曝光的，用来创造真实的画面。对于每个像素位置，我们收集60张长曝光图像中相同位置的所有像素值，并使用中值作为地面实况。每个长曝光帧的曝光时间为[1s，2s]，这意味着创建每个地面实况的总曝光时间在60 s和120 s之间它保证所有地面实况即使在最高噪声水平下也是无噪声校准和噪声校准。为了获得对齐良好的噪声/干净图像对，我们在三脚架上捕获每个图像序列，并使用无线快门控制移动相机。所有摄像机参数均通过camera2API [19]预先设置和固定。以这种方式，正常曝光和长曝光帧都另一方面，我们试图避免室内和室外场景中的大对象运动和动态光照。在此设置下，为一个场景捕获的所有帧（长曝光和正常曝光）都完全对齐。虽然一些公司可以在原始文件中提供噪声简档（例如，[15]他们通常不准确。我们重新校准IMX586在ELD中噪声公式下的噪声参数[30]。然而，我们选择高斯分布来模拟读取噪声，因为我们观察到它对于移动传感器更鲁棒。SenseNoise-500的更多详细信息和示例可以在补充材料中找到。5. 实验为了评估我们的方法，我们遵循以前的工作开始与流行的数据集的合成噪声。然后，我们开始解决更具挑战性的真实世界原始图像去噪，包括DSLR和移动数据集。此外，我们还进行了烧蚀实验，以证明我们的方法的推广性，并作进一步的比较. 更多的实验可以在补充材料中找到。5.1. 实现细节培训详情。在所有实验中，我们使用我们的快速IDR进行比较。网络架构和训练设置与N2N保持相同[18]。具体来说，我们使用一个浅的U-Net架构，没有批处理规范化层作为我们的骨干。所有模型都是从零开始训练我们使用Adam优化器和L1损失函数.初始学习速率固定为3 × 10−4，然后在迭代25k和40k时减半两次。其输入和输出通道被不同地设置以适应不同的去噪任务（例如，灰度图像去噪具有1个输入通道）。合成实验的数据集。对于合成噪声，我们从ImageNet验证数据集中随机提取大小为256 256的补丁进行训练。对于测试数据集，我们选择了其中三个最大的数据集进行评估：Ko- dak（24张图像）和BSDS 300（300张图像）用于彩色图像。年龄，和BSD 68（68图像）的灰度图像。 福尔-2104∈∈×表2.在sRGB数据集（Kodak和BSDS 300）和灰度数据集（BSD 64）上进行高斯去噪的PSNR/SSIM结果还提供了一种更好的监督方法（MPRnet [34]）用于比较。最佳和次佳结果突出显示并下划线。数据集σBM3D [21]N2V [16]Nr2n [23]DBSN [31]N2N [18]监督我们MPRnet [34]柯达2531.88 /0.86931.63 /0.86931.96 /0.86932.07 /0.87532.39/0.88632.39/0.88532.36 /0.88432.85 /0.8935028.64 /0.77228.57 /0.77628.73 /0.77028.81 /0.78329.23 /0.80329.24/0.80329.27/0.80329.78 /0.817bsd系统2530.47 /0.86330.72 /0.87429.57 /0.81531.12 /0.88131.39 /0.88931.40/0.88931.48/0.89031.87 /0.8973005027.14 /0.74527.60 /0.77526.18 /0.68427.87 /0.78228.17/0.79928.17/0.79928.25/0.80228.65 /0.814BSD642528.55 /0.78227.64 /0.781NA28.81 /0.81829.15 /0.83129.20/0.83529.20/0.83529.40 /0.8405025.59 /0.67025.46 /0.681NA25.95 /0.70326.23 /0.72526.24/0.72726.25/0.72626.48 /0.736平均28.71 /0.78428.60 /0.79329.11 /0.78529.11 /0.80729.43 /0.82229.44/0.82329.47/0.82329.84 /0.833表3.比较了不同去噪方法对原始图像的去噪性能（PSNR/SSIM）。对于SID数据集[11]，我们遵循ELD [30]显示ISO 100，250和300的结果 对于我们的SenseNoise-500数据集，我们将其划分为普通场景（ISO≤12800）和极端场景（ISO> 12800）。最佳和次佳结果突出显示并下划线。数据集ISOBM3D [21]N2S [5]N2V [16]N2N [18]我们监督MIT5K+未处理10032.92 /0.75835.61 /0.83035.64 /0.82737.83 /0.89838.02 /0.90638.60 /0.91237.67 /0.884Sid25029.56 /0.68631.39 /0.69830.58 /0.65533.44 /0.81433.88 /0.81937.08 /0.88633.14 /0.76730028.88 /0.67429.78 /0.64928.88 /0.59531.61 /0.76932.14 /0.77936.29 /0.87431.36 /0.727SenseNoise-500≤12800>1280041.05 /0.95837.54 /0.94031.05 /0.86727.95 /0.87141.86 /0.96138.28 /0.94841.22 /0.95639.53 /0.96544.01 /0.97840.17 /0.96644.80 /0.98140.23 /0.96643.36 /0.97839.92 /0.965在之前的工作[18]的基础上，我们对四种不同的噪声类型进行测试：（1）在连续噪声水平σ[0，50]上训练并在σ=25和50上测试的高斯噪声，（2）在p [0，0]上训练的二项式和脉冲噪声。[95]检验p=0。（3）σ=1的相关噪声。真实世界实验的数据集。为 现实世界原始图像去噪，我们在SID数据集（DSLR）[11]和拟议的SenseNoise-500数据集（智能手机）上进行训练和测试。这两个数据集涵盖了不同的相机传感器和低光照条件。SID数据集的训练集和测试集与SID [11]相同。对于SenseNoise-500数据集，我们随机分割400张图像用于训练，另外100张图像用于测试。补丁大小已提高到512 512，以更好地处理低光条件。至于噪声模型，我们使用最近的ELD噪声模型[30]对SID数据集和SenseNoise-500数据集重新校准噪声分布。5.2. 主要结果由于篇幅所限，本文只将高斯噪声和真实噪声的结果放在正文中。请在补充材料中找到其他噪音的结果。高斯噪声实验的细节。我们将我们的方法与六种基于学习的方法（N2N [18]，N2V[16]，N2S [5]，DBSN [31]和Noisier2noise [23]）进行了比较。以及代表性的传统方法BM3D [21]。对于BM3D，我们使用作者对于基于学习的方法，除了DBSN [31]之外，它们都使用相同的U-Net架构。作者，比U-Net大10倍（97.4G FLOPS）6https://pypi.org/project/bm3d/（8.2G FLOPS）。对于DBSN，我们使用作者发布的模型。所有其他方法都使用作者的代码重新训练高斯噪声实验结果。 PSNR和SSIM结果如表2所示。我们的方法优于所有的无监督方法的彩色和灰度图像。而且，令人惊讶的是，我们的方法甚至在大多数情况下略超过监督方法。我们的方法和N2N引入了新的训练目标，无监督去噪，并显示出明显的增益相比，其他方法，只使用单一的噪声图像。但是，N2N所需的对齐良好的成对噪声图像在实践中难以捕获。相反，我们的方法中使用的噪声模型可以很容易地校准，并已保存在原始图像中。它们可以很容易地获得或重新校准[30，37]在阅读世界的原始图像去噪中。一些定性结果如图所示。4.我们的方法恢复更多的纹理和颜色，同时保持高质量的去噪结果。真实世界原始噪声实验的详细信息 对于BM3D，我们使用混合高斯噪声模型来估计噪声水平。对于基于学习的方法，我们通过采用作者的代码重新训练所有方法真实世界原始噪声实验的结果。结果如表3所示。一些定性结果如图所示。五、我们的方法在DSLR和智能手机数据集上的表现始终优于其他无监督方法传统的方法BM3D [21]和无监督的方法N2V [16]和N2S [5]对于单个噪声图像都不能很好地工作，并且显示出超过100%的噪声。2105(a) SID数据集Input N2V N2N监督我们的地面实况(b) SenseNoise数据集Input N2V N2N监督我们的地面实况图5. 原始图像在SID上去噪的定性结果，SenseNoise-500个数据集。（放大查看详情）表4.比较我们的方法与监督学习对原始图像去噪。监督模型在未经处理的[6]外部干净sRGB 数据（MIT5K [9]和SIDsRGB）上进行训练。6. 与外部干净sRGB图像的监督学习的比较。一旦知道了噪声模型，我们就可以合成数据进行监督训练。因此，我们的方法的一个有趣的比较将是监督训练与合成数据，特别是对于真实世界的原始图像去噪。但是，每个传感器的大规模干净的原始图像数据集很难收集，而且收集成本很高按照常见的做法，我们取消处理外部干净的sRGB图像，以获得干净的原始图像[6]。我们对SID原始数据集进行了研究。对于监督方法，我们从MIT5K数据集[9]收集干净的sRGB图像，并对其进行未处理，以获得具有适当参数的原始图像[6为了进行公平的比较，我们为两种方法保留了相同的数据量和噪声模型。结果见表。4.第一章由于数据集内容偏差，我们的方法仍然可以在外部干净的地面事实的情况下优于监督学习然后，我们通过对监督方法的SID sRGB图像进行未处理来消除图像内容偏差，其性能比MIT5K上的训练有所提高，但与我们的方法的性能差距仍然存在，如表1所示。4.第一章虽然监督方法（“干净图像+模拟噪声”）使用与我们相同的噪声模型，但我们的方法优于它超过0.5dB（平均PSNR34.17dB vs. 34.68dB）。原因在于，在合成的原始图像和真实的干净原始图像（未处理的MIT 5 K/SID sRGB与SID raw）。7. 局限性和结论100SID 25037.67 /0.88433.14 /0.76737.76/0.887 38.02 /0.90633.88/0.819在本文中，我们提出了一个实用的迭代去噪-ing方法（IDR），优于现有的unsuper-30031.36 /0.72731.50/0.741 32.14 /0.779去噪方法我们的方法是基于经验学习去噪的数据偏差研究结果。 同时缺乏理论支持，三个合成噪声，真实世界的原始图像噪声，甚至空间相关的与我们的方法相比，2 dB的性能下降。由于现实世界的噪声更复杂，它们可能不满足N2N中的零均值假设[18]。因此，与我们的方法相比，具有成对噪声图像的N2N显示出0.4 dB的性能下降。无监督学习方法和有监督学习方法之间存在着明显的性能差距，特别是在较高的噪声水平下.我们注意到，差距来自两个方面。首先，在极端不适定的条件下，如果没有看到干净的目标，一些信息可能永远无法恢复。ISO越高，这种现象越明显。第二个方面可能是不准确的噪声分布。相同相机型号的数码单反相机之间的噪声分布可能略有不同（例如，固定模式噪声）。噪声证明了我们的方法的一致鲁棒性和有效性。此外，我们建立了一个高质量的低光去噪数据集，用于评估真实场景中的去噪性能。该数据集包含500个不同的场景，每个场景都有高质量的地面实况。我们期望该数据集可以作为图像去噪的真实基准。8. 确认这项工作部分由感知及互动智能研究中心有限公司资助，部分则由香港研究资助局的综合研究基金资助。14204021，14207319，14203118，14208619），部分由研究影响基金资助号。R5001-18，部分由中大策略基金提供。Dataset ISO MIT5K sRGB SID sRGB我们2106引用[1] 放大图片作者：Abdelrahman Abdelhamed，MahmoudAfifi ， Radu Zufte ， Michael S. Brown ， et al. NTIRE2020挑战真实图像去噪：数据集，方法和结果。见CVPR工作室，第2077-2088页IEEE，2020年。2[2] Abdelrahman Abdelhamed ， Marcus A Brubaker ， andMichael S Brown.噪声流：用条件规范化流进行噪声建模。在2019年计算机视觉国际会议（ICCV）。2[3] Abdelrahman Abdelhamed，Stephen Lin，and Michael S.布朗智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。二三五六[4] Mahmoud Afifi ， Abdelrahman Abdelhamed ， AbdullahAbuolaim，Abhijith Punnappurath，and Michael S Brown.Cie xyz net：为低级计算机视觉任务取消处理图像。arXiv预印本，2020年。2[5] Joshua Batson和Loıc Royer。Noise2self：通过自我监督进 行 盲 去 噪 。 在 ICML 中 ， Proceedings of MachineLearning Research的第97卷，第524-533页。PMLR，2019年。一、三、七[6] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.不处理图像以进行学习的原始去噪。在IEEE计算机视觉和模式识别会议，2019。一、二、八[7] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法在CVPR（2），第60-65页IEEE计算机学会，2005。2[8] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。非局部均值去噪。图像处理。Line，1，2011. 2[9] Vladimi rBychko vsky，Syl vainParis，EricChan，andFre´doDurand.使用输入/输出图像对的数据库学习摄影全局色调调整在2011年第二十四届IEEE计算机视觉和模式识别会议上。8[10] Ke-Chi Chang ， Ren Wang ， Hung-Jin Lin ， Yu-LunLiu ， Chia- Ping Chen ， Yu-Lin Chang ， and Hwann-Tzong Chen.学习摄像头感知噪声模型。欧洲计算机视觉会议，2020年。2[11] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月一、二、三、五、六、七[12] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen O.埃吉亚扎利安人稀疏三维变换域协同滤波图像去噪。 IEEE Trans. 图像处理，16（8