噪声流：基于归一化流的准确噪声模型

1噪声流：具有条件归一化流的噪声建模Abdelrahman Abdelhamed1，21约克大学马库斯·A Brubaker22Borealis AIMichael S.布朗1，33三星人工智能中心，多伦多{kamel，mbrown}@ eecs.yorku.ca，marcus. borealisai.com摘要图像噪声的建模和合成是计算机视觉应用中的一个重要方面。长期存在的加性白高斯和异方差（信号相关）噪声模型广泛应用于文学只提供了一个粗略的近似真正的传感器噪声。本文介绍了噪声流，一个功能强大，准确的噪声模型的基础上，最近归一化流架构。噪声流结合了完善的基本参数噪声模型（例如，依赖于信号的噪声）与归一化流动网络的灵活性和表现力。其结果是一个单一的，全面的，紧凑的噪声模型包含少于2500个参数，但能够代表多个相机和增益因子。噪声流大大优于现有的噪声模型，与相机校准的噪声水平函数相比，具有0.42 nats/像素的改进，这意味着采样噪声的可能性提高了52%噪声流代表了超越简单参数模型的第一次认真尝试，以利用深度学习和数据驱动噪声分布的力量。1. 介绍图像噪声建模、估计和减少是重要且活跃的研究领域（例如，[7，14，28，29]）在计算机视觉方面有着悠久的历史（例如，[12、18、19、24]）。这种努力的主要目标是去除或校正图像中的噪声，无论是出于美学目的，还是为了帮助改善其他下游任务。为此，准确地建模噪声分布是关键的一步。现有的噪声模型不足以表示真实噪声的复杂性[1，26]。例如，单变量同方差高斯模型不表示光子噪声是信号相关的事实，即噪声的方差与信号的幅度成比例。反过来，信号相关的异方差模型[7，8，22]，通常被称为噪声水平函数（NLF），并不表示噪声功率的空间非均匀性固定模式噪声）或其它噪声源(a) 高斯（b）摄像机NLF（c）噪声流（d）实际噪音（e）清洁图1：由（a）高斯模型，（b）由相机噪声水平函数（NLF）表示的异方差信号相关模型和（c）我们的噪声流模型生成的合成噪声图像。从噪声流生成的合成噪声在定性和定量上（在相对于真实噪声的KL散度方面，在每个图像上示出）始终与（d）中的真实噪声最相似(e)参考干净图像。图像来自SIDD [1]。噪声和非线性，如放大噪声和量化[13]。参见图2。尽管这些模型有众所周知的局限性，但它们仍然是最常用的.存在更复杂的模型，例如泊松混合[15，32]，但仍然不能捕获前面提到的复杂贡献我们引入了噪声流，这是一种新的噪声模型，结合了参数噪声模型的洞察力和强大的生成模型的表现力。具体来说，我们利用最近的规范化流程架构-31653166tures [17]以准确地对从真实噪声图像的大型数据集特别是，基于最近的Glow架构[17]，我们构建了一个归一化流模型，该模型以关键变量为条件，例如强度、相机类型和增益设置（即，ISO）。该模型可以被证明是相机NLF的严格概括，但具有捕获更复杂行为的能力。其结果是一个单一的模型，是紧凑的（少于2500个参数），并认为比现有的模型更准确。见图1我们通过一系列消融研究探索该模型的不同方面。为了证明Noise Flow的有效性，我们考虑了去噪的应用，并使用Noise Flow来合成去噪CNN的训练数据，从而显着噪声流的代码和预训练模型可在https：//github.com/BorealisAI/noise_flow网站。2. 背景及相关工作图像噪声是任何成像系统的不期望的副产品。图像噪声可以被描述为测量结果与实际信号的偏差，并且是由许多原因引起的，包括物理现象，诸如光子噪声，或成像传感器的电子特性，诸如固定图案噪声。考虑到观察到的图像I和其基础无噪声图像I，它们的关系可以写为I=I+n，（1）其中n是干扰I的噪声。我们在这项工作中的重点是模型n。文献中已经提出了几种噪声模型。最简单和最常见的噪声模型是齐次方差高斯假设，也称为加性高斯白噪声（AWGN）。在此假设下，图像中的噪声分布是具有独立且同分布值的高斯分布：ni <$N（0，σ2），（2）其中，是像素i处的噪声值，并且遵循具有零均值和σ2方差的正态分布。尽管高斯模型很流行，但它并不能代表光子噪声与信号相关的事实为了考虑噪声的信号依赖性，使用泊松分布P代替：ni<$αP（Ii）−Ii，（3）其中，像素i处的基础无噪声信号Ii是噪声的均值和方差，并且α是信号的传感器特定缩放因子。单独的高斯模型和泊松模型都不能准确地描述图像噪声。 这是因为图像噪声由信号相关和信号无关分量组成。为了解决这样的限制，泊松-高斯模型已经被调整[7，8，22]，其中噪声是信号相关泊松分布和信号无关高斯分布的组合：niα P（Ii）− Ii+ N（0，δ2）.（四）泊松-高斯模型的一个更广泛接受的替代方案是用方差依赖于信号的高斯分布代替泊松分量[20，23]，这被称为异方差高斯模型：ni<$N （ 0 ， α2Ii+δ2 ） .（5 ） 异 方 差 高 斯 模 型 更 常 被 称 为 噪 声 水 平 函 数（NLF），并描述了图像强度和噪声方差之间的关系：var（ni）=β1i+ β2，β1=α2，β2= δ2。（六）依赖于信号的模型可以准确地描述噪声分量，例如光子噪声。然而，在实际图像中，仍然存在可能无法由此类模型准确表示的其他噪声源[1，7，26]。这样的源的示例包括固定模式噪声、缺陷像素、限幅强度、空间相关噪声（即，非线性噪声）。串扰）、放大和量化噪声。已经进行了一些尝试来缩小先前模型与噪声的实际情况之间的差距-例如，使用剪切异方差分布来解释剪切图像强度[7]或使用泊松混合模型来解释实际传感器噪声的尾部行为[32]。最近，GAN被训练用于合成噪声[3];然而，尚不清楚如何定量评估所生成样本的质量为此，仍然缺乏捕捉真实噪声的特性的噪声模型。在本文中，我们提出了一个数据驱动的归一化流模型，可以估计一个真正的噪声分布的密度。与以前的尝试不同，我们的模型可以捕获现有模型无法明确参数化的噪声的复杂特性。2.1.标准化流程规范化流首先在变分推理[27]和密度估计[5]的背景下引入机器学习，并且对生成建模[17]的兴趣越来越大。归一化流是具有已知分布（通常为正态）的随机变量通过可微、可微、可微或可微的序列的变换。可逆映射形式上，设x0∈RD是一个随机变量，其概率密度函数pX0：RD→R已知且易处理，设x1，. . .，xN是随机变量的序列，使得xi= fi（xi-1），其中3167i=1i=1fi：RD→RD是一个可微的双射函数。那么如果n=f（x0）=fN◦fN−1◦· · ·◦f1（x0），变量变化公式表明概率密度函数因为n是可以通过使用f的逆来反转耦合流。此外，f的雅可比矩阵是块三角矩阵，其中对角块是 因此，雅可比行列式的行列式简单地是J的行列式。耦合层的常见形式是YN.. −1仿射耦合层[6，17]p（n）=p×0（g（n））j=1. d∈Jj（g（n））.（七）f∈（x;a，b）=Dx+b（11）其中g=g1◦···◦gN−1◦gN是f的逆，Jj=fj/xj−1是第j次变换fj相对于其输入xj−1的雅可比矩阵（即， fj−1的输出）。密度估计一个标准化流程可以直接用于密度估计，通过找到最大化一组样本的对数似然的参数。 给定观察到的数据，D ={n，i}M，并且假设变换选项f1，. . . ，fN由Θ =（θ1，. . . ，θN）分别表示数据logp（D）的对数似然性|0）是其中D = diag（a）是对角矩阵。 为了确保D是可逆的并且具有非零对角线，通常使用D= diag（exp（a））。根据上述归一化流的公式，它是-清楚地表明，我们可以利用他们的表达能力建模真实图像噪声分布和映射到容易处理的简单分布。作为副产品，这样的模型可以直接用于现实的噪声合成。自从将规范化流引入机器学习以来，它们一直专注于图像生成ΣMΣN。任务（例如，[17]）。 然而，在这项工作中，我们适应正常-.i=1logp×0（g（ni|（θ））−j=1洛格。detJj（g（ni|Θ），θj）。（八）通过以下方式将流程转换为噪声建模和合成任务：引入了两个新的条件双射，我们接下来描述它们。其中第一项是在基本测量下样本的对数似然，第二项有时称为对数行列式或体积校正，说明由归一化流的变换引起的体积双射变换为了构造有效的归一化流，我们需要定义可微和双射变换f。 除了能够定义和计算f之外，我们还 需 要 能 够 有 效 地 计 算 它 的 逆 g 和 对 数 行 列 式log|detJ|，这对于评估等式8中的数据对数似然性是必要的。首先考虑线性变换的情况[17]f（x）=Ax+b（9）3. 噪声流在本节中，我们定义了一个新的架构，规范化流建模噪声，我们称之为噪声流。噪声流包含新颖的双射变换，其捕获参数噪声模型（例如，信号相关噪声和增益），其与更有表现力的和一般的仿射耦合变换混合。3.1. 使用归一化流的从等式1和8开始，我们可以直接使用归一化流来估计复杂噪声分布的概率密度设D={ni}M表示数据集其中∈RD×D且b ∈RD是参数。 对于f，其中，ni是噪声层，中断原始RGB图像。噪声层可以通过以下方式获得：可逆A必须有满秩;它的逆矩阵由g（x）= A−1（x −b）给出，雅可比行列式简单地为det J = det A。仿射耦合为了实现更有表现力的变换，我们可以使用耦合的概念[5]。设x=（xA，xB）是x的维数的不相交划分，f ∈（x A，x B）是x的维数的不相交划分|θ）是由θ参数化的xA上的双射。则耦合流为f（x）=（f（xA;θ（xB）），xB）（ 10）其中θ（xB）是仅使用xB的任意函数作为输入。 耦合流的力量主要在于θ（xB）是任意复数的能力。例如，shallow ResNets[11]在[17]中用于此函数。从其对应的噪声图像中减去干净图像通常，我们选择具有零均值和单位协方差的各向同性正态分布作为基本度量。接下来，我们选择一组双射变换，其具有定义归一化流模型的一组参数Θ。最后，我们通过最小化变换分布的负对数似然来训练模型，如等式8所示。我们选择Glow模型[17]作为我们的起点。我们使用两种类型的双射变换（即，层）从辉光模型：（1）仿射耦合层作为去其可以捕获图像尺寸之间的任意相关性（即，像素）;以及（2）用于捕获输入图像中的交叉通道相关性的1×131681光子噪声电子噪声（固定模式、暗电流、串扰、缺陷像素等）增益噪声读出噪声图2：成像流水线的简化模型，显示了成像过程（底部行）和相关的噪声过程（顶部行）。模型改编自[9，10，12，19]。正向（采样）→噪声流密度估计（Density Estimation）信号-依赖层仿射耦合层1× 1卷积增益层仿射耦合层1× 1卷积层逆（损失）：（）转发：~（，）一个流程步骤×一个流程步骤×RGGB逆：（实际噪声）channel sForw ar d：�（sam pl ednoise）RGGB（传感器增益）通道（摄像机标识符，可选）原始到sRGB管道（原始干净图像）sRGB（sRGB干净图像）sRGB（sR GBnois yimage）原始（原始噪声图像）（原始干净图像）Raw-to-sRGB管线图3：我们的噪声流模型的架构仿射耦合和1×1卷积层从[17]移植信号相关层和增益层是新提出的。Raw-to-sRGB流水线从[1]移植。3.2. 基于条件归一化流现有的归一化流通常仅使用数据样本并且不使用关于数据的附加信息以无监督的方式进行训练。在我们的例子中，我们有一些关于噪声过程的知识，例如噪声的信号依赖性和基于传感器增益的噪声缩放。图2中示出了这些噪声过程中的一些噪声过程以及它们相关联的成像过程。因此，我们提出了新的规范化流层，这些信息的条件。然而，许多噪声过程，如固定模式噪声，不能容易地直接指定为了捕捉这些现象，使用由Glow模型[17]引入的仿射耦合层（等式10和11）和1×1卷积层（等式9的一种形式）图3显示了我们的噪声模型（噪声流）的建议架构。噪声流是一个信号相关层的序列;K个无条件流步;增益层;以及另一组K个无条件流步骤。每个非条件流步骤是仿射耦合层然后是1×1卷积层。项K是模型中使用的流动步在我们的前-在实验中，我们使用K=4，除非另有说明。该模型是完全双射的，也就是说，它可以在两个方向上操作，这意味着它可以用于模拟噪声（通过从基本测量x0采样并应用变换序列）或似然估计（通过使用针对噪声样本~1的逆变换来估计等式7）。 Raw-to-sRGB渲染管道从[1]导入。接下来，我们详细讨论所提出的信号相关层和增益层。3.2.1信号依赖层我们构造了一个双射变换，它模拟了等式5中定义的信号相关噪声过程。此层定义为f（x）=s ⊙x，s=（β1I + β2）2.（12）该层的逆由g（x）= s−1<$x给出，其中I是潜在的干净图像，而⊙是逐点乘法。第 为了解释由这种转变我们计算对数行列式为ΣD洛戈|detJ|=l〇 g（si）（13）i=1其中si是s的第i个元素并且D是维数（即，像素和通道的数量）。依赖于信号的噪声参数β1和β2应严格为正，因为噪声的标准偏差应为正且为强度的递增函数因此，我们将它们参数化为β1=exp（ b1）和β2=exp（b2）。我们通过设置b 1 = −5来初始化信号相关层，以类似于恒等变换。0，b2= 0。这样β1≈ 0且β2= 1。0，因此初始标度为s 1。0的情况。raw-RGB图像（数字）模数转换量化噪声读出信号（模拟）传感器读出获得的信号和噪声放大器（增益）传感器辐照度传感器（照相机、微透镜等）场景辐射信号噪声31693.2.2增益层传感器增益不仅放大信号，而且放大噪声。随着在低光成像中普遍使用更高的增益因子，在任何噪声模型中明确地将增益的影响因素化变得至关重要。因此，我们提出了一个增益相关的双射变换作为噪声流层。增益层被建模为图像的对应ISO水平的比例因子γ，因此变换为f（x）=γ（ISO）⊙x，γ（ ISO）=u（ ISO）×ISO，（14）其中，u（ISO）>0允许增益因子从ISO值所规定的严格缩放变化一些。逆变换是g（x）=γ−1（ISO）<$x，其中u被参数化为严格正的，并被初始化为u<$1/200以说明ISO值的典型标度。最后，该层的对数行列式为洛戈|detJ|=D10g（γ（IS 0）），（15）其中D是维数（即，像素和通道）。有许多方法来表示u（ISO）。然而，由于可用的数据集只包含一小部分离散ISO级别，因此我们选择简单地使用一组离散形式上u（ISO）=exp（vISO），其中指数用于确保u（ISO）为正。 我们使用 数据集中每个ISO级别的单个参数（例如，{v100 ， . . . ， v1600} ） 。 初 始 化 vISO 的 值 ， 使 得 exp（vISO）≈1/200，以考虑ISO值的标度并确保初始变换保持接近身份的转变不同的相机可能有不同的增益系数对应于他们的ISO水平。这些相机特定的增益因子通常是专有的并且难以访问，但是可能对图像的噪声分布具有显著影响为了解决这个问题，我们使用一组额外的参数来调整每个相机的增益层。在这种情况下，通过引入相机特定的缩放因子来调整上述增益层。也就是说，γ（ISO，m）=μm×u（ ISO）× ISO，（16）其中Φm∈R+是相机m的缩放因子。这是一个简单的模型，但被发现有效地捕捉相机之间的增益因子的差异。4. 实验为了评估噪声流的性能，我们训练它来模拟智能手机图像去噪数据集（SIDD）的真实噪声分布[1]，并评估训练模型的采样精度。4.1. 实验装置数据集我们选择SIDD来训练我们的噪声流模型。SIDD由来自十个不同场景的数千个噪声和相应的地面实况图像组成，这些图像在不同的光照条件和ISO水平下用五个不同的智能手机相机重复ISO等级从50到10，000不等。图像以Raw-RGB和sRGB颜色空间提供。我们相信这个数据集最适合我们的噪声建模任务，这主要是因为相机、ISO水平和照明条件的多样性数据准备我们首先收集大量的来自SIDD的真实噪声样本。我们通过从噪声图像中减去地面实况图像来获得噪声层。在这项工作中，我们只使用原始RGB图像，因为它们直接表示底层相机的噪声分布。我们避免使用sRGB图像，因为将图像渲染到sRGB空间往往会显著改变噪声分布[25]。我们把数据整理成近似-500，000个大小为64×64像素的图像块。我们将数据分成约70%的数据的训练集Dr和约30%的数据的测试集Ds我们确保同一组相机和ISO水平在训练集和测试集中都有表示仅针对可视化，我们通过颜色处理管道将原始RGB图像渲染到sRGB颜色空间。SIDD仅提供增益放大的干净图像Iγ，而不提供真正的干净潜像I。为了处理这个问题，我们使用学习的增益参数γ来对此进行校正，并在信号相关层中需要时将潜在的干净图像估计为I=Iγ/γ损失函数和评估指标我们将Noise Flow训练为数据集噪声分布的密度估计器，该密度估计器也可用于从该分布生成噪声样本。对于密度估计训练，我们使用训练集的负对数似然（NLL）（见等式8）作为使用Adam[16]优化的损失函数对于评估，我们考虑在测试集上评估的相同NLL为了进一步了解这些方法之间的差异，我们还考虑了生成的样本和测试集样本之间的逐像素边缘分布的Kullback-Leibler（KL）这样的测量忽略了模型捕获相关性的能力，而是关注模型具体地，给定来自测试集的图像，我们从模型生成噪声样本，并计算来自测试图像和所生成的噪声的噪声值的直方图，并报告直方图之间的离散KL散度。基线我们将噪声流模型与两个成熟的基线模型进行比较。第一个是HO-HOO31702.02.53.00.50.40.30.2(a) 高斯（b）摄像机NLF （c）噪音流（d）实际噪音（e）清洁3.50 50 100 150200时代（一）0.10.00 50 100 150200时代(b)图4：（a）与（1）高斯模型和（2）由相机估计的NLF表示的信号相关模型相比，噪声流的训练集和测试集上的每个维度的NLL（b）所生成的噪声样本与真实噪声样本之间的边际KL发散（DKL高斯凸轮NLF噪声流NLL-2。831（99.4%）-3。105（51.6%）-3。521DKL0的情况。394（97. 9%）0的情况。052（84. 1%）0的情况。008表1：与高斯和相机NLF基线相比，噪声流的最佳实现测试NLL和边际DKL括号内为噪声流在其他基线上的相对改善（以可能性表示）moscedastic高斯噪声模型（即，AWGN）。我们通过估计训练集的噪声方差的最大似然估计（MLE）来准备此基线模型，假设一元高斯分布。第二基线模型是异方差高斯噪声模型（即，NLF），如由相机设备提供的。SIDD为每个图像提供相机校准的NLF。我们使用这些NLF作为每个图像的异方差高斯模型的参数。在测试过程中，我们根据两个基线模型计算测试集的NLL4.2. 结果和消融研究噪声密度估计图4a示出了与噪声密度估计相比的噪声流的SIDD上的训练和测试NLL。(1) 高斯噪声模型和（2）由相机估计的噪声水平函数（NLF）表示的信号相关噪声模型。很明显，噪声流可以模拟现实的噪声分布比高斯和信号相关的模型。如表1中所示，噪声流实现最佳NLL，其中0. 69和0。42nats/pixel的改进，分别超过高斯和相机NLF模型。翻译成99 4%，51。6%的可能性提高。我们通过计算exp（−NLL）中相应的改进来计算似然的改进。噪声合成图4b示出了平均边际噪声。所生成的噪声样本与来自三个模型的测试集的对应噪声样本之间的KL散度：高斯、相机NLF和噪声流。图5：从（c）噪声流生成的噪声样本在边际KL发散方面更接近（d）真实样本;与（a）高斯模型和（b）相机NLF模型相比。(e)图像清晰相应的ISO级别和光照条件在左侧。噪声流实现了最佳的KL发散，97。9%和84. 分别比高斯和相机NLF模型提高1%，如表1所示。图5示出了与来自高斯和相机NLF模型的样本相比，来自噪声流的生成的噪声样本。我们展示了各种ISO级别的样品{100，. . .，1600}和照明条件（N：正常光，L：低光）。“噪波流”采样最接近真实噪声分布的边际KL分歧。此外，与高斯和相机NLF模型相比，噪声流样本和真实样本之间存在更明显的视觉相似性。学习信号相关噪声参数图6a显示了在训练噪声流模型时学习公式6中定义的信号相关噪声参数β1和β2这些参数正朝着与信号相关噪声模型一致的值收敛高斯-测试相机NLF -测试噪声流-列车噪声流-测试高斯相机NLF噪声流实际噪声NLL（每个尺寸）边缘DKL1600-L1600-N800-N800-L400-N400 L100 L100-N31712.01.51.00.50.0exp（1）实验（2）0500 10001500 2000 2500 3000时代101214160500 1000 1500 2000 2500 3000时代型号NLLDKLS-G-3 431（9. 42%）0. 067（88.1%）S-G-CAM-3511（1. 01%） 0. 010（20.0%）S-Ax1-G-Ax1-CAM−3。518（0. 30%）0.009（11. 1%）S-Ax4-G-Ax4-CAM（噪声流）表2：最佳实现测试NLL和边际D为(a) 信号依赖性参数(b) 增益参数KL不同的层架构。符号S，G，CAM，Ax1，图6：（a）信号相关噪声参数β1和β2与信号相关噪声模型一致，其中β1占主导地位，β2小得多。(b)增益参数，在对数尺度，是与图例中所示的相应的ISO水平一致×102Ax1和Ax4分别表示信号层、增益层、相机特定参数、一个无条件流步骤和四个非条件流步骤。括号中为噪声流的相对改进（以可能性表示）响应图7b中所示的摄像机，并捕捉设备之间噪声行为的基本差异4.03.53.02.52.00 1000 20003000时代2.01.51.00.50.0100 400 800 1600相机ISO3200这证明了相机特定参数对于捕获相机特定噪声分布的重要性 可以通过微调增益层内的相机特定参数来完成新相机的训练噪声流;所有其它层（即，信号相关和仿射耦合层）可以被认为是非相机特定的。(a) 摄像机增益权重(b) 相机β1值表2比较了不同层的效果，图7：（a）共享增益层的学习相机特定权重指示不同相机的增益差异。这些增益与（b）中所示的NLF参数β 1的相机的不同值相关iPhone和G4相机的ISO值范围较小，因此它们与增益的相关性尚不清楚。其中，β1是表示噪声的泊松分量的主导因子，β2是表示噪声的加性高斯分量的较小因子。在我们的实验中，这些参数通过指数函数运行，以迫使它们的值严格为正。学习增益因子图6b显示了在训练噪声流模型时学习公式14中定义的增益因子。增益因子{γ100，. . .，γ1600}与由他们的下标。这显示了噪声流模型在噪声建模和合成过程中适当考虑传感器增益的能力。请注意，我们从训练和测试集中省略了ISO级别200，因为 SIDD中没有足够的ISO级别图像。在我们的噪声流模型中，摄像机特定参数由一组增益比例因子{λm}组成，SIDD中的五个摄像机各有一个增益比例因子。图7显示了每个摄像机的增益比例在训练过程中的数据集。很明显，在学习的增益行为中，相机之间存在差异。这些差异与相关噪声水平函数参数β1的我们的噪声流模型的架构选择我们表示不同的层如下：G：增益层; S：信号依赖层; CAM：使用相机专用参数的层; Ax 1：一个无条件流步骤（仿射耦合层和1×1卷积层）; Ax 4：四个无条件流动步骤。结果显示，由附加的相机特定参数（即，S-G-CAM模型），确认相机之间的噪声分布的差异以及对相机特定噪声参数的需要。 然后，我们展示了EF-在我们的噪声流模型中使用仿射耦合层和1×1卷积层的效果将Ax1块添加到证明了NLL方面的建模性能。此外，将无条件流步骤的数量从一个增加到四个也带来了轻微的改进。这表明仿射耦合层在捕获不能由信号依赖性或增益层直接建模的附加像素相关性中的重要性。S-Ax 4-G-Ax 4-CAM是最终的噪声流模型。5. 真实图像去噪为了进一步研究噪声流模型的准确性，我们将其用作噪声生成器来训练图像去噪器。我们使用DnCNN图像降噪器[33]。我们使用来自SIDD-Medium [1]的干净图像作为训练基础事实，并使用SIDD-Validation作为我们的测试集。SIDD验证包含真实噪声图像和对应的地面实况。我们比较了三种不同的情况下使用合成的DnCNN训练G100g400g800g1600iPhone 7 Galaxy S6像素G4Nexus 6iPhone 7 Galaxy S6像素G4Nexus 6信号依赖性参数-3。5210008增重照相机1增益参数（对数标度）3172PSNR = 47.29PSNR = 50.20PSNR = 49.78PSNR = 44.81PSNR = 46.47PSNR = 47.05PSNR = 25.18PSNR = 44.19cally产生的噪音：（1）DnCNN-Gauss：同方差高斯噪声（即，AWGN）;（2）DnCNN-CamNLF：来自相机校准的NLF的信号相关噪声;和（3）DnCNN-NF：我们的噪声流模型产生的噪声。 对于高斯噪声，我们随机采样stan-从范围σ ∈[0. 二十四十一51]。对于依赖于信号的噪声，我们从一组相机NLF。对于使用Noise Flow生成的噪波，我们为模型提供随机相机标识符和ISO级别。σ范围、相机NLF、ISO级别和相机标识符都在SIDD中报告。此外，除了使用合成噪声进行训练之外，我们还使用来自 SIDD-Medium 的 真 实 噪 声 / 干 净 图 像 对 来 训 练DnCNN模型，并且没有噪声增强（表示为DnCNN-Real）。结果和讨论表3显示了使用上述三种噪声合成策略和在真实噪声上训练的判别模型的DnCNN的最佳测试峰值信噪比（PSNR）和结构相似性（SSIM）[30]。在从噪声流生成的噪声上训练的模型产生最高的PSNR和SSIM值，甚至略高于DnCNN-Real，这是由于训练数据集中的样本数量相对有限我们还在括号中报告了DnCNN-NF在均方根误差（RMSE）和结构相异性（DSIMM）[21，31]方面相对于其他两个模型的相对改进，分别用于PSNR和SSIM。我们更倾向于报告相对改善，以这种方式，因为PSNR和SSIM趋于饱和的误差变小;相反，RMSE和DSSIM不饱和。对于视觉检查，在图8中，我们显示了来自三种情况的最佳训练模型的一些去噪图像DnCNN-Gauss倾向于过度平滑噪声，如在行3和5中，而DnCNN-CamNLF经常导致伪影和像素饱和，如在行1和5中。虽然DnCNN-NF并不总是产生最高的PSNR，但它在所有六幅图像中是最稳定的。噪声流可以在图像去噪之外用于辅助需要噪声合成的计算机视觉任务（例如，鲁棒图像分类[4]和突发图像去模糊[2]。此外，与数据集中的有限数量相比，噪声流将为我们提供几乎无限的噪声样本。6. 结论在本文中，我们已经提出了一个有条件的归一化流模型的图像噪声建模和合成，结合了完善的噪声模型和归一化流的表达。作为一个结果，我们提供了一个紧凑的噪声模型，少于2500参数，可以准确地建模和生成现实的噪声分布与0。42个nat/像素的改进（即，模型PSNR SSIMDnCNN-高斯四十三63（43.0%）0的情况。968（75. 6%）DnCNN-CamNLF44. 99（33.4%）0的情况。982（56. 0%）DnCNN-NF四十八520的情况。992DnCNN-Real四十七08（15.3%）0的情况。989（27. 5%）表3：与来自高斯模型或相机NLF的合成噪声和真实噪声的训练相比，在噪声流（DnCNN-NF）生成的合成噪声上训练的DnCNN去噪器[33]实现了更高的PSNR和SSIM值。DnCNN-NF在RMSE和DSSIM方面相对于其他模型的相对改进在括号中。(a) 真实噪声（b）高斯（c）相机NLF（d）噪音流（e）DnCNN-Real（f）地面实况PSNR = 39.08PSNR = 34.82PSNR = 44.09PSNR = 42.56PSNR = 52.60PSNR = 55.42PSNR = 54.12PSNR = 54.66PSNR = 49.85PSNR = 53.75PSNR = 53.36PSNR = 51.30PSNR = 56.52PSNR = 56.42PSNR = 58.41PSNR = 58.84图8：DnCNN在三种不同的噪声合成方法上训练的样本去噪结果：（b）高斯;(c) 摄像机NLF;以及（d）噪声流。(e)DnCNN在真实的噪音上训练。(a)真实的嘈杂图像。(f)地面真相52%更高的可能性）超过相机校准的噪声水平函数。我们相信，所提出的方法和提供的模型将是非常有用的，为推进许多计算机视觉和图像处理任务。代码和预训练模型可在github.com/BorealisAI/noise_flow上公开获得。致谢这项工作得到了Mitacs Ac- celerate计划的支持，作为BorealisAI实习的一部分，并得到了加拿大第一卓越研究基金（CFREF）的部分资助，用于愿景：科学应用（VISTA）计划和NSERC发现补助金。布朗博士以约克大学教授的个人身份对本文做出了所表达的Abdelrahman部分由AdeptMind奖学金支持。3173引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael SBrown.智能手机相机的高质量去噪数据集。在CVPR，2018年。一二四五七[2] MiikaAittala和Fre'doDurand。基于排列不变卷积神经网络的突发图像去在ECCV，2018。8[3] 陈静雯，陈嘉伟，赵宏阳，杨明。基于噪声建模的生成对抗网络图像盲去噪。在CVPR，2018年。2[4] Steven Diamond ， Vincent Sitzmann ， Stephen Boyd ，Gordon Wetzstein，and Felix Heide.脏像素：原始传感器数 据 的 图 像 分 类 结 构 优 化 。 arXiv 预 印 本 arXiv ：1701.06487，2017。8[5] Laurent Dinh ， David Krueger ， and Yoshua Bengio.NICE：非线性独立分量估计。ICLR Workshop，2015年。二、三[6] Laurent Dinh，Jascha Sohl-Dickstein，and Samy Bengio.使用实NVP的密度估计。 在ICLR，2017。3[7] 亚历山德罗·福伊 剪切噪声图像：异方差建模与实用去噪。Signal Processing，89（12）：2609-2629，2009.一、二[8] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和Karen Egiazarian。单图像原始数据的实用泊松-高斯噪声建模与拟合。TIP，17（10）：1737-1754，2015。一、二[9] 瑞 安 ·D. 放 大 图 片 创 作 者 ： David Renshaw ， KeithFindlater ， Lindsay Grant McLeod ， John Hart ， andRobert L.尼可 CMOS图像传感器噪声性能建模的综合工具IEEE Transactions on Electron Devices，54（6）：1321-1329，2007. 4[10] SammuelWHasinoff，Fre´doDurand，andWilliamTFreeman. 高动态范围摄影的最佳噪声捕捉。CVPR，2010。4[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。3[12] 格伦·E希利和拉格哈瓦·孔德普迪。辐射CCD相机定标与噪声估计。TPAMI，16（3）：267-276，1994. 1、4[13] 杰拉尔德·C·霍尔斯特CCD阵列、照相机和显示器。SPIE光学工程出版社，美国，第二版，1998。1[14] Youngbae Hwang，Jun Sik Kim，and In So Kweon.基于骨架分布的差分图像噪声建模TPAMI，34（7）：1329-1341，2012. 1[15] 金晓丹和平川圭吾。凸轮传感器噪声的近似值。图像处理：算法和系统XI，2013年。1[16] Diederik P. Kingma和Jimmy Ba。亚当：一种随机优化方法。2015年，国际会议。5[17] Diederik P. Kingma和Prafulla Dhariwal。Glow：Gener-ative Flow with Invertible 1x1 Convolutions. NeurIPS ，2018。二、三、四[18] Darwin T Kuan ， Alexander A Sawchuk ， Timothy CStrand，and Pierre Chavel.信号相关噪声图像的自适应噪声平滑滤波器TPAMI，7（2）：165-177，1985. 1[19] 刘策，Richard Szeliski，Sing Bing Kang，C. LawrenceZit-nick和William T.弗里曼。单幅图像噪声的自动估计与去除。TPAMI，30（2）：2991、4[20] Xinhao Liu，Masayuki Tanaka，and Masatoshi Okutomi.从单个噪声图像中估计与信号相关的噪声参数。TIP，23（10）：4361-4371，2014。2[21] 阿图尔·吉奥扎、柳德米拉·米哈伊洛娃、大卫·布尔和尼山·卡纳加拉贾。多模态监控视频中基于结构相似性的目标跟踪机器视觉与应用，20（2）：71-83，2009。8[22] MarkkuM aükitalo 和 AlessandroFoi. Poisson 型 广 义Anscombe变换的最优变换高斯噪声。TIP，22（1）：91-103，2013. 一、二[23] 阿姆鲁M. 作者声明：MichaelF. Tompsett和CarloH. 塞昆。电荷耦合器件中的噪声测量。IEEE电子器件学报，22（5）：209-218，1975年。2[24] Firouz Naderi和Alexander A Sawchuk。胶片颗粒噪声引起的图像退化的估计应用光学，17（8）：1228-1237，1978年。1[25] Seonghyeon Nam 、 Youngbae Hwang 、 Keti YasuyukiMat-sushita和Seon Joo Kim。一种跨通道图像噪声整体建模方法及其在图像去噪中的应用在CVPR，2016年。5[26] TobiasPl ótz和Ste f anRoth。用真实照片对去噪算法进行基准测试在CVPR，2017年。一、二[27] Danilo Jimenez Rezende和Shakir Mohamed。归一化流的变分推断。ICML，2015。2[28] 塔玛拉·塞博尔德，克里斯蒂安·凯梅尔，马里恩·克诺普，沃尔特·施特切莱.对真实摄像机噪声去噪算法的评价 。 IEEEInternational Symposium on Multimedia ，2013。1[29] H Joel Trussell和R Zhang。彩色数码相机中泊松噪声的优势。载于ICIP，2012年。1[30] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从错误可见性到结构相似性。技术报告4，2004。8[31] 安德鲁·韦伯统计模式识别John Wiley Sons，2003年。8[32] 张嘉超和平川敬吾。图像传感器噪声