CMOS光电传感器噪声模型的提出及其在数码相机中的应用

2758一种基于物理的极弱光原始图像去噪模型魏凯旋1傅颖1杨蛟龙2黄华11北京理工大学2微软研究院摘要由于缺乏丰富和真实的数据，学习过的单图像去噪算法很难推广到与用于训练的数据不相似的真实原始图像。虽然这个问题可以通过异方差高斯噪声合成模型来缓解，但由数码相机电子设备引起的噪声源仍然在很大程度上被忽视，尽管它们对原始测量有显著影响，特别是在极低光照条件下。为了解决这个问题，我们提出了一个高度准确的噪声形成模型的基础上的CMOS光电传感器的特性，从而使我们能够合成逼真的样品，更好地匹配的物理图像形成过程。鉴于所提出的噪声模型，我们还提出了一种方法来校准可用的现代数码相机的噪声参数我们通过引入一个新的低光去噪数据集，系统地研究了用现有方案训练的神经网络的泛化能力，该数据集涵盖了来自不同品牌的许多现代数字相机。大量的实验结果表明，通过利用我们提出的噪声形成模型，网络可以达到的能力，如果它已经训练了丰富的真实数据，这表明我们的噪声形成模型的有效性。1. 介绍光线对摄影来说是至关重要的由于有限的光子数和不可避免的噪声，夜晚和低光对摄影提出了非常苛刻的限制。自然的反应是收集更多的光，例如，加大光圈设置，延长曝光时间，打开手电筒。然而，每种方法都是一种权衡-大光圈导致小景深，并且在智能手机相机中不可用;长时间曝光会由于场景变化或相机运动而引起模糊;闪光可引起色差，并且仅对附近的物体有用。低光成像的一个实际补救方法是使用突发捕获[46，28，42，40]，其中突发图像对准并融合以增加信噪比*通讯作者：fuying@bit.edu.cn(a) 输入（b）G（c）G+P(d)配对真实数据（e）我们的（f）参考图1：来自See-in-the-Dark（SID）数据集[9]的图像，其中我们呈现（a）短曝光噪声输入图像;（f）长曝光参考图像;（b-e）UNe ts 的输出[51] 用（b）由所述同方差高斯噪声模型（G）生成的合成数据，（c）由信号相关异方差高斯噪声模型（G+P）[22]，（d）[9]的配对真实数据，以及（e）分别由我们提出的噪声模型生成的合成数据。所有图像均从原始Bayer空间转换为sRGB进行可视化;类似地在下文中。（SNR）。然而，当在车辆、人类等存在的情况下捕捉动态场景时，连拍摄影可能是脆弱的，遭受重影效应[28，56]。一种新兴的替代方法是采用神经网络来自动学习从低光噪声图像到其长曝光对应物的映射然而，这种深度学习方法通常需要大量标记的训练数据，这些数据类似于现实世界中的低光照片。从各种现代摄像设备中收集丰富的高质量训练样本是非常劳动密集型和昂贵的。相比之下，合成数据简单、丰富且便宜，但其功效高度取决于所采用的噪声形成模型的准确程度。Thehet- eroscedastic Gaussian noise model [22], instead of thecommonly-used homoscedastic one, approximates well thereal noise occurred in daylight or moderate low-light set-tings [5, 27, 28].然而，它不能描绘传感器噪声在严重低照度下的全貌。一个说明性的例子如图所示1、当物体--2759在昏暗的环境中加剧的未建模的噪声分量，即可观测的带状图案伪像，变得可被人眼清楚地注意到。在本文中，为了避免将原始数据转换为sRGB的图像处理管道（ISP）[9，5，46]对噪声模型的影响，我们主要关注原始图像的噪声形成模型。我们提出了一个基于物理的噪声形成模型，用于极低光原始降噪，它明确地利用CMOS光电传感器的特性，以更好地匹配噪声形成的物理特性如图2.我们提出的合成流水线是从电子成像的内在过程中推导出来的，它考虑了光子如何经过几个阶段。它以细粒度的方式对传感器噪声进行建模，其中包括许多噪声源，如光子散粒噪声、像素电路噪声和量化噪声。此外，我们提供了一种方法来校准噪声参数从现有的数码相机。为了研究我们的噪声模型的通用性，我们还引入了一个由各种相机设备拍摄的极端低光去噪（ELD）数据集来评估我们的模型。大量的实验表明，仅用我们的噪声模型的合成数据训练的网络可以达到像用丰富的真实数据训练的网络一样的能力。我们的主要贡献可概括如下：• 我们制定了一个噪声模型来合成逼真的噪声图像，可以在极端低光条件下匹配真实数据的质量。• 我们提出了一种噪声参数校准方法，可以适应我们的模型，以一个给定的相机。• 我们收集了各种相机设备的数据集，以验证我们的模型的有效性和通用性。2. 相关工作从单幅图像中去除噪声是计算机视觉和图像处理中一个被广泛研究但尚未解决的问题单图像去噪方法通常依赖于信号和噪声都具有特定统计特性的假设，使得它们可以从单个观察中分离出来。制作一个与图像先验（例如，平滑性、稀疏性、自相似性、低秩），因此，在去噪算法传统设计流水线中起着在现代，大多数单一图像去噪算法完全是数据驱动的，由深度神经网络组成，隐式地学习统计特征，从嘈杂的图像中推断出干净的图像[53，12，45，61，24，57，10，27]。虽然简单而强大，但由于实际约束，这些基于学习的方法通常在合成图像数据上进行训练。最广泛使用的添加剂，白色，高斯图2：电子成像流程概述、噪声源可视化以及每个阶段的结果图像。噪声模型严重偏离实际评估标准，导致具有真实噪声的照相机的性能显著下降[49，2]。为了消除合成图像和真实照片之间的域差距，一些作品已经采取收集成对的真实数据，不仅用于评估，而且用于训练[2，9，54，8，33]。尽管结果令人鼓舞，但用地面实况标签收集足够的真实数据以防止过拟合是极其昂贵和耗时的。最近的工作利用成对（Noise2Noise [38]）或单个（Noise2Void [37]）噪声图像作为训练数据，而不是成对的噪声和无噪声图像。然而，它们不能实质上减轻捕获大量真实世界训练数据的劳动力需求的负担。另一条研究路线集中在提高合成训练数据的真实性，以规避从相机获取真实数据的通过考虑光子到达统计（最近，Wanget al. [59]提出了一种考虑动态条纹噪声、彩色通道不均匀性和削波效应的噪声模型，用于模拟真实弱光彩色图像上的高灵敏度噪声。同时，提出了一种基于流的生成模型，即Noiseflow [1]，用于使用具有易处理密度1 的潜变量来制定真实噪声的分布。然而，这些方法过度简化了现代传感器成像流程，特别是由摄像机电子器件引起的噪声源，这在电子成像领域已得到广泛研究[36，29，25，3，17，19，30，31，4，58，14]。在这项工作中，我们提出了一个基于物理的噪声形成模型，该模型源于电子成像的基本过程，以合成噪声数据集，并表明在实际数据上，特别是在极低照度下，去噪性能的大小改进。1请注意，Noiseflow需要成对的真实数据来获得噪声数据（通过从噪声图像中减去地面真实图像）用于训练。27603. 基于物理的噪声形成模型数字传感器原始图像D的创建通常可以通过线性模型来D=KI+N，（1）其中I是与场景辐射成比例的光电子的数量，K表示由模拟和数字增益组成的总系统增益，并且N表示由光或相机物理引起的所有噪声源的总和 我们专注于在极端低光条件下的单个原始图像去噪问题。 在这种情况下，N的特性是根据传感器物理过程形成的，超出了现有的噪声模型。导出最佳正则化器来处理这种噪声是不可行的，因为没有针对这种噪声分布的分析求解器2。因此，我们依靠基于学习的神经网络管道来隐式地从数据中学习神经网络为这项任务创建训练样本需要仔细考虑原始传感器数据的特性在下文中，我们首先描述传感器原始图像的物理形成的详细过程以及在整个过程期间引入的噪声源该过程的概述示于图1中。二、3.1. 传感器原始图像形成我们的光电传感器模型主要基于CMOS传感器，这是当今占主导地位的成像传感器[50]。我们考虑入射光如何从光子转换为电子，从电子到电压，最后从电压到数字，模型噪声的电子成像流水线从光子到电子 在曝光期间，光子形式的入射光撞击光电传感器像素区域，其释放与光强度成比例的光子产生的电子（光电子）。由于光的量子特性，收集到的电子数不可避免地存在不确定性。这种不确定性在这个数量的电子上强加了泊松分布，如下所示：（I+Np）P（I），（2）其中Np被称为光子散粒噪声，P表示泊松分布。这种类型的噪声取决于光强度，即，在信号上。散粒噪声是一个基本的限制，即使是完美的传感器也无法避免。在光子-电子阶段还引入了其他噪声源，如许多相关文献报道的光响应不均匀性和暗电流噪声[29，25，58，3]。在过去的十年中，CMOS传感器设计和制造的技术进步， 传感器暗电流抑制，导致[2]即使每个噪声分量都有一个解析公式，它们的总和通常也是难以处理的。新一代数码单反相机（DSLR），具有更低的暗电流和更好的光响应均匀性[23，41]。因此，我们假设恒定的光响应，并将暗电流噪声Nd的影响吸收到读取噪声Nread中，这将在接下来呈现。从电子到电压 在每个位点处收集电子之后，它们通常被积分、放大并在曝光时间结束时作为可测量的电荷或电压读出。在电子-电压阶段期间存在的噪声取决于所使用的电路设计和处理技术，并且因此被称为像素电路噪声[25]。它包括热噪声、复位噪声[36]、源极跟随器噪声[39]和带状图案噪声[25]。这些噪声分量的物理来源可以在电子成像文献[36，25，58，39]中找到例如，源极跟随器噪声是由于硅晶格中随机捕获和发射载流子的陷阱的作用;条带图案噪声与CMOS电路读出图案和放大器相关联。通过利用这些知识，我们考虑了热噪声NT，源极跟随器噪声Ns和带状图案噪声Nb在我们的模型。噪声模型将在后面介绍.在这里，我们吸收多个噪声源到一个统一的术语，即。读取噪声N读=Nd+Nt+ Ns。（三）可以假设读取噪声遵循高斯分布，但噪声数据的分析（在第3.2节中）表明其形状具有长尾性质这可以归因于源极跟随器噪声的闪烁和随机电报信号分量[25]，或暗电流引起的暗尖峰因此，我们建议使用一个统计分布，可以更好地表征长尾形状。具体来说，我们通过Tukey lambda分布（TL）[34]对读取噪声进行建模，Tukey lambda分布是一个可以近似许多常见分布的分布族（例如，重尾柯西分布）：N读取ΔTL（λ; 0，σTL），（4）其中λ和σ表示形状和尺度参数re-k，而位置参数在给定零均值噪声假设的情况下被设置为零。带状图案噪声Nb在图像中以水平线或垂直线出现。在我们的模型中，我们只考虑行噪声我们通过从具有尺度参数σr的零均值高斯分布中采样一个值，然后将其作为偏移量添加到单个行内的整个像素来模拟行噪声Nr从电压到数字。 为了生成可存储在数字存储介质中的图像，在最后一级期间读出的模拟电压信号被量化2761图3：SonyA7S2（左）和NikonD850（右）相机拍摄的偏置帧的集中傅立叶频谱转换成离散代码。该过程引入量化噪声Nq由下式给出：Nq<$U（−1/2q，1/2q），（5）其中U（·，·）表示在范围[-1/2q，1/2q]上的均匀分布，q是量化步长。总而言之，我们的噪声形成模型由四个主要噪声分量组成：N=KNp+Nread+Nr+Nq，（6）其中，K、NP、Nread、Nr和Nq分别表示总系统增益、光子散粒噪声、读取噪声、行噪声和量化噪声3.2. 传感器噪声评估在本节中，我们提出了一个噪声参数校准方法，我们提出的噪声形成模型。根据等式(2)（4）（6），指定我们的噪声模型的必要参数包括用于光子散粒噪声Np的总系统增益K;用于读取噪声Nread的形状和尺度参数（λ和σTL）;用于行噪声Nr的尺度参数σr。对于一台新相机，我们的噪声标定方法包括两个主要步骤：(1)估计各种ISO设置下的噪声参数3，以及（2）对噪声参数的联合分布建模。估计噪声参数。 我们记录两个原始图像序列来估计K和其他噪声参数：平场帧和偏置帧。平场帧是当传感器被均匀照明时捕获的图像它们可用于根据光子传递方法导出K。[32]一旦我们有了K，我们可以首先将原始数字信号D转换为光电子数I，然后对其施加泊松分布，最后将其恢复为D-这模拟了真实的偏置帧是在无光环境下以最短曝光时间捕获的图像我们在一个黑暗的房间里拍摄，相机镜头盖上了。偏置帧描绘独立于光的读取噪声图片，由上述多个噪声源混合。通过对偏置坐标系进行离散傅里叶变换，可以测试条带噪声。在图3中，突出显示的3噪声参数通常在固定的ISO下是静止的。图4：SonyA7S2（上）和NikonD850（下）相机的读取噪声分 布 拟 合 。 Left: probability plot against the Gaussiandistribution; Middle: Tukey lambda PPCC plot that determinesthe optimal λ (shown in red line); Right: probability plot againstthe Tukey Lambda distribution. R2越高，拟合度越好.（最佳放大）集中傅立叶频谱中的垂直方向图揭示了行噪声分量的存在。为了分析行噪声的分布，我们从原始数据中提取每行的平均值。因此，考虑到其他噪声源的零均值性质，这些值可作为对潜在行噪声强度的良好估计。行噪声数据的正态性通过Shapiro-Wilk检验[55]进行检验：所得p值大于0。05，这表明数据呈正态分布的零假设不能被拒绝。相关尺度参数σr可以通过最大化对数似然来容易地估计。在从偏置帧中减去估计的行噪声之后，可以使用统计模型来拟合残余读取噪声的经验分布 初步诊断（图）图4（左）显示了数据的主体可能遵循高斯分布，但它也揭示了潜在分布的长尾性质。与将极值视为离群值相比，我们观察到适当的长尾统计分布可以更好地表征噪声数据我们生成了一个概率图相关系数（PPCC）图[20]，以从最能描述数据的Tukey lambda分布族[34]中识别统计模型。Tukey lambda分布是一类可以通过改变形状参数λ来近似许多分布的分布族。如果λ = 0，它可以近似高斯分布。14，或导出一个重尾分布，如果λ <0。十四岁PPCC图（图4中间）用于找到λ的好值。概率图[60]（图）4右），然后采用估计尺度参数σTL。拟合优度可通过R2-相对于t的决定系数来评价。概率分布图[47]。拟合的Tukey λ分布的R2比高斯分布高得多（例如，0的情况。九百七十二比零。886），表明更好地拟合经验数据。虽然我们使用统一的噪声模型为不同的凸轮-2762对数（TL）p对数读读实偏置标架高斯模型（R2）（0.961）（0.978）（R2）（0.880）（0.972）图5：两个相机的模拟和真实偏置帧更高R2 indicates a better fit quantitatively. （最佳放大视图）1.60.00(a) 图像捕获设置（b）示例图像图7：从我们的数据集中捕获设置和示例图像。表1：SID数据集的Sony集的定量结果。噪声模型如下所示。G：高斯模型读噪声NG：N的TukeylAmbda模型P：光子散粒噪声N的高斯近似; P_p：N_p的真实泊松模型; R：行噪声N_r的高斯模型;U：量化噪声N q的均匀分布模型。最好的结果用红色表示，第二好的结果用蓝色表示。1.41.21.00.80.250.500.751.000.60.41.21.41.61.82.02.22.42.6log（K）1.251.501.751.21.41.61.82.02.22.42.6log（K）图6：从NikonD850相机的估计噪声参数样本（蓝点）进行左图和右图显示了（K，σTL）和（K，σr）反射率的联合分布，其中我们从蓝色阴影区域采样噪声参数。年代，从不同的相机估计的噪声参数图4示出了所选择的最佳形状参数λ随相机而不同，这意味着在相机之间具有不同程度的重尾的真实和模拟偏倚帧的视觉比较如图所示。5.它表明，我们的模型能够跨各种相机合成真实的噪声，这在拟合优度度量（即，R2）和与真实噪声的视觉相似性。建模关节参数分布。为了选择噪声形成模型的噪声参数，我们从在各种ISO设置下估计的参数样本推断（K，σTL）和（K，σr如图6，我们使用线性最小二乘法找到两组对数尺度测量的最佳拟合线。我们的噪声参数采样程序是是的。 Kmin和Kmax分别是在相机的最小和最大ISO下估计的总体系统增益。 a和b表示拟合线的斜率和相对于V的截距。在高斯误差假设下，σσ是线性回归的标准差的无偏估计。对于形状参数λ，我们简单地从估计参数的经验分布中样品噪声图像合成。为了合成有噪声的图像，选择干净的图像并除以从[100，300]均匀采样的低光因子，以模拟黑暗中的低光子计数。然后，根据等式（1），生成噪声并将其添加到缩放的干净样本。(6)（七）、通过乘以相同的低光因子来曝光明亮但噪声过大的内容，最终将所创建的噪声图像归一化。log（K）.Σlog（Kmin），log（Kmax），4. 极低光去噪（ELD）数据集llog（σTL）|log（K）<$N（aTLlog（K）+bTL，σ<$TL），（7）l og（σr）|l og（K）<$N（arl og（K）+br，σ<$r），其中U（·，·）表示均匀分布，N（μ，σ）表示具有平均值μ和标准值的高斯分布为了系统地研究所提出的噪声形成模型的通用性，我们收集了一个极端的低光去噪（ELD）数据集，该数 据 集 涵 盖 了 10 个 室 内 场 景 和 来 自 多 个 品 牌（ SonyA7S2 ， NikonD850 ， CanonEOS70D ，CanonEOS700D）的4个相机设备。我们也索尼A7S2尼康D850模型×100PSNR /SSIM×250PSNR /SSIM×300PSNR /SSIMBM3d32.92 /0.75829.56 /0.68628.88 /0.674A-BM3D33.79 /0.74327.24 /0.51826.52 /0.558成对真实数据38.60 /0.91237.08/0.88636.29/0.874Noise2Noise37.42 /0.85333.48 /0.72532.37 /0.686G36.10 /0.80031.87 /0.64030.99 /0.624G+P37.08 /0.83932.85 /0.69731.87 /0.665G+P38.31 /0.88434.39 /0.76533.37 /0.730G+P39.10 /0.91136.46 /0.86935.69 /0.855G+P+R39.23 /0.91236.89 /0.87736.01 /0.864G+P+R+U39.27/0.91437.13/0.88336.30/0.8722763记录每个相机的偏移和平场帧以校准我们的噪声模型。数据采集设置如图所示。7.对于每个场景和每个相机，首先拍摄基本ISO下的参考图像，然后拍摄噪声图像，其曝光时间被低光因子f故意减少以模拟极端低光条件。然后拍摄与第一幅类似的另一幅参考图像，以确保没有意外错误（例如，剧烈的照明变化或偶然的相机/场景运动）发生。我们选三个（a）噪音2噪音(b)成对真实数据 (c)地面实况ISO级别（800，1600，3200）4和两个低光系数（100，200）的嘈杂图像捕捉我们的数据集，（d）G（e）G+P（f）G+P+R+U在总共240（3×2×10×4）个原始图像对中。我们数据集中最难的例子类似于在高达640000（3200×200）的“伪”ISO下捕获的图像5. 实验5.1. 实验环境实作详细数据。构造了一个基于学习的神经网络流水线来进行低光照原始图像去噪。我们使用与[9]相同的U-Net架构[51]。来自SID Sony训练数据集[9]的原始Bayer图像用于创建训练数据。我们将原始Bayer图像打包成四个通道（R-G-B-G），并通过随机翻转/旋转来裁剪非重叠的512×512区域。我们的方法只使用干净的原始图像，因为成对的噪声图像是由所提出的噪声模型动态生成的。此外，我们还基于其他训练方案作为参考来训练网络，包括使用成对的真实数据（短曝光和长曝光对应物）训练和使用成对的真实噪声图像（即，Noise2Noise [38]）。我们的实现5基于PyTorch。我们使用L1loss和Adamopti训练了200 epoch的模型[35]第35话，一个人的命运学习率最初设置为10−4，然后在epoch 100减半，最后在epoch 180降低到10−5竞争的方法。为了了解我们提出的噪声模型的准确性，我们将我们的方法与以下方法进行比较：1. 使用真实噪声数据进行训练的方法I.E. “paired real data” [9]2. 以前的噪声模型，即。同方差（G）和异方差高斯噪声模型（G+P）[22，21];3. 介绍了非深度方法的代表性方法，即。BM3D [15]和Anscombe-BM3D（A-BM3D）[44]7.4当ISO设置高于3200时，大多数现代数码相机都是ISO不变的。5代码发布于https://github.com/Vandermode/NoiseModel图8：不同训练方案的视觉结果比较。与其他基线相比，我们的最终模型（G+P+R+U）抑制了5.2. SID Sony数据集首先在SID Sony验证集和测试集上进行了单幅原始图像去噪实验。对于定量评估，我们专注于自然光照明的室内场景，以避免交变电流灯的闪烁效应[2]8。考虑到快门速度和模拟增益的不精确性[2]，计算单个标量并将其乘以重建图像，以最小化由地面实况评估的均方误差。噪声模型的烧蚀研究。 为了验证所提出的噪声模型的有效性，我们比较了使用第3.1节中开发的不同噪声模型训练的网络的性能。使用ELD数据集校准所有噪声参数，并使用以下（或类似于）等式的过程进行采样（七）、第5.1节中描述的其他方法的结果也作为参考。如表1所示，同方差/异方差高斯模型和事实上的噪声模型（由用成对真实数据训练的模型表征）之间的域间隙是显著的。 这可以归因于(1) 泊松分布的高斯近似在极低照度下是不合理的;（2）噪声模型中没有考虑水平条带效应;（3）长─读取噪声的拖尾特性被忽略。综合考虑这些因素，我们最终的模型，即。G + P + R + U得到一个惊人的结果：结果与用成对的真实数据训练的模型相当，或者有时甚至更好。此外，训练只与真正的低光嘈杂数据不够有效，这是由于削波效应（违反了零均值噪声假设）和损坏的大我们的最终模型和其他方法的直观比较如图所示8号6[9]使用成对的真实数据来执行原始到sRGB低光图像处理。切辛在这里，我们将其设置调整为原始到原始去噪。7所需的噪声水平参数由现成的图像噪声水平估计器提供[22，11]。8交流光不是噪声，而是一种破坏短/长曝光对之间的辐照度恒定性的照明类型，使定量评估不准确。2764表2：不同方法对包含四个代表性相机的ELD数据集的定量结果（PSNR/SSIM）相机F指数非深用真实数据使用合成数据进行BM3D [15]A-BM3D [4]配对数据[9][38]第三十八话GG+P [22]我们索尼A7S2×100PSNR三十七69三十七7444. 5041岁63四十二35四十二46四十五36SSIM0的情况。8030的情况。776 0的情况。9710的情况。8560的情况。8930的情况。8890的情况。972×200PSNR三十四06三十五26四十二45三十七98三十八岁。93三十八岁。88四十三27SSIM0的情况。6960的情况。721 0的情况。9450的情况。7750的情况。8130的情况。8120的情况。949尼康D850×100PSNR三十三岁。97三十六6041岁28四十4739岁57四十2941岁79SSIM0的情况。7250的情况。779 0的情况。9380的情况。8480的情况。8230的情况。8450的情况。912×200PSNR31岁36三十二5939岁44三十七98三十六68三十七2639岁69SSIM0的情况。6180的情况。723 0的情况。9100的情况。8200的情况。7570的情况。7860的情况。875佳能EOS 70D×100PSNR三十7931岁88四十10三十八岁。21四十59四十94四十62SSIM0的情况。5890的情况。692 0的情况。9310的情况。8260的情况。9250的情况。9340的情况。937×200PSNR28岁0628岁66三十七32三十四33三十七49三十七64三十八岁。17SSIM0的情况。5400的情况。597 0的情况。8670的情况。7040的情况。8710的情况。8730的情况。890佳能EOS700D×100PSNR29岁70三十1339岁05三十八岁。2939岁77四十0839岁84SSIM0的情况。5560的情况。640 0的情况。9060的情况。8590的情况。8840的情况。8970的情况。921×200PSNR二十七岁52二十七岁68三十六50三十四94三十七67三十七86三十七59SSIM0的情况。5370的情况。579 0的情况。8500的情况。7660的情况。8700的情况。8790的情况。879输入BM 3D A-BM 3D G G+P Noise 2Noise成对真实数据Ours图9：SID Sony数据集室内和室外场景的原始图像去噪结果。 （最佳放大）输入BM 3D A-BM 3D G G+P Noise 2Noise成对真实数据Ours2765图10：ELD数据集上的原始图像去噪结果。 （最佳放大视图）显示了我们的噪声形成模型的有效性虽然我们只对SID-Sony集的室内场景进行了定量评估，但我们的方法是可以应用的户外场景也是如此。SID Sony集的室内和室外场景的视觉比较如图所示。9.可以看出，随机噪声可以是超-2766(a) 输入（b）成对的实际数据（c）我们的数据图11：华为Honor 10相机拍摄的低光图像的去噪结果。（a）仅SID（b）SID + MIT5K（c）地面实况图13：NikonD850相机拍摄的低光图像的去噪结果。4746454443424140393837索尼A7S2尼康D850佳能EOS 70D佳能EOS 70D相机（一）4746454443424140393837索尼A7S2尼康D850佳能EOS 70D佳能EOS 70D相机（b）第（1）款由用成对的真实数据训练的模型存储。用更多的综合数据进行训练。我们的方法相对于传统的配对真实数据训练的一个有用的优点是，我们的模型可以很容易地与更真实的干净样本结合起来进行训练。图12（a）显示了当使用由来自MIT5K数据集[7]的额外干净原始图像合成的数据集进行训练时，我们的模型的相对改进。我们发现主要的改进，图12：（a）使用更多合成器进行训练时的性能提升大小的数据。(b)噪声参数敏感性试验。通过使用异方差高斯噪声（G+P）[22]学习的模型进行压缩相比之下，我们的模型产生了视觉上吸引人的结果，就好像它是用成对的真实数据训练的一样。5.3. 我们的ELD数据集上的结果方法比较。为了了解我们的噪声模型是否也适用于其他相机设备，我们在ELD数据集上评估了模型性能表2和图10总结所有竞争方法的结果。可以看出，非深度去噪方法，即。BM 3D和A-BM 3D，未能解决带状残差，颜色偏差和噪声输入中出现的极值，而我们的模型恢复了生动的图像细节，这些细节很难被人类观察者在噪声图像上感知到此外，我们用合成数据训练的模型甚至经常优于用成对真实数据训练的模型。我们注意到，这里的发现与3.2节中提出的传感器噪声的评估一致，特别是在图10中。图4和图5中，我们显示了潜在的噪声分布随相机而变化。因此，使用来自SIDSony相机的成对真实数据的训练不可避免地过度拟合仅存在于Sony相机上的噪声模式，导致在其他类型的相机上的次优结果。相比之下，我们的模型依赖于一个非常灵活的噪声模型和噪声校准过程，使其适应其他（校准）相机模型的噪声特性。其他证据可参见图1。11，我们将这两个模型应用于智能手机摄像头捕获的图像。我们重建的图像比重建的图像更清晰，更干净。示于图13，是由于更准确的颜色和亮度恢复。通过使用来自不同相机的更多原始图像样本进行训练，网络学会更自然、更精确地推断图片外观。噪声灵敏度校准。我们的方法的另一个好处是，我们只需要干净的样本和噪声校准过程来适应新的相机，而不是捕捉伴随着密集标记的地面实况的真实噪声图像。此外，噪声校准过程可以简化，一旦我们已经有一个收集的参数样本从各种相机。图12（b）示出了模型可以在没有噪声校准的情况下通过简单地从其他三个校准的相机采样参数而在目标相机上达到可比较的性能。6. 结论提出了一种基于物理的噪声形成模型和噪声参数标定方法，解决了极弱光环境下噪声去除的难题。我们重新审视了电子成像管道，并研究了现有噪声模型忽略的有影响力的噪声源。这使我们能够合成真实的噪声原始数据，更好地匹配噪声形成的潜在物理过程。我们通过引入一个涵盖四种代表性相机设备的新数据集，系统地研究了我们的噪声形成模型的有效性。通过仅使用我们的合成数据进行训练，我们证明了卷积神经网络可以与使用成对真实数据训练的网络竞争，有时甚至优于使用成对真实数据训练的网络。鸣谢我们感谢陶天利在收集ELD数据集方面提供的巨大帮助。本工作得到了国家自然科学基金项目的部分资助。61425013号61672096。+0.40仅SIDSID+MIT5K+0.11+1.15+0.50+1+0.66+0.12+0.26x 100 x 200+0.36w/o。目标摄像机噪声参数W.目标摄像机噪声参数+0.31+0.24+0.23+0.08+0.20+0.05x 100 x 200+0.01PSNR值（dB）PSNR值（dB）2767引用[1] Abdelrahman Abdelhamed ， Marcus A. Brubaker 和Michael S.布朗噪声流：具有条件归一化流的噪声建模。在IEEE计算机视觉国际会议（ICCV），2019年。[2] Abdelrahman Abdelhamed，Stephen Lin，and Michael S.布朗智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[3] Richard L.贝尔暗电流表征和模拟的模型。SPIE会议录-国际光学工程学会，6068：37[4] Robert A. Boie和Ingemar J.考克斯相机噪声分析IEEETransactionsonPatternAnalysisandMachineIntelligence，14（6）：671[5] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.未处理图像，用于学习的原始去噪。在IEEE计算机视觉和模式识别会议（CVPR）中，第11036-11045页[6] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法。IEEE计算机视觉与模式识别会议（CVPR），2005年。[7] Vladimi rBychko vsky，Syl vainParis，EricChan，andFre´doDurand.使用输入/输出图像对的数据库学习摄影全局色 调 调 整 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2011年。[8] 陈晨，陈奇峰，杨明.做，和弗拉德伦Koltun。在黑暗中看到运动。在IEEE计算机视觉国际会议（ICCV）上，2019年10月。[9] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月[10] 常晨、熊志伟、田心美、凤舞。深度提升图像去噪。在欧洲计算机视觉会议（ECCV）上，2018年9月。[11] 陈光永、朱凤源、彭安恒。图像噪声水平估计的一种有效统计方法。在IEEE计算机视觉国际会议（ICCV），2015年12月。[12] Yunjin Chen，Wei Yu，and Thomas Pock.学习优化的反应扩散过程以实现有效的图像恢复。IEEE计算机视觉与模式识别会议（CVPR），2015年6月。[13] 罗杰克拉克曝光和数码相机，第1部分：什么是数码相机的ISO？什么时候相机没有iso？ISO神话和数码相机。http：//www.clarkvision.com/articles/iso/，2012年。[14] 罗伯托·科斯坦蒂尼和萨宾·萨斯特伦克。虚拟传感器设计。Proceedings of SPIE - The International Society forOptical Engineering，5301：408[15] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on Image Processing，16（8）：2080[16] Weisheng Dong，Xin Li，Lei Zhang，and GuangmingShi.基于字典学习和结构聚类的图像去噪。在IEEE计算机视觉和模式识别会议（CVPR）中，第457- 459464. IEEE，2011年。[17] Abbas El Gamal和Helmy Eltoukhy Cmos图像传感器。IEEE Circuits and Devices Magazine，21（3）：6[18] Michael Elad和Michal Aharon通过学习字典上的稀疏和冗余表示进行图像去噪。IEEE Transactions on ImageProcessing，15（12）：3736[19] 乔伊斯·法雷尔和马努·帕玛。传感器校准和模拟。SPIE会议录-国际光学工程学会，2008年。[20] James J.菲利本正态性的概率图相关Technometrics，17（1）：111[21] 亚历山德罗·福伊 剪切的噪声图像：异方差建模和实用去噪。Signal Processing，89（12）：2609[22] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和Karen Egiazarian。单幅图像原始数据的实用泊松-高斯噪 声 建 模 与 拟 合 。 IEEE Transactions on ImageProcessing，17（10）：1737[23] 埃里克河Fossum和Donald B.本东和ccd和cmos图像传感器用钉扎光电二极管综述IEEE Journal of the ElectronDevices Society，2（3）：33[24] Mi cha eülGharbi ， Gaura vChaurasia ， Syl vainParis ，andFre´ doDurand. 深 度 联 合 去 马 赛 克 和 去 噪 。 ACMTransactions on Graphics，35（6）：191：12016年。[25] 瑞 安 ·D. 放 大 图 片 创 作 者 ： David Renshaw ， KeithFindlater，Lindsay Grant Mcleod，John Hart，and RobertL.尼可 cmos图像传感器噪声性能建模的综合工具。IEEE Transactions on Electron Devices，54（6）：1321[26] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。在IEEE计算机视觉和模式识别会议（CVPR），2014。[27] 史国，严子飞，张凯，左王梦，张磊。真实照片的卷积盲去噪。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。[28] 塞 缪 尔