基于真实照片的图像去噪技术：达姆施塔特工业大学计算机科学系摘要

1586基于真实照片的达姆施塔特工业大学计算机科学系摘要由于缺乏真实的真实数据，图像去噪技术传统上是在被合成i污染的图像上进行评估。I. D. 高斯噪声我们的目标是避免这种不切实际的设置，通过开发一种方法，基准去噪技术的真实照片。我们使用不同的ISO值和适当调整的曝光时间捕获图像对，其中几乎无噪声的低ISO图像作为参考。为了获得地面实况，需要仔细的后处理 我们校正空间错位，通过基于新的异方差Tobit回归模型的线性强度变换来处理曝光参数中的不准确性，并去除残留的低频偏差，例如，从微小的照明变化。然后，我们捕获了一个新的基准数据集，达姆施塔特噪声数据集（DND），与不同传感器尺寸的消费者相机。一个有趣的发现是，最近各种在合成噪声上表现良好的技术在具有真实噪声的照片上明显优于BM3D。我们的基准描绘了现实主义的评估方案，强烈偏离那些通常使用的科学文献。1. 介绍噪声是每个成像系统固有的。特别是在低光照的场景中，它往往严重降低图像。因此，已经开发了各种各样的去噪算法来处理图像噪声，例如。[4，5，6，7，8，25，31，32，39]。即使具有真实传感器噪声的图像可以很容易地捕获，但要知道真正的无噪声图像应该是什么是不那么直接。因此，去噪方法的定量评价大体上依赖于添加合成i。I. D. 高斯噪声，以大多数干净的图像，例如. [19，31，32]。带有真实噪声的照片最多用于定性分析[25，29]，但通常根本不是。这是相当成问题的，因为在真实的照相机中噪声不是i。I.D. 高斯[13，21]，但即使是合成噪声过程的看似微小的细节，例如噪声值是否四舍五入为整数，也可能对方法的相对性能产生重大影响[6，33]。(a) 低ISO图像（b）高ISO图像(c)放大低ISO图像（左）和高ISO图像（右）图1.来自我们数据集的几乎无噪声的低ISO和噪声的高ISO图像的图像对请注意，我们使用RAW图像并显示JPEG以获得更好的显示效果。本文的目标是通过开发一种方法来解决这些挑战，通过真实照片对去噪算法进行基准测试。在其核心是捕捉对噪声和几乎无噪声的图像通过成像相同的场景从相同的观点与不同的模拟增益（ISO值）的简单的想法，见图。1.一、通过反向调整曝光时间，基本的无噪声图像强度理论上应该保持恒定。在实践中，我们观察到改变图像强度的各种原因，禁止直接使用低ISO图像作为基础事实。由于这些场景变化是不平凡的，我们贡献了一个仔细的后处理过程，考虑到图像形成过程的统计特性。作为该流水线的一部分，我们提出了一种新的异方差Tobit回归模型[35]，它允许消除两个图像的强度之间的线性依赖关系，因为传感器的模拟增益和曝光时间在实践中都不能完全准确地控制。我们的模型忠实地acc-counts限幅以及信号相关的噪声，这是至关重要的，如实验所示。此外，照明中的最小变化会导致低频偏差，我们通过高通滤波噪声和参考图像之间的残差来去除低频偏差，在变换域中，噪声过程是零均值的。最后，在曝光之间移动物体和微小的相机抖动1587图2.我们的基准数据集中使用的场景概述（显示的子集）。分别通过手动注释和简单的Lucas-Kanade子像素对齐处理[23]基于这个采集管道，我们捕获了一个真实世界的图像 噪 声 数 据 集 ， 称 为 达 姆 施 塔 特 噪 声 数 据 集（DND）。我们使用4消费相机，从智能手机的1/2. 3英寸传感器到全画幅可互换镜头相机。图像是在现实摄影场景中的各种不同ISO值下拍摄的，为现实条件下的基准去噪算法我们的数据集由50个场景组成，并且是公开的。1图2显示了场景的一个子集。我们的现实数据集使有趣的见解最近的去噪算法的性能。我们发现许多当前的技术（例如，NCSR [8]，WNMM [15]，TNRD [6]）-基于先前的综合分析。I. D.高斯噪声-被认为优于现在经典的BM 3D [ 7 ]，实际上在具有真实噪声的照片上表现比BM 3D更差。此外，我们的分析表明，消费类相机的噪声强度显着低于通常在科学文献中假设的去噪算法时，评估我们进一步强调了在非线性相机处理流水线之前应用去噪的重要性[30]。我们的研究结果强烈质疑了复杂的综合评价方法的实际意义2. 相关工作由于噪声在任何成像系统中都是大量存在的，因此噪声的统计特性已经得到了很好的研究。已为CCD [18]和CMOS图像传感器[9]提供了全面的分析。一个不可避免的噪声源是由光子撞击传感器的随机到达过程引起的-所谓的由于它遵循泊松分布，其方差与特定像素处的平均强度成比例，因此在整个图像中不是静止的。其他噪声源来自传感器芯片内的电子器件和离散化[9，13，18]。1https://noise.visinf.tu-darmstadt.de虽然图像噪声方差取决于背景强度，但大多数去噪算法忽略了这一点，并针对人工平稳噪声进行评估，通常假设噪声为零。I. D. 高斯，例如[31、32、39]。其他工作专门针对强度相关噪声建模[21，24]。其主要思想是将噪声分布建模为异方差高斯分布，其方差依赖于强度。这是有效的，因为总噪声的泊松分量可以用高斯近似。其他方法首先应用方差稳定变换[11，26]，随后采用平稳高斯噪声的去噪方法。然而，该变换可能使噪声分布非高斯[37]。已经尝试在小规模的真实数据上验证去噪算法[22，38]。他们依赖于恢复无噪声图像的时间平均几个嘈杂的意见。然而，他们忽略了噪声过程由于限幅效应而不是零均值的事实[11]，而我们表明，在创建去噪地面真值时考虑这种偏差很重要。它们也没有考虑到原始强度的潜在进一步非线性处理[20]据我们所知，使用真实图像进行基准去噪的唯一其他努力是RENOIR数据集[2]。它还依赖于拍摄具有不同ISO值的静态场景的图像集，但后期处理不太精细。图像对似乎表现出空间错位，强度变换不建模异方差，tic噪声，低频偏置没有被删除。我们的实验表明，忽略这些来源的错误显着影响数据集的真实性。此外，[2]基于8位去马赛克图像，而我们使用未污染的线性原始强度。在一定的ISO水平下测量传感器的噪声特性通常很有用。[10]提出用近似恒定的照射照射传感器，并随后在空间上聚集强度测量。对于不同的照射水平重复这一过程以捕获噪声的强度依赖性[12]第28话1588类似于我们的不太繁琐的捕获协议，其中使用静态场景的多次曝光来暂时聚集每个像素位置处的测量。相比之下，我们的Tobit回归允许通过仅访问两张图像来估计噪声过程的参数。3. 图像模型和数据采集我们首先激励捕获协议和后处理我们的数据集;我们还详细介绍了数据采集的图像形成过程，见图1。3 .第三章。图像形成。捕获噪声图像xn可以通过将噪声添加到无潜在噪声图像yn并且随后剪切强度以考虑传感器上的像素的饱和度后处理：undoLS（α）undoT撤消LFyp图3.所观察到的低ISO图像xr和高ISO图像xn的图像形成过程。它们分别从潜在的无噪声图像yr和y n生成，而无噪声图像y r和y n又通过图像强度（LS）的线性缩放、小的相机平移（T）和残余低频图案（LF）相关。为了获得去噪的真实值yp，我们对x r应用后处理，旨在消除这些不期望的变换。βr，类似于Eq。（一）. 在实践中，我们把裁判-.Σxn=clipyn+n（yn），（1）其中，clip（y）=min（max（y，0），1），并且可以将clip（y）n建模为泊松-高斯噪声，其强度取决于无噪声强度。根据[3，11]，我们用异方差高斯近似噪声分布，在相机的基本ISO水平上噪声图像的值大n倍。为了补偿这一点，参考图像以n倍的曝光时间拍摄。所有其他相机参数，包括光圈，白平衡和焦点保持不变。由于潜伏的、无噪声的图像强度与ISO值n（yn.）<$N0，σn（ynΣ（2a）以及曝光时间，理论上我们的捕获协议使无噪声图像强度不变，即，yn=yr. 作为与σ2（yn）=βnyn+βn，（2b）n1 2其中σn（yn）称为参数为βn的噪声电平函数。由于削波的存在，对噪声观测值进行简单的时间或空间平均会产生偏差，即：E[xn|yn]/=yn. 然 而 ， 我 们 可 以 表 示 E[xn|yn] 用 yn 和 σn（yn）分析，详见[11]，并将此关系表示为A（yn）=. E[xn|yn]。（三）理想情况下，我们希望使用yn作为去噪xn的基础事实。然而，由于yn不可用，我们建议拍摄另一张照片xr，该照片显示与xn相同的场景，但受噪声影响很小。由于噪声水平函数的参数β主要取决于相机传感器和ISO值[10]，因此我们通过使用低ISO值来获得参考图像xr来实现这一点。捕获协议和残留错误。由于该参考图像xr是在与xn不同的时刻并且以与xn不同的曝光时间和ISO值捕获的，因此它是从具有噪声参数的第二潜像yr生成的表1.用于捕获数据集的相机。摄像机编号img.传感器尺寸Res.ISO[mm][Mpix]xr仅表现出非常小的噪声，即，我们可以用xr而不是yn作为去噪基础事实。为了使无噪声强度真正保持不变，捕获的场景和相机必须是静态的，并且光照必须保持恒定。一般情况下也不是这样。为了最大限度地减少拍摄过程中相机抖动和场景变化的影响，我们开发了一款Android应用程序，可以通过WiFi快速向相机发出所有必要的命令。我们将相机安装在一个坚固的三脚架上，并附加一个稳定重量。此外，我们使用无反光镜相机，与DSLR相比，它减少了由于反光镜摆动而引起的振动。尽管有这种谨慎的协议，我们仍然观察到残留的错误，我们撤销使用管道详细的第二节。4;后处理Xr产生新图像Yp。节中5我们表明yp现在足够接近yn，因此使用yp作为我们基准的基础事实。更多细节。对于我们的图像数据库中描述的第二节。我们使用四种不同的摄像机，见表1。摄像机跨越了传感器尺寸的很大范围，从1/2。3英寸到全画幅传感器。我们使用免费软件dcraw从捕获的图像中提取线性原始强度。然后，我们通过用黑白水平进行归一化来缩放图像强度，使其落入范围[0，1]4. 后处理我们的后处理旨在消除潜像yn和yr之间的不期望的变换。 这些都是通过观察低ISO图像xr 和高ISO图像xn（图（见第4a段）。yR+小噪声（βr）+裁剪XRyn+强噪声（βn）+裁剪XnLS（α），T，LF索尼A7R1336 ×24三十六3100奥林巴斯E-M1013十七岁3×13十六岁12001589=r，n1 1 22×10- 3×10- 3(a) 差值（残差）图像R（xr）对图1a和1b(b) 手动屏蔽移动对象后′′(c) 线性强度后的残差R（yp）缩放和对齐3210-1-2-3(d) 随后去除低频残差后的最终残差R（yp）图4.图中低ISO和高ISO图像的蓝色通道之间的差异。1、经过各种后处理阶段。图像被平滑以用于显示以突出结构化残差，从而衰减噪声。具体地，我们考虑去偏残差图像R（xr）与yr，我们需要从观察到的图像中估计α1，α2。从等式（1），我们将xr和xn关联为：R（·）。 A（·）−xn。（四）.Σxn=clipyn+n（yn）（6a）从等式（3）它立即遵循地面真理去偏残差图像R（yn）是零均值。然而，在这方面，.Σ=clipα（yr）+n（α（yr））（6b）从图显然，R（x）不是零均值。 我们...ΣR将其追踪到需要校正的四个误差源，以便将某个像素的强度与=clipα（xr+r（yr））+n（α（yr））.Σα（xr+αr（xr））+αn（α（xr））.Σ（6c）（6d）不同的曝光：（i）在一般情况下，个别行为─在捕获过程中，机器人可能会移动;（i i）空间子像素未对准可能由小的照相机振动引起，例如，由于采用了机械快门，（iii）在捕获期间，场景的照明可能在室外例如由于移动的云而在室内例如由于光闪烁而稍微改变;（iv）线性强度变化产生于模拟增益和曝光时间都不能被完美控制的事实。注意，（i）-（iii）的严重性=clipα（xr）+α1r（xr）+n（α（xr））。（6e）对于xr中的非裁剪像素，用等号表示的等式成立，这些像素很容易识别。近似定义噪声分布的观测xr，而不是未知强度yr，因为xr仅受噪声影响很小利用我们的捕获协议确保α1和α2分别非常接近1和0，我们可以进一步 将 缩 放 噪 声α1r （xr ） 近似为线性变换图像α（xr）的噪声：使用时间平均方法创建，α1<$r（xr）<$N.0，α1√Σβrxr+βr（7a）在真实场景中进行去噪。 我们的俘虏12..议定书在第（i）至最少只查询两次曝光，同时创建0，β1（α1xr+α2）+β2r（α（xr））。（7b）需要考虑线性强度变化。我们需要处理这四个来源的错误，以获得准确的地面真相。我们通过掩蔽来解决（i）详情见补充材料。我们因此恢复通过拟合回归模型，使用简单的GUI工具。我们的后处理目标是x xx。Σ（八）在撤销（二）图三.我们的模型（ii）作为一个全球性的2D翻译和（iv）作为一个线性缩放的像素强度，ties，这两者都可以被反转给定的估计，他们的基本参数。任何剩余的低频偏置nclipα（xr）+r，n（α（xr）），其中，复合噪声σr，n的噪声水平函数σr，n的参数通过将参数βr和βn相加而给出，因为σr和βn是独立的：（iii）在最后的过滤步骤中除去，产生后-已处理图像yp。我们现在详细介绍这些步骤。r，n（xr）.Σ0，σr，n（xr）（9a）0.030.01560.020.0140.010.0052000-0.01-0.005-2-0.02-0.01-4-0.03-0.015-61590线性强度变化。改变模拟放大器增益和曝光时间会引入线性关系关于σ2（xr）=（βr+βn）xr+（βr+ βn）。（9b）yn和yr之间（图4b），因为这些参数都不能以完美的精度控制：yn=α（yr）=α1yr+α2，（5）其中偏移α2说明了记录的黑电平的不准确性。 由于我们无法访问yn，由于在Eqs.（8）剪切观测以及噪声的异方差，我们称之为异方差Tobit回归。它概括了基本的Tobit回归[35]，它只对具有同方差噪声的剪切观测进行我们可以通过最大化来估计线性缩放参数α1、α2和添加的噪声方差参数βr+βn1591pi剪辑βipp对数似然（见补充材料）。节中 5我们证明了用异方差Tobit回归对图像形成过程的忠实建模对于获得α1，α2的准确估计是至关重要的。在恢复α后，我们使用它对低ISO图像的强度进行线性变换，以获得中间后处理图像′yp=α（xr）=α1xr+ α2。（十）图4c示出了线性校正之后的差分图像。去除了强度依赖性偏置由于噪声参数βn、 βr主要取决于ISO值和传感器的特性[10]，因此我们使用我们的新型回归模型在受控实验室设置中记录它们五点三。因此，对于后处理我们的真实数据集，我们固定βr和βn，只恢复α。节中5.3我们证明了我们的噪声估计的准确性，表明它们与空间平均获得的结果高度一致[13]。空间错位。我们将相机的微小移动视为我们希望撤销的全局2D平移。虽然我们已经实验了现代基于DFT的子像素对齐[16]，但我们发现经典的Lucas-Kanade方法[23]效果更好。尽管它很简单，但即使在强噪声下，它也能很好地恢复翻译参见第二节。五、在估计了平移参数之后，我们使用双线性插值来移动y′以获得下一个帧间插值。p′′中间图像yp。请注意，插值会导致一些平滑这在平移y′时并不重要，因为它包含很少的高频。我们避免插值xn，因为它包含许多由于噪声引起的高频。当量（三）、虽然滤波增加了一些沿着强边缘紧密定位的结构化残差，但与噪声强度相比，效果的幅度很小。此外，我们看到噪声的方差随着图像强度的增加而增加，正如异方差噪声所预期的那样。5. 实验验证现在，我们分析和验证我们的模拟数据的方法，并证明泛化到真实的图像对。5.1. 后处理有效我们首先评估我们的后处理可以如何准确地恢复潜像yn和yr之间的变换。因此，我们模拟了参考图像和噪声图像的图像形成过程（图1）。（3）第三章。具体而言，我们使用捕获的低ISO图像作为潜像yn，并通过对由空间平移、线性强度变化和附加低频图案组成的随机变换进行采样来生成另一个潜像yr从潜像中，我们通过添加噪声和剪切图像强度来生成观测值xn和xr对于转换的真实采样，我们利用统计数据在捕获的数据集上估计具体来说，我们从N（0，0.（五）。线性变换的斜率和偏移从N（1，0. 05）和N（0，0. 0025），分别。我们通过随机傅立叶系数加权峰值高斯。我们将空间域中的模式归一化为具有零均值和0的平均幅度。001。最后，我们通过应用限幅泊松-高斯噪声来模拟xn和xr低频残留校正。正如我们在图4c，在de上仍然存在低频模式有偏残差图像R（y′′）。 我们认为那很小分别为yn和yr，即，x100 。 i P（y/βi）+N。0，√ΣΣβi，i∈{n，r}.（ 十三）p1 1 2环境照明的变化另外，在拍摄照片时-在人工照明下，滚动快门效应将导致光源的闪烁，为了验证大范围sce- narios的估计精度，我们评估了噪声，βn范围为10−4至10−1，βn范围为频带伪影。多亏了噪音1从5·10−8到10−22. 这涵盖了噪声参数的范围，在去偏域中的零均值，我们可以估计低-通过R（y"）的低通滤波的频率模式LF：用于我们数据集的消费类相机的参数。对于参考图像，我们使用.Σ。Σ索尼A7R在基地ISO，即。 βr= 2·10−5，βr= 10−8。为′′ ′′1 2LF=平滑R（yp）=光滑A（yp）−xn.（十一）每次设置噪声参数，我们总共运行100次试验。通过减去低频图案并反转去偏置，获得最终的后处理图像yp我们现在研究所提出的后处理如何能够撤销模拟的转换。首先，我们看一下步y=A−1.′′ΣA（yp）− LF。（十二）强度定标图5a和5b显示了根均值线性强度变换的估计斜率α1和偏移α2的我们来-我们使用一个引导滤波器[17]，支持40个像素对于平滑，我们发现在α1没有被完美估计的情况下，它比高斯滤波器更好地去除结构化残差图4d示出了在低频校正之后的最终去偏的残余图像R（yp）。现在，我们可以看到一个大部分为零均值的噪声图像，正如我们所期望的，将我们提出的Tobit回归模型扩展到几个基础上，线：第一，具有同方差噪声的Tobit回归[35]，即，噪声强度与图像强度无关。其次，假设观测值为非裁剪的同方差和异方差线性最小二乘. 最后，我们比较了1592（一）100十比一10-210-410-310-21十比一（b）第（1）款十比一10-210- 310-410-310-21十比一（c）第（1）款0.30.20.1010-410-310-210-11605040302010（d）其他事项10-410-310-210-11图5.恢复模拟线性强度缩放的斜率（a）和偏移（b）以及恢复平移（c）的RMSE。针对后处理的参考图像yp和噪声图像xn（d）的PSNR to y n。X轴示出了强度相关噪声的强度，其中我们的基准中的真实值位于灰色虚线的左侧。[2]，其对剪切观测进行建模，同时忽略噪声的强度依赖性。我们做两个主要观察：首先，对于低噪声水平，所有方法都表现得同样好，因为估计问题的难度主要由其他变换，即。平移和低频偏置。其次，对于中高噪声水平，我们的Tobit回归显著优于所有基线，包括[2]。这表明了忠实地对剪切异方差观测过程建模接下来，我们转向对齐。图5c示出了用于恢复模拟平移的以像素为可以看出，估计误差对于增加的噪声水平是鲁棒的，因为它在噪声设置的大部分范围内保持大致恒定。只有在噪声严重时，误差才会增加。最后，我们评估低频偏差的去除。图5d示出了后处理图像yp和潜像yn之间的PSNR。我们将我们的后处理与省略了等式1的去偏置步骤的基线（虚线）进行比较。（11）特别是对于高噪声水平，基线的PSNR明显较低，强调去偏域中的滤波是重要的。我们注意到，yp的PSNR随着较高的噪声水平而降低，因为滤波步骤不是完美的，因此将低频率的噪声泄漏到后处理图像中。然而，这不是关键的，因为噪声图像的PSNRxn与潜像的PSNR的差距仍然足够大，以准确地测量最先进的去噪性能。5.2. 地面实况我们现在证明，我们的后处理管道通过考虑去偏残差图像的统计数据，在我们的真实世界数据集我们已经看到，给定yn，基础真值残差R（yn）的均值为零。因此，R（yn）A（yn）是线性不相关的（参见补充材料）。材料）。 此外，当假设像素独立时，凹痕噪声，R（yn）具有零自相关性。因此，我们期望后处理残差R（yp）与A（yp）具有小的线性相关以及小的自相关。此外，我们期望R（yp）具有比R（yn）稍高的方差，因为R（yp）还包括影响xr的少量噪声。我们在真实世界的数据集以及模拟数据上评估了R（yp）的三个统计量。 为了使模拟尽可能真实，对于每个图像，我们使用通过对真实数据运行后处理获得的平移和强度缩放参数，并使用相应的噪声水平函数。表2显示了平均绝对线性相关系数Corr（R（yp），A（yp））、平均绝对自相关Auto-Corr （ R （ yp ） ） 和 变 异 Var 的 几 何 平 均 值 （ R（yp））。当不对xr应用任何后处理时，我们观察到显著的线性相关性。我们完整的后处理流水线几乎完全消除了理论考虑所期望的相关性，突出了获得具有真实图像噪声的数据库的需要。注意，仅对残差图像（第5行）应用高通滤波器仍然留下显著的线性相关，并且所有三个后处理步骤的组合在使用任何两个后处理步骤时得到改进。这同样适用于自相关，其中我们的后处理成功地获得了具有低自相关性的残差图像，这表明噪声残差图像中的像素在空间上不是高度相关的。 值得注意的是，当只有强度标度时，在实际数据上，自相关系数高达5倍。由于这是RENOIR数据集[2]，我们可以得出结论，我们的方法导致更真实的图像噪声数据集。转向方差，我们看到，当执行所有步骤时，后处理残差R（yp）的方差显著更接近于地面实况残差R（yn）的方差与真实残差的剩余间隙可以解释如下：后处理残差受xr和xn中的噪声影响，而真实残差仅受xn中的噪声影响。因此，我们还计算了第二设置的地面真实残差R（yn）的方差，其中我们从复合噪声中采样xn9a）而不是blog。然后，经过后处理的残差和地面真实残差之间的方差差几乎消失，并且与没有经过后处理相比，相对方差误差这表明，我们的后处理重新移动残差图像上的全局效果，而准确性。海茨塞德托比特·霍莫斯克德托比特·赫策德LLSHomosced。LLSAnaya Barbu海茨塞德托比特·霍莫斯克德托比特·赫策德LLSHomosced。LLSAnaya BarbuRMSE1RMSE2RMSE[像素]PSNR到yn15932强度缩放对齐LF校正Corr（R（yp），A（yp））自动校正（R（yp））Var（R（yp））[10−3]PSNR（yp，yn）synth房synth房synth房合成器[dB]0.21440.18740.14070.12700.19210.181543.14C0.03050.03180.09230.08430.17520.169046.45C0.20930.18920.09580.10240.14820.158346.37CC0.04180.04740.04780.05600.13870.147351.18C0.01700.01750.06150.05810.16590.162647.31CC0.00780.00670.06100.05590.16560.162147.56CC0.01180.01400.00660.01980.13130.138953.13CCC0.00290.00510.00670.01730.13140.138553.71表2.对合成数据和真实数据进行后处理步骤的不同组合的残余噪声图像的统计为参考：Var（R（yn））=0. 1222·10−3，分别为Var（R（y ））= 0. 1356·10−3（x采样噪声时）来自r，n而不是在伦敦。从而保持噪声特性。重要的是，从合成实验中获得的三个检验统计量仅与真实捕获图像上评估的检验统计量略有不同，表明由平移、强度缩放和附加低频模式组成的建模变换过程准确描述了yn和yr之间的真实变换。最后，表2还示出了在模拟数据上yn和yp我们看到，我们的完整后处理达到了最高的PSNR 53。7分贝。这比最先进的去噪算法所能做到的要目前，（二）。6），为PSNR方面的未来改进留下足够的空间。5.3. 噪声参数我们在彩色检测仪的受控测试场景上标定了噪声参数βr和βn。为了估计βr，我们首先对两对图像运行Tobit回归，这两对图像都是在基本ISO下拍摄的，这产生了2βr的估计值（等式10）。第9b段）。随后，我们通过在低/高ISO图像对上估计βr+βn，然后减去βr，来恢复所有其他ISO值的βn。为了评估我们的估计的准确性，我们将其与使用[13]的空间平均方法从单个图像中获得的结果进行比较，该方法旨在高度准确地处理具有分段恒定强度的图像我们评估了两种方法与[27]中提出的归一化RMSEΦ的一致性它测量标准偏差的相对误差具体来说，我们使用对称扩展Φ（β，β）=1。Φ（β，β<$）+Φ（β<$，β）<$。（14）Tobit回归与[13]的平均误差为0.003，I.E. 两种方法的标准偏差仅不一致在0的边缘。平均3%。我们的结论是，Tobit回归产生准确的噪声估计的真实数据。但与空间平均方法不同的是，它可以推广到没有大的均匀区域的任意场景。我们现在证明使用校准的噪声参数进行后处理是合理的，因为噪声参数主要取决于ISO值和相机，而不是绝对曝光时间。对于ISO和相机的固定组合，我们在一定曝光范围内估计βr和βn图像对的时间它们之间的平均误差Φ噪声估计仅为0。5%，显示稳定w.r.t. 总曝光时间。6. 基准建议的DND基准去噪算法由50个场景从我们捕获的图像中选择。我们选择了看起来像典型照片的图像，但也包括具有有趣结构的图像，我们认为这些图像对测试的算法具有挑战性。测试图像的子集如图所示。二、表1列出了基准数据集中包含的每个相机的场景数量。对于（非盲）去噪任务，我们比较了加权核范数最小化（WNNM）[15]，K-SVD [1]，预期补丁日志似然（EPLL）[39]，专家领域（FoE）[32]与[14]，非局部集中稀疏表示（NCSR）[8]和BM 3D [7]的滤波器的性能。此外，我们对两种有区别的“深度”方法进行了基准测试：多层网络（MLP）[5]和可训练的非线性反应扩散（TNRD）[6]. 对于MLP，我们使用可用的高斯噪声训练模型，σ ∈ {10，25，35}。TNRD使用来自作者网页的代码在400个单独的图像上训练[6我们训练了10个具有不同高斯噪声标准差的模型，这些模型在对数空间中均匀分布，从0。0001到0。1，从而覆盖了我们在真实世界数据集上观察到我们将所有的算法应用于三个不同空间的噪声图像首先，我们使用线性原始强度空间。由于测试的方法主 要 是 面 向 高 斯 去 噪 ， 我 们 应 用 方 差 稳 定 变 换（VST）之前，去噪作为第二个设置。这具有近似高斯化噪声分布的效果在检索去噪结果后，我们通过应用逆VST将其转换回线性原始空间。具体来说，我们使用广义Anscombe变换nn1594应用于上求值WNNMKSVDEPLL敌人NCSRBM3dMLPTNRD原原46.2945.5346.3445.7742.8646.6342.7044.98原sRGB37.6436.6937.2736.0930.9737.8633.7435.69RAW+VST原47.1046.8646.8544.1147.0647.1445.7045.69RAW+VSTsRGB37.9737.7237.5535.9737.8537.9536.8336.22sRGBsRGB34.4436.5533.5134.4933.8134.6134.1429.92表3.在我们的DND基准测试中测试的去噪方法的平均PSNR（dB）我们在方差稳定变换（VST）后或转换到sRGB空间后对线性原始强度进行去噪同样，我们在线性原始空间或sRGB空间中评估结果。噪声图像的PSNR为39.39 dB（线性原始）和29.98 dB（sRGB）。[34]和其精确无偏逆的封闭形式近似[26]。我们用从颜色检查器数据获得的噪声水平函数参数化变换（第二节）。5.3）。在第三种设置中，我们使用可用的EXIF数据来模拟相机处理管道的主要步骤[20]，将线性原始强度转换为sRGB强度。在白平衡之后，我们通过线性插值对图像进行去噪。最后，我们从相机内部颜色空间转换到sRGB并应用伽马校正。由于许多基准算法太慢，无法应用于百万像素大小的图像，我们裁剪了20个边界，从数据集中的每个图像中提取512×512像素的框，总共产生1000个测试作物。它们最多重叠10%，并且不包含注释为在两次曝光之间变化 我们通过计算每个作物上的残余噪声图像R（yp）的标准偏差，为算法提供全局噪声标准偏差的估计。由于不同的颜色通道通常看起来非常不同，我们分别对每个通道进行 对于TNRD和MLP，我们选择其训练σ最接近地面真实值σ<$的模型。 F或FoE和EPLL，我们在对原始像素强度进行去噪时使用异方差高斯数据项，在其他情况下使用同方差高斯数据项。 为了评估，我们将去噪结果与线性原始空间或sRGB空间中的后处理参考图像yp进行比较。表3显示了所有作物和颜色通道的平均PSNR值（SSIM值[36]可在补充材料中获得）。我们做了几个有趣的观察。正如我们所看到的，BM3D总体上是最好的执行方法，其次是WNNM。其他方法表现更差。一般的趋势也适用于不同的噪音水平。 这是相当令人惊讶的，因为到目前为止，经典的BM 3D方法先前被认为已经被其他方法超越;我们的实际噪声数据集表明情况并非如此。判别方法不足，这表明它们对训练期间未使用的噪声分布的泛化能力很差。生成式FoE模型在线性原始空间中表现出令人惊讶的竞争力，但它是唯一一个在VST之后表现更差这表明敌人受益于线性原始空间中更现实的可能性。此外，我们看到，对sRGB图像进行去噪产生的结果比在原始空间中应用去噪算法明显更差，因为sRGB空间中的噪声分布是空间色彩相关的[30]。另一个观察结果是，我们的现实数据集中的噪声量低于科学文献中经常使用的使用合成噪声评估去噪算法的噪声量。原始空间中噪声图像的平均PSNR为39.38 dB，这将对应于平均噪声标准偏差σ2。74对于强度在[0，255]中的图像。为了进行比较，大多数去噪算法都是用至少σ=10的噪声标准偏差进行评估的，我们认为这主要是历史上的人为因素。显然，从来没有人真正质疑它们是否仍然合适。7. 结论为了在真实照片上对去噪算法虽然理论上每像素平均强度应该保持恒定，但实际上我们遇到了残差。为了获得地面实况数据，我们提出并评估了一个处理不准确的增益和曝光时间变化引起的残差的程序我们还校正了变换空间中的照明变化我们的实验表明了这种后处理对模拟数据的有效性，以及对真实照片的必要性。我们将公开我们的真实照片的新颖地面实况数据集作为基准。我们使用它来评估各种去噪算法，并观察到BM3D在真实照片上的表现继续更一般地说，我们的分析表明，评估去噪技术的常见科学实践与现实环境的相关性相当有限致谢：导致这些结果的研究得到了欧洲研究理事会根据欧洲联盟第七框架计划（FP/2007- 2013）/ERC赠款协议编号的资助。307942，以及来自欧盟FP 7项目“Harvest 4D”（No.323567）。1595引用[1] M. Aharon，M. Elad和A.布鲁克斯坦K-SVD：一种设计稀疏表示过完备字典的算法。IEEE T.图像处理。，54（11）：43112006年11月7[2] J.Anaya和A.巴布RENOIR -一个真实的低光图像降噪数据集. CoRR，绝对值/1409.8230v8，10月2016年。二、六[3] L. Azzari和A. Foi.高斯-柯西混合建模用于鲁棒信号相关噪声估计。ICASSP，第5357-5361页，2014年。3[4] A.布阿德斯湾Coll和J. - M.莫瑞尔基于非局部平均的图像去噪。ICASSP，第2卷，第25-28页，2005年1[5] H. C.伯格角J. Schleman和S.伤害。图像去噪：普通神经网络能与BM3D竞争在CVPR，第2392-2399页，2012中。1、7[6] Y. 陈威Yu和T.Pock 学习优化的反应扩散过程以实现有效的图像恢复。在CVPR中，第5261-5269页一、二、七[7] K.达博夫河Foi，V.Katkovnik，and K.埃吉亚扎利安人稀疏三 维变换域协同 滤波图像去 噪IEEE T. 图像处理。，16（8）：2080-2095，Aug. 2007年一、二、七[8] W.东湖，澳-地Zhang，G. Shi和X。李用于图像恢复的非 局 部 中 心 化 稀 疏 表 示 IEEE T. 图 像 处 理 。 ， 22（4）：1620-1630，Apr. 2013. 一、二、七[9] A. El Gamal和H.埃尔图希CMOS图像传感器。IEEECircuits and Dev.麦格，21（3）：6-20，May 2005. 2[10] 欧洲机器视觉协会。EMVA标准1288：图像传感器和摄像机的表征标准，2012年。二三五[11] A. Foi. 剪切噪声图像：异方差建模和实用去噪。信号处理，89（12）：26092009年12月 二、三[12] A. Foi，S. Alenius，V. Katkovnik，and K.埃吉亚扎利安人数字成像传感器原始数据噪声测量的非均匀目标自动分 割 方 法 。 IEEE Sensors Journal ， 7 （ 10 ） ： 1456-1461，Oct. 2007. 2[13] A. Foi，M. 特里梅什河谷Katkovnik和K. Egiazar- ian.单图像原始数据的实用泊松-高斯噪声建模和拟合。IEEET.图像处理。，17（10）：1737-1754，Oct. 2008. 一、二、五、七[14] Q. Gao和S.罗斯基于滤波器的MRF对自然图像的建模效果如何？见DAGM，第62-72页，2012年。7[15] S.古湖，澳-地Zhang，W. Zuo和X.峰加权核范数最小化及其在图像去噪中的应用。在CVPR中，第2862-2869页，2014年。二、七[16] M. Guizar-Sicairos，S. T. Thurman和J. R. Fienup。有效的亚像素图像配准算法。Optics Letters，33（2）：156-158，Jan. 2008. 5[17] K.他，孙杰，还有X。唐引导图像滤波。IEEE T.模式分析马赫内特尔，35（6）：1397-1409，2013. 5[18] G. E. Healy和R.康德普迪辐射CCD相机定标及噪声估计。IEEE T.模式分析马赫内特尔，16（3）：267-276，Mar. 1994. 2[19] J. Jancsary，S. Nowozin和C.罗瑟Loss-specific training ofnon-parametric image restoration models：A new state ofthe art. InECCV，volume 7，pages 1121[20] H. C. Karaimer和M. S.布朗用于操纵相机成像流水线的软件平台。在ECCV，第1卷，第429-444页，2016中。二、八[21] C. 柳河，巴西-地Szeliski，S.B. 康角，澳-地L. Zitnick和W.T. 自由人。自动估计和去除噪声从一个单一的图像。IEEE T.模式分析马赫内特尔，30（2）：299 一、二[22] X. Liu，M. Tanaka和M.奥富一种实用的单幅含噪图像信号相关噪声参数估计方法。IEEE T.图像处理。，23（10）：4361-4371，2014. 2[23] B. D. Lucas和T.卡纳德一种迭代图像配准技术及其在立体视觉中的应用在IJCAI，第674-679页二、五[24] F. Luisie