探索高灵敏度相机噪声及其对弱光视频的影响

4111通过探索高灵敏度相机噪声来王伟1陈欣1杨成1，2李翔1，2胡雪梅1岳涛1，21南京大学，南京，中国2南京大学传感与成像工程研究所，南京，中国{MF1723052，MF1723008，DG1623027}@ smail.nju.edu.cn{xiangli，xuemeihu，yuetao}@nju.edu.cn摘要弱光视频的增强是一个既有趣又棘手的问题，它包括去噪和亮度调节。在低光条件下，由于高灵敏度相机设置，通常可以忽略的噪声变得明显，并严重恶化捕获的视频。为了恢复高质量的视频，提出了大量的图像/视频去噪/增强算法，其中大多数算法遵循关于相机噪声的统计特性的一组简单假设，例如，独立同分布（i.i.d.），白噪声、加性噪声、高斯噪声、泊松噪声或混合噪声。然而，在真实捕获的视频中的高灵敏度设置下的实际噪声是复杂的并且不准确的，无法用这些假设来建模。在本文中，我们探讨了实际的高灵敏度噪声在数码相机的物理来源，数学建模，并提出了增强低光视频的噪声模型的基础上，通过使用基于LSTM的神经网络。具体来说，我们用提出的噪声模型生成训练数据，并以暗噪声视频作为输入，以清晰明亮的视频作为输出来训练网络。对合成的和真实拍摄的低光视频与现有方法进行了广泛的比较，以证明所提出的方法的有效性。1. 介绍在极低的光线条件下，高ISO设置通常用于捕获视频。然而，在高灵敏度的情况下，通常可以忽略的动态条纹噪声（DSN）、颜色通道不均匀和剪切效应变得显著，并显著降低了所捕获视频的质量。例如图图1（a）是在低光环境下真实捕获的高ISO图像，图2（b）是在低光环境下真实捕获的高ISO图像。1（b）是在充足光照条件下对应的清晰图像，用常见的高斯噪声模型恶化。图中的噪声分布1（a）明显不同于图1。1（b），包括动态条纹噪声（图。1（c）），颜色异质（图。1（d））和(a) 真实捕获的噪声图像（b）合成噪声图像(c)动态条纹噪声（d）通道异质性（e）限幅效应图1.微光成像中的噪声分布特性(a) 佳 能 5D Mark III 在 低 光 条 件 下 拍 摄 的 视 频 帧 ， ISO25600。(b)使用i.i.d.调整视频帧大小。近似相等噪声方差的AWGN（c）Canon 5D mark III的暗场帧，带有明显的水平条纹噪声，帧与帧之间不断变化。（d）某一行的不同颜色通道的强度直方图，显示通道之间的颜色（e）低光图像的强度直方图，观察到削波效应。削波效应（Fig. 第1段（e）分段）。本文探讨了卷帘快门和全局快门相机高灵敏度噪声的物理根源，提出了一种新的处理高灵敏度噪声的噪声模型（即：动态条纹噪声、颜色不均匀和限幅效应）的影响，建立了实际相机模型参数的估计方法。利用校准后的高灵敏度噪声模型，生成能够精确模拟弱光环境下视频采集过程的训练数据集，并训练基于LSTM的视频去噪网络，对弱光视频进行增强。我们彻底评估所提出的方法在合成和真实拍摄的视频，并通过与国家的最先进的方法相比，证明了所提出的方法的优越性。总之，本文的主要贡献是：• 根据传感器的硬件特点和捕获过程，提出了一种实用的高灵敏度噪声模型，4112e-e-e-e-e-e-e-e-e-e-低光成像场景中的复杂噪声。• 提出了高灵敏度噪声模型的估计方法，并在弱光环境下合成了噪声/增强的训练数据集，使其能够很好地逼近实际捕获过程。• 我们开发了一个基于LSTM的视频增强神经网络，并证明了我们的方法对合成和真实捕获视频的有效性。2. 相关工作噪声建模在过去的几十年中，提出了大量的方法来对图像/视频进行去噪，例如非局部自相似[2，6]，稀疏表示[6，12，16，23]和马尔可夫随机场[11，21]。大多数都 是建 立在简 单的 噪声 模型 ，即 ， 独立 同分 布（independent and identical distributed，i.i.d.）加性高斯白噪声（AWGN）为了更精确地描述噪声，已经提出了一组复杂的噪声模型。Liu等[13]通过探索噪声水平和图像亮度之间的关系来扩展AWGN假设。 Zhu等[26]模型具有高斯混合分布（MoG）的逐像素噪声，其可以近似大范围的连续分布。 Maükitalo和Foi[1 8]使用泊松和高斯分布的混合来对像素级噪声进行建模。 Luisier等人[14]以及M？kitalo和Foi[17]也假设噪声遵循泊松和高斯分布的混合。此外，还研究了与信号有关的高斯分布[1，7]，并通过再现传感器的非线性响应来消除噪声限幅效应。Plótz和Roth[20]利用类似的模型，并通过纠正模型的噪声偏差来构建基准数据集。然而，实际高灵敏度噪声的特定噪声特性没有得到很好的探索，限制了它们在极低光照条件下捕获的噪声图像/视频的应用。最近，基于深度学习的方法在许多图像处理任务中取得了重大进展，包括去噪。Chen等人[4]通过特定相机捕获短曝光和长曝光的噪声和干净图像对来然而，由于需要长时间曝光来捕获干净的图像（如本文中的10至30秒），因此该方法不能应用于视频去噪场景。Chen等人[5]利用生成式对抗网络（GAN）生成噪声图像作为训练数据，其噪声分布与真实捕获图像相似。然而，由于本文中使用的GAN网络是局部支持的，它不能处理具有大规模空间相关性的DSN。视频去噪传统的视频去噪方法通常利用自相似性和冗余性同时 ，将运动 估计纳入 处理中 ，如 [3，15 ，23]。Maggioni 等 人 [15] 提 出 了 一 种 多 帧 方 法 （ 所 谓 的VBM4D），该方法基于在整个视频序列中找到相似补丁的组。Buades等人[3]利用运动估计算法和基于块的方法进行去噪，其中引入块比较和基于自适应PCA的变换来帮助运动估计和全局配准。Wen等人[23]提出了一种基于在线张量重建方案的视频去噪方法，该方案具有联合自适应稀疏和低秩模型。最近，深度神经网络已被应用于包括视频去噪在内的各种低级视觉任务，并取得了令人印象深刻的结果。Clement等人[9]和米尔登-霍尔等人。[19]提出以突发方式从一组帧中恢复单个明文帧。由于这两种方法都假设图像序列是以突发模式捕获的，因此它们不能处理具有非常大运动的视频。Xue等人[24]建议使用基于任务的网络（TOFlow）对视频进行降噪，该网络以自我监督和特定于任务的方式学习运动表示，因此可以更好地处理大运动。所 有 这 些 方 法 都 基 于 传 统 的 噪 声 模 型 ， 即 ，AWGN、Poisson或Mixture模型，无法处理在低光环境下使用大ISO设置拍摄的嘈杂视频。3. 高灵敏度噪声模型光子曝光门电子电容器读取电路PPPe-P PPe-PP Pe-联系我们散粒噪声暗电流读取噪声图2.整个成像过程的噪声源图2示出了整个成像过程的常见噪声源：1）在曝光时间期间，Np个光子到达像素区域。这些光子产生N个量子效率率为η的光子。光子到达和光电子产生过程都是随机过程，并遵循泊松分布，导致依赖于信号的泊松噪声，即。散粒噪声2)由于半导体器件的特性，在耗尽区中几乎没有由电子和空穴的随机产生而产生的电流，而不是由到达像素的光子引起的电流，从而导致与信号无关的泊松噪声，也称为泊松噪声。暗电流3)电子以电压或电流信号的形式被读出和放大，其中引入了读出噪声。基于这一物理过程，41131/FR1/F白色C1/F白色1/F白色考虑主要噪声类型的模型为：yi=K（Si+Di+Ri），（1）其中i是pi xelind e x，yi是捕获的pi xel值。对于全局快门，白色分量变得主要。因此，我们选择λ=1用于卷帘快门相机，λ= 0用于全局快门。Si P（Ni）表示散粒噪声，Ni是期望的此外，由于KrR白跟随零均值Reie高斯分布，K的期望正好是K像素i中的光电子数。 DP（Nd）表示为了便于参数估计，我们重写Eq. 2作为暗电流和Nd是暗电流的预期数量。每个像素的电子量R i <$G（0，σ2）表示高斯分布的读取噪声，σ2是方差。K是Kr=Kβr，（3）系统增益（单位：DN/e−R），通常被认为是其中βr是DSN的波动系数，等于在像素和通道上的统一值。或者1 +Kr/K用于卷帘快门或1 +Kr/K3.1. 微光成像在低光成像中，高灵敏度相机设置（即，高ISO），并且先前可忽略的噪声在捕获的视频中变得显著。在本节中，我们对观察到的高灵敏度噪声进行了建模，并在弱光条件下开发了一个全面的噪声模型。动态条纹噪声。如图1（a），动态条纹噪声（DSN）通常在低光成像中变得很重要，使具有水平条纹的图像质量恶化，并且从帧到帧动态变化。frame.它出现在两个卷帘快门消费者相机时代（例如，佳 能 5D Mark III ） 和 全 球 快 门 消 费 相 机 （ 例 如 ，Grasshopper 3 GS3-U3-32S4C）。在不同的快门模式下，DSN具有略微不同的统计特性，即白色或彩色全局快门。由于1/f噪声和白噪声都服从高斯分布，βr分别服从有色高斯分布和白高斯分布G（1，σbeta）。通道之间的噪声关系。 在这里， 我们 提出了一种基于传感器物理特性的通道间噪声关系模型，该模型综合考虑了像素均匀性和通道差异性。具体地，大多数彩色相机通过在均匀的硅传感器1上覆盖滤色器阵列（CFA）来捕获三个通道，这意味着光子到达半导体器件之后的所有噪声源应该是一致的。但考虑到硅器件在不同颜色通道上的响应不平衡，许多摄像机采用不同增益放大三个通道来校正颜色偏差，因此我们改变了方程。3到其颜色通道版本，即，Kr=Kcβr。C c行频域。换句话说，将某一列视为一维噪声信号，它在不同的频率上具有相等或不等的强度。具体地，对于卷帘快门，由于传感器被曝光并且逐行读出，因此行的操作序列被顺序地延迟，并且传感器具有更多的时间来读取像素，导致较慢的读取速度。在这种情况下，1/频率噪声（即，功率谱密度与噪声的频率成反比削波效应。数字传感器始终具有正测量值。然而，当读取噪声考虑零均值高斯分布，理论上对于非常弱的信号可能出现负值，导致如图所示的削波噪声分布。1（e）在实践中。在数学上，限幅操作T（·）可以表示为：.x， 如果x>01/f）变得重要且不可忽略，表现出T（x）=（四）0，否则。垂直频域中的有色噪声。相比之下，全局快门传感器必须读取得更快，因此导致小得多的1/f噪声，因此在我们的模型中可以忽略该噪声，呈现白色垂直频率特性。根据DSN的条纹起伏特性，提出了用行增益起伏模型来处理根据上述分析，我们提出的低光条件下的实际噪声模型变为，yi=T（Kcβr（Si+Di+Ri））|c∈{r，g，b}，（5）3.2. 模型参数估计在下文中，我们将展示如何估计真实凸轮的高灵敏度噪声模型的Kr=K+λKr+（1−λ）Kr、（二）时代 为了便于推断，我们讨论了参数es-其中，K是全局恒定系统增益，是不考虑裁剪运算的1/f增益波动遵循有色高斯分布，Kr是白色增益波动，首先。 然后，我们提出了一种基于二维查找表的方法，校正由削波效应引起的估计偏差高斯分布λ是1/f和白色分量之间的权重。在本文中，我们发现1/f分量在卷帘快门相机的DSN中占主导地位，1注意 ，在 本文中 ，我们 主要集 中在三 通道彩 色相机 与拜耳CFA，但该方法可以很容易地扩展到其他类型的CFA。和K4114CCCCCRCRDCR不同曝光时间的暗场视频。通过捕获一组不同的暗场图像，我们可以计算一组点（Δ E[y′]，Δ Var[y′]），并且可以通过从这些点拟合一条线来估计Kc，如图所示。3（c）款。标定Nd和σ2。 给定Kc，Ndandσ2可以R R从Eq. 六、图3.Canon 5D Mark III参数校准校准β r 捕获暗场图像，我们有测量yi=Kcβr（Di+Ri）|c∈{r，g，b}。EXPEC-图4.2D查找表，用于校正mean（·）（左）和var（·）（右）。icr通过查表进行削波校正。此外，让整个图像的y的位置是（E[y] =KcE[βc]（E[D]+E[R]）=Kc（E[D] +E[R]），且yi∈r的期望为r阶row是E[y]i∈r=Kcβr（E[D]+E[R]）. 故，以德为先。考虑剪切操作。 显然，mean（·）和一个变量T（x）的var（·）可以显著地根据未修剪均值（x）和方差（x）计算。一般是通过y的全局平均值来表示行r中y的平均值，即，很难消除这种影响，而不知道βr=mean（yi∈r）/mean（yi），βr可以计算。Giv enc cx. 然而，在我们的例子中，所有的随机变量βr，我们可以从暗场图像中去除DSN，C显示每行yi∈r 通过βr，导出T（·）可以分为两个 分量，即，泊松一个是零均值高斯分量。在那里-aDSN校正测量y′i=Kc（Di+Ri）|c∈{r，g ，b}（请注意，以下校准均基于校正后的测量值）。如图图3（a）中，我们对Canon 5DMark III的β r进行了标定，并给出了相应的三个彩色通道的直方图。根据相机的快门类型，随机β r可以用1/f（如佳能5D，它是滚动快门，如图所示）生成。3（b）款。与1/f噪声类似，βr的傅里叶变换的包络呈现为下降线在对数坐标系中）。或白色（对于全局快门）高斯分布。因此，组合分布的期望和方差可以充分地描述整个分布因此，我们可以生成一组具有不同期望和方差的x，并计算两个2D表，从裁剪估计均值（T（x））和var（T（x））到实际均值（x）和var（x）。图4示出了用于校正mean（·）（左）和var（·）（右）的2D查找表。然后，根据实际数据计算的mean（T（x））和var（T（x）），通过查找这两个二维表，我们可以很容易地导出实际的mean（x）和var（x）。具体而言，为了校准βr，需要mean（yi∈r）和mean（yi），并且校准K c。 由于Di<$P（Nd）和Ri<$G（0，σ2），′两个yi∈rC而yi 遵循泊松和高斯的混合修正测量y的期望和方差可以表示为E[y′] =Kc Nd（六）因此，可以通过根据mean（T（yi∈r））、var（T（yi∈r））、mean（T（yi））和var（T（yi））查找2D表来校正。 类似地，我们可以校正等式 中的mean（y′）和var（y′）。8、也要注意K值。Var[y′] =K2（N+ σ2）.C用Nd= E[y′]/Kc代替Nd，我们有Var[y′] =KE[y′]+ K2σ2。（七）训练数据生成。在本文中，我们根据我们的视频增强网络生成训练数据，实用噪声模型 在Eq. 5、关于PA-cc R考虑到暗电流的期望值Nd随曝光时间的不同而变化，我们可以通过应用等式（1）得到两个等式。7，并可从它们之间的差值中消除常数项K2σ2Var[y′]=Kc通过对某个摄像机标定的参数进行蒙特卡罗模拟，我们可以从一个干净的视频生成带噪的视频。在此之前，我们应该首先导出期望的光子数Ne。给定某个低光环境的照度I，在某个像素上生成的光电子的预期数量E[Ne]可以通过下式计算：I·S像素E[N]=，（9）t1t2eE[y′]−E[y′]，其中t1，t2表示曝光时间。 在clum2radiant·Ep·ηt1t 2实践中，用平均（y′）代替E[y′]，用var（y′），我们可以从两个变量中推导出Δ Var[y′]和Δ E[y′]其中，S像素是像素的面积，clum2radiant是从发光像素到辐射度的转换常数，Ep是能量。4115单个光子2的能量，η是相机的量子效率。通过将图像的平均值调整为E[Ne]，我们可以导出所有图像像素的预期入射光子数。然后，我们可以得到噪声图像的MonteCarlo模拟根据方程。五、4. 我们基于LSTM的网络在本节中，我们提出了一个基于LSTM的视频增强网络，它可以从真正的数码相机拍摄的嘈杂的黑暗视频网络输出特征合并ST-LSTM层。在空间相关性中加入跳跃连接。最后一层卷积层将重构后的信息转换成标准的RGB图像格式得出最终结果。我们对第一和第四个ST-LSTM层使用3×3内核大小的滤波器，第二层和第三层ST-LSTM的内核大小为5×5。每个ST-LSTM层在我们的网络中有64个特征图。为了保证输入输出尺寸的一致性，采用了补零的方法。损失函数。我们通过最小化等式中定义的整体损失来训练所提出的基于LSTM的网络。在网络输出帧I和对应的地面实况帧I之间。我们将基本损失函数定义为L2和L1损失的加权平均值。L2距离和L1距离的作用都是为了保证像素亮度的一致性，前者使输出平滑，后者使输出细节更加细致。为了进一步提高感知质量，我们4H4H401 2H4H43吨/小时4t引入感知损失L”[8]这是一种约束。时空uintST-LSTMST-LSTMST-LSTM每由预训练的视觉几何组（VGG）网络提取的I和I的高级特征之间的差异此外，在我们的算法中加入了全变差正则化子Ltv，H1H1H1012H1H13吨/小时t损失函数作为光滑正则化项。然后我们特征提取ST-LSTMST-LSTMST-LSTM最终损失函数变为ΣNL=α L（I，I）+β L（I，I）+γ L（I，I）+δL（一）、i=12我我1我我每我我电视i黑暗嘈杂视频5x 5x 5x时间5x（十）其中α、β、γ和δ是用于训练的超参数处理，N是序列中的帧的数量。在这里，功能模块数据流时空LSTM单元模拟符号nMn 层m帧状态跳过连接我们设α= 5，β= 1，γ= 0。06，δ= 2×10−6，N= 8在训练过程中。培训详情。 该网络是用Py-图5.我们提出的基于LSTM的网络 网络前-从视频中提取短期和长期的相关性，并结合时空信息，从暗噪声中重建高质量的视频。为了使暗帧可见，我们用5倍放大来演示每个输入帧的右半部分。网络架构。图5示出了所提出的基于LSTM的网络的概述。该模型以任意长度的低光照视频为输入，在线生成输出帧。为了同时自适应地从视频中提取短期和长期依赖性，我们将时空LSTM（ST-LSTM）单元[22]集成到我们的视频去噪网络中。ST-LSTM可以在统一的存储单元中对空间和时间表示进行建模，并在垂直跨层和水平跨状态的情况下传递存储。我们的网络由两个跨步卷积层和四个ST-LSTM层组成。首先，卷积层提取输入帧的特征，然后将特征传递到2本文利用能量Ep=hc/λ，λ= 555nm，对于粗略的估计，Clum2辐射= 683lm/w@555nm手电筒我们使用上面的损失函数和Adam优化器[10]在1×10−3 的 学 习 率 下 从 头 开 始 训 练 网 络。我们收集了大量干净的视频，并选择了约900个序列，其中丰富的运动场景。然后，基于实际的噪声模型，我们从这些干净的视频生成黑暗和噪声序列考虑到每个摄像机都有一组唯一的噪声参数，我们对不同的摄像机使用不同的训练数据 来 训 练 网 络 本 文 选 用 Canon 5DMark III 和Grasshopper 3 GS 3- U3- 32 S4 C两台具有代表性的相机进行参数标定和网络训练为了保证泛化性能，我们在生成训练数据时随机地在噪声参数中引入轻微的波动。该网络由8帧序列训练，可以处理测试中的无限帧视频。在训练过程中，我们将batch size设置为8，patch size设置为[64，64，3]。5. 实验在这一节中，我们进行详尽的比较，无论是定量和定性，基于佳能5DHHHH14116马克三型相机。最后，给出了Grasshopper 3 GS 3-U3-32 S4 C采集视频的增强结果，验证了该方法的可行性。摄像机模型的噪声参数根据Sec.3.2（如图所2），并分别用这些参数通过Monte Carlo方法所提出的网络表2.我们的实际噪声模型的参数校准佳能5DMark III和Grasshopper3。参数草蜢3佳能5DRGBRGBσ2βrC0.00810.00690.0260.1970.0390.013KC3.543.113.951.531.231.31Nd118/秒51.7/秒σ2R5.4312.5在训练数据集上进行训练，并进行了广泛的实验比较，以证明所提出的方法的优越性。具体而言，我们分别分析了所提出的噪声模型和网络的效果，在不同的亮度水平下演示了所提出的方法，并在各种场景下的真实捕获视频上彻底演示了我们的方法的有效性。在我们的实验中，我们比较了我们的方法与两个代表性的传统方法，即。30282624222018161412指 FFDNet VBM4D KPNTOFlow我们的1.00.90.80.70.60.50.40.3指 FFDNet VBM4D KPNTOFlow我们的VBM4D [15]和最先进的基于学习的方法，[25]如：FFDNet [25]、KPN [19]和TOFlow [24]。首先，我们分别分析了所提出的噪声模型和所提出的网络的效果。由于篇幅所限，本文仅对佳能5DMarkIII相机的部分型号进行了比较。有关Grasshopper3相机模型的附加分析和佳能相机的更多结果可以在补充材料中找到个别网络的影响。为了单独证明所提出的网络的优越性，我们首先在所提出的噪声模型上将我们的网络与VBM4D [15]，FFDNet [25]，KPN [19]和TOFlow [24]进行比较。请注意，为了公平比较，VBM4D的参数[15] 的选择在最佳性能和学习为基础的方法，即。FFDNet [25]，KPN [19]，TOFlow [24]和我们的网络在相同的数据集上进行训练，并在相同的嘈杂视频上进行测试。这里我们引入了“refer”（reference的缩写）作为比较基线。“refer”是缩放的输入视频，而缩放因子是地面 实 况 图 像 与 输 入 图 像 的 总 强 度 比 。 如 图 6 ，PSNR/SSIM比其它方法至少提高了2dB/0.05。如图7，所提出的网络可以帮助恢复具有更高视觉质量的视频，具有更多的结构细节，例如动物面部轮廓和肩部的尖锐纹理，以及更高的色彩保真度。作为一个整体，所提出的网络引入的性能改善证明了定量和定性。噪声模型的影响。然后，为了进一步验证所提出的噪声模型的有效性，我们分别训练TOFlow [24]和我们的网络模型的网络表1.实验中应用的相机设置和环境条件。室内条件和设置(a)（b）第（1）款图6.网络效应的定量比较不同的噪声模型，即AWGN模型、高斯-泊松混合噪声模型以及提出的噪声模型。真实捕获的暗噪声视频由训练的网络模型去噪，如图1中的第1 - 3列所示。8.请注意，我们在灯光打开的情况下捕获同一场景的附加图像，以供场景结构参考（图10）。8，标记为“有光的真实数据”）。同样的网络（即TOFlow或我们的网络），所提出的噪声模型的结果是最好的质量，在更少的色度伪影，更多的结构细节和更高的对比度方面，验证了所提出的噪声模型在弱光条件下增强视频的优越性。总之，我们证明了所提出的方法的优越性归因于所提出的网络和所提出的噪声模型。合成数据的性能分析。我们测试我们的方法上的合成测试数据集生成与我们的实际噪声模型，并将其与其他国家的最先进的算法。比较是在通过模拟环境照度从0.05到0.2勒克斯生成的六个测试视频。由于我们的网络经过训练，可以从暗噪声输入中恢复明亮清晰的视频，因此输出的亮度已经由网络本身自适应调整。为了公平比较，我们将输入帧的亮度缩放和其他方法的结果添加到真值帧中，并在光线增强后计算其他方法的保真度度量（PSNR和SSIM）。如图9，该方法在所有测试视频和不同亮度水平上的PSNR和SSIM均达到最高分数。进一步检查我们的方法，TOFlow和TOFlow与我们的噪声模型之间的比较，我们可以发现，性能的提高来自于所提出的网络，峰值信噪比（dB）SSIM相机ISO/增益曝光时间照度f数佳能5D草蜢32560048dB50ms30ms0.05-0.2Lux0.01-0.03Lux5.61.84117参考FFDNetVBM4DKPNTOFlow使用我们的噪声模型的TOFlow我们的方法输入/参考FFDNetVBM4D KPN TOFlow我们的网络真相图7.定性比较网络对个体的影响为了便于原始输入帧的可视化，我们在第一列中显示了暗噪声输入帧的左半部分和亮度缩放的“参考”帧的右半部分图8.比较所提出的噪声模型的效果1.0320.9280.822.5二十四点七200.622.016128400.040.080.12照度（Lux）（一）0.160.200.50.40.30.20.10.00.040.080.12照度（Lux）(b)0.160.2021.521.020.5图9.在不同光照强度下与其他方法进行定量比较20.005 10 15 20帧号所提出的噪声模型以及从所提出的噪声模型得到的改进大于从所提出的网络得到的改进，这证明了我们的噪声模型的重要性。图10呈现了我们的方法在单独帧上的性能。实验结果表明，该方法能够很好地记忆前一帧的信息，并能很好地处理帧间运动，提高当前帧的检测结果。因此，在序列的最开始，所提出的方法的PSNR逐帧上升。在大约20帧之后，曲线变得陡峭，因为之前20帧的信息不能为当前帧处理提供更多有用的信息。在真实拍摄的视频上进行实验。如 图11，我们展示了佳能5D MarkIII和Grasshopper 3 GS 3-U3- 32 S4 C凸轮的实验结果。图10.用该方法增强帧的峰值信噪比时代模特可以看出，其他方法的结果丢失了很多噪声区域的细节，并且不能很好地处理条纹噪声区域，而我们的方法可以很好地去除噪声影响，同时很好地保留图像的细节。在其他方法中也观察到颜色偏差，这可能是由噪声模型的不准确性引起的。由于我们的方法在弱光条件下使用了更精确的噪声模型，因此我们的方法可以恢复具有更高色彩保真度的图像。总之，我们的方法的有效性证明了在两个相机（包括滚动快门和全局快门），在真实的捕获场景。使用AWGN模型训练使用混合模型训练使用我们的噪声模型训练输入/参考参考FFDNetVBM4DKPNTOFlow使用我们的噪声模型的TOFlow我们的方法真实数据光的真实数据我们网络峰值信噪比（dB）TOFlowSSIM峰值信噪比（dB）4118输入/参考FFDNetVBM4D KPNTOFlow使用我们的噪声模型的我们的方法图11.Canon 5D MarkIII和Grasshopper 3 GS 3-U3- 32 S4 C拍摄的真实视频结果6. 讨论和结论本文通过研究微光成像中高灵敏度摄像机的噪声，提出了一种微光视频增强方法。提出了一种高灵敏度的噪声模型和相应的估计方法来生成暗噪声/增强的训练数据集。提出了一种基于LSTM的神经网络来训练生成的数据集并增强真实捕获的低光噪声视频。我们进行了深入的实验，并证明了所提出的方法的有效性。目前，所提出的方法需要预先通过相机捕获多个视频以用于噪声模型计算。振动在未来，我们将研究如何从输入噪声视频中盲估计噪声参数。致谢感谢国家自然科学基金项目61671236、61971465和江苏省青年科学基金（批准号：BK 20160634）和中央高校基础研究基金（批准号：0210 -14380128）。草蜢3Cannon 5D Mark III4119引用[1] 卢西奥·阿扎里和亚历山德罗·福伊。稳健信号相关噪声 估 计 的 高 斯 - 柯 西 混 合 建 模 IEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing，2014。2[2] Antoni Buades，Bartomeu Coll，and J-M Morel.一种非局部图像去噪算法。计算机视觉与模式识别国际会议，2005年。2[3] 安东尼·布德斯、何塞·路易斯·利萨尼和马克·米拉丁。基于补丁的视频去噪与光流估计。IEEE Transactions onImage Processing，25（6）：2573 2[4] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。2018年计算机视觉与模式识别国际会议。2[5] 陈静雯，陈嘉伟，赵宏阳，杨明。基于生成对抗网络噪声建模的图像盲去噪2018年计算机视觉与模式识别国际会议。2[6] Weisheng Dong，Lei Zhang，Guangming Shi，and XinLi. 图 像 恢 复 的 非 局 部 中 心 稀 疏 表 示 。 IEEETransactions on Image Processing ， 22 （ 4 ） ： 1620-1630，2013。2[7] Alessandro Foi 、Mejdi Trimeche 、 Vladimir Katkovnik和Karen Egiazarian。单幅图像原始数据的实用泊松-高斯 噪 声 IEEE Transactions on Image Processing ， 17（10）：17372[8] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。2016年计算机视觉与模式识别国际会议。5[9] C le'mentGodard，KevinMatzen ，andMattUyttendaele. 深度突发去噪。2018年欧洲计算机视觉会议。 2[10] Diederik P Kingma和Jimmy Ba。 亚当：一种方法用于随机优化。在学习代表国际会议，2014。5[11] Xiangyang Lan，Stefan Roth，Daniel Huttenlocher，andMichael J Black.学习高阶马尔可夫随机场的有效信念传播。2006年，欧洲计算机视觉会议2[12] 李慧宾和凤琉。小波域基于学习字典的稀疏和冗余表示图像去噪图像和图形处理国际会议，2009年。2[13] 刘策、理查德·塞利斯基、康星兵、C·劳伦斯·齐特尼克和威廉·T·弗里曼。从单幅图像中自动估计和IEEETransactionsonPatternAnalysisandMachineIntelligence，30（2）：2992[14] Florian Luisier，Thierry Blu，and Michael Unser.混合泊松 - 高 斯 噪 声 中 的 图 像 IEEE Transactions on ImageProcessing，20（3）：696-708，2011。2[15] Matteo Maggioni、Giacomo Boracchi、Alessandro Foi和Karen Egiazarian。通过可分离的4-D非局部空间速度的ral 变 换 IEEE Transactions on Image Processing ， 21（9）：3952-3966，2012. 二、六[16] Julien Mairal，Francis R Bach，Jean Ponce，GuillermoSapiro，and Andrew Zisserman.图像复原的非局部稀疏模型2009年国际计算机视觉会议。2[17] MarkkuM aükitalo 和AlessandroFoi.Poisson- Gaussian噪声 下 广 义 Anscombe 变 换 的 最 优 变 换 。 IEEETransactions on Image Processing，22（1）：91-103，2013。 2[18] MarkkuMaükitalo和AlessandroFoi.方差稳定中的噪声参数失配及其在泊松-高斯噪声估计中的应用。IEEETransactions on Image Processing， 23 （ 12 ） ： 5348-5359，2014。2[19] Ben Mildenhall ， Jonathan T Barron ， Jiawen Chen ，Dillon Sharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。2018年计算机视觉与模式识别国际会议。二、六[20] TobiasP lótz和Ste f anRoth。 用真实照片对去噪算法进行基准测试。在2017年计算机视觉和模式识别国际会议 2[21] Stefan Roth和Michael J Black。专家领域：一个学习图像先验知 识的框架.International Journal of ComputerVision，82（2）：205-229，2009. 2[22] Yunbo Wang，Zhifeng Gao，Mingsheng Long，JianminWang，and Philip S Yu. Predrnn++：解决时空预测学习中的深度时间困境。2018年国际机器学习会议。5[23] Bihan Wen ， Yanjun Li ， Luke P fister ， and YoramBresler.联合自适应稀疏性和低秩上的codey：一种用于视频去噪的在线张量重构方案。2017年计算机视觉国际会议2[24] Tianfan Xue，Baian Chen，Jiajun Wu，Donglai Wei，and William T Freeman.视频增强与任务导向的流程。国际计算机视觉杂志，2019年2月。二、六[25] 张凯、左王梦、张磊。Ffdnet：基于cnn的图像去噪的快 速 灵 活 解 决 方 案 。 IEEE Transactions on ImageProcessing，27（9）：46086[26] Fengyuan Zhu，Guangyong Chen，and Pheng-Ann Heng.从噪声建模到盲图像去噪。在2016年国际计算机视觉和图案识别会议上。2