具有机电对准功能的高质量微光视频数据集

9700在黑暗中看到动态场景：具有机电对准功能的高质量视频数据集王瑞兴1，2*徐晓刚1* 傅志荣1卢江波2贝宇1，2贾佳雅1，21香港中文大学2SmartMore{rxwang，xgxu，cwfu，byu，leojia}@ cse.cuhk.edu.hk，jiangbo@smartmore.com摘要微光视频增强是一项重要的研究课题。以前的工作主要是在成对的静态图像或视频上进行训练我们编译了由我们的新策略形成的新数据集，其包含来自低光和正常光条件下的动态场景的高质量空间对准视频对。我们使用机电系统来构建它，以在视频捕获过程中精确地控制动态，并通过识别系统的匀速运动阶段来在空间和时间上进一步对齐视频对。除了数据集之外，我们还提出了一个端到端的框架，在该框架中，我们设计了一个自监督策略来减少噪声，同时基于Retinex理论增强光照。基于各种指标和大规模用户研究的广泛实验证明了我们的数据集的价值和我们的方法的有效性。数据集和代码可在https://github.com/dvlab-research/SDSD获得。1. 介绍增强在弱光下捕获的曝光不足的图像和视频是计算机视觉中的一项长期任务。这是具有挑战性的，因为曝光不足的输入没有太多的场景结构信息。此外，暗区域通常由具有低信噪比的噪声主导（参见图1（a））。当增强这样的输入时，结果中可能会出现放大的噪声和不期望的视觉伪影，如图1（b）（c）所示。对于从动态场景拍摄的视频，这些问题可能会被夸大，其中摄像机在很大程度上移动。在本文中，我们专注于增强从低光动态场景。已经提出了许多方法[34，18，9，6，25，20，4] 通常，这些方法学习从在低光照条件下拍摄的图像/视频到具有正常光照的图像/视频的映射。 他们一般不要处理动态场景的视频或严重-*同等贡献。(a) 输入（b）SMOID [14](c)Lightroom中的自动色调（d）我们的图1：来自通过SOTA方法（b）、商业软件（c）和我们的方法（d）增强的挑战性欠置帧的示例帧（a）我们的结果表现出更清晰的细节与鲜明的对比度和更少的噪音。曝光不足的视频被严重的噪音破坏。一个主要原因来自于缺乏合适的数据集-构建这样的数据集的固有困难如下。首先，准备这种类型的视频对意味着需要捕获两个视频-一个在低光下，另一个在具有相同相机运动的相同动态场景的正常光下其次，它必须在空间和时间上精确地对齐两个视频中的每对对应帧最后，虽然分束器可以用于减轻构建动态场景高质量数据集的一些约束，但捕获视频的质量将受到限制[14]。因此，现有的数据集，例如[1，5，27]的数据集，主要提供成对的图像。Chen等人[4]构建了静态场景的配对视频数据集，Jianget al. [14]发布了有限质量的动态场景的配对视频数据集。我们在这项工作中的第一个目标是构建一个新的数据集，具有高质量的空间对齐的视频对，动态场景的功能。此外，对于低光条件下的视频，噪声通常占主导地位。当我们点亮视频帧时，噪声会9701不期望地放大，导致增强结果中的各种视觉伪像。在这项工作中，我们的第二个目标是开发一种新的解决方案来增强曝光不足的视频，同时考虑到噪声。我们的贡献如下。首先，我们发布了一个新的数据集，其中包含150个高质量的空间对齐视频，这些视频在低光和正常光条件下具有相同的动态场景。为了保证视频的对准和质量，我们建立了一个机电一体化的对准系统，其中我们组装了一个电动滑轨，并在其上安装了一个专业的摄像机;参见图2。使用这个系统，我们捕获了几乎相同的摄像机运动的视频，从而减少了为了时间和空间一致性而对准低光和正常光视频所需的努力。构建的数据集被命名为SDSD数据集，代表其次，我们制定了一个端到端的框架，用于增强曝光不足的视频。在我们的方法中，我们同时强调噪声抑制和光照增强。对于降噪，我们制定了用于学习的自监督策略，而对于照明增强，我们基于Retinex理论[16]从每个输入帧预测照明图我们的数据集是第一个针对动态场景的高质量配对视频数据集，具有低光和正常光条件下相同场景和运动的高分辨率视频对。在我们的新数据集上训练，我们的框架可以很好地增强曝光不足的视频，即使在极低的光照条件下。为了评估和证明我们的新方法的适用性和鲁棒性，我们进行了全面的实验，将其与我们构建的数据集和SMID数据集上的一组丰富的最先进的方法进行此外，我们进行了一项有100名参与者的大规模用户研究，结果表明，我们的结果在视觉上比以前的方法更令人愉快和准确。图2：我们的机电系统中的设备。在最上面一行，从左到右是佳能EOS 6D Mark II，电机（驱动相机的运动），控制器（设置运动的起点和终点）和ND滤镜。我们将摄像机和电机安装在电动滑轨上，如下面一行所示。2. 相关工作2.1. 低光图像增强和数据集为了增强低光视频，可以以逐帧的方式应用图像直方图均衡化和伽马校正是增加图像对比度和扩展动态范围的基本工具。最近，基于Retinex的方法[24，8，33，10，2，35]产生了增强低光图像的令人印象深刻的结果。近年来，基于学习的弱光图像增强方法受到越来越多的关注[30，31，17，3]。Wang等人[23]提出通过学习光照图来增强曝光不足的照片。Sean等人[20]学习了三种不同类型的空间局部滤波器来增强弱光图像。Xu等[28]提出了一种基于频率的分解和增强模型，以基于SID [5]使用低光数据集增强Yang等[32]提出了一种半监督学习方法来恢复增强图像的线性带表示。此外，无监督学习已被探索用于照片增强[6，13，9]。Guo等[9]训练一个轻量级神经网络来估计给定图像的动态范围调整的像素级和高阶曲线。然而，将图像增强算法应用于单个帧可能会导致闪烁问题。为了提高增强性能，建立了Bychkovsky等人[1]编译了大型MIT-Adobe FiveK数据集，其中照片与专家修饰的结果配对进行色调调整。Chen等人[5]使用U-Net收集短/长曝光对的原始图像最近，Wei等人[27]提出了一个包含低光和正常光图像对的数据集，并提出了一个在这个数据集上学习的深度Retinex-Net。2.2. 低光视频增强和数据集Zhang等人[34]提出了一种使用感知驱动的渐进融合的曝光不足视频增强的方法Lv等人[18]提出了一种多分支网络来提取不同层次的特征，适用于图像和视频领域。Jiang等[14]采用标准CNN来学习用于从低光原始相机传感器数据到明亮视频的变换的增强映射然而，这些方法不适用于严重的噪声条件。Xue等人[29]设计了一个为特定视频处理任务量身定制的流表示Wang等人[25]数学上定义了数码相机中的实际高灵敏度噪声，并提出使用递归神经网络基于噪声模型来增强低光视频。Chen等人[4]我收集了一个静态的原始低光视频数据集学习了从低光到正常光的视频转换。Danai等人[22]提供了一种数据合成机制，9702室内帧分布在这条线上强度室外框架在弱光分布下的框架强度在这条线上强度弱光下的帧强度（一）室内视频181614121086420户外视频视频的长度正常光照条件下室内视频的照度分布百分之十40.00%50.00%勒克斯> 8.04.0勒克斯8.02.0勒克斯4.0正常光照条件下室外视频的照度分布百分之十43.75%46.25%勒克斯> 8.04.0勒克斯8.02.0勒克斯4.0弱光条件下室内视频的照度分布百分之十二点八五87.15%Lux> 2.0 0.8 Lux 2.0弱光条件下户外视频的照度分布8.75%91.25%Lux> 2.0 0.8 Lux 2.0(b)（c）（d）图3：（a）我们数据集中25%数据的概述（放大以查看更多细节）。(b)视频对的强度分布。我们在不同的光照条件下，在同一位置随机裁剪视频对的两个补丁，并计算与2D图中的一个点相对应的每个补丁显然，来自正常光视频的大多数裁剪的补丁(c)我们数据集中视频长度（帧数）的分布。(d)我们数据集中的视频Lux分布。表1：我们的数据集和以前的工作之间的比较数据集释放地位捕获设备数字EHSC [25]SMID [4]√×动态静态佳能5D Mark III索尼RX100 VI90022,220SMOID [14]√×动态FLIR GS3-U3-23S6C35,800我们动态佳能6D Mark II37,500nism从SID [4]生成动态视频对。虽然最近已经提出了几种用于视频增强的数据集，但是它们具有不同的限制。例如，数据集尚未发布[14，25，22]。数据集仅由静态视频组成[4]，而视频质量在[14]中提出的视频中受到限制。表1总结了当前代表性的数据集问题。与以前的工作相比，我们通过机电对准提供了高质量的数据集。它是公开提供的。此外，我们的方法是目前的学习为基础的方法的补充。 特别地，我们设计了一个新的网络来处理视频中曝光不足的暗区域，并同时在这些区域中实现照明校正和噪声抑制。3. SDSD数据集与机电对准针对动态场景的有监督的低光照视频增强是具有挑战性的。从真实的动态场景中采集高质量的空间配对视频数据需要花费大量的精力。如果我们用两台摄像机来收集配对数据，第一台一种方法是使用相机姿态估计，如DPED [12]。但这种解决方案会导致未对准。另一种方式是利用分束器来构建光学系统。然而，由于专业相机不能安装在这样的光学系统上，因此难以捕获高质量的视频。SMOID [14]的数据集在我们提交时尚未发布。与这些策略相反，我们通过采用如图4所示的电动滑轨来收集配对视频，该滑轨可以在1mm误差内精确地沿着路径重复移动。这使我们能够管理动态的场景，准确地控制摄像机运动与电动滑轨。因此，我们可以从一个场景中拍摄到不同光线条件下的一对视频，只需将电动滑轨与摄像头一起运行两圈，如图4所示。这样的对可以稍后在空间上对准。简而言之，收集数据包括捕获和对齐，这将在下面进行描述。3.1. 捕获视频数据为了控制摄像机的轨迹，我们在电动滑轨上设置了起点A和终点B摄像机在A点开始拍摄视频，然后向B点移动。为了捕获一对视频，我们将滑轨运行两圈。在第一轮中，我们捕获了具有良好对比度和生动色彩的无噪声明亮视频。在第二轮中，我们将ND滤镜放在相机镜头上，并提高相机ISO以拍摄具有严重噪点的低光视频。181614121086420视频的长度帧的强度普通光普通光NumberNumber9703×∈∈∈ −第1轮：AB不带ND滤镜（在正常光线下捕获视频数据）第2轮：使用ND滤镜（在低光下捕获视频数据）静态数据的对齐剪辑动态视频数据集静态数据的对齐剪辑(a)静态阶段I：（b）加速阶段：（c）均匀移动阶段：相机没有运动相机具有速度相机具有均匀线性加速运动(d)减速阶段：相机与速度减速(e)静态阶段II：摄影机没有运动图4：为了使用我们的电动滑轨系统拍摄视频，我们安装了摄像头并使用电机驱动。摄像机运动路径由控制器控制，并且该运动过程由五个阶段组成。路径的起点是A，终点是B。为了收集视频对，我们运行该系统两轮。在第一轮中，我们在正常光线下拍摄视频，然后在第二轮中使用ND滤镜收集低光视频。通过找到均匀移动的载物台来对准所捕获的视频静态阶段中的视频可以用作静态数据对。图5：我们数据集中的两个视频剪辑。对于每个片段，第一行是由佳能EOS 6D Mark II拍摄的ND滤镜，第二行是在正常光线下拍摄的。3.2. 对齐视频数据根据摄像机轨迹进行视频的对准，该摄像机轨迹由五个阶段组成（图4），即，静止阶段I、加速阶段、均匀移动阶段、减速阶段和静止阶段II。静态阶段I和II中的相机分别位于点A和B加速阶段导致摄像机在运动轨迹开始时速度加快，减速阶段是在运动轨迹结束时移动的痕迹。在相机运动稳定的匀速运动阶段，将两个序列的帧对准在相同位置是容易的因此，我们选择均匀移动阶段的帧来构建我们的视频数据集。首先，我们从正常/低光视频中找到均匀移动阶段的第一帧。然后，我们以逐帧的方式从均匀移动阶段手动拾取对准的帧，直到在减速阶段中找到未对准的帧具体地，我们采用帧的顶部、底部、左侧、右侧中的参考对象来测量对于两个对准帧参考对象应位于相同位置处的我们总共收集了150对视频序列，其中包括80个室外视频和70个室内视频。每段视频由100-300帧组成，分辨率为1，920-1，080。我们的数据集被称为SDSD，图3显示了我们数据集中25%的数据和整个数据集的统计指标。在我们的数据集中，有各种场景，如城市景观，草地和室内。在图5中，我们提供了在低光和正常光条件下的室内/室外序列的两个示例。4. 方法除了我们构建的数据集与机电对齐，我们设计了一个有效的视频增强框架。为简单起见，I tRH×W×3 表示低亮度视频帧和I¯tRH×W ×3表示成对的框架un-W。在正常光照条件下。 给定帧序列（It+i，i[2，2]），我们的目标是增强中间帧I t的照明。据观察，严重的噪声不可避免地发生在视频B一B一9704不t./t./t./t./不t./∈ −t+It+IS不L+2L +2 L +2L+2L+2t+I⊙不不不R44881616K t+It+It+I我我t+IHWPAL（第4.1）IMP（第4.3）与中心框架逐步对齐残余块估计照明贴图对齐特征输出输入残余块！！！！残余块SNE（第4.2）估计噪波贴图图6：我们的框架概述，它实现了降噪和照明增强。它由渐进对齐（PAL），噪声估计（SNE）和照明预测（IMP）模块。L水平L +100的情况。4+0t./0的情况。4（{∆���+}0.4）↑DCNDCN���联系我们{���+}0. 4（���60.4）↑0t./6044.1. 渐进式对齐（PAL）直接对每帧进行低光图像增强[23，9，20]会导致闪烁。为了避免这种情况并充分利用时间信息，现有的视频增强方法的输入是序列。同时，为了产生无模糊的帧，现有的视频增强方法水平tL +2我也是。1t./0的情况。1t./（{∆���+}0.1）↑DCNt./{���+}0. 1（���60.1）↑t./0的情况。1t./考虑将相邻帧对齐到中间帧[36，21，15]。这种对准可以在特征级执行。在本节中，我们将说明特征提取的过程和我们的渐进式对齐策略。在弱光条件下给定输入序列图7：图6中的“逐步对准到中心帧”的详细图示在黑暗的环境中拍摄[25]，增强照明将进一步放大它。我们首先将黑暗中的物理噪声公式化为I= +ε，其中是在没有噪声的低光条件下的干净帧，ε是噪声。根据基于Retinex的增强理论[16]，可以计算照明图St以将该帧恢复到正常照明条件，如如（It+i，i[2，2]），形状为R5×H×W ×3，我们用三个卷积层和两个下采样层提取这些帧特征，以在空间和时间上传播信息，如图6和图7所示。所获得的特征表示为（F L，i ∈ [−2，2]），形状为5×××C，其中C是特征通道的数量，并且L是渐进对齐中的一个级别。对齐模块将相邻帧的特征空间对齐到中心帧，这是通过可变形卷积（DCN）[7]逐步实现的，如图7所示。为了对齐FL，i∈[-2，2]，我们提取特征具有不同的l个值为F L+1，i∈[−2，2]和F L+2，ItIt+ Itt+It+I==+，i∈ [−2，2]，具有形状R5×H×W×C和R5×H×W×C。StSt我们首先计算DCN的偏移{∆p}L+2，L等于L+2。f_set从F _L+2和F _L+2学习，并且在哪里我t 是没有噪声的增强帧，并且t+itSt具有放大噪声的帧 . 因此，直接增强帧照明将导致噪声放大。利用学习的偏移获得对准的特征为{∆pk}=f （F⊙F），t+It+it（一）而不是像传统那样单纯地增强照明我们提出了一个端到端网络，如图所示F^L+2=gL+2（DCN（F L+2，{pk}L+2）），在图6中，同时实现噪声降低和照明增强。该网络由渐进 对 齐 （ PAL ） 、 噪 声 估 计 （ SNE ） 和 光 照 预 测（IMP）模块组成。其中{Δpk}L+2是在（L+ 2）处的DCN的学习偏移。这一层，表示信道级联，fL+2和gL+2是由若干卷积层完成的映射函数，DCN是DCN的运算。实施t./669705∈ −^不∈ −FSt^不^不^^M不I¯不特征F^L，我们将它们与F^L之间的相似性不不BN不不It+N^t −Nt¯FF∈ −不不在渐进式学习中，我们采用在第（L+ 2）和第（L+1）级计算的偏移量来进行第（L+ 1）和第L级的偏移量计算。此外，我们设置了渐进式学习，通过合并其他级别的功能来该过程可以写成{∆pk}L+j =fL+j（FL+j⊙FL+j ⊙（{∆pk}L+j+1）↑），模块还包括残差块和用于上采样的两个层 我们将这个过程公式化以获得照明映射St为St=fi（fa（It+i，i[2，2]）），并且照明图的输出大小为RH×W×3。训练fi的损失项写为ItL+j t+IL+jt+itL+jL+jt+IL+j+1↑（二）Lic=E（fi（fa（It+i，i∈ [−2，2]））−I¯），不F^t+i= g（DCN（Ft+i，{∆pk}t+i）⊙（F^t+i）），t+It+I（四）It其中（{∆pk}L+j+1）↑是f集合的上采样，（F^L+j+1）↑Lin=E（fi（fa（It+i+N^t+i，i∈[−2，2]））−I¯），是上采样特征，j∈ {0，1}。 与对准的t+It+I其中，是在等式（1）中定义的特制噪声。（三）、Lic和Lin和FL.获得对准特征的过程可以被取消。记为FL=fa（It+i），i∈[−2，2]，其中FL的形状为4.4.总损失函数R4×4×C。这种对齐对于具有我们表示（I）t+I，i∈[-2，2]）从我们的网-平滑的局部运动，因为对应输入中的运动可以被模拟为平移。4.2.自监督噪声估计（SNE）在获得对准特征L之后，我们将其用于两个目的：噪声估计和光照图预测。 在本节中描述噪声估计的实现。利用输入It+i，我们的目标是预测形状为RH×W×3的噪声图Nt可以得到为It−Nt。噪声估计模块工作为（St，Nt）=f（It+i，i[2，2]），其中f表示由我们的网络实现的函数。最终的增强帧可以被获得为I~t=It-Nt。为此，我们同时添加I〜t的损失函数作为fa、fn和fi的约束，其可以被写为Lb= E（I~t− I¯t）。（五）此外，为了保证噪声输入的增强效果，我们对fa，fn和fi设置了另一个约束条件使用“Noisier2Noise”的原则进行训练我们将精心制作的噪声添加到输入噪声/干净帧，并训练网络以回归所添加的噪声。因此，噪声估计模块可以以自我监督的方式学习。如图6所示，为了估计噪声，对齐的fea-（St，Nt）=f（It+i+Nt+i，i∈[−2，2]），′L =E（S′−I），（六）真实L通过由残余黑色和用于上采样的两个层组成的网络fn进行转发。 该SNE网络产生计算出的噪声图Nt，如下：Nt=fn（L）=fn（fa（It+i）），i[2，2]。对于训练，我们计算It+i的平均RGB值以创建要添加到It+i的噪声，使得噪声幅度可以更可靠。其中，Nt是在等式（1）中定义的特制噪声。（三）、训练该框架的总体损失函数总结为La=λ1Ln+λ2（Lic+ Lin）+λ3Lb+λ4Lbn，（7）其中λ1、λ2、λ3和λ4是损失项的权重我们vant以图像It+1的内容。我们将损失计算为Nt+i=It+i−M（It+i），i∈ [−2，2]，Ln=E（fn（fa（It+i+N^t+i，i∈[−2，2]））−N^t），（三）经验地设置λ1= 2，λ2= 0。25，λ3= 0。5，且λ4=0。五、5. 实验5.1.实验装置其中Nt+1是所产生的噪声，（It+i）是It+i的平均RGB值，E是计算平均值的运算，并且Ln是用于训练fn的损失项。4.3.光照图预测（IMP）根据基于Retinex的方法[23]，我们通过预测照明图It来增强It的照明。与现有的基于Retinex的方法不同，我们建议训练一个噪声感知网络来估计照明图。光照图应该与帧的内容一致，并且不受噪声的影响。如图6所示，我们采用另一个具有输入的网络fi来预测光照图。这个小恶魔是训练fi的损失项。HW9706通过实验证明了该方法的优越性和为了说明我们的方法的效果，我们在SDSD和SMID [4]数据集上重新训练了七种以前的代表性方法以进行比较，并为我们的方法提供了消融研究。此外，我们进行用户研究，以评估我们的方法和所选择的基线的结果。此外，我们将两种模型的性能与我们设计的分别在SDSD和SMID [4]上训练的网络结构进行了对于SMID数据集，我们使用SMID预处理来处理RAW数据以产生sRGB数据。之间的比较9707表2：SDSD和SMID [4]数据集上我们的方法、最新基线和消融设置之间的定量比较。PSNR以dB为单位。方法SDSDSmidPSNR SSIMPSNRSSIMDeepUPE [23]21.820.6823.910.69ZeroDCE [9]20.060.6122.620.67DeepLPF [20]22.480.6624.360.69DRBN [32]22.310.6524.420.69[18]第十八话21.790.6522.670.68SMID [4]24.090.6924.780.72SMOID [14]23.450.6923.640.71我们的产品，不含PAL、IMP、SNE22.610.6425.040.71我们的产品，带PAL，无IMP，无SNE24.470.6525.320.71我们的产品，带PAL，带IMP，不带SNE24.530.6725.710.74我们24.920.7326.030.75这两个模型通过主观评估表明，我们的SDSD是感知优于静态SMID数据集，以增强从动态场景中捕获的视频。图10中示出了一个可视示例。类似于以前的工作[11，23，20]，我们采用两个常用的峰值信噪比（PSNR）和结构相似性（SSIM）[26]度量。高的PSNR和SSIM值表明良好的结果。5.2. SDSD数据集我们将我们的方法与SDSD数据集上的七种最先进的方法进行了比较，并在图8中提供了定性很明显，我们的结果主要有两个优点比其他方法。首先，从我们提出的方法的结果具有高对比度，清晰的细节，和自然的颜色恒定性。因此，通过我们的方法处理的帧更真实。其次，看看墙壁和地板区域，我们的输出具有更少的视觉伪影和更少的噪声，并且看起来比所有基线更干净。这些事实表明，我们的模型可以实现降噪和照明增强。效果比已经很强的基线更好。此外，我们在表2中提供了定量结果以供比较。如表2所示，我们的方法在SDSD数据集上实现了最高的PSNR和SSIM。特别是，我们的PSNR高于所有基线，具有较大的裕度（超过0.8dB）。这种优越性验证了我们的方法产生更大的性能低光视频增强与所有基线相比。此外，我们进行消融研究，以评估我们的方法中的组件的有效性。将最后一行（“我们的”）中呈现的值与表2中“我们的”上方三行中列出的值（我们的具有/不具有PAL、IMP和SNE的值）进行比较表 3 ： 用 户 研 究 中 的 用 户 偏 好 比 较 。 “Ours” is thepercentage that our result is preferred,方法其他相同我们DeepUPE [23]27.0%百分之八点七64.3%ZeroDCE [9]百分之十一点九百分之四点四83.7%DeepLPF [20]百分之十九点八百分之六点八百分之七十三点四DRBN [32]百分之十二点五百分之十九点二68.3%[18]第十八话百分之六点八13.5%79.7%SMID [4]13.9%13.5%百分之七十二点六SMOID [4]百分之十九点八百分之二十五点四百分之五十四点八5.3. SMID数据集为了证明我们的方法的泛化，我们评估了在SMID [4]上训练的方法/基线的效果。测试序列为8位sRGB格式。在图9中，我们提供了我们的方法和基线的结果，它们在SMID [4]的训练集上训练，同时在SMID [4]的测试集上进行评估。我们的方法将曝光不足的视频帧恢复为具有正常亮度和自然色彩的帧。此外，我们在表2中提供定量结果以供比较。我们的网络达到了最好的PSNR和SSIM ，并 表现出 更好的 基线与 大的裕 度（超 过1.3dB）。5.4. 真实测试视频的用户研究为了将我们的方法与基于人类感知的七个基线进行比较，我们使用总共12个视频对100人进行用户研究，这些视频由iPhone7plus和iPhoneX捕获，具有真实的相机运动和局部对象运动。我们在这些视频上计算不同方法的结果以进行AB测试。所有网络模型都是在SDSD数据集上训练的。每个参与者同时观看两个视频（称为视频A和B），这两个视频是通过不同的方法合成的，并且必须在三个选项中进行选择：“视频A更好”、“视频B更好”和“我无法决定哪一个更好”。为了评估准确性，我们邀请了100人参加我们的用户研究，每个参与者被要求完成14对9708AB测试。每个AB测试都在我们的结果和七个基线之一之间进行-它们以随机的左右顺序呈现参与者根据以下五个属性做出决策：合适的亮度，清晰的细节，鲜明的对比，生动的色彩，以及保存完好的照片的真实感。该用户研究的结果在表3中给出，其中我们报告了我们的结果被参与者优选的比例它证明了我们的方法产生了更吸引人和自然的结果，因为参与者通常更喜欢我们预测的视频，而不是来自基线的视频。9709(a) 输入（b）DeepUPE [23]（c）DeepLPF [20]（d）ZeroDCE [9](e) DRBN [32]（f）SMID [4]（g）SMOID [14]（h）我们的结果图8：通过各种方法（b）-（h）增强的曝光不足视频帧（a）。来自基线的结果显示模糊的细节、噪声、失真的颜色、弱对比度、异常亮度和不自然的白平衡（放大以查看细节）。(a) 输入（b）DeepUPE [23]（c）DeepLPF [20]（d）ZeroDCE [9](e) DRBN [32]（f）SMID [4]（g）SMOID [14]（h）我们的结果图9：通过在SMID数据集[4]上训练的各种方法（b）-（h）增强的另一曝光不足视频帧（a）（放大以查看细节）。(a) 输入（b）摄像机轨迹(c)我们的SMID [4]（d）我们的SDSD图10：通过在SMID [4]（c）和我们的SDSD（d）上训练的我们的方法增强的(b)显示了手机6. 结论我们已经提出了一个配对的高质量的视频数据集，使用机电一体化系统。我们数据集中的每个视频对都是从室内/室外动态场景中捕获的，其中包含分别从低光和正常光条件下拍摄的两个空间对齐的视频。此外，我们提出了一个端到端的视频增强框架。我们的框架实现了降噪和照明增强同时进行。用户研究进行了广泛的实验，证明了我们的数据集的价值和我们的方法的有效性。用SDSD数据集训练的方法有效地增强了用真实相机轨迹捕获的视频，例如，平移和旋转运动，如用户研究所示。但他们可能无法完美地处理严重抖动的视频。因此，我们设想使用机器人手臂构建另一个数据集，该数据集可以精确地重现最具挑战性的轨迹。9710引用[1] 弗拉基米尔·比奇·科对基，西尔·瓦恩·帕里斯，埃里克·陈，和杜兰德神父。使用输入/输出图像对的数据库学习摄影全局色调调整。在IEEE Conf.目视模式识别，2011年。[2] 蔡博伦、徐先明、郭凯玲、贾奎、胡斌、陶大成。视网膜的联合内在-外在先验模型。在国际会议计算中目视，2017年。[3] 蔡建瑞、古书航、张磊。从多曝光图像学习深度单图像对比度增强器。IEEE传输图像处理。，2018年。[4] Chen Chen ， Qifeng Chen ， Minh N Do ， and VladlenKoltun.在黑暗中看到运动。在国际会议计算中目视，2019年。[5] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。在IEEE Conf. Comput.目视模式识别，2018年。[6] 陈玉生、王玉清、高满新、庄永玉。深层照片增强器：使用GANs从照片中进行图像增强的非配对学习。在IEEE Conf. Comput.目视模式识别，2018年。[7] Jifeng Dai，Haozhi Qi，Yuwen Xiong，Yi Li，GuodongZhang，Han Hu，and Yichen Wei.可变形卷积网络。在国际会议计算中目视，2017年。[8] Xueyang Fu ， Delu Zeng ， Yue Huang ， Xiao-PingZhang，and Xinghao Ding.同时估计反射率和照度的加权变分模型。在IEEE Conf. Comput.目视模式识别，2016年。[9] Chunle Guo ， Chongyi Li ， Jichang Guo ， Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在IEEE Conf.Comput.目视模式识别，2020年。[10] 郭晓洁，李宇，凌海滨。LIME：通过照明图估计的低光IEEE传输图像处理。，2017年。[11] 胡渊明，何昊，徐晨曦，王宝源，林志颖。Exposure：一个白盒照片后处理框架。ACM事务处理图表，2018年。[12] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片 在Int. Conf. 计算机。目视，2017年。[13] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。WESPE：用于数码相机的弱监督照片增强器。在IEEE Conf. Comput.目视模式识别，2018年。[14] 姜海洋和郑银强。学习在黑暗中看到移动的物体。在国际会议计算中目视，2019年。[15] Tae Hyun Kim，Mehdi SM Sajjadi，Michael Hirsch，andBern-hard Scholkopf.用于视频恢复的时空Transformer网络。以Eur.确认补偿目视，2018年。[16] 埃德温·H·兰德色觉的视网膜理论。《科学美国人》，1977年[17] Kin Gwn Lore，Adedotun Akintayo，and Soumik Sarkar.Ll-net：一种用于自然低光图像增强的深度自动编码器方法。模式识别，2017年。9711[18] Feifan Lv，Feng Lu，Jianhua Wu，and Chongsoon Lim.Mbllen：使用cnns的低光图像/视频增强。在英国。马赫。目视Conf. ，2018年。[19] Nick Moran ， Dan Schmidt ， Yu Zhong ， and PatrickCoady. Noisier2noise：学习从不成对的噪声数据中去噪。在IEEE Conf. Comput.目视模式识别，2020年。[20] Sean Moran，Pierre Marza，Steven McDonagh ，SarahParisot，and Gregory Slabaugh.Deeplpf：用于图像增强的深度局部参数在IEEE Conf. Comput.目视模式识别，2020年。[21] Shuochen Su ， Mauricio Delbracio ， Jue Wang ，Guillermo Sapiro，Wolfgang Heidrich，and Oliver Wang.用于手持摄像机的深度视频在IEEE Conf. Comput.目视模式识别，2017年。[22] Danai Triantafyllidou，Sean Moran，Steven McDonagh，Sarah Parisot和Gregory Slabaugh。使用通过中间域映射产生的合成数据的弱光视频以Eur.确认补偿目视，2020年。[23] Ruixing Wang，Qing Zhang，Chi-Wing Fu，XiaoyongShen，Wei-Shi Zheng，and Jiaya Jia.使用深度照明估计的曝光不足照片增强 在IEEE会议计算机。目视模式识别，2019年。[24] 王书航、金正、胡海淼、波丽。非均匀光照图像的自然保持增强算法。IEEE传输图像处理。，2013年。[25] Wei Wang，Xin Chen，Cheng Yang，Xiang Li，XuemeiHu，and Tao Yue.通过探索高灵敏度相机噪声来增强低光视频。在国际会议计算中目视，2019年。[26] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从错误可见性到结构相似性。IEEE传输图像处理。，2004年。[27] Chen Wei，Wenjing Wang，Wenhan Yang，and JiayingLiu.用于弱光增强的深度retinex分解。在英国。马赫。目视Conf. ，2018年。[28] Ke Xu，Xin Yang，Baocai Yin，and Rynson WH Lau.学习通过分解和增强来恢复低光图像。在IEEE Conf.Comput.目视模式识别，2020年。[29] Tianfan Xue，Baian Chen，Jiajun Wu，Donglai Wei，and William T Freeman.具有面向任务流的视频增强。国际计算机目视，2019年。[30] 严建州、林瑞麟、康星冰、唐晓鸥。一种用于图像色彩增强的学习排序方法。在IEEE Conf. Comput.目视模式识别，2014年。[31] Zhicheng Yan ， Hao Zhang ， Baoyuan Wang ， SylvainParis，and Yizhou Yu.使用深度神经网络的自动照片调整。ACM事务处理图表，2016年。[32] Wenhan Yang ， Shiqi Wang ， Yuming Fang ， YueWang，and Jiaying Liu.从保真度到感知质量：一种用于弱光图像增强的半监督方法。在IEEE Conf. Comput.目视模式识别，2020年。[33] Zhenqiang Ying，Ge Li，Yurui Ren，Ronggang Wang，and Wenmin Wang.一种新的基于相机响应模型的微光图像增强算法。在国际会议计算中目视，2017年。[34] 张庆，聂永威，张玲，肖春霞。通过感知驱动的渐进融合进行曝光不足视频增强。IEEE Trans.Vis. Comput.Graph. ，2016年。9712[35] 张庆，袁干昭，肖春霞，朱磊，郑伟世.曝光不足照片的高质量曝光校正ACM国际会议多媒体，2018年。[36] Shangchen Zhou ， Jiawei Zhang ， Jinshan Pan ， HaozheXie，Wangmeng Zuo，and Jimmy Ren.用于视频去模糊的时空滤波在国际会议计算中目视，2019年。