低光噪声图像中光流估计的数据驱动方法

1黑暗中的光流Yinqiang Zheng1，*，Mingfang Zhang2，3，*，Feng Lu2，4，†1国家信息学研究所，2鹏程实验室，3南京大学，4国家重点实验室北京航空航天大学计算机工程学院虚拟现实技术与系统研究网址：yqzheng@nii.ac.jp，161220169@smail.nju.edu.cn，网址：www.example.com，lufeng@buaa.edu.cn摘要虽然已经提出了许多成功的光流估计方法，但是由于在设计光流估计方法时没有考虑弱光场景，并且现有光流基准数据集缺乏弱光样本，因此这些方法在暗场景即使我们对暗图像进行预处理增强，获得了很好的视觉感知，但仍然会导致较差的光流结果，甚至更差的光流结果，因为在增强时可能会破坏运动一致性等信息。我们提出了一种端到端的数据驱动的方法，避免了错误积累，并直接从低光噪声图像中学习光流。具体来说，我们开发了一种方法来合成大规模的低光照光流数据集，通过模拟噪声模型的黑暗的原始图像。我们还收集了一个新的光流数据集的原始格式与大范围的曝光作为基准。在我们的合成数据集上训练的模型可以在图像亮度下降时相对保持光流精度，并且在弱光图像上大大优于现有方法。1. 介绍光流估计可用于运动检测、目标分割等。在现实生活中，许多应用需要处理低光数据。例如，无人机在夜间飞行存在某些情况，但难以实现目标，因为在黑暗环境中难以获得光流，这对于避开障碍物和控制通过密集环境的速度是有用的。目前的光流方法显示出较差的性能与低光数据。为了解决这个问题，一个简单的解决方案是使用辅助照明系统* 同等贡献。†通讯作者。本研究得到了国家自然科学基金61972012和61732016的部分资助这项工作在Y期间完成。郑的访问与M.张图1.我们的方法（e）和现有方法（d，f，g）之间的比较，使用SID [6]方法对充分暴露的输入（a），欠置输入（b）和增强输入（c）进行具体地，（a）和（b）是相同场景的图像。（e，f，g）由PWC-Net [28]生成，（d）由FlowNet 2[14]生成，它比PWC-Net大17倍。这将不可避免地缩短电池寿命。因此，需要一种有效的光流方法来处理弱光数据，这是我们工作的主要目标。Horn和Schunck [13]引入了一种能量最小化方法来计算光流，许多优秀的方法都采用了这种方法，并取得了越来越好的结果。然而，复杂能量函数的优化问题对于实时应用来说通常是计算昂贵的。为了创建一个快速准确的方法，端到端卷积神经网络框架是支持的。6749曝光良好的曝光不足增强（SID（c）第（1）款（b）第（1）款（一）（d）其他事项我们的结果（e）（f）第（1）款（g）6750例 如 FlowNetS ， FlowNetC [10] ， FlowNet 2 [14] 和PWC-Net [28]。其中最好的可以实现国家的最先进的性能与更好的质量和更快的速度比传统的方法。 因此，我们选择 to develop发展our approach方法based基础on deep深learning学习methods方法.然而，他们仍然表现出较差的能力，处理低光数据，因为低光是一个复杂的情况下，由于低信噪比，和当前的光流数据集，如。KITTI [12]，Sintel [4]，FlyingChairs [10]和Flyingthings3D [22]主要由明亮的图像组成现有的光流法在设计时没有考虑弱光的影响.从暗图像中提取光流场的一个直接方法是在计算光流场之前先对暗图像进行增强。研究人员已经提出了许多用于去噪和增强低光图像的技术[9，3，6，20]。然而，这些技术的目的是为了获得更好的增强图像的视觉质量主要原因是许多方法在增强的同时丢失了信息，例如亮度恒定性，这是光流估计的基础。因此，我们选择让网络以端到端的方式直接从低光图像中学习光流，以避免信息丢失。由于光流场真实值难以获取，神经网络训练需要大量数据，因此我们决定在明亮图像上合成弱光效果，生成弱光光流场数据集。各种基于学习的去噪和低光增强方法合成了自己的数据集。其中一些[18，19]使用加性白噪声（AWGN）模型，该模型总是被批评为它们无法模拟真实噪声，最近的去噪工作[15，2，23]建议模拟相机处理功能，这会导致更好的噪声模型。我们专注于模拟原始图像上的噪声，这避免了由于图像处理管道而导致的复杂特征。大多数现有的噪声分析[2]是在明亮的噪声图像[24]上进行的，其中噪声是由高ISO引起的。此外，由于到达传感器的光子服从泊松分布，我们主要关注由低光强引起的噪声最后，我们应用我们的噪声模型来创建新的光流数据集进行训练。为了测试模型贡献1. 我们收集了一个新的光流数据集-各种亮度光流（VBOF）数据集，由598个不同亮度的原始图像和100个光流参考组成，以评估光流模型处理各种曝光输入的能力2. 我们提供了一个不同亮度的原始图像的噪声分析，并揭示了如何噪声分布的变化，曝光下降。3. 我们应用我们的噪声模型来合成一个低光照的光流数据集-FlyingChairs-DarkNoise（FCDN），在我们的数据集上训练的光流模型可以相对地保持光流精度随着曝光度的下降，它们大大优于现有的方法在低光照图像上。2. 相关工作基于学习的光流估计。Dosovitskiy等人[10]提出了两个用于光流的CNN模型，FlowNetS和FlowNetC，其示出了从图像直接学习光流的可行性，但是它们的性能低于其中的现有技术。Ilg等人[14]将几个FlowNetC和FlowNetS网络堆叠成一个大型模型FlowNet2，它实现了最先进的结果，并且比传统方法运行得更快然而，由于其模型规模庞大，训练整个模型通常需要几十天的时间，并且在移动和嵌入式设备上实现是不可行的Sun等人 [28]设计一个紧凑但有效的CNN模型，PWC-Net，根据公认的原则：金字塔处理，翘曲，并使用成本卷，这降低了CNN模型的大小，并在实验基准上取得了更好的结果。也有一些作品 专 注 于 光 流 的 鲁 棒 性 ， 如 Robust Flow [16] 和RainFlow [17]。他们试图通过引入残差通道和面纱不变特征来保持雨天场景中的光流准确性。然而，这些方法都没有注意到在黑暗中的光流的性能和现有的光流数据集缺乏真正的弱光数据。合成低光数据集。FlyingChairs [10]是一个合成光流数据集，包含约22k张叠加在Flickr随机背景图像上的椅子[22]提出了FlyingThings3D数据集，它可以被视为FlyingChairs的三维版本。我们决定采用FlyingChairs数据集，并在其上合成弱光效果已经提出了许多方法[19，18]使用加性高斯噪声和伽马校正来模拟弱光效果。[15]模拟相机管道执行的降级和噪声变换。与我们的工作非常相关的是[2，23]，他们在原始传感器数据上添加了读取和散粒噪声，因为8位JPEG图像在变暗时容易丢失信息，我们的目标是直接从暗原始图像中获得光流。此外，我们进行了我们的噪声分析，对真实的原始图像的各种亮度，而现有的噪声分析大多是对明亮的噪声图像造成的各种ISO。6751在原始数据集在我们的合成数据集XX扩增ConvNet低光成像。已经开发了用于低光成像的各种技术。红外信息通常用于弱光检测[21，20]，但红外传感器并没有广泛配备，因此我们的实验集中在RGB图像增强上。非局部均值（NLM）[3]和BM3D [9]是基于在每个像素周围找到相似补丁的去噪方法，然后对所有补丁进行平均并用结果替换像素。最近，Chen et al.[6，5]提出了一种基于学习的方法来增强暗图像。它们将原始数据作为修改后的U-Net的输入[25]。然而，即使其中一些方法可以实现良好的感知，3. 各种亮度光流数据集有许多关于低光和光流的基准数据集，例如SID [6]和SIDD [1]提供低光或噪声图像及其相应的明亮干净图像，KITTI [12]和Sintel [4]提供图像对及其相应的光流。然而，据我们所知，没有现有的数据集能够对光流模型的低光性能进行基准测试，因此我们结合上述两个概念并收集了各种亮度光流（VBOF）数据集，该数据集包含598个各种亮度的原始图像，具有100个相应的光流参考。图 像 由 3 个 摄 像 头 拍 摄 ： 索 尼 A6000 （ 102 张 图像），佳能EOS M6（297张图像），富士XT 2（199张图像），其中佳能和索尼有拜耳模式传感器，而富士有X-Trans传感器。我们将cam-era安装在三脚架上，远程控制以避免振动，并设置各种曝光时间以获得同一机芯的各种曝光照片图2.我们的Various Brightness Optical Flow（VBOF）数据集中的三个样本：具有参考光流的大范围亮度的移动物体的原始图像4. 方法4.1. 端到端光流我们设计了一个端到端的流水线来处理弱光光流（如图3所示）。我们的解决方案的核心是在原始数据集中的明亮RGB图像上合成低光照原始效果，用于训练光流模型，并在测试时直接使用原始效果作为输入，而不是在使用原始数据集训练的模型进行估计之前增强低光照输入。我们从[27，26]中得到灵感，其中他们在雾输入上实现了很好的图像分割结果。各种曝光图像对共享相同的光流。我们在移动物体前后拍摄了大约10次不同曝光的原始图像，然后使用明亮清晰的图像对计算光流，[14] 以用作暗噪声对的参考。图2显示了一些样本。除了能够评估光流模型的亮度鲁棒性之外，VBOF还具有其他优点。首先，我们选择以14位原始格式呈现数据，以便我们可以使用各种方法来演示和增强图像，同时减少信息丢失。其次，由于VBOF数据集是使用来自不同制造商的3台相机收集的，并且原始格式对每台相机都是唯一的原始输入原始输入增强输入比光流输出光流输出模型，我们的数据集能够评估不同相机的泛化第三，VBOF数据集由室内和室外场景组成，具有各种照明效果，因此全面反映了现实生活中的场景。图3.上图：使用现有方法的两步流水线，用于黑暗中的光流。下面是我们在黑暗中的光流管道。一组不同曝光的图像共享相同的光流ConvNet6752泊松- a * 103泊松- a * 103泊松- a * 103泊松- a * 102(a) 佳能（b）索尼（c）富士（d）SID vs DND图4.分别在（a），（b）和（c）中的各种亮度的佳能，索尼和富士胶片相机上分析的高斯相关参数a和泊松相关参数b的分布，以及在（d）中的黑暗中查看数据集[6]和明亮的达姆施塔特噪声数据集[24]上分析的高斯相关参数a和泊松相关参数b的分布4.2. 噪声分析与由于压缩和其他非线性操作而可能具有复杂特性的经处理图像中的噪声不同，原始传感器数据中的噪声被更好地理解。它通常来自两个来源：光子散粒噪声和热读取噪声。到达传感器的光子数量随曝光和像素的不同而变化，这由泊松分布决定：无噪声图像，以及（y（x）+ηp（y（x）/a<$P（y（x）/a），ηg（x）<$N（0，b）（3）其中P和N分别表示泊松分布和高斯分布我们将它们近似为单个异方差高斯：z（x）<$N（μ=x，σ2=ax+b）（4）λkphe−λbrP（kph，λbr）=brkph！（一）分析结果如图4所示，可以看到，一般来说，噪声水平随着亮度下降而上升，并且在低强度暗图像中，其中λbr是随着图像变亮而上升的预期出现次数，kph是到达的光子数。传感器上不同像素的不同kph将导致不可避免的另一个主要的噪声源是读出电路中的热噪声考虑到这两种类型的噪声，并且我们希望模拟低光数据的图像噪声，我们仔细收集了一个各种亮度原始（VBR）数据集，将亮度设置为唯一变量。为了揭示随着亮度下降而变化的噪声模式，我们固定曝光时间和ISO以获得不变的热读取噪声，并且仅改变孔径的大小以获得不同亮度的图像。我们还在不同的相机上重复该过程以获得一般结果。最后，我们得到了1200个原始图像的大范围的亮度在室内和室外，在白天和夜晚的环境。为了分析噪声模型，我们采用[11]中的噪声估计方法来估计泊松相关参数a和高斯相关参数b。具体地，我们假设噪声图像z可以通过以下公式分解：z（x）=y（x）+ηp（y（x））+ηg（x）（2）其中x∈X<$N2是像素位置，y是原始b更紧密地耦合，并且泊松相关参数变得比高斯相关参数相对更大，这意味着噪声更依赖于信号。同样明显的是4.3. 合成新的光流数据集为了从干净图像生成合成噪声原始图像，我们首先分别随机反转RGB通道的伽马校正以模拟原始图像上的未校正的光效应和白平衡，然后我们随机采样镜头并从与我们在实际数据中观察到的相匹配的范围读取参 数 a 和 b ， 并 通 过 从 Eq.4. 第 一 章 我 们 选 择 基 于FlyingChairs [10]数据集执行操作，然后将其中的8位图像归一化为[0-1]。请注意，我们为了匹配训练输入，在测试时，我们将低亮度的14位原始输入缩放为正常亮度，因为原始格式可以保留弱信号。具体来说，我们从我们的VBR数据集，VBOF数据集和SID [6]数据集中采样噪声参数，以便我们采样的参数将涵盖各种亮度和ISO。此外，我们故意安排我们的合成数据集，使其具有噪声水平的平均分布。最后的训练集被称为FlyingChairs-DarkNoise（FCDN）。高斯- b * 1036753最后，我们使用表1所示的[7]中的方法分析真实原始数据和我们的合成数据的一般方差，其中噪声水平由正态分布的方差Δ255数据集噪声水平（方差≥255）VBR-最暗0 32 202 66飞行椅45744 0 0 0FCDN 17021 14214 14166 343表1.用[7]中的方法分析不同数据集上各种噪声水平的图像数量的统计VBR是我们收集的各种亮度原始图像的数据 集 。 FlyingChairs 来 自 [10] ， FlyingChairs-DarkNoise（FCDN）是我们合成的。5. 实验5.1. 设置为了评估我们的方法，我们使用我们的VariousBrightness Optical Flow数据集，因为它 通过端点误差（EPE）来评估性能，EPE是估计的光流矢量（Vest）和参考光流矢量（Vrf）之间的差的欧几里德范数。Vest和Vrfh具有（H，W，2）的形状，其中H和W表示输入图像的大小，2表示每个像素的二维矢量，其方向和长度指示该像素中移动的方向和速度。网络选择。 我们选择使用FlowNetC，FlowNetS[10]和PWC-Net [28]来评估我们的方法。真正的-儿子是他们可以代表主流的两种光流网络（U-Net和空间金字塔）和许多其他网络的架构都基于它们，例如FlowNet 2 [14]，它将几个FlowNetC和FlowNetS网络堆叠在一起。PWC-Net [28]是最先进的光流网络之一。这三个网络都是紧凑但有效的，它们都可以在合理的时间内训练。训练集合成。我们希望使用原始图像作为输入，以避免测试时的信息丢失，因此我们需要在原始训练数据集中的RGB图像上生成原始特征，这是我们解决方案的核心。 Brooks等人[2]提出了一种将RGB图像“未处理”为RAW以用于去噪目的的方法， 其 包 括 添 加 噪声，图5. 使用不同训练集合成方法的最终结果比较：“无处理”[ 2 ]和我们的。（a，b）是从暗原始图像缩放的输入。在我们的结果中，对象被涂成红色和紫色，意味着向右和右上移动，这是正确的输出。反相色调映射、伽马解压缩、反相白平衡和数字增益等 。 我 们 尝 试 使 用 他 们 的 方 法 合 成 一 个 “ 原始”FlyingChairs数据集，但在训练和评估之后，我们发现最终的光流结果与我们的解决方案相比是不准确的（见图5）。我们认为主要原因是我们分析噪声并基于覆盖大范围曝光和ISO的多个数据集进行合成，而他们的分析是在相对有限的DND数据集[24]上（见图4中的（d））和其他操作（如压缩）倾向于破坏8位图像中的信号。亮暗SID增强我们图6.相同运动和光流的不同输入我们直接从暗输入产生的结果优于从SID增强图像产生的结果[6]，甚至优于使用PWC-Net作者训练模型从原始亮图像产生的结果[28]。0− 1010− 2020− 30>30VBR-亮2663400VBR-暗42248100VBR-暗04624212(a)框架1(b)框架2(c)取消处理(d)我们6754评估数据集模型训练集各种曝光输入的终点误差（0：最亮，6：最暗）实验-0实验-1实验-2实验-3实验-4实验-5实验-6VBOFVBOF + NLMVBOF(only索尼部分）+SID(Sony型号）FlowNetCFlowNetSPWC-NetFlowNetCFlowNetSPWC-NetFlowNetCFlowNetSPWC-Net飞椅5.78 6.21 6.98 7.98 9.48 12.21 14.73FCDN 5.76 5.78 5.78 5.86 5.98 6.11 6.55飞椅11.15 11.34 11.60 11.57 10.77 10.09 9.76FCDN 5.46 5.53 5.51 5.53 5.61 5.67 6.26飞椅7.13 7.04 7.08 7.52 7.58 9.21 10.88FCDN5.31 5.32 5.29 5.34 5.37 5.63 6.09飞椅5.34 5.39 5.78 7.02 8.96 11.36 13.69FCDN 5.89 5.95 5.92 5.92 6.04 6.12 6.55飞椅11.38 11.81 12.69 11.64 10.44 9.73 9.55FCDN 5.80 5.93 5.98 5.83 5.72 5.64 6.25飞椅6.14 6.15 7.12 7.12 7.31 8.59 10.19FCDN 5.50 5.57 5.51 5.50 5.485.57 6.04飞椅5.61 5.75 5.75 5.97 6.40 6.40 6.81FCDN 4.74 4.77 4.84 4.87 4.93 5.28 5.13飞椅9.28 10.05 10.31 10.65 11.27 12.43 11.83FCDN 4.47 4.59 4.76 4.78 5.24 6.13 6.22飞椅4.274.41 4.58 4.99 5.35 5.58 5.48FCDN 4.314.27 4.25 4.37 4.30 4.41 4.60表2.我们的解决方案与现有解决方案相比的性能。评估是在我们的各种亮度光流（VBOF）数据集和使用非局部均值[3]和学习在黑暗中看到（SID）[6]处理的VBOF数据集上完成的。由于SID方法是相机敏感的，相关实验只在我们的VBOF数据集的索尼部分上进行我们选择FlowNetC和FlowNetS[10]和PWC-Net [28]作为我们的光流模型，它们在FlyingChairs数据集[10]和我们的FlyingChairs-DarkNoise（FCDN）数据集上进行训练。VBOF数据集由多个亮度级别分隔，我们选择其中7个列为“Exp-0”至“Exp-6”。 从表中我们可以看到，在我们的数据集上训练的模型几乎在每个亮度级别上都能获得性能提升，并且在亮度变化时准确度更稳定。5.2. “Bad”从暗图像中提取光流场的直接方法是在光流场估计之前对图像进行增强。缩放是增强暗图像的最简单方法，它是一个可逆的过程，几乎没有信息损失。然而，由于缩放的原始图像遭受严重的噪声和色差，它不令人惊讶地导致不良的光流结果使用现有的方法。然后，我们尝试先进的方法-传统的增强方法和基于学习的增强方法。我们将非局部均值（NLM）[3]的结果作为传统增强方法的代表它搜索相似的补丁，并将它们平均在一起以消除噪音。从图7的输入块中，我们可以看到NLM从表2中，我们可以看到，在现有FlyingChairs数据集[10]上训练的光流模型之后，NLM这比我们从没有NLM处理的VBOF数据集产生的结果要差得多。我们提出了学习在黑暗中看到（SID）的结果[6]作为基于学习的增强方法的代表。Chen等人。[6]建议使用U-Net [25]来增强暗原始图像，他们提供了在Sony原始图像上训练的模型(See图6，7）SID在白平衡方面做得很好，结果图像没有噪音，但如果放大仔细观察，会发现图像中的信号不稳定，特别是对于极暗的图像。其次是在现有FlyingChairs数据集上训练的光流模型[10]，SID也有时SID可能导致图7所示的更差的光流结果。6755参考输入（对于下面的每个块第一帧光流二帧黑暗NLM / SID（暗）非常黑暗NLM/SID（非常暗）现有方法（FlyingChairs）我们的方法（FCDN）FlowNetS黑暗非常黑暗NLM/SID黑暗非常黑暗NLM/SIDFlowNetC黑暗非常黑暗NLM/SID黑暗非常黑暗NLM/SIDPWC-Net黑暗非常黑暗NLM/SID黑暗非常黑暗NLM/SID图7.对现有方法和我们的方法进行了详细的评估。右上方的块用作下面所有块的输入，在这里我们评估了从暗图像和具有各种光流模型[10，28]的增强图像[3，6]导出光流的性能。左上方的块用作明亮输入图像和光流的良好参考。67565.3. 性能细节从表2和图7中，我们可以看到，对于每个光流模型，在我们的FCDN数据集上训练的光流模型在亮度下降时总是显示出更好的稳定性，并且它们在处理极端低光图像输入时具有更好的准确性。(a) 索尼户外ISO 1000(b) 佳能室内ISO 3200(c) 富士户外ISO 2500图8.我们的解决方案（右）与PWC-Net[28]评估的现有方法（中）在各种相机（ISO，室内和室外）的VBOF数据集（左）中的图像上的泛化性能。我们的解决方案还有其他一些优点值得指出。首先，给定相同的光流网络和相同的光照条件，我们的方法原因在于，用长曝光或高ISO捕获的曝光良好的图像具有与在照明良好的条件下捕获的明亮图像不同的噪声分布，并且在后者上训练的网络可能不能很好地推广到前者的明亮图像。通过真实的噪声模拟，在我们的合成数据上训练的网络能够处理不同亮度级别的各种噪声。其次，从图7、图8可以看出，我们的方法可以推广到各种环境下的不同相机模型，并且6. 讨论虽然PWC-Net [28]在许多光流基准数据集上使用比FlowNet 2模型[14]小17倍的模型实现了更高的准确性，但像FlowNet 2这样的大型模型在复杂的真实数据上仍然表现得更好，从这个角度和我们的统计数据来看，除了实现一个在低光图像上的更高性能，在我们的FCDN数据集上训练像PWC-Net这样的紧凑模型也可以帮助这种小型光流模型更准确地处理任何曝光的真实图像中的复杂情况。也有发表的作品通过从白天到夜间[8]以及从晴朗天气条件到有雾条件[26]调整模型来实现语义图像分割领域的相关目标，这与广泛的迁移学习领域的作品相似。他们将合成数据和真实数据混合，然后逐渐将模型从干净的简单训练数据调整到损坏的硬训练数据，例如从晴朗的天气到轻微的合成雾，最后再到多个步骤的浓密的真实雾我们已经证明了直接在我们的合成低光数据上训练光流模型是有效的，我们相信以逐渐模型适应的方式用我们的数据训练模型也可能会产生有希望的结果，可以在未来的工作中尝试。7. 结论在本文中，我们提出了一种数据驱动的解决方案，以提高光流精度，特别是在低光环境中。通过基于我们在不同亮度条件下收集的原始图像上分析的噪声模型合成训练数据，我们成功地在我们收集的真实弱光光流数据集-各种亮度光流（VBOF）数据集VBOF由598幅不同亮度的原始图像和相应的参考光流组成，旨在对光流模型的亮度鲁棒性进行基准测试。我们相信所提出的方法，噪声分析，和VBOF数据集将是非常有用的光流任务在现实场景中。引用[1] Abdelrahman Abdelhamed，Stephen Lin，and Michael S.布朗智能手机摄像头的高质量去噪数据集。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。3[2] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，狄龙·沙雷特和乔纳森·T·巴伦。不处理图像以进行学习的原始去噪。在IEEE计算机视觉和模式识别会议论文集，第11036-11045页二、四、五[3] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。非局部均值去噪。Image Processing On Line，1：208-212，2011. 二三六七[4] 丹尼尔·巴特勒， 乔纳斯·武尔夫 加勒特·B·斯坦利 和迈克尔·J·布莱克一个用于光流评估的自然开源电影。欧洲计算机视觉会议，第611-625页。Springer，2012.二、三[5] Chen Chen，Qifeng Chen，Minh Do，and Vladlen Koltun.在黑暗中看到运动。 2019. 3[6] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.6757学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页一、二、三、四、五、六、七[7] 陈光永、朱凤源、彭安恒。一种有效的图像噪声水平估计统计方法。在IEEE国际计算机视觉会议论文集，第477-485页，2015年。5[8] Dengxin Dai和Luc Van Gool。 暗模式适应：从白天到夜间的语义图像分割。在2018年第21届智能运输系统国际会议（ITSC）上，第3819-3824页。IEEE，2018年。8[9] Aram Danielyan ， Vladimir Katkovnik ， and KarenEgiazar-伊恩Bm3d框架与变分图像去模糊。IEEE Transactionson Image Processing，21（4）：1715二、三[10] Alexey Dosovitskiy、Philipp Fischer、Eddy Ilg、PhilipHausser、Caner Hazirbas、Vladimir Golkov、Patrick VanDer Smagt、Daniel Cremers和Thomas Brox。Flownet：使用卷积网络学习光流。在IEEE计算机视觉国际会议的论文集，第2758-2766页，2015年。二四五六七[11] Alessandro Foi、Mejdi Trimeche、Vladimir Katkovnik和凯伦·埃吉扎里安。单幅图像原始数据的实用泊松-高斯噪 声 建 模 与 拟 合 。 IEEE Transactions on ImageProcessing，17（10）：1737-1754，2008. 4[12] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel乌塔松视觉与机器人技术的结合：Kitti数据集。TheInternationalJournal of Robotics Research，32（11）：1231-1237，2013. 二、三[13] Berthold KP Horn和Brian G Schunck。 确定最佳方案calflow Artificial intelligence ， 17 （ 1-3 ） ： 185-203 ，1981. 1[14] Eddy Ilg ， Nikolaus Mayer ， Tonmoy Saikia ， MargretKeuper，Alexey Dosovitskiy，and Thomas Brox.Flownet2.0：深度网络光流估计的演变。在IEEE计算机视觉和模式识别会议的论文集，第2462-2470页，2017年。一二三五八[15] Ronnachai Jaroensri，Camille Biscarrat，Miika Aittala，and杜兰德神父。通过摄像机流水线模拟生成用于去除真实rgb 图 像 噪 声 的 训 练 数 据 arXiv 预 印 本 arXiv ：1904.08825，2019。2[16] Ruoteng Li，Robby T Tan，and Loong-Fah Cheong. 鲁棒雨景中的光流在欧洲计算机视觉会议（ECCV）的会议记录中，第288- 304页，2018年。2[17] Ruoteng Li ， Robby T Tan ， Loong-Fah Cheong ，Angelica IAviles-Rivero、QingnanFan和Carola-BibianeSchonlieb。雨流：雨条和雨幕效应下的光流。在IEEE计算机视觉国际会议论文集，第7304-7313页2[18] Kin Gwn Lore，Adedotun Akintayo，and Soumik Sarkar.我net：一种用于自然低光图像增强的深度自动编码器方法Pattern Recognition，61：650-662，2017. 2[19] Feifan Lv，Feng Lu，Jianhua Wu，and Chongsoon Lim.Mbllen：使用cnns的低光图像/视频增强。在BMVC，第220页，2018年。2[20] Feifan Lv，Yinqiang Zheng，Yicheng Li，and Feng Lu.一个集成的24小时彩色成像增强解决方案在AAAI人工智能会议论文集，2020年。二、三6758[21] Feifan Lv，Yinqiang Zheng，Bohan Zhang，and FengLu.把硅相机变成InGaAs相机。在IEEE计算机视觉和模式识别会议论文集中，第5987-5995页，2019年。3[22] Nikolaus Mayer ， Eddy Ilg ， Philip Hausser ， PhilippFischer，Daniel Cremers Alexey Dosovitskiy和Thomas Brox用于训练卷积网络的大型数据集，用于视差，光流和场景流估计。在IEEE计算机视觉和模式识别会议论文集，第4040-4048页2[23] Ben Mildenhall ， Jonathan T Barron ， Jiawen Chen ，DillonSharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。在IEEE计算机视觉和模式识别会议论文集，第2502-2510页2[24] 托拜厄斯·普洛兹和斯特凡·罗斯。 基准去噪算法有真实照片的照片在IEEE计算机视觉和模式识别会议论文集，第1586-1595页，2017年。二、四、五[25] Olaf Ronneberger ， Philipp Fischer ， and Thomas Brox.U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。三、六[26] Christos Sakaridis，Dengxin Dai，Simon Hecker，andLuc Van Gool.用于语义浓雾场景理解的合成和真实数据的模型自适应在欧洲计算机视觉会议（ECCV）的会议记录中，第687-704页，2018年。三、八[27] Christos Sakaridis，Dengxin Dai，and Luc Van Gool.塞曼-用合成数据对雾景进行理解。International Journal ofComputer Vision，126（9）：973-992，2018。3[28] 孙德清、杨晓东、刘明宇和Jan Kautz。Pwc-net：使用金字塔、扭曲和成本体积的光流的Cnns。在IEEE计算机视觉和模式识别会议论文集，第8934- 8943页，2018年。一、二、五、六、七、八