1基于物理的绘制方法提高对雨水的Shirsendu SukantaHalder Inria，巴黎，法国shalder@cs.iitr.ac.inJean-François Lalonde拉瓦尔大学，加拿大jflalonde@gel.ulaval.caRaoul de CharetteInria，巴黎，法国raoul. inria.frhttps://team.inria.fr/rits/computer-vision/weather-augment/摘要为了提高对雨的鲁棒性，我们提出了一个基于物理的雨渲染流水线，用于逼真地将雨插入到清晰的天气图像中。我们的渲染依赖于一个物理粒子模拟器，估计场景照明和准确的雨光度建模，以增加图像与任意数量的现实雨或雾。我们通过用户研究验证了我们的渲染，证明我们的雨比最先进的雨更逼真40%。使用我们生成的天气增强Kitti和Cityscapes数据集，我们对深度对象检测和语义分割算法进行了全面评估，并表明它们的性能在天气恶化时会下降，对象检测下降15%，语义分割下降60%。此外，我们展示了使用增强图像改进现有网络，提高了对象检测和语义分割算法的鲁棒性。我们experi- ment对nuScenes和测量的对象检测和35%的语义分割相比，原来下雨的性能提高了15%。项目页面上提供了增强的数据库和代码。1. 介绍计算机视觉中的一个常见假设是光从场景到相机的传播是不变的。在晴朗的天气里，这个假设成立：大气表现得像一个透明的介质，传输光，几乎没有衰减或散射。然而，恶劣的天气条件（诸如雨）使大气充满产生时空伪像（诸如衰减或雨条纹）的粒子这会对图像的外观产生明显的变化（见图2）。1），从而对必须对这些条件具有鲁棒性的计算机视觉算法提出了额外的挑战。大多数（如果不是所有）计算机视觉从业者都知道恶劣天气会影响我们的算法。然而，很少有人知道它对他们的影响有多大。事实上，人们如何知道降雨率为100毫米/小时（典型的秋季阵雨）会对物体探测器的性能产生什么影响？我们现有的数据库晴朗天气雨（200毫米/小时）图1.我们的合成雨渲染框架允许在这些具有挑战性的恶劣天气情况下评估计算机视觉算法我们在来自Kitti [20]（第1-2行）和Cityscapes [8]（第3-4行）数据集的图像上渲染基于物理的真实雨，其中对象检测来自mx-RCNN [52]（第2行）和ESPNet [45]（最后一行）的语义分割。这两种算法都受到多雨条件的显著影响。全部包含绝大多数在晴朗天气条件下捕获的图像。为了量化这种影响，需要一个标记的对象检测数据集，其中所有图像都是在100毫米/小时的降雨下捕获的！不用说，这样的在本文中，我们提出了一种方法来现实地增加现有的图像数据库与下雨的条件。我们的方法依赖于良好理解的物理模型，以生成视觉上令人信服的结果。我们的方法是第一个允许控制降雨量以生成任意量的方法，范围从非常小的雨（5毫米/小时降雨量）到非常大的风暴（300+毫米/小时）。这一关键特征使我们能够生成天气增强数据集，其中降雨率是已知的并经过校准。随后，我们增加了两个现有的数据集（Kitti [20]和Cityscapes [8]）与雨，并评估流行的计算机10203目标检测[52]语义分割[45]10204图2.概述了我们的天气增强管道，用于在现有图像数据库中合成添加逼真的雨。这些增强数据库上的视觉算法。我们还使用后者来改进算法，使用课程学习[4]，这表明在真实的雨天场景中具有更好的鲁棒性与最近的风格转移方法[27，18]相反，这些方法已经证明了转移天气的能力[59]，我们使用物理和光度模型来单独渲染所有雨滴。事实上，虽然这些基于GAN的方法创建视觉上吸引人的图像，但不能保证它们尊重天气的基础物理学更重要的是，控制降雨量不容易实现这些技术。简而言之，我们做出以下贡献。首先，我们提出了一种实用的，基于物理的方法来渲染图像中的真实雨（图1）。2）的情况。第二，我们用雨来增强Kitti [20]和Cityscapes [8]数据集。第三，我们提出了一种方法，系统地评估12个流行的对象检测和语义分割算法的性能。我们的研究结果表明，大多数算法减少了15%的顺序为对象检测，和60%的语义分割。最后，我们的增强数据库被用来微调对象检测和分割架构，导致显着更好的鲁棒性，在现实世界的下雨/晴朗的条件。2. 相关工作在他们的一系列有影响力的论文中，Garg和Nayar对理解[17]和合成[16]真实雨所需的外观模型进行了全面的概述。特别是，他们提出了一个基于图像的雨条纹数据库[16]，对水滴振荡进行建模，我们在渲染框架中利用了它。在[51，2]中使用频率模型提出了其他条纹外观模型真实感渲染也可以通过光线跟踪[44]或基于艺术的技术[48，9]获得，但需要合成数据，因为它们需要场景的完整3D知识，包括准确的光线估计。雨水去除由于它在计算机视觉算法上产生的问题，图像中的雨水去除最初集中在光度模型上[14]。为此，已经提出了几种技术，从频率空间分析[2]到深度网络[53]。稀疏编码和层先验也是研究的重要轴[33，35，7]，因为它们具有编码条纹斑块的功能。最近，Zhang et al.[56]建议使用条件GANs来完成这项任务。或者，也可以调整摄像机参数[15]或可编程光源[11 以限制雨对图像形成过程的影响。另外，还提出了一些具体的建议，以去除窗户[12]或挡风玻璃[22]上的雨滴。天气数据库在计算机视觉中，很少有图像数据库具有精确标记的天气信息。值得注意的是，对于移动机器人，BDD 100 K [54]和Ox-ford数据集[36]提供了在包括雨在内的各种天气中记录的数据其他固定相机数据集，如AMOS [25]，瞬态属性数据集[30]，We-bcam剪贴画数据集[31]或WILD数据集[38]，稀疏地标记有天气信息。到目前为止，还没有系统记录降雨率和对象/场景标签的数据集。精神上最接近系统的工作[28]在虚拟游戏GTA中评估了模拟天气对视觉的影响与我们的工作特别相关的是Sakaridis et al.[46]提出了一个框架，用于将雾渲染到来自Cityscapes [8]数据集的图像中。他们的方法假设一个同质的雾模型，这是从立体估计的深度渲染。现有的场景分割模型和对象检测器，然后适应雾。在我们的工作中，我们采用了类似的想法，渲染现实的天气现有的图像，但重点是雨，而不是雾。我们强调，渲染雨是显着比雾更难，因为它需要准确的动态建模的雨滴和辐射的雨条纹，因为它们得到成像的相机。我们还渲染雾，使用更逼真的异构模型。3. 将雨渲染成图像雨是高海拔地区水分凝结的结果，它会产生以高速（高达10 m/s）落下的雨滴（0.1-10 mm）[37，50]。雨的强度是以一小时内的平均降雨量来衡量的。作为参考，中等降雨大约为10毫米/小时，大雨大于50毫米/小时。在非热带地区，极端降雨率200+毫米/小时通常发生在很短的时间内，通常只有几分钟的顺序。由于它们相对于光波长的大尺寸与雾[46]相反，下雨事件不能建模为一个体积，每个水滴物理必须单独建模。在本节中，我们描述了我们的雨渲染管道，它需要一个图像，其相关的每像素深度，和一个所需的降雨率。根据这些信息，雨被渲染并与原始图像混合（见图2）。①的人。我们区分两种类型的雨滴，根据他们的成像大小。首先，当它们离得太远时10205J ∈ SSextH·像素锥内的液滴图像的累积以雾状方式衰减光。当它们更接近相机并且因此更大时，下落的液滴产生运动模糊的条纹。我们分别呈现这两种效果。3.1. 雾像雨我们首先渲染雾状的雨，这是一组水滴太远，因此成像不到1像素。在这种情况下，像素甚至可以对大量液滴进行成像，这导致光学衰减[17]。在实践中，降雨中的大多数水滴实际上被成像为雾状雨1，尽管它们的视觉效果不那么明显。我们使用[51]中描述的模型来渲染体积衰减，其中每像素衰减Iatt被表示为由雨的体积和环境照明的结果中的空气光散射A引起的消光Lext使用来自[51]的等式来对像素X处的衰减图像进行建模，我们获得Iatt（x）=ILext（x）+Ain（x），其中（1）L（x）=e−0。312R0. 67d（x），和(a) 在环境贴图上删除FOV图3.要估计每个液滴的光度学辐射，我们必须在165◦液滴视场（a）上整合照明环境贴图。为此，我们首先使用[6]从当前图像估计环境地图E，并计算F，即掉落视场与环境地图的交点（右）。几何形状和表面材料完全已知的合成场景[44]。更重要的是，液滴在它们落下时振荡，这在对光相互作用进行建模时产生了进一步的复杂性。相反，我们依赖于Garg和Nayar [17]的雨滴外观数据库，该数据库包含由固定相机成像时的单个雨条纹辐射。对于每个液滴，条纹数据库还模拟10次振荡由于气流的作用，这使得真实感更强A在（x）=βHG（θ）E<$孙 （1−Lext（二）（x））。高斯模型[2]。这里，R表示降雨率R（mm/hr），d（x）表示像素深度，βHG表示标准Heynyey-Greenstein系数，E¯sun表示我们根据图像-辐射关系[24]估计的平均太阳辐照度3.2. 模拟雨滴的物理现象我们使用de Charette等人的粒子模拟器。[11]，它计算给定下降率2的所有雨滴的位置和动态。为了降低算法复杂性，仅单独模拟1 mm或更大的液滴，这是合理的，因为较小的液滴不太可能可见。特别是，模拟器计算的位置和动态（条纹的起点和终点）的所有雨粒子在世界和图像空间，并占图像投影的内在和外在的校准。我们校准模拟器以生成覆盖相机的整个视场的粒子。3.3. 渲染雨滴在视觉上，雨滴充当小的球形透镜，对场景的大部分进行虽然有可能利用光线投射来合成液滴的精确光度测定，但这带来非常高的处理成本，并且实际上仅可能在光学系统中实现。1假设使用Kitti校准的固定摄像机，我们计算得出，在50 mm/hr的降雨中，只有1.24%的水滴投射到1+像素上，而在5 mm/hr的降雨中，只有0.7%的水滴投射到1+像素上。这是合乎逻辑的，因为雨越大，大水滴的概率越高。2.由于重力和大气条件的影响，地球上水滴的分布和动力学各不相同。我们在这里选择了在加拿大渥太华记录的广泛使用的物理模型[37，1]。3.3.1在图像中投影雨带为了渲染雨滴，我们首先选择一个雨条纹Sk来自Garg和Nayar [16]的条纹数据库，其包含以图像格式存储的j=20个不同的条纹，其中k=10个不同的振荡为了选择特定液滴的最佳雨纹，我们挑选最匹配最终液滴尺寸（从物理模拟器的输出计算）的模型j，并随机选择振荡k。所选择的雨带S（为了在符号中清楚起见，省略了指数）随后被扭曲以使其匹配来自物理模拟器的液滴动力学：S′=H（S），（3）其中（）是根据物理模拟器给出的图像空间中的起点和终点以及修剪条纹图像中的对应点计算的单应性。3.3.2雨带测光的计算从单个图像计算雨条纹的光度是具有挑战性的，因为水滴具有比普通相机大得多的视场（165◦vs约100）。70换句话说，液滴折射未被成像的光。摄像机，这意味着，如果我们要精确地渲染液滴，我们必须估计该液滴周围的环境图（球形照明表示）。虽然从单个图像执行这在物理上是不可行的，但我们采用[6]的方法来近似环境10206∗我（x）=T-S（）τ1通过对图像本身执行的一系列简单操作来映射从估计的环境和由物理模拟器提供的3D液滴位置，我们计算液滴视场与环境地图E的相交F，假设10m恒定的场景距离并考虑相机到液滴方向。该过程描绘在图1中。图3中示出了图1和图2中示出的结构，并且补充地提供了几何细节注意，几何精确的液滴视野估计需要以每个液滴为中心的位置相关的环境地图然而，我们认为影响可以忽略不计，因为液滴相对靠近摄像机中心com。与使用的球体半径3相比。根据[17]，液滴折射其视场辐射的94%并反射整个环境贴图辐射的6%，我们将条纹外观乘以每个通道的权重：S′=S′（0. 9 4F¯+0。06E¯），（4）其中F′是相交区域F的平均值，E′是环境地图E的平均值。这里，立体角ω为在计算平均值时，必须考虑经纬度表示，即：F¯=i∈FF（i）ω（i）.3.4. 在图像上合成单个雨条纹现在，条纹位置和光度分别从物理模拟器和环境地图中确定，我们可以将其合成到原始图像上首先，为了考虑相机的景深，我们应用[39]之后的散焦效果，卷积条纹图像S′与混淆圆C4，即：S′=S′C.然后我们将渲染后的水滴与衰减后的水滴混合在一起。地面图像Iatt，使用来自[17]的光度混合模型。因为条纹数据库和图像I可能以不同的曝光来成像，所以我们需要校正曝光，以使其反映I中使用的成像系统。假设x是图像I的像素，并且x’是重叠。在条纹S’中的Ping坐标，混合的结果是获得在条纹数据库中的一个像素上，并且τ1是根据我们的物理模拟器的相同测量。详见补充资料。3.5. 在图像上合成降雨在图像中渲染任意速率的降雨主要分为三个步骤：1）雾状衰减图像Iatt被渲染（等式1）。1），2）由物理模拟器输出的液滴被单独地呈现在图像上（等式1）。5），3）调整表示为I雨的雨图像的全局亮度平均值虽然多雨事件通常发生在多云天气中，这因此降低了场景辐射度，但是典型的相机成像系统调整其曝光以恢复亮度。因此，我们调整全局光度因子以便恢复平均辐射率，并且存在关系I¯=I¯rain，其中，超棒表示平均强度。4. 正在验证降雨外观我们现在验证我们的合成雨的外观光度，视觉和量化的感知现实主义，通过比较它与现有的增雨数据库。光度验证。我们首先评估扭曲背景图像的影响，以模拟水滴周围为此，在Fig。4我们使用估计的环境地图（sec.3.3.2）与从高动态范围全景图获得的地面实况照明[23]。总的来说，虽然这显然是一个近似，我们观察到，渲染雨与这种近似密切匹配的结果与地面实况照明条件。当场景是对称的（上图）时尤其如此。定性验证。图5展示了真实照片大雨，和定性结果，我们的雨渲染，我下雨XαTatt（x）+S′（x′）τ1，（5）τ0来自3个最近合成降雨增强数据库的代表性结果[55，53，56]。从我们的渲染，条纹有一致的方向与相机的运动和consis-其中S′√α 是渲染条纹的alpha通道5具有背景和深度帐篷光度测定（秒）5.1.1用于τ0=10−3/50是下降保持的时间详细信息）。在真实的照片中，我们的条纹是稀疏的3我们计算出，对于Kitti，在50 mm/hr的降雨率下，98.7%的水滴距离相机中心4 m以内因此，计算位置相关环境地图将不会显著更准确，同时具有非常高的处理成本。4距离为d的物体的混淆圆C定义为：（d−fp）f2C=d（fp−f）fN，其中fp是焦平面，f是焦点，fN是透镜f数f和fN来自固有校准，并且fp被设置为6m。5虽然[16]没有提供alpha通道，但后者很容易计算，因为液滴在白色环境照明中的黑色背景上渲染。并且仅在较暗的背景下可见。还应注意，降雨量（即雾状雨）在场景深度大（即，图像中心、天空），且闭合条纹被精确地散焦。相对于其他雨渲染，我们的管道模拟雨给出真实降雨量（毫米/小时），而现有的方法使用任意量的雨，没有物理对应关系。这一点很重要，因为我们打算研究降雨对计算机视觉的影响。10207雨的照片我们的雨渲染环境地图我们的合成雨（50毫米/小时）图4.使用地面真实光照或我们的近似环境贴图进行雨渲染的比较。从HDR全景图[23]中，我们首先提取有限的视场作物以模拟常规相机的视点。然后，使用（行1、3）地面实况HDR环境地图或（行2、4）我们的环境估计来渲染50 mm/hr的雨。环境显示为左侧的参考。虽然我们的近似环境地图与地面实况不同，但它们足以在图像中生成视觉上相似的雨。用户研究。我们通过平均意见评分（MOS）用户研究验证了我们的合成雨的感知质量，其中35名参与者的年龄范围为19至46岁（平均25.9，标准6.7），其中40%为女性。用户被要求使用5分的李克特量表对30张随机选择的图像进行评分。结果报告于图1中。6对比来自[53，55，56]和真实雨照片的最佳图像（每种方法显示6张图像，以随机顺序）。我们的雨被认为比最先进的雨更逼真。将评级转换为[0，1]区间，真实照片的平均降雨真实度为0.78，我们的为0.57，[55]/[[56]/[53]分别为0.41/0.31/0.12。5. 研究降雨的影响在本节中，我们对Kitti [20]和Cityscapes [8]上流行的计算机视觉算法的鲁棒性进行了评估，以证明我们的雨渲染方法的有用性在此过程中，我们受益于可用的地面实况标签，以量化雨和雾对两项重要任务的影响：对象检测和语义分割。这两项任务对于移动机器人等户外计算机视觉系统至关重要。为了进行全面的研究，我们还绘制了合成雾，如[29，46]中所述，我们在补充部分中进行了描述我们用最大的其他雨渲染[55]第55话：我的世界图5.真实照片（来源：网络，[35]）显示雨，我们的雨渲染和其他最近的雨渲染方法的样本输出。虽然雨的外观是高度依赖于相机的[15]，结果表明，真实的照片和我们的雨生成共享体积衰减和稀疏的可见条纹，这些条纹随着场景背景而正确地变化。相对于其他雨渲染，我们的管道模拟物理降雨（这里，100 mm/hr和200 mm/hr）和有效粒子光度学。[53]第56话：我的世界，我的世界图6.用户研究雨的现实主义。y轴显示了对语句“雨”的评级，在这幅图中看起来很逼真.我们的雨更接近真实的雨评级方法，优于所有其他方法。测量雾强度的能见度距离Vmax6.与雨不同，雾是一种稳定的天气，只产生场景距离的对比度衰减函数。5.1. 方法我们使用Kitti对象基准[20]（7480张图像）进行对象检测，使用Cityscapes [8]（2995张图像）进行分割，并在15种天气条件下评估12种算法（每个任务6种）。原来，他是一个有信仰的人。Koschmieder定律将雾中的最大能见度定义为：-ln（CT）/β，其中β是雾消光，并且CT= 0。05是人类的最小可识别对比度[40]。也就是说，中/浓雾的最大风速为375 m（β =.008）和37.5 m（β =. 08），分别。我们地面实况我们地面实况未知100mm/hr200mm/hr明确10208DSOD mx-rcnn SSDR-CNN R-FCN YOLOv2DSOD mx-rcnn SSDR-CNN R-FCN YOLOv2ESPNet PSPNetERFNet ICNet PSPNet50ESPNet PSPNetERFNet ICNet PSPNet50≥联系我们1008060402000 50100150200100806040200∞12060 40 305.1.2恶劣天气模拟我们模仿相机自我运动的物理模拟器，以确保现实rainstreak的方向上的静态图像和序列中保持时间的一致性。当提供时，从GPS数据中提取自我速度（Kitti序列），或者在Cityscapes中以[0，50]km/hr的间隔均匀雨强（mm/hr）(a) 雨雾最大能见度（m）(b) 雾语义和在[0，100]公里/小时间隔为Kitti对象以分别反映城市和半城市情景图7.增强了我们的天气目标检测性能Kitti数据集作为降雨率（左）或雾能见度（右）的函数。图显示Coco mAP@[.1：.1：.9]横跨汽车和行人。雾和雨对目标检测都有影响，雾的影响是线性的，雨的影响是混沌的。5.2. 对象检测我们评估了基蒂的15个增强天气6种汽车/行人预训练检测算法（具有1008060402000 50100150200100806040200∞12060 40 30IOU. 7）：DSOD [47]，Faster R-CNN [42]，R-FCN[10]，SSD [34]，MX-RCNN [52]和YOLOv 2 [41]。数量-Coco mAP@[.1：.1：.9]跨类别的有效结果示于图11中。7 .第一次会议。相对于它们的晴天性能，200毫米/小时的降雨总是至少差12%，对于R-FCN，SSD和MX-RCNN甚至下降到25-30%，而雨强（mm/hr）(a) 雨雾最大能见度（m）(b) 雾更快的R-CNN和DSOD对数据的变化最鲁棒。雾和雨。代表性定性结果见图8.像素语义预测的平均精度（AP）对 于晴 朗 和 天气 增 强 的 Cityscapes 数 据集 ， 作 为雨 强 度（左）和雾消失（右）的函数。这项任务显然更受降雨天气而不是雾的影响这也许可以用雨条纹落下引起的显着模式来解释。我们比较了14种附加天气增强（7种雨和7种雾）的性能。对于雨，我们呈现从小雨到暴雨，对应于速率R={0，1，5，17，25，50，100，200} mm/hr，并且对于雨，我们呈现从小雨到暴雨，对应于速率R ={0，1，5，17，25，50，100，200}mm/hr，并且对于雨，对应于速率R ={0，1，5，17，25，50，100，200 } mm/hr。雾，Vmax=，750，375，150，75，50，40，30M.Kitti序列也用于演示时间性能在补充视频中。5.1.1数据集准备对于逼真的物理模拟器（第3.2）和rainstreak光度（sec.3.3.2），使用内在和外在校准来复制成像传感器。对于Kitti，我们使用序列或帧校准[20，19]，焦点为6mm，曝光时间为2ms。由于Cityscapes不提供校准，因此我们使用相机制造商提供的5ms曝光的内在校准，并假设外在校准与Kitti类似。我们的方法还需要场景的几何形状（像素深度），以准确地模拟光粒子的相互作用和雾的光学消光。我们使用[26]从RGB+Lidar估计Kitti深度图，并且仅使用MonoDepth [21]从RGB估计Cityscapes深度。虽然不需要完美的绝对深度，但是正确的RGB深度对准对于避免沿着几何边缘的伪影是至关重要的。因此，使用引导滤波器[3]对深度进行后处理，以实现更好的RGB深度对齐。浓雾浓雾浓雾中雾浓雾下着倾盆大雨中雾秋季淋浴下着倾盆大雨中雨秋季淋浴小雨中雨小雨AP（%）最大平均接入AP（%）最大平均接入10209图6种算法中有4种算法为9，以保留空间。我们观察到，不像雾，雨有一个混乱的影响对象detect- tion结果，而雾似乎影响性能的线性与深度。虽然所有算法都会受到降雨的影响，但当物体较大且面向相机时，大多数算法仍然可以检测到它们。5.3. 语义分割对于语义分割，评估了15个天气增强的城市景观：AdaptSegNet [49]，ERFNet [43]，ESPNet [45]，ICNet[57]，PSPNet [58]和PSPNet（50）[58]。定量结果报告于图1B中8.雨（A）和雾（B）。与对中等高降雨率表现出显著鲁棒性事实上，所有技术在大雾下的性能下降至少30%，在大雨下几乎下降60%。有趣的是，一些曲线交叉，这表明不同的算法在下雨时表现不同。例如，ESPNet在晴朗天气中排名前三，但相对下降了惊人的85%，在倾盆大雨（200毫米/小时）时排名最后。相应的定性结果示于图2中。6种算法中有4种算法为10，以保留空间。虽然雨的影响可能在视觉上看起来很小，但它极大地影响了评估的所有分割算法的输出。6. 提高防雨使用我们的雨渲染数据库，我们现在证明了它的有用性，通过广泛的评估合成和真实的雨数据库，以提高对雨的鲁棒性。10210原始天气增强图9.在我们的天气增强Kitti数据集上进行对象检测的定性评估（裁剪用于可视化）。从左到右，原始图像（清晰）和五个天气增强图像。原始天气增强图10.对天气增强的Cityscape数据集（为可视化而裁剪）的语义分割的定性评估从左到右，原始图像（清晰）和五个天气增强图像。6.1. 方法我们选择Faster-RCNN [42]进行对象检测，PSP-Net[58]进行语义分割，因为它们的公共训练实现和良好的性能。虽然最终目标是提高对降雨的鲁棒性，但我们的目标是学习一个对晴朗天气和各种降雨都具有鲁棒性的模型。由于雨水会显著改变场景的外观，我们发现从头开始训练雨不收敛。相反，我们使用课程学习[4]对降雨强度进行优化，以升序排列（25，然后50，然后75，最后100毫米/小时降雨）。最终的模型被称为微调，并针对各种天气条件进行评估。4个细化通道中的每一个使用1000个对应的降雨率的图像，并以0.0004的学习率和0.9的动量训练10个时期。[58个]PSP网络[45个]ESPNet[五十七]ICNet[41个][四十三]ERFNet[五十二][10个国家][第四十二届]FasterRCNN输入输入YOLOv2 MX-RCNN R-FCN晴朗的天气浓雾中雨大雨阵雨（Vmax=75m）(50mm/hr）(100mm/hr）(200mm/hr）晴朗的天气浓雾中雨大雨阵雨（Vmax=75m）(50mm/hr）(100mm/hr）(200mm/hr）10211未调谐调优未调谐调优1008060402000 25 50 75 100雨强（mm/hr）(a)目标检测mAP（%）1008060402000 25 50 75 100雨强（mm/hr）(b)语义分割AP（%）我 们 自 己 . 这 里 在 训 练 （ 使 用 我 们 的 合 成 雨 的Kitti/Cityscapes）和评估（使用真实雨的nuScenes）之间存在很大的域差距。尽管如此，菲格。12显示，我们的微调导致在所有真实下雨场景中对象（+14.9%）和语义任务（+36.6%）的性能增加。在晴朗的天气里，我们的微调版与未调版的性能相当。这证明了我们的实用性，基于物理的雨渲染真实的下雨的情况。图11. 当与我们的渲染管道进行微调时，用于对象检测（Faster-RCNN [42]）和语义分割（PSPNet [58这两个微调模型显示出更强的鲁棒性，降雨事件和晴朗的天气。更多的比较和定性结果出现在的补充。7. 讨论Finetuned（我们的）20.111.6(a) 目标检测mAP（%）Finetuned（我们的）39.025.6(b) 语义分割AP（%）物理框架，以增强现有的图像数据库与现实的雨。图12. nuScenes [5]数据集上的真实降雨性能，用于对象检测（Faster-RCNN [42]）和语义分割（PSPNet [58]）。6.2. 综合性能使用1000个多功能的看不见的图像，无论是无雨（清晰）或雨高达200毫米/小时，我们的增强数据库进行综合评估。图11显示了我们用于对象检测（Faster-RCNN [42]）和语义分割（PSPNet [58]）的未调整和微调模型的性能。我们观察到一个明显的改善，在这两个任务和鲁棒性的额外增加，即使在晴朗的天气时，完善使用我们的增强雨。这里的直觉是，当面临不利天气时，网络学会关注两个任务的相关特征，从而获得鲁棒性。对于Faster-RCNN，微调检测性能在0- 100mm/hr内几乎恒定。准确地说，是64. 5%，而未调谐模型下降到60。9%。我们还测试了更强的（看不见的）200 mm/hr下降率，并且我们的微调Faster-RCNN得到了62的mAP。4%（对比55. 4%（未调整时）。对于PSPNet，分段在细化时表现出显著的改善，尽管在100mm/hr下，模型不能完全补偿降雨的影响，并下降到54。0%对比52。0%未调时6.3. 真雨表演我们使用最近的NuScenes数据集[5]，它提供粗略的天气元数据，并在未调整或微调时评估对象检测和分割。由于气象站仅报告小时平均值，因此无法按帧检索以mm/hr为单位的降水量，因此我们将帧聚类为晴天和雨天。对于对象，我们研究了2000 nuScenes图像（1000晴朗+1000下雨）的mAP对于分割，由于没有提供语义标签，我们在仔细注释的50张图像（25+25）上局限性。虽然我们展示了高度逼真的雨渲染结果，但我们的方法仍然存在局限性未来工作的舞台。主要限制是照明条件的近似（第2节）。（3）第三章。虽然根据经验确定，但我们的环境地图产生了合理的结果（图1）。4），当天空不可见/太可见时，它可能低估/高估场景辐射当条纹在较暗的天空中成像时，这种近似更明显第二，我们明确区分雾状雨和水滴在超过1个像素上成像，单独呈现为条纹。虽然这种区别在文献[17，15，11，32]中被广泛使用，但它导致雾状和条纹之间的不适当的明显区别一种可能的解决方案是将所有液滴渲染为条纹，根据其成像表面对其进行加权。然而，我们的实验表明，它是在一个令人望而却步的计算成本。最后，我们的渲染框架不对潮湿的表面和雨水在表面上的飞溅进行建模[13]。正确地建模这些效果需要更丰富的照明和关于场景的3D信息，包括所有表面的位置和性质。然而，随着场景几何估计技术的进步[21]，渲染越来越多的这些效果将是可实现的。社区的使用。我们的框架是很容易使用，以增加现有 的 图 像 与 现 实 的 下 雨 条 件 。 天 气 增 强 的 Kitti 和Cityscapes，以及在任意图像/序列中生成雨和雾的代码可以在项目页面上找到。确认这项工作得到了法国驻魁北克总领事馆文化合作和行动处的我们非常感谢Pierre Bourré提供的无价的技术帮 助 ， Aitor Gomez Torres 提 供 的 初 始 投 入 ， 以 及Srinivas Narasimhan让我们重新使用物理模拟器。秋季淋浴中雨秋季淋浴小雨中雨小雨最大平均接入AP（%）明确阴雨明确阴雨未调谐19.510.1未调谐40.818.7在本文中，我们提出了第一个强度控制10212引用[1] David Atlas、RC Srivastava和Rajinder S Sekhon。垂直入射降水的多普勒雷达特征地球物理学综述，11（1）：1-35，1973. 3[2] Peter C Barnum、Srinivasa Narasimhan和Takeo Kanade。雨 雪 天 气 的 频 率 空 间 分 析 。 International Journal ofComputer Vision，86（2-3）：256，2010. 二、三[3] 乔纳森·T·巴伦和本·普尔。 快速双边求解器。2016年欧洲计算机视觉会议6[4] Yoshua Bengio ， Jérôme Louadour ， Ronan Collobert ，Jason Weston.课程学习。机器学习国际会议，第41-48页。ACM，2009年。二、七[5] Holger Caesar等人nuscenes：用于自动驾驶的多模式数据集。预印本arXiv：1903.11027，2019年。8[6] 克里斯托弗·卡梅隆。从单个图像产生幻觉环境贴图技术报告，2005年。3[7] 陈 怡 蕾 ， 徐 秋 婷 时 空 相 关 雨 条 纹 的 广 义 低 秩IEEEInternational Conference on Computer Vision ， 第1968-1975页2[8] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。2016年在IEEE计算机视觉和模式识别会议上发表一、二、五[9] Carles Creus和Gustavo A Patow。R4：真实感雨渲染- ing在实时。Computers Graphics，37（1-2）：332[10] 戴纪峰，易力，何开明，孙建。R-fcn：通过基于区域的全卷积网络的目标检测。神经信息处理系统进展，第379-387页，2016年。六、七[11] Raoul de Charette，Robert Tamburo，Peter C Barnum，Anthony Rowe ， Takeo Kanade ， and Srinivasa GNarasimhan.快速反应控制，用于雨雪环境下的照明。在2012年国际计算摄影会议上二、三、八[12] David Eigen、Dilip Krishnan和Rob Fergus。恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。IEEEInternationalConference on Computer Vision ， 第 633-640 页 ， 2013年。2[13] Kshitiz Garg，Gurunandan Krishnan，and Shree K Nayar.基于材料的水滴飞溅。在2007年的Eurographics渲染技术会议上。8[14] Kshitiz Garg和Shree K Nayar。从视频中检测和去除雨水。IEEE计算机视觉与模式识别会议，2004年。2[15] Kshitiz Garg和Shree K Nayar。相机什么时候能看到雨？IEEEInternational Conference on Computer Vision ， 第2卷，第1067-1074页IEEE，2005年。二、五、八[16] Kshitiz Garg和Shree K Nayar。雨条纹的真实感渲染在ACM Transactions on Graphics （ SIGGRAPH ） ， 第 25卷，第996-1002页中ACM，2006年。二、三、四[17] Kshitiz Garg 和 Shree K Nayar 。 视 觉 与 雨 InternationalJournal of Computer Vision，75（1）：3二、三、四、八[18] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在IEEE计算机视觉和模式识别会议上，2016。2[19] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。International Journal of Robotics Research，2013. 6[20] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准测试套件。IEEE计算机视觉和模式识别会议，2012。一、二、五、六[21] Clément Godard，Oisin Mac Aodha，and Gabriel J. 布罗斯托具有左右一致性的无监督单目深度估计2017年在IEEE计算机视觉和模式识别会议上发表六、八[22] Jad C Halimeh和Martin Roser。使用几何光度环境构造和基于强度的相关性的汽车挡风玻璃上的雨滴检测。在IEEE智能车辆研讨会上，第610-615页。IEEE，2009年。2[23] Yannick Hold-Geoffroy 、 Akshaya Athawale 和 Jean-François Lalonde。用于单图像室外照明估计的深空建模。在IEEE计算机视觉和模式识别会议，2019。四、五[24] Berthold Horn Berthold Klaus和Paul Horn机器人视觉麻省理工学院出版社，1986年。3[25] 内森·雅各布斯纳撒尼尔·罗曼罗伯特·普利斯许多户外场景中的连续时间变化。IEEE计算机视觉与模式识别会议，2007年。2[26] Maximilian Jaritz，Raoul de Charette，Emilie Wirbel，Xavier Perrotton，and Fawzi Nashashibi.使用CNN解析稀疏和密集数据2018年3D视觉国际会议。6[27] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。2016年欧洲计算机视觉会议。2[28] Matthew Johnson-Roberson 、 Charles Barto 、 RounakMehta 、 Sharath Nittur Srid
我的内容管理
展开
