基于反射注意单元的FCN单图像水害检测

基于反射注意单元的FCN单图像水害检测Han Xiaofeng1，Chuong Nguyen2，3，4，Shaodi You2，3，andJianfeng Lu11南京理工大学，江苏2澳大利亚国立大学，堪培拉ACT 2600，澳大利亚3CSIRO DATA61，堪培拉ACT 2601，澳大利亚4澳大利亚机器人视觉卓越中心，2 George Street，Brisbane，4001，澳大利亚抽象。道路上和道路外的水体，如水坑和被洪水淹没的地区，对自动驾驶汽车构成了重大风险从运动的摄像机检测水是一项具有挑战性的任务，因为水面是高度折射的，并且其外观随视角、周围场景、天气条件而变化。在本文中，我们提出了一个水坑检测方法的基础上，我们新提出的反射注意单元（RAU）的全卷积网络（FCN）。 RAU是被设计为体现来自天空和附近场景的水面上的反射的物理学的深度网络单元。 为了验证该方法的有效性，我们采集了11455幅带偏振镜的彩色立体图像，其中985幅进行了标注，并将其 分 为 两 个数 据 集 ： OnRoad （ ONR ） 数 据 集 和 OffRoad（OFR）数据集。我们表明，与FCN-8、DeepLabV2和高斯混合模型（GMM）相比，具有RAU的FCN-8显著提高了我们还表明，焦点损失函数可以提高FCN-8 s网络的性能，由于水与地面分类问题的极端不平衡关键词：水坑检测，道路危险检测，全卷积网络，深度学习，反射注意单元1介绍众所周知，恶劣的天气条件会影响交通安全[10，20，30，11]。与天气相关的驾驶风险在潮湿天气中不仅对人类而且对自动驾驶汽车都有所提高[3，15]。在许多情况下，水和水面上的反射会导致严重的问题驶入深水坑可能会损坏车辆的机械和电子部件。然而，道路上的水坑的检测不是一个简单的任务，因为周围环境的外观和反射的广泛变化。许多现有的方法依赖于特殊的传感器，例如双偏振相机[25]，近场雷达[2]。然而，这样的设备一般不适用于正常的自动驾驶汽车，并且不提供足够的检测精度。现有的基于图像的检测方法通过利用多个图像以及手工制作的特征（例如平均亮度）来简化问题[8]，2X. 汉角，澳-地阮氏你和J陆亮度和饱和度的高斯拟合[16]。然而，水坑检测对于手工制作的特征是高度不适定的，因为真实的户外环境太复杂而不能用那些手工制作的特征来适当地建模。例如图1、反射来自天空、云层和各种环境物体。另一方面，深度神经网络可以自主学习特征，目前在户外导航中取得了很好的性能。然而，据我们所知，目前还没有使用深网来解决水害检测的工作请注意，这不是一项微不足道的任务，因为水坑不具有随着周围环境而急剧变化的明确定义的外观此外，目前还没有足够大的数据集来训练深度网络。在本文中，我们提出了一种基于反射注意单元（RAU）的全卷积网络（FCN）的水检测方法。RAU被设计为允许网络捕获图像的不同部分之间的反射对应由于反射对应大多是垂直的，因此多尺度特征图沿垂直方向被划分为若干块然后计算每个块的平均值。将所有像素与同一列中的平均值进行比较，以确定其是否是某个块的反射。如图1（c），由于X8是X 6的反射，X 8中的像素与X 6的平均值之间的相减结果应低于其他对的相减结果。图1还示出了我们的方法（d）和FCN-8 s（e）的水害检测结果。由于水面上的反射由（c）检测，因此我们的方法明显优于FCN-8 s。此外，我们建议用焦点损失[12]代替交叉熵损失函数来处理数据不平衡问题，因为图像之间水坑的大小变化很此外，为了验证我们提出的方法和新算法的性能，我们还采用了P uddle-1000 D的方法。 我们收集了11455幅具有偏振器的彩色立体图像，并对985幅左侧图像进行了注释，并将其分为2个数据集：道路（ONR）子数据集和非道路（OFR）子数据集。据我们所知，这是第一个利用深度神经网络进行水害检测的工作。我们的主要贡献如下：– 我们提出了一个反射注意单元（RAU），并将其插入FCN-8 s网络中5个组层的每个最后一个卷积层之后[13]。这些单元被设计成拾取图像的不同垂直部分之间的反射对应关系。– 我们利用焦点损失[12]来处理这种不平衡的水检测问题，其中水坑占像素总数的一小部分。– 据我们所知，我们提出了第一个基于单图像深度神经所提出的方法达到了最先进的性能。基于FCN和RAU的单图像水害检测3图1.一、使用具有和不具有RAU的深网的单图像水灾害检测(c)示出了建议的反射注意单元（RAU），以自动学习单个图像内的反射关系。- 我们有985张像素标注的图像，大部分包含水坑。其中包括357张公路图像和628张越野图像。这个新注释的数据集和深度网络的源代码可供公众使用2相关工作可通过区域检测和语义分割深度神经网络水障碍检测通常被认为是对可穿越区域检测或道路检测的补充传统的方法是基于手工制作的特征和颜色先验。例如，Lu et al.[14]使用高斯混合模型（GMM）来估计先验。最近，基于CNN的语义分割方法已经表现出优越的性能。 Long等人[13]首先提出了全卷积网络（FCN）。在此之后，通过利用ResNet [7]，Chen等人。[4]提出了Deeplab算法，并进一步改进了算法的性能。Zhao等人。 [31]提出了一种新的网络结构，称为金字塔池化模块，以利用全局上下文信息。最近，Han等人 [6]提出了一种基于生成对抗网络（GAN）的半监督学习语义分割方法。然而，GAN的超参数是根据经验选择的，其对各种水检测场景不鲁棒熔池检测基于主动成像的方法：为了确定不同的路面条件，如干燥，潮湿，下雪和冰冻，Fukamizu等人[5]依赖于投射的可见光和红外光源的反射率。Viikari等人 [25]提出使用双偏振雷达的后向散射，而Bertozzi等人 [2]使用短红外光源的后向散射。然而，这些技术具有4X. 汉角，澳-地阮氏你和J陆有限的工作范围，最大可达2米。对于更大的距离，需要从相机提取的图像。单图像方法Zhao等人。 [32]利用颜色恒定性和纹理进行水域检测。然而，他们假设一个近距离图像的水坑与均匀反射的天空。这样的假设只是在实际驾驶条件下无法保持。已经使用了水面的纹理线索，包括平滑度描述符[29]和局部二进制模式[17，18]。Yan [29]也使用了HSV空间中的颜色提示。Rankin和Matthies[21]进一步表明，水坑的颜色随观察距离和角度而变化。Santana等人[23]（光流）和Mettes等人[17，18]（时间偏差和L1范数FFT）也利用了水面的时间波动（或动态纹理），以成功地从固定的相机位置检测有风条件下的流动水体或静水。Matthies等人[16]、Yan [29]和Kim等人[9]也开发了立体深度。由于从水面反射的光被偏振[26]，这提供了检测水坑的强烈提示，如在几个作品中使用的[24，28，29，9，19]。虽然Xie等人[28]使用了3台摄像机，但其他人使用了连接到水平和垂直偏振器的立体摄像机。Nguyen等人[19]进一步表明，天空偏振强烈影响水的外观。[16，2，22]还使用包括红外和热成像的其他成像波长，以允许在没有有源光源的情况下随时进行水检测。 Rankin等人 [22]还表明，水与地面的相对强度在夜间和白天之间变化明显，这提供了水的强烈线索。分类技术从所获得的水线索中，已经利用了不同的分类技术，包括硬编码和自适应阈值[28，21，29，9]，K均值[23]，决策森林[17]，支持向量机[9]和高斯混合模型[19]。为了利用时间约束，已经使用了状态传播技术，包括分割引导标签[23]和马尔可夫随机场[17]。3问题形成和物理见解在本节中，我们的目标是制定的问题，并明确解释为什么水坑检测在一个单一的图像是一个具有挑战性的问题。此外，我们的目的是介绍反思注意的概念。水坑外观：反射由于水面上反射的本质，从远处检测水灾害是具有挑战性的。水的实例在图1中给出。二、在（a）中，熔池的形状和边界非常不规则。在（b）中，即使只有天空的反射，水面的颜色也随着距离而变化。在（a）和（b）中，远处水坑的反射非常明亮。在（c）中，反射主要是关于云和树，而在（d）中，它们由蓝天、红色栅栏、云和树组成基于FCN和RAU的单图像水害检测5了图 二、 Examalesfrotheproposed' P udd l e -1000 ' d a t a s e t. 地面上的水可能具有不同的反射、颜色、亮度和形状。水面可以是静止的，也可以是运动的。这使得水坑看起来非常不同。（a）和（b）中的水坑的颜色与（c）和（d）中的水坑的颜色不同，因为后者具有更多的土壤沉积物。在（e）中，右水坑由于风而具有波浪。（f）中的左侧水坑(g)和（h）包含相同的熔池但在不同的距离处被捕获。水坑反映了树木的不同部位，因此水坑表面的纹理有很大差异。水坑外观：内反射/折射和散射。 光从水坑反射和散射的过程在图3中示出。 利用所提供的环境亮度对水坑的外观进行建模仍然是不适定的。来自天空或附近物体的光源S1在O1处照射水面。 它部分反射回空气中，部分折射到水柱中，如图左侧所示。我们从水坑中看到的是a）光源在O1处的反射，以及b）在O2和O3下来自水内部的部分。如右上角所示的反射实际上是镜面反射（即，清晰图像）R反射和散射反射（即，模糊图像）R散射。类似地，如右下方所示的折射是如在S3处直接来自地面底部R底部的光和如在S2处来自沉积物颗粒R颗粒的光的组合。该过程表示为以下总和：R总=R反射+R散射+R底部+R粒子（1）反射的一个重要性质是光源及其反射图像位于垂直于水面（或地面）的直线上，并且它们具有与地面相同的高度，如图4所示。透视视图和不完美的相机镜头会对捕获的图像引入一些失真。连接源和其反射的线在图像中可能不完全垂直，并且源和其反射到地面的距离不完全相同。随着与相机的距离增加，物体的高度及其反射的差异我们的目标是设计一个深度网络，捕捉这种反射效果，并容忍失真和相机旋转。通过深度学习挖掘视觉先验。随着卷积神经网络（CNN）最近的快速发展，以有效地解决各种trans-marticular计算机视觉问题，我们的目标是将这一强大的工具应用于6X. 汉角，澳-地阮氏你和J陆图 三 . （ a ） 显 示 了 水 在 水 坑 中 的 反 射 （ S1O1R1 ） 、 折 射 （ S2O2R2 和S3O3R3）和散射（O1S2O2和O1S3O3）的过程。(b)和（c）示出了来自同一水坑的光分量。(b)显示通过水平偏振器放大的水面反射光。(c)显示了来自水坑内部的部分光，通过垂直偏振器放大（wikipedia.org）。见图4。（a）示出了物体的图像形成及其反射。光源和其图像是直线SS“垂直于G，其中GS = GS”。 然而，对于不一致性度量的像素分布，G’S’/= G’R’。（b）显示树顶和它们的反射之间的垂直对应的反射（wikipedia.org）。水灾害探测问题。一般而言，CNN和全卷积网络（FCN）特别识别具有不同结构和特征的对象。因此，这些网络不能很好地与水反射一起工作，水反射根据反射的内容而急剧变化。因此，我们希望扩展网络识别反射现象的物理学水面反射的主要特点是反射是水面上方天空或附近物体的倒置和扰动变换。具体来说，我们在本文中提出了一个新的网络模块称为反射注意单元（RAU），在垂直方向上匹配图像模式4具有反射注意单元的现有的语义分割方法由于水体表面的反射而难以识别水害。因此，我们希望利用更多关于局部和全局反射上下文的信息，特别是在垂直方向上。建议的反射注意单元（RAU），然后用于学习的反射关系。基于FCN和RAU的单图像水害检测7图五. 反射注意单元（RAU）的图示。4.1反思注意股我们提出RAU的基础上一个强大的线索，在一个单一的图像，水坑通常包含垂直反射。如图4所示，反射及其源沿着图像中几乎垂直的线。因此，为了检测水坑，我们可以通过沿着图像的像素列匹配图像区域来搜索反射此外，为了容忍透视失真、小的相机旋转（与水平线的角度）和模糊反射，在垂直匹配中使用多个分辨率或尺度。所提出的RAU的架构在图1中示出五、 给定大小为[h，w，c]的输入特征图I，将水平平均池化应用于I，将I减小到大小[h，w/2，c]。然后应用垂直平均池化以将其减少到大小为[n，w/2，c]的X。在图5中，为了说明的目的，η被设置为8。之后，X的大小为[l，w/2]的每行X被平铺或自复制到大小[n，w/2]。从所有行获得的那些沿着特征轴连接成大小为[n，w/2，c * n]的新特征图。然后，这个特征图被上采样到大小[h，w，c * n]并表示为X′。然后我们沿着特征轴连接n次I，得到大小为[h，w，c * n]的I ′。 从X′中减去I ′，产生大小为[h，w，c * n]的D，它编码了反射关系。减去的特征图再次与I连接，送入卷积层并由ReLU函数激活，以生成与I相同大小的最终输出。图图6示出了RAU如何计算一个像素与相邻2列中沿垂直方向的其他不同部分的平均值之间的相似性以X’的第一通道为例。该单通道图像具有16个平铺行，并且沿着每列的像素相同。单行表示I的第一通道的顶部行的模糊版本。因为I的顶行主要包含云，因此在差异D中，云和云在水面上的反射具有比地面、栅栏和树木更低的强度此外，由于反射线不严格地8X. 汉角，澳-地阮氏你和J陆见图6。反射注意单元的工作原理。在卷积层组1之后，输入彩色图像被变换为特征图I，并且平均池化应用于I以得到下采样的特征图X。然后，I的自复制、关联和上采样产生特征图X′。I被连接得到I′。从X′中减去I′以产生差分图D。最后，D和I被连接起来并且被馈送到卷积层和ReLU中以输出卷积层的新特征图。和我一样大。这被馈送到正常卷积层组的池化层1由于失真和图像旋转，两个平均池化允许来自这些的这种未对准。此外，当若干RAU被应用于不同尺度的特征图作为连续卷积层组的输出时，也考虑了这样的未对准。4.2网络架构图7示出了标准FCN-8 s [27]（a）和我们的方法（b）的网络架构。为了研究FCN-8 s网络中不同RAU的有用性，我们在每组卷积层后增加插入5个RAU，以实现不同尺度的反射感知。见图7。FCN-8的体系结构和我们提出的带有RAU的FCN-8。对于紧凑性，我们仅示出了5组卷积层中的2组及其对应的RAU。4.3焦点损失发现水坑的面积比地面的面积小得多。特别地，在下一节中介绍的ONR数据集和OFR数据集中，基于FCN和RAU的单图像水害检测9水和非水的像素数之间的比率约为1：61和1：89。当使用常见的损失函数（例如交叉熵损失）时，这些导致偏斜的训练。为了处理不平衡的分类，我们建议在我们的网络中使用焦点损失给定这样的二元分类问题，我们将y={ 0， 1}定义为基础真值类，并且将p定义为一个样本属于类y= 1的概率则标准交叉熵损失定义如下：.CE（p，y）=如果我们定义pt如下：pt=−log（p）ify=1−log（1−p），否则.pify=11-p otherwise（二）（三）则等式2可以重写为：CE（p，y）=CE（pt）=−log（pt）（4）焦点损失定义如下，以降低简单示例的权重并专注于困难示例：FL（pt）=−（1−pt）γlog（pt）（5）其中−（1−pt）γ是调制因子，γ≥0是可调聚焦参数。5Puddle-1000数据集为了实现基于深度学习的方法和系统测试，在本文中，我们提出了一个新的实用的水坑检测数据集。请注意，之前的水坑数据集由[19]发布，记录在澳大利亚堪培拉市附近的两个不同该数据集仅包含126和157个注释的左帧，用于道路序列（ONR）和越野序列（OFR）。对于本文，注释框架对于训练深度网络来说太有限了。建议的数据集在本文中，我们扩展了现有的数据集与5倍以上的像素标记的图像。标记的数据都来自ZED立体相机捕获的上述数据集，由于我们的目标是单个图像解决方案，因此只对左侧图像进行注释并用于验证不同网络的性能具体地，ONR现在具有357个注释帧，而OFR现在具有628个注释帧。图图8（a）和（b）示出了来自ONR和OFR数据集的彩色图像，并且（c）和（d）示出了具有两个类别的逐像素注释掩模的示例在ONR数据集中，水域非常浑浊，反射主要来自天空、云、柱子和栅栏，而在OFR数据集中，水面是蓝天、云、树木、电报、建筑物和一些栅栏的组合反射这两个数据集中的地面和其他障碍物的外观也有很大不同。在ONR，有沥青路与移动的汽车和集装箱。然而，在OFR，地面只是潮湿的土路，10X. 汉角，澳-地阮氏你和J陆见图8。 建议的数据集和ZED相机中的示例。它有更多不同种类的障碍物，如栅栏、建筑物、多种树木、土堆和建筑材料。因此，在水反射中存在显著差异。这些新的注释框架也将向公众发布。6实验我们使用建议的数据集系统地评估建议的网络。我们与现有的单图像为基础的方法进行比较，并与各种现有的网络结构进行比较。我们还提供了详细的分析，训练时间，鲁棒性过度拟合的补充材料（由于长度限制）。6.1实现细节我们的网络使用Tensorflow[1]框架实现，并在具有12GB内存的NVIDIATITAN XP GPU上进行训练在实验中，图像和地面真值的分辨率被下采样到360px×640px。训练期间的批大小学习率最初设置为10- 6，在20 K次迭代之后，每5 K次迭代降低0.2倍。FCN-8 s和FCN-8 S-focal-loss的训练迭代次数都是100 K，Deeplab-V2和我们提出的网络的训练迭代次数都是60 K。在以下实验中，将ONR和OFR数据集随机分为训练和测试类别。对于ONR数据集，我们使用272张图像来训练网络，并使用85张图像来验证性能。对于OFR数据集，530张图像用于训练，98张图像用于测试。此外，我们还进行了实验，两个数据集结合在一起。用于评估的指标是F-测量，精度，召回率和准确性。在所有实验中，我们都没有使用数据增强。5个RAU的详细信息见表1。6.2反射注意单位的验证我们在数据集上训练了四个不同的网络。其中三个是具有RAU的FCN-8，不同的是，这些网络中的RAU的数量分别为1、3和5。它们被命名为FCN-8 s-FL-1 RAU、FCN-8 s-FL-3RAU和FCN-8 s-FL-5 RAU。在FCN-8 s-FL-1 RAU中，单个RAU放置在基于FCN和RAU的单图像水害检测11表1. RAU详情名称N卷积核特征映射大小表2. 具有不同数量RAU的网络的性能数据集方法F-measure精度召回精度FCN-8s-FL-5Conv55.76%55.68%55.85%百分之九十九点零六ONRFCN-8s-FL-1RAU59.63%61.64%57.75%百分之九十九点一七FCN-8s-FL-3RAU61.97%63.43%60.57%百分之九十九点二FCN-8s-FL-5RAU70.11%67.78%72.61%99.35%FCN-8s-FL-5Conv78.56%89.33%70.11%99.32%OFRFCN-8s-FL-1RAU71.67%87.45%60.71%99.14%FCN-8s-FL-3RAU79.09%91.36%69.72%百分之九十九点三四FCN-8s-FL-5RAU81.67%87.21%76.79%百分之九十九点三八FCN-8s-FL-5Conv63.44%62.52%64.44%99.21%FCN-8s-FL-1RAU67.64%74.66%61.82%99.14%FCN-8s-FL-3RAU67.63%75.27%64.40%百分之九十九点一五FCN-8s-FL-5RAU76.91%78.03%75.81%百分之九十九点三四第一池化层。在FCN-8 s-FL-3RAU中，RAU添加在第一个RAU之前，第三和第五池化层。FCN-8 s-FL-5 RAU是建议的网络。在最后一个网络中，我们不使用RAU，只添加了5个卷积层。在所有的网络中，我们使用焦点损失。表2示出，性能随着RAU的使用增加而改善6.3焦点丢失我们分别用交叉熵损失函数和焦点损失函数训练FCN-8。 结果示于表3中。 从这个表中，我们可以看到，使用焦点损失可以在OFR和BOTH数据集上获得明显更好的性能。在ONR数据集上没有显著改善的原因是因为ONR数据集的数据不平衡比OFR数据集的数据不平衡小得多。即便如此，FCN-8 s-FL仍然获得了更好的F测量和召回。6.4交叉数据集验证为了进一步验证我们的方法的鲁棒性，我们在ONR和OFR数据集上训练了两个网络在所有实验中，我们的方法的结果（表4）优于FCN-8 s-FL这输入通道输出通道内核大小Rau11664*（16+1）64[3，3]360×640RAU216 128*（16+1）128[3，3]180×320RAU316 256*（16+1）256[3，3]90×160RAU416 512*（16+1）512[3，3]45×80RAU58512*（8+1）512[3，3]23×4012X. 汉角，澳-地阮氏你和J陆表3. FCN-8在有和没有焦损时的性能。数据集方法F-measure精度召回精度ONRFCN-8s56.99%59.01%55.11%99.12%FCN-8s-FL57.85%50.49%67.71%98.96%OFRFCN-8s64.33%78.18%54.64%98.92%FCN-8s-FL74.05%84.88%65.66%99.18%两台FCN-8 s65.21%69.81%61.18%百分之九十九点零五FCN-8s-FL70.62%74.38%67.22%百分之九十九点一九表4. 不同方法在交叉数据集验证上的性能。测试训练方法数据集数据集F-measure精度召回精度OFRFCN-8s-FL百分之九点一六15.80%6.45%百分之九十八点六五FCN-8s-FL-RAU31.43%百分之五十点九九22.72%百分之九十八点九五OFR ONRFCN-8s-FL22.98%27.20%19.89%97.62%FCN-8s-FL-RAU36.60%60.71%26.20%98.38%表明我们的方法在不同的数据集上具有更好的泛化性能。6.5与现有方法的比较为了进一步比较，我们实现并重新训练其他图像分割网络，包括FCN-8 s，FCN-8 s-FL，FCN-8 s-5Conv和DeepLab（版本2）[4]。我们还将我们的方法与非深度学习方法进行了比较，例如GMM极化[19]。对于DeepLab，我们基于Deeplab提供的预训练Resnet101模型对其进行微调5表5显示了不同方法的性能和一帧的平均推断时间。图9展示了它们的水灾害检测结果。我们可以看到我们的RAU帮助提高了很多性能。准确率和召回率都有很大的提高，表明我们的RAU可以帮助网络减少假阳性和假阴性。图9也证明了这种改进。65.我们充分认识到，我们还没有从其他一些以前的出版物中获得一份副本和数据。并且也不比较不对单个图像起作用的方法6由于水体像素的数目远小于非水体像素的数目，因此准确度没有显著提高，然而，当我们计算准确度时，我们计算了水体和非水体像素的检测准确度。基于FCN和RAU的单图像水害检测13表5. 我们提出的网络和其他人之间的性能比较。数据集方法F-测量精确度召回准确度时间FCN-8 s-FL-RAU（我们的）70.11%67.78%72.61%99.35%0.32sFCN-8s-FL57.85%50.49%67.71%98.96%0.06sONRFCN-8s [27]56.99%59.01%55.11%99.12%0.06sDeepLab [4]21.97%37.18%15.60%百分之九十八点八三0.27sFCN-8s-FL-5Conv55.76%55.68%55.85%百分之九十九点零六0.07sGMM极化[19]31.0%百分之十八点七百分之九十点二96.5%NAFCN-8 s-FL-RAU（我们的）81.67%87.21%76.79%百分之九十九点三八0.32sFCN-8s-FL74.05%84.88%65.66%99.18%0.06sOFRFCN-8s [27]64.33%78.18%54.64%98.92%0.06sDeepLab [4]百分之四十五点零五71.31%32.92%98.56%0.27sFCN-8s-FL-5Conv78.56%89.33%70.11%99.32%0.07sGMM极化[19]百分之二十八点一百分之十六点八85.4%95.2%NAFCN-8 s-FL-RAU（我们的）76.91%78.03%75.81%百分之九十九点三四0.32sFCN-8s-FL70.62%74.38%67.22%百分之九十九点一九0.06s[27]第二十七话65.21%69.81%61.18%百分之九十九点零五0.06sDeepLab [4]30.36%53.52%21.19%98.59%0.27sFCN-8s-FL-5Conv63.44%62.52%64.44%99.21%0.07s14X. 汉角，澳-地阮氏你和J陆图9.第九条。在两个数据集上训练的水灾害检测结果基于FCN和RAU的单图像水害检测15见图10。具有挑战性的情况下，水灾害检测我们的方法。第一行是彩色图像，第二行是地面实况，最后一行是我们的结果。7讨论和结论即使在RAU的帮助下，在各种情况下，水危害检测仍然非常具有挑战性图10给出了一些例子。如红色矩形所示，一些水坑区域太小而无法识别，因为它们只包含几个像素。此外，潮湿区域与水坑非常相似，如我们在（c）和（e）中的蓝色矩形所示最后，在（d）中，绿色矩形显示一些水面看起来几乎与道路相同。在所有这些情况下，水面包含的反射信息很少，所以我们的RAU不能提高性能。结论本文提出了一种鲁棒的单图像水渍检测方法在具有反射注意单元（RAU）和焦点损失的全卷积网络我们还收集了道路和越野彩色图像与水的危害，并逐像素注释985图像，他们建立一个数据集，并验证性能。我们在多尺度特征图上应用RAU。在这个新提出的RAU，我们计算一个像素之间的距离和平均值的不同补丁在每2列沿垂直方向。焦点损失也被用来处理严重的数据不平衡。在这些数据集上进行了几个深度神经网络和一个传统方法的实验，结果表明我们提出的方法具有很大的有效性。8确认在国家自然科学基金项目的支持下，新的地面实况视频帧成为可能。61703209的王欢博士，以及他的学生范兆辰，郑志坚，孙人杰，张雨辰，李静怡和赖静本杨的帮助。Han Xiaofeng和Lu Jianfeng教授感谢国家重点&研发计划根据合同号2017YFB1300205和国家科技重大专项合同号2015ZX01041101。原始视频数据的捕获得到了澳大利亚机器人视觉卓越中心（CE140100016）www.roboticvision.org支持。特别感谢Anoop Cherian博士、Basura Fernando博士、Laurent Kneip博士、A/Prof Hongdong李教授、澳洲皇家大学的Michael Milford教授和Robert Mahony教授，以及澳洲国立大学的James Nobles教授早前的支持。16X. 汉角，澳-地阮氏你和J陆引用1. Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，陈志，西特罗角科罗拉多州科拉多戴维斯，A.，迪恩J Devin，M.：Tensorflow：异构分布式系统上的大规模机器学习（2016）2. Bertozzi，M.，Fedriga，R.I.，丹布罗西奥，C.：不良驾驶条件警报：调查用于道路状态监测的swir带宽。In：InternationalCo nfere nceo nImgeAnalyis andProcessi ng.pp. 59202TheDog（2013）3. 伯恩K.：自动驾驶汽车：将他们被安全期间坏天气？（ 2016 ） ， https://www.accuweather.com/en/weather-news/self-driving-cars-will-they-be-safe-during-bad-weathr/605249984. Chen，L.C.，帕潘德里欧，G.，科基诺斯岛墨菲K Yuille，A.L.：Deeplab：使 用 深 度 卷 积 网 络 、 atrous 卷 积 和 全 连 接 crf 的 SE-mantic 图 像 分 割 。1606.00915（2016）5. Fukamizu，H.，Nakano，M.，Iba，K.，Yamasaki，T.，Sano，K.：路面状况检测系统（1987年9月1日），美国专利4，690，5536. Han，X.卢，J，赵，C.，你S Li，H.：基于生成对抗网络的半监督和弱监督道路检测。IEEE Signal Processing Letters，出版7. 他，K.，张，X.，Ren，S.，孙杰：图像识别的深度残差学习。7708. Iqbal，M.，Morel，O.，Meriaudeau，F.，Raya，J.M.，Gunadarma，U.，法库尔塔斯岛：室外水害探测研究综述Institus Teknologi Sepuluh2085年11月33日9. 金，J.，Baek，J.，Choi，H.，Kim，E.：使用立体摄像机的高级驾驶员辅助系统（adas）的潮湿区域和水坑检测International Journal ofC〇nt〇l，Automatio n andSystems14（1），26310. Koetse，M.J.，Rietveld，P.：气候变化和天气对运输的影响：实证研究结 果 概 述 Transportation Research Part D ： Transport andEnvi ronment14（3），20511. 李，Y.，你SBrown，M.S.，Tan，R.T.：霾能见度增强：调查和定量基准。计算机视觉与图像理解（2016）12. 林，T. 是的， 再见，P.， Gir shi ck，R.， He，K.， 我会的，P。：用于检测阻塞的频率损失。arXiv预印本arXiv：1708.02002（2017）13. 朗J Shelhamer，E.，达雷尔，T.：用于语义分段的全卷积网络。在：IEEE计算机视觉和定位会议的会议记录中。pp. 343114. Lu，K.，李杰，An，X.，He，H.：一种分层道路检测方法。In：IEEEInter natinceonRoboti csandAutomatin. pp. 第51715. Marshall ，A.：为了让自 动驾驶汽车去任何地方， 到处训练它们（ 2017 ） ， https://www.wired.com/story/waymo-self-driving-michigan-testing/16. Matthies，L.H.Bellutta，P.McHenry，M.：自动越野导航的水危险检测无人驾驶地面车辆技术V。卷5083，pp.231Iinterrnationalsocietyforroptics andpotonics（2003）17. Mettes，P. Tan R.T. Veltkamp，R.：视频中水体的分割与分类。In：Computer Vision Theory and Applications（VISAPP），2014Inter nati nalConfere nceo n.vol. 第1页。283爱的力量（2014）18. Mettes，P. Tan R.T. Veltkamp，R.C.：通过空间-时间向量识别的水检测。C〇mputerVisinandImageUnderstanding154，182基于FCN和RAU的单图像水害检测1719. Nguyen，C.V.，Milford，M.Mahony，R.：利用偏振立体摄像机对水灾害进行3d跟踪机器人与自动化国际会议（International Conference on Robotics andAutomation，ICRA）pp. 5251-5257 IEEE（2017）20. 操作，O.：天气事件如何影响道路？（2017 ），https://ops.fhwa 。dot.gov/weather/q121. Rankin，A.，Matthies，L.：基于颜色变化的白天水体检测。在：智能机 器 人 和 系 统 （ IROS ） ， 2010 年 IEEE/RSJ 国 际 会 议 。 pp. 215IEEE（2010）22. Rankin，A.L.，Matthies，L.H.Bellutta，P.：基于天空反射的白天水检测In：Robotics and Automation（ICRA），2011 IEEE InternationalCon-fe- nceon.pp. 5.第5329IEEE（2011）23. 是的， Mend o nca，R.， Barata，J. ：利用基于动态纹理识别的分段数据 进 行 检 测 。 在 ： RoboticsandBiomimetics （ ROBIO ） ，2012IEEEInternat iol C 〇 nferen c e 〇 n 中 。 pp.1836 - 1841 年 。 IEEE（2012）24. Sarwal，A.，Nett，J.，Simon，D.：探测小水体。Tech. 代表，DTIC文件（2004年）25. Viikari，V.V.，Varpula，T.，Kantanen，M.：使用24-ghz汽车雷达的道路状况识别。IEEE Transactions on Intelligent Transportation Systems 10（4），63926. Wehner ， R. ： Polarizati onvis ion- a uni forms e n sory c a p a t y ？ J 〇urnalofExperimentalBiology204（14），258927. 吴X：用于语义分段的全卷积网络计算机科学28. 谢，B.，潘，H.，Xiang，Z.，Liu，J.：基于偏振的自主越野导航的水障 碍 检 测 2007 年 国 际 机 电 一 体 化 与 自 动 化 会 议 .pp. 166602TheDog（2007）29. Yan，S.H.：利用双摄像机偏振立体视觉进行水体检测。InternationalJournal of Research in Computer Engineering Electronics 3（3）（2014）30. 你STan，R.，川上河Mukaigawa，Y.，Ikeuchi，K.：视频中附着雨滴的建 模 、 检 测 与 去 除 IEEE Transactions on Pattern Analysis andMac hineIntellige nce38（9），172131. 赵，H.，施，J.，Qi，X.，王，X.，Jia，J.：金字塔场景解析网络。In：IConferenceonComuterVisionandPater nRecognition. pp. 623032. 赵玉，邓，Y.，Pan，C.，Guo，L.：基于颜色和纹理特征的水害检测研究。Sensors Transducers 157（10），428（2013）