基于距离的非结构化道路检测方法

沙特国王大学学报基于距离的非结构化道路检测Altaf Alama，Laxman Singhb，Zainul Abdin Jafferyc，Yogesh Kumar Vermad，Manoj Diwakarea部。电子工程，Rajkiya工程学院，班达，P，印度b印度大诺伊达诺伊达工程技术学院电子与通信工程系c印度新德里Jamia Millia Islamia电气工程系d印度，旁遮普，Lovely Professional University，电子和电气工程学院e部计算机科学与工程，图形时代被认为是大学，德拉敦，Uttrakahnd，印度阿提奇莱因福奥文章历史记录：收到2021年2021年8月23日修订2021年9月24日接受2021年9月30日网上发售保留字：非结构化道路检测L*a*b颜色空间最近邻分类器软投票聚合A B S T R A C T非结构化道路中道路区域和非道路区域的分离是自动驾驶车辆安全导航和避碰的重要任务。连接农村和城市与国家高速公路的道路被视为非结构化道路。与公路相比，这些非结构化道路上缺乏清晰的车道标记，使得它们更容易发生事故，公路具有清晰的车道标记以指示道路和非道路区域。然而，非结构化道路具有与其背景不同的颜色信息，这为设计和开发有效的道路检测系统以识别和分类道路区域和非道路区域铺平了道路检测系统的道路。因此，在本文中，我们提出了一个有效的道路检测系统的非结构化道路的道路和非道路区域的分类使用多个最近邻（NN）分类器和软投票聚合方法。所提出的系统利用色度信息（即，*a，*b和Hue）来训练NN分类器，并使用软投票（SV）方法聚合它们的输出以获得最终输出响应。多个分类器的输出结果使用SV方法聚合的基础上，由每个单独的分类器获得的置信度得分。所提出的系统的性能进行评估的精度，召回率，准确性，交集，工会（IOU），真阳性率（TPR），和处理时间，并与目前的最先进的方法在文献中报道所提出的系统实现了96.79%，96.92%，97.8%，96.08%和96%的准确率，召回率，IOU和TPR，分别与处理时间的三倍小于现有的最先进的方法。实验结果表明，该系统能够有效地识别和分类农村、城市和城市地区的道路和非道路区域，为自主车辆提供有效的导航。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍结构化和非结构化道路上的精确路径检测对自动驾驶汽车的安全导航起着关键作用。*通讯作者。电子邮件地址：laxman. niet.co.in，laxman. mehlawat gmail.com（L.Singh），zjaffery@jmi.ac.in（Z.A. Jaffery），lpu.co.in（Y.K. Verma）。沙特国王大学负责同行审查自动驾驶车辆中使用的各种传感器在结构化和非结构化道路上的路径区域的准确检测中起着关键作用。 基于在路径检测中使用的传感器，道路检测问题可以分为两类，例如基于相机的检测（Jiang等人，2013; Kim ， 2008 ） 和 基 于 光 检 测 和 测 距 （ LIDAR ） 的 检 测（ Wijesoma 等 人 ， 2004; Landa and Prochazka ， 2014 ） . 由 于LIDAR传感器的高成本，基于LIDAR的自动驾驶车辆非常昂贵。因此，如今，基于视觉的道路检测系统由于其低成本、丰富的内容信息以及对机器学习和物联网（IoT）等新兴技术的更快适应性而变得越来越受欢迎https://doi.org/10.1016/j.jksuci.2021.09.0201319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8728根据道路的结构，它们可以分为两类，如结构化和非结构化道路。像高速公路一样具有清晰车道标记的道路被认为是结构化道路，而没有任何清晰车道标记的道路被认为是非结构化道路。 在过去的十年中，研究人员已经提出了许多方法来检测结构化道路，并取得了令人满意的结果（Thorpe，1993; Li等人，2004; Wang等人， 2004年）。因此，结构化路径检测问题被认为是当前场景中已解决的问题（Caltagirane等人，2017年）。尽管已经针对非结构化道路检测进行了许多实验（Rasmussen，2012; Wang等人，2009; Audibert等人，2010; Cheng等人，2006年），它也需要更多的关注，由于其复杂性，可变性和非结构化的性质。在文献中（Jiang等人，2013;Al-Jarrah等人，2018; Hummel等人， 2006），特征即颜色、边缘和纹理已经频繁地用于检测非结构化道路。然而，颜色空间的选择是至关重要的，在图像分割和计算机视觉任务中起着重要的作用在文献中，色调饱和度值（HSV）和L*a*b颜色空间已经被杰出的研究人员成功地用于不同的应用，诸如医学图像分割（Bock等人，2010;Harrabi和Ben Braiek，2012;Chevrefils等人， 2009）、果实鉴定（Li等人，2014年; Unay和Gosselin，2007年;Vélez-Rivera，2014年），人类分割（Borràs和Lladós，2009年），海陆分割（Shui等人， 2020）、对象检测（Chen等人， 2015）和交通标志检测（Ruta等人，2010），这是由于它们即使在动态环境中也能提取鲁棒特征的固有能力。 这些特征已被证明在光变化条件下也是有用的（Wu和Sun，2013;López-Rubio等人，2016年）。在各种研究任务中，色彩信息已成功地用于模式识别任务，以训练不同的机器学习模型，例如支持向量机（SVM）（Wang et al.， 2009）、最近邻（NN）（Recognition，2011）、K-最近邻（KNN）（Chevrefils等人， 2009）、人工神经网络（ANN）（Chen等人，2015）和决策树（DT）（Ruta等人，2010年），并取得了可喜的成果，使用这些算法。机器学习算法彩色特征促使我们采用这些特征来检测和分类非结构化道路。因此，在这项研究中，我们利用彩色特征（即，*a、*b和色调）信息作为输入来构建NN分类器。从印度等发展中国家的角度来看，拟议的工作是一项重要的应用，具有在未来几年成为自动驾驶汽车最大市场1.1. 相关工作在本节中，我们提出了各种方法和技术，这些方法和技术在文献中可用于检测非结构化道路和类似任务。例如，Audibert等人，（Audibert等人， 2010）提出了一种基于消失点和边缘检测的道路边界识别方法。在他们的研究中，作者使用了5种不同的频率尺度和36种不同的纹理方向来检测消失点。消失点表示道路区域结束且非道路区域开始的尖锐边界点。因此，在非结构化道路的道路区域检测过程中，需要识别消失点。所提出的方法取得了令人满意的结果，然而，这种方法的主要限制是，它依赖于大量的图像平面（180个图像平面），这增加了系统的复杂性，使其在经济上负担不起。JinjinShi等人， （Shi等人， 2016）提出了一种不太复杂的消失点检测方法，以进一步降低系统复杂度，其中仅分析主要纹理特征和粒子滤波器的输出特征用于检测消失点此外，Tan等人（Tan等人，2006）通过计算道路边界的相关参数，建立了非结构化道路边界检测的数学模型。他们使用多帧序列和颜色信息来区分道路和非道路区域。近年来，研究人员通过将不同类型的传感器与视觉传感器相结合来提高非结构化道路检测系统的能力。例如，Sonet等人（Son等人，2008）将激光传感器的后验概率与摄像机的视觉信息相结合来检测非结构化道路。 Shang等人（Shang等人，2013）组合了GPS、摄像头和LIDAR传感器来检测非结构化道路上的道路区域，随后使用各种机器学习算法，例如支持向量机（SVM）和k-最近邻（KNN）来对对象区域进行分类。如今，卷积神经网络（CNN）等深度学习技术正变得非常流行，并已被证明对模式识别，对象检测和视觉应用任务是有效的。然而，由于无法获得大量的相关数据来训练模型，深度学习到目前为止还没 有 大 规 模 地 用 于 非 结 构 化 道 路 检 测 的 检 测 。 在 参 考 文 献（Caltagirane等人，2017年），作者采用卷积神经网络来检测可驾驶道路区域。此外，Pan等人（Pan等人，2017年）提出了一种混合方法，马尔可夫随机场（MRF）和CNN的道路上的交通场景检测和分类。尽管提供了各种优势，但深度学习算法也有一些限制。例如，由于使用了许多隐藏层，深度学习（DL）模型在计算上是昂贵的（Lu等人，2017; Cao，2019），这需要微调超参数以产生所需的结果。除此之外，深度学习算法需要大量的数据、超大的存储设备、更多的处理时间以及诸如图形处理单元（GPU）之类的高性能硬件来开发高效的道路检测器系统（Aziz等人，2020年; Zhao等人，2020年）。然而，车道检测系统或道路区域检测器需要在计算上快速且不太复杂，以快速做出决定（Zuo例如，2019; Patle等人，2019年）。因此，本研究工作的重点是开发一个简单有效的道路检测和分类系统，有效地区分道路和非道路区域的非结构化道路图像。在这项工作中，我们使用最近邻分类器和软投票的方法来开发一个有效的非结构化道路检测方法。如上所述，颜色特征可以提供关于道路和非道路区域的关键信息。因此，在所提出的研究中，我们使用颜色信息作为输入特征to build建立the classifier分类.将提取的颜色特征作为输入馈送到三个独立的最近邻分类器。然后，每个分类器的置信度得分（CS）的基础上的最小距离之间的训练样本和正在研究的样本生成。最后，通过软投票聚合方法进行聚合，得到最终输出。本研究报告的贡献是：(1) 为了开发一种有效的和新颖的道路检测系统的分类非结构化道路的道路和非道路区域使用多个最近邻（NN）分类器和软投票聚合方法。(2) 使用不同的性能指标（如精确度、召回率和准确度）以及精确度与召回率的受试者工作特征（ROC）曲线来分析所提出的系统的性能。(3) 将所提出的方法与其他传统机器学习和深度学习模型的性能进行比较。论文的其余部分组织如下：详细介绍了图像采集、图像预处理、功能A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8729×XX2 2ðÞððÞÞ提取和NN分类器的开发在第2节中介绍。所获得的结果和模拟的细节进行了说明第3节。最后，第4节总结了拟议的工作。2. 建议的道路检测系统图1示出了所提出的道路检测系统的基本流程图。建议的系统包括四个主要步骤：（i）图像采集，（ii）颜色特征提取，（iii）建立分类器，（iv）聚合的置信度得分（CS）使用软投票的方法，以产生最终的输出。在下面的部分中，所提出的方法的每个步骤都被描述为考虑-一个接一个的细节：发现经过下采样后，系统的速度性能有了显著的提高。因此，在这项工作中，所有图像都在将其作为分类器的输入之前进行了下采样。为了对图像进行下采样，每个图像像素值被使用大小为5x5像素的高斯滤波器掩模的其邻域的加权像素值替换。高斯滤波器掩码使用标准差1来替换其邻域的信息（Sokolov和Abdullin，2017）。采用这种方法在一定程度上抑制了背景信息。高斯滤波器可以使用（1）数学地表示。等式（2）指示高斯滤波器对裁剪图像的操作以产生下采样图像。1-。x2y22.1. 图像采集二甲双胍，二甲双胍2pr2e2r2ð1Þ为了开发所提出的系统，4000个样本图像的非结构化道路收集从法里达巴德和附近地区的德里，印度使用的数码相机的分辨率为1600x1200像素。基于视觉的道路检测系统的输出性能主要取决于所捕获图像的照明质量。因此，所有图像都是在从早上6点到晚上6点的白天拍摄的。由于在不同的时间和不同的闪电条件下获取图像，所收集的图像具有足够的照明变化，这使得它们适合于开发鲁棒的道路检测系统。在拍摄图像时，拍摄图像区域的纬度固定在北纬28°-240-1700和28°-530-0000之间，而经度保持在东经76°-500-2400和77°-200-3700所有捕获的图像都显示RGB颜色空间。 图图2给出了在不同光照条件下白天采集的一些样本图像。所生成的数据集包括几乎相等数量的道路和非道路区域的图像，以避免分类器的过拟合问题 代表道路和非道路区域的单个样本图像集如图所示。3.第三章。2.2. 图像预处理预处理被认为是图像处理领域中的重要步骤，通常执行预处理以通过抑制冗余信息以及增强原始图像中的对象特征来改善图像质量。在预处理中，通过将输入图像传递到多个阶段，例如通过应用适当的滤波器的图像裁剪、图像去噪、图像最初，原始图像中的道路和非道路区域被手动裁剪为228 228像素的大小，以减少硬件的计算负担，这反过来又最终有助于改进和升级分类器的决策过程（Gao和Wang，2007; Murty和Devi，2011; Kozakiewicz，2018）。在图像裁剪之后，将图像去噪、图像去噪和图像锐化算法应用于所得到的图像以突出所需的特征信息。2.2.1. 图像降采样和平滑在这项工作中，高分辨率相机用于图像采集。高分辨率图像需要大的存储器，从而给机器带来更多的计算负担。因此，为解决此问题，经裁剪图像的大小通过下采样过程进一步减小到其实际大小的50%。为了观察下采样对系统速度性能的影响，Mg x;ywi; jωfx i; yj2[医]甲状旁腺素其中f（x，y）是捕获的图像，m表示滤波器掩模的大小，w表示滤波器的掩模，g（x，y）表示应用高斯滤波器之后获得的图像。高斯滤波后的图像然后以新矩阵的形式存储，该矩阵的大小仅为原始图像矩阵的一半。用于图像缩放的数学表达式由等式Eq. （三）、R. x;y≤g≤1：2：x;1：2：y≤3μ g其中，g（x，y）是高斯滤波图像，x和y是原始图像大小，r（x，y）是调整大小后的图像。下采样过程高度抑制图像体素以产生期望大小的图像，这最终影响图像质量。因此，前区域的边缘特征变得模糊。因此，为了恢复特别是前景区域的抑制像素，我们再次应用具有0.5的标准偏差的大小为3x3像素的高斯滤波器因此，通过将调整大小的图像的像素与高斯滤波器进行卷积来恢复被抑制的像素的值，从而得到更适合于后续处理的图像，如图所示。 4（第2排）。用于增强图像的数学（四）、MEnvoy x;y wi;jωrx i; yj4[医]甲状旁腺素其中w是加权高斯掩模，r（x，y）是调整大小的图像，En（x，y）是输出去噪图像。2.2.2. 图像锐化图像锐化用于突出图像中的边缘和细节在这项研究中，我们使用高通滤波器来锐化图像特征。高通滤波器提取高频信息，如图1所示。 4（行3），其表示前景区域的边缘和精细细节。此后，将得到的高频图像叠加在增强图像上以产生最终的锐化图像（Polleman等人，2000年）。最终得到的锐化图像如图所示。 4（第4行）。图像锐化的数学表达式由方程（1）给出。（五）、电子邮件地址其中，k是比例因子，h En x; y表示高通滤波的增强图像，En x; y是增强图像。s（x，y）称为锐化图像。A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8730Fig. 1. 所提出的道路检测系统的过程流程图。2.3. 特征提取特征表示关于道路和非道路区域的特定信息它帮助分类器学习对象的模式和决策过程。因此，特征提取是构建有效分类器的重要步骤。连接公路和城市之间的街道对于道路和非道路（即，背景）区域具有不同的颜色信息。因此，颜色信息被认为是非结构化道路的检测和分类的关键。如上所述，RGB颜色空间信息高度依赖于光条件的变化，在光条件下捕获图像并且倾向于影响分类器性能A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8731¼aω¼ 116 fFVR¼1500bω< $116 fFVNR¼15001/11/1图二. 在不同光照条件下采集的图像样本。图三. 训练样本图像：（a）道路区域的样本图像，（b）非道路区域的样本图像。如果RGB颜色空间被直接用作特征，因此，我们使用了色度信息，这是来自其他颜色空间，如L*a*b颜色空间和HSV颜色空间。已经从CIEL*a*b* 颜色空间提取了色度和色调信息，每个变换的样本图像的平均值被计算并存储为特征向量Av。特征向量可以在数学上表示为：M NCIELCh颜色空间分别。色度信息 *a，*b是AV¼1 XX Ti;9从CIEL *a*b颜色空间中选择，而色调角（H）信息从CIELCh中提取（Paschos，2001; Schloss等人， 2018年）。 图 4Mω Ni¼ 1第1页(Row图5-7）分别示出了彩色 *a、彩色 *b的提取图像平面和色调信息的提取图像平面。RGB到L*a*b颜色空间的变换使用（León等人，2006年）。诸如*a、*b和色调角H的色度信息可以使用（6）、（7）和（8）如下计算其中，Av表示平均值，（M，N）是样本图像的行数和列数。T（i，j）表示该区域的样本图像。道路（1500个样本）和非道路区域（1500个样本）的特征向量通过取特征向量的平均值来计算，特征向量的平均值使用等式（1）计算。（九）、 平均值可以数学计算为：. .X轴Xn.YYn1X. . YYn. ZZn1XHtan-1ωbωað8ÞFVR和FVNR是最终的特征向量，其由属于不同颜色分量的特征向量形成色 度 和 色 调 信 息 ， 并 且 可 以 表 示 为 FVR1/2FVRωa;FVRωb;FVRH] 和FVNR1/2FVNRωa;FVNRωb;FVNRH];其中，Xn、Yn和Zn是参考的CIE XYZ三色刺激值。埃伦斯白点。FVR和FVNR表示fea的平均值。道路和非道路区域的真实向量。nnð6Þ-一个VR10美元-ð7Þ一个VNR11美元A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8732图四、行1：裁剪后的原始图像;行2：下采样后的图像（即，行3：应用高频滤波器之后的图像;行4：经锐化的图像样本;行5：RGB图像到Chromatic *a特征的变换;行6：RGB图像到Chromatic *b特征的变换;行7：RGB图像到Hue特征的变换。将提取的颜色特征信息转化为特征向量集后作为输入训练分类器。分类器的开发阶段将在下面的部分中详细讨论。2.4. 构建分类器在这项工作中，我们使用了三个独立的最近邻分类器，它们被表示为CNN1，CNN2和CNN3。我们用三个独立的特征训练了这三个独立的分类器，*a，*b和H。每个分类器基于训练特征向量点和测试特征向量点之间的最小距离的计算生成特定的置信度分数。所有这些分类器的输出使用基于最大投票得分的软投票方法进行汇总，以做出最终决策。所提出的道路检测系统包括最近邻算法和软投票方法，基于与特定类（Gao和Gao）的最小距离A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8733.Σ¼ðÞ.Σ¼ðÞVNRωbWang，2007）。特征提取和特征向量形成的方法已经在前面的章节中描述，因此我们可以直接将特征向量表示为对应于道路和非道路区域的FVR;hR_VR和FVNR;hNR_vr，其中FVR和FVNR表示特征向量，hR而hNR表示道路和非道路区域的标签NN分类器的基本操作可以通过下面的图示更清楚地理解设如上所述，最近邻分类器基于测试特征向量点与来自特定类别的训练特征向量与特定类的距离越小，表明与该类的相似性越大如果测试点更类似于道路区域，则系统将1分配给道路区域，0分配给非道路区域，否则反之亦然。使用独立色度（即，*a，*b）和色调（即，H）特征信息给出如下：2.4.1. 使用色度信息构建分类器 *a本节给出了具有色度特征的分类器的实现细节 *a.首先，在第一步中，道路和非道路区域的色彩特征信息 *a以特征向量的形式被馈送到NN分类器作为输入，FVRωa和FVNRωa，并且同时对应的输出标签被分配给相应的数据，其可以分别表示为hR和hNR。分类器模型计算测试点p与道路和非道路区域的特征向量之间的距离，从而检查与特定类别的最小距离（Frank，2004）。等式（12）和（13）示出了从道路和非道路区域的距离计算的数学表示。而Eqs。（14）示出了最小距离选择和Eq.（15）示出了类hR或hNR分配过程。d1½ k p- FVRωak12d2<$k p- FVNRω ak13C1 ½minf d1; d2g≤ 14μ g.hRif d1 PiNR250否则其中，C是分类器对测试数据的最终决策。如果分类器输出为1，则其指示分配的标签为道路区域，而分类器输出0指示分配的标签为非道路区域。道路和非道路区域的聚合置信度得分被指示为PiR和PiNR。2.5.1. 置信度评分（CS）生成软投票聚集方法需要每个分类器的置信度得分（CS）。最近邻分类器基于从特定类测量的距离对道路和非道路区域进行分类。在所提出的系统中，NN分类器测量测试点和输入特征向量之间的距离，并将它们存储为距离向量D。此外，根据距离向量D存储的测量距离用于生成每个分类器的置信度分数。让然后，置信度得分可以是数学-数学表达为：最终决策仅仅基于所有三个分类器的输出响应（即，二进制值0或1），而不考虑置信度得分（即，概率方面的预测得分）类似于软投票方法。3.1. 用于绩效评估的指标最后，建议的道路检测器系统的性能进行评估的指标，如精度，召回率，交集超过工会（IOU），真阳性率（TPR），和假阳性率（FPR）。该系统的召回给出了关于由系统正确地预测为道路和非道路区域的点的分数的信息而精度表示系统正确预测的阳性类别的分数（Cheng等人，2009年）。道路和非道路区域的地面真值是计算道路检测系统的精确度和召回率的基本信息因此，在所有测试图像中手动标记道路和非道路区域精确度和召回率性能度量可以表示为如下所示：Di61/1d）2600精密度匹配值S;RjRjð27Þ其中，P表示生成的置信度得分，d表示每个分类器与特定类别的测量距离。回忆匹配的jSjð28Þ3. 结果和讨论本节介绍了所提出的方法的视觉和定量结果。所提出的方法在Matlab 2017a 软件 上使 用具有 Intel Core i7 处理 器的 个人计 算机（PC）实现，该处理器具有3.7 GHz的速度和4 GB的内部存储器。总共使用了4000幅样本图像来构建分类器。将数据集分为75%和25%的比例，其中R指示测试图像的地面实况，且S指示对应分类器的输出图像，所述输出图像指示测试图像中的所检测道路及非道路区域。并集上的交集（IOU）IOU测量量化了分段输出和标记的地面实况之间的重叠百分比。在数学上，IOU度量可以使用等式来表示。（29页）。训练和测试分类器。在开发分类器之前，将输入的非结构化道路图像分类为道路非公路区域。分割后的彩色特征IoUGround Truth\PredictionGroundTruth[预测ð29Þ提取诸如 *a、*b和色调的真实信息来训练分类器。然而，在提取特征信息之前，应用各种预处理算法，例如图像下采样、图像平滑和图像锐化，以通过应用一系列适当的滤波器来抑制冗余像素来提高图像质量，如第2节所述。预处理的主要目标是减少硬件机器的计算负担，以及提高相关特征的像素对比度。随后，形成对应于每个彩色图像的独立的颜色特征集，并将其作为输入来构建三个独立的NN分类器。此外，训练的分类器被用来分类测试图像到道路和非道路区域使用软投票聚合方法。如果测试图像属于道路区域，则所提出的系统分配标签1，否则如果测试图像属于非道路区域，则基于软投票方法聚合的总体置信度得分的值分配由所提出的系统产生的视觉结果在图5中示出，其中输出图像中的黑色像素示出非道路区域，并且白色像素示出道路区域。对三幅测试样本图像的置信度得分和“道路区域”与“非道路区域”的二值化输出进行了定量分析真阳性（TP）：系统将道路区域预测为道路被称为真阳性预测。真阴性（TN）：系统预测的非道路区域作为非道路区域被称为真阴性预测。假阳性（FP）：系统将非道路区域预测为道路区域称为假阳性预测。假阴性（FN）：系统将道路区域预测为非道路区域被称为假阴性预测。真阳性率（TPR）TPR给出了系统正确检测到的实际道路候选信息。 TPR计算的数学表达式如方程式所示。（30）.TPRTP100 30TPFFN假阳性率（FPR）FPR被定义为非道路区域候选者的分数，其被系统识别为道路区域。在数学上，它可以用Eq.（31）如下：FPRFP100 31FP- 100A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8735图五. - 利用所提出的分类器检测到的道路区域的样本图像：行1：地面实况的样本图像;行2：使用硬投票方法检测道路区域;行3：使用软投票方法检测道路区域表1拟议系统的决策过程。被检样品测量的距离分类器输出基于硬投票的输出信心分数（道路，非道路）总体信心评分（道路，非道路）基于软投票的输出1.100路路（0.902，0.098）（2.7236，3.72）非道路200（0.196，0.803）50路（0.950，0.049）70（0.0686，0.931）500非道路（0.509，0.490）100（0.098，0.901）2.50路路（0.9219，0.0781）（2.9064，3.0938）非道路150（0.2344，0.7656）100路（0.8438，0.1563）120（0.1875，0.8125）200非道路（0.6875，0.3125）20（0.0313，0.9688）3.200非道路非路（0.7849，0.2151）（2.9246，3.0754）非道路100（0.1075，0.8925）100非道路（0.8925，0.1075）80（0.0860，0.9140）200路（0.7849，0.2151）250（0.2688，0.7312）3.2. 仿真结果在表2中给出了关于精确度和召回率性能指标的分类结果。表2中给出的数值结果表明，所提出的系统在召回率为0.9692的情况下获得了0.9679的平均精度分数，这对于非结构化道路检测任务似乎是相当令人满意的。表2基于软投票和硬投票的神经网络分类器在精确率和召回率方面的性能比较。如前所述，为了评估系统的性能，我们应用了两种投票方法（即软投票和硬投票），最终目的是聚合所有分类器的输出响应。然而，与基于硬投票方法的分类器相比，基于软投票方法的分类器产生了更好的视觉结果，如图5所示。图6呈现了软投票方法和硬投票方法的精确度与召回率（P-R）曲线。P-R曲线显示了不同阈值下精确度和召回率之间的权衡。曲线下方覆盖的大面积表示两个度量（即，精确度和召回率）的值都很高，其中高精确度与低假阳性率相关，而高召回率与低假阴性率相关。准确率也被称为阳性预测值（PPV），召回率也被称为真阳性率（TPR）。因此，我们认为，业绩计量基于硬投票的神经网络分类器基于软投票的神经网络分类器A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8736高的查准率和查全率保证了分类器的良好性能。精密度0.6040 0.9679召回从P-R曲线图可以看出，软投票和硬投票在召回率分别为0.9692和0.933时，投票方法的平均准确率分别为0.9679和0.604。的A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8737对于不同数量的图像，也分别绘制了精确度和召回率曲线，如图7（a）和7（b）所示，这也证明了软投票方法优于硬投票方法的有效性。3.3. 绩效评价3.3.1. 个体分类器和所提出的方法之间的比较将所提出的方法的结果与各个分类器的输出进行比较，所述各个分类器在TPR、FPR、IOU和检测精度方面用单独的色彩特征信息（例如*a、*b和色调）进行训练，如表3所示。各个分类器（即，CNN1、CNN2、CNN3）的检测准确率分别为60.83、61.09和63.79，而所提出的方法的检测准确率为97.89%，这远远优于使用单独的颜色特征信息和基于硬投票聚合的方法训练的分类器所实现的检测精度。呈现的结果见图6。基于软投票系统和硬投票系统的建议系统的精确率和召回率图。在表3中，还证明了与其他分类器相比，TPR、FPR和IOU方面的优越结果。3.3.2. 与现有技术方法相比目前，基于CNN和深度学习的方法被认为是开发基于视觉的检测系统的最流行的方法之一。因此，在这项工作中，我们还将所提出的系统的性能与CNN和其他基于深度学习的方法进行了比较，并在预测时间，TPR，FPR，IOU和检测精度方面进行了比较研究，以评估所提出的方法相对于其他当前最先进方法的有效性。表4给出了所提 出 的检 测 方 法 与 其 他 方 法 如 KNN &SVM （ Shang et al. ，2013）、CNN（Pan等人， 2017）、消失点（Li等人， 2018）和Deep Lab V3+（Baheti等人， 2020）在最突出的性能矩阵方面，预测时间、TPR、FPR、IOU和检测精度。为了公平的比较结果，我们测试了不同的分类器，包括使用相同的数据集和硬件的方法。从表4中所示的结果可以清楚地看出，与文献中报道的其他现有技术方法相比，所提出的系统实现了高准确度、TPR、IOU，并且在低FPR的情况下需要更少的处理时间所提出的道路检测方法获得了97.89%的检测准确度、96.08%的IOU和96%的TPR，这些检测准确度、IOU和TPR相比于其他常见的基于人工智能的道路检测方法（诸如基于消失点的道路检测（Li等人，2018）、KNN（Shang等人， 2013）、SVM（Shang等人， 2013）、CNN（Pan等人， 2017）和语义分割（Baheti等人，2020年）。除了上述优点之外，所提出的系统与表4中所示的其他现有技术方法相比花费了更少的平均处理时间。我们还比较了所提出的系统的性能与其他基于深度学习的算法在精确度和召回率方面相比，如表5所示。表5中描述的结果表明，所提出的方法实现了最高的准确度见图7。使用基于软投票和硬投票方法的方法对不同数量的图像进行精确度和召回图的个体表示;（a）精确度图，（b）召回图。表3各个分类器和所提出的方法之间的性能比较。S. 没有机器学习模型TPR（%）FPR（%）借条（%）准确度（%）1分类器-1（CNN 1）用色度特征 *a训练61.0330.0261.4360.832分类器-2（CNN 2）用色度特征训练 *b60.9830.2362.0961.093分类器-3（CNN 3）使用色度特征Hue进行62.6729.5662.7863.797基于组合特征的硬投票分类器89.008.6591.2390.438该方法96.902.2396.0897.89A. 阿拉姆湖Singh，Zainul Abdin Jaffery等.沙特国王大学学报8738表4不同道路与非道路区域分类方法的性能比较。S. 号道路检测算法TPR（%）FPR（%）借条（%）精度平均测试时间（秒）1KNN（Shang等人， 2013年度）89.7613.0889.0290.431.002SVM（Shang等人， 2013年度）90.8010.6591.0693.461.503CNN（Pan等人，（ 2017年）95.079.7294.2696.121.784消失点（Li等人， 2018年）93.0011.4093.3294.211.35DeepLabV3 +（Baheti等人，