退化路面条件下车道线检测的混合自适应方法

沙特国王大学学报退化路面条件下车道线检测的混合自适应方法哈立德·H 阿尔莫泰里沙特阿拉伯麦加乌姆库拉大学计算机工程系阿提奇莱因福奥文章历史记录：接收日期：2022年2022年5月17日修订2022年6月13日接受2022年6月16日在线提供保留字：高斯过程K近邻车道检测基于机器学习的车道检测基于视觉的车道线检测A B S T R A C T道路上的车道检测对于自动驾驶汽车至关重要。以前的大多数研究都检测了道路的面积和所有可能的车道，而只应该检测汽车当前行驶的特定车道此外，它们是复杂的，缓慢的，在退化的道路条件下失败，并且不能推广到不同的场景。此外，这些方法需要昂贵的硬件并且不充分考虑道路条件。在这项研究中，自我车道，这是一辆汽车目前正在行驶的车道，检测。本研究提出一种自适应混合车道线侦测方法，结合传统视觉与机器学习方法的优点。所提出的方法涉及一组预处理方法，用于从任何退化状态的图像中获得候选车道边界。随后，候选车道的边界的数值特征提取和使用的模型的k-最近邻算法和高斯过程的最终车道发现。使用KITTI数据集进行了一组实验以评估性能。结果表明，该方法克服了各种挑战。它相对简单和快速;它需要低成本的设备和工艺，并且可以在不进行重大修改的情况下推广©2022作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍智能交通技术已经成为一个有趣的话题。它将运输从现有的传统机器升级到智能自动驾驶汽车（Feniche和Mazri，2019年;Liang等人，2020年; Tang等人， 2021; Narote等人， 2018年; Huang等人，2019年）。标准的自动驾驶车辆具有一组传感器类型以收集环境信息。 这些包括摄像机，雷达，超声波传感器和激光雷达（Bejgam，2021;Gogineni，2020; Yadav等人，2020; Yaqoob等人，2019;Dewangan和Sahu，2021）。摄像机是一种基本的视觉传感器，它形成了捕捉车辆周围道路场景的眼睛。相机是一种等同于人类如何感知周围世界的技术（Muthalagu et al.，2020年）。视觉是自动驾驶汽车的主要因素;据统计，造成车祸的主要原因之一是车道漂移或车道变换（陈例如，2016年）。电子邮件地址：khmotairi@uqu.edu.sa，bmbataineh@uqu.edu.sa为此，道路车道中的本地化车辆是自主车辆中的基本功能。使用摄像机的基于视觉的方法对于车道检测是最常见的（Chen等人，2016;Du等人，2015; Feniche和Mazri，2019; Lee等人， 2021;Liu等人，2021; Narote等人，2018; Tang等人，2021; Yan和Li，2017; Zou等人，2020年）。车道检测是一种环境感知技术，其使用相机和计算机视觉技术来检测车辆前方的车道和状况（Du等人，2015; Liang等人，2020; Liu等人，2021; Yan和Li，2017;Dewangan和Sahu，2021）。其效率提高了许多智能和自动驾驶汽车应用的性能，例如如交通理解、车道偏离警告系统、车辆导航、自适应控制和前向碰撞避免（Du等人，2015; Hoang等人，2017年; Liu等人，2021; Yan和Li，2017）。然而，基于视觉的方法受到能见度条件的强烈影响，例如不良的道路和照明、阴影、天气和绘制不良的车道线标记。基于视觉的车道检测分为传统的和基于深度学习的方法（Feniche和Mazri， 2019;Liang等人， 2020; Narote等人， 2018; Tang等人，2021年）。传统的方法是非学习方法，利用图像处理，提取的特征，和识别的组合来区分车道。他们通常失败，因为退化的道路和车道线条件。机器学习技术，尤其是深度学习技术，https://doi.org/10.1016/j.jksuci.2022.06.0081319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comK.H. 阿尔莫泰里沙特国王大学学报5262神经网络由于其优良的性能而被采用。然而，一些基于机器学习的车道检测方法，特别是所采用的深度学习技术，是复杂的、处理缓慢的;它们需要昂贵的硬件和用于泛化的改进（Cao等人，2019;Neven等人，2018; Tang等人，2021; Wang等人， 2019年）。在这项研究中，提出了一种新的基于机器视觉的车道检测方法，只检测汽车当前行驶的车道，而不像以前的大多数研究那样检测道路上所有可能的车道它利用了传统的基于图像处理的方法和基于机器学习的方法的该方法根据道路的纹理特征，分几步提取候选车道的特征。随后，采用k-近邻算法（KNN）和高斯过程（GP）的快速和高性能的训练模型，以确定正确的车道。该方法与传统方法一样，具有简单、通用性强的特点此外，由于使用机器学习算法，它表现出色此外，它比基于深度学习的方法更便宜，处理时间更快本文的其余部分第2节介绍了最新技术水平，第3节详细介绍了所提出的方法，第4介绍了结果和讨论，最后，第5介绍了结论。2. 艺境之巅根据以往的研究，不同的方法和技术用于车道检测在智能交通技术。基于视觉的方法是最常用的方法（Feniche和Mazri，2019;Liang等人，2020; Narote等人，2018; Tang等人， 2021年）。Tang等人（2021）提出了一种基于视觉的车道检测，用于基于深度学习的方法。他们声称，这种方法的性能高于传统方法。然而，Tang et al. （2021）假设这种方法受到高度复杂的计算过程的限制。它需要很多参数。许多作品，如（Feniche和Mazri，2019;Liang等人，2020;唐例如，2021）声称，所提出的网络模型中的一些具有不同的特性，例如它们不够有效，它们具有复杂的数据收集，它们的预处理不能优化结果，它们的后处理高度复杂，它们给出有限的应用场景，并且它们需要高级硬件。Feniche和Mazri（2019）回顾了传统的基于视觉的车道检测方法。他们认为，尽管这些方法具有优势，但它们在不同场景和性能中的概括能力受到噪声、道路、照明和天气条件的影响。Narote等人（2018）回顾了一种用于车道偏离警告的基于视觉的车道检测方法。他们描述了预处理、车道模型、车道检测技术和偏离警告系统。对于车道线检测方法的最佳途径，以往的综述有不同的判断。然而，他们同意车道检测系统面临的挑战;它包括降级的视图，昂贵的计算和缺乏泛化。通过分析基于视觉的文献（Bottazzi等人，2014;Du，2021;El-feghi ， 2015; El Hajjouji 等 人 ， 2016; Feniche 和 Mazri ， 2019;Khan等人，2020; Liang等人，2020; Narote等人，2018; Tang等人，2021; Yan和Li，2017; Yeniaydin和Schmidt，2018），最先进的传统基于视觉的车道检测方法在流程图阶段显示出相似性。主要阶段包括预处理、特征提取、车道线检测和后处理。先前提出的方法有助于通过使用受影响的过程，以提高顺序阶段精确度（Cao等人， 2019; Neven等人， 2018; Wang等人， 2019年）。预处理阶段提高了下一阶段的图像质量。它去除了不需要的信息和噪声，增强了功能，并减少了不均匀的照明和阴影效果（Bataineh，2018; Bataineh等人，2017，2011 a; Feniche和Mazri，2019; Neven等人，2018年）。特征提取阶段是提取相关信息（诸如点、边缘或区域）的分割方法。此外，它是一种为检测阶段提取离散或数值特征的变换方 法（Bataineh例如 ，2012 ，2011 b; Kim 和Song，2017;Ozgunalp和Dahnoun，2014）。车道检测阶段采用机器学习算法或启发式过程来区分车道（Bataineh例如，2012; Kim和Song，2017;Muthalagu等人，2020;Ozgunalp和Dahnoun，2014; Tang等人，2021年）。后处理阶段确保图像与检测到的车道坐标之间的匹配（El-feghi，2015; Liang等人，2020;Neven等人，2018; Tang等人，2021年）。根据文献，许多传统的基于视觉的车道线检测方法已经被提出。Muthalagu等人（2020）提出了一种基于一组图像处理技术的车道检测方法。首先，利用颜色分割、Canny边缘检测、Hough变换和多项式回归等方法提取图像中的直线;随后，透视变换和直方图分析用于车道检测。该方法仅适用于细车道标线。ElHajjouji等人（2016）提出了一种车道检测方法，该方法对各种照明条件都有效。该方法基于自适应动态阈值、Sobel边缘和Hough变换.它表现出良好的性能与一些天气问题。然而，它的阶段肯定会失败与通常的挑战传统的车道检测方法。Chen et al.（2016）提出了一种夜间车道检测方法。该方法采用了传统的方法，通过一定的图像处理步骤来增强图像的光照，并对提取的直线进行Hough变换。它在夜间病例中重新应用了以前的贡献。此外，实验时间短，范围有限。Yoo等人（2013）提出了一种用于照明鲁棒车道检测的方法。该方法通过线性判别分析从原始RGB图像中提取灰度图像来处理随后，Hough变换用于车道检测。它产生了很高的准确率。然而，实验仅在仅具有阴影问题的精细车道图像上进行Küçükmanisa等人（2019）提出了一种新的通道检测方法，该方法首先准备颜色和阴影效果，然后根据特征检测候选车道区域。接下来，匹配所使用的模板以识别候选车道。最后，通过随机样本一致性方法检测泳道线。该方法速度快，并且在阴影和不均匀照明的情况下提供高性能然而，它失败了车道标记丢失或侮辱。Du等人（2015）提出了一种基于脊线检测器和阈值技术的车道检测方法。该方法适用于图像质量较好的车道线检测然而，它无法与退化的图像与阴影，退化的车道，或不均匀的照明chal，chaleses。Zhao等人。（2016）使用中值滤波作为预处理步骤来改进传统的车道检测。这种方法没有显示出显着的改善;它失败了退化的车道图像。Xiao等人（2016）通过使用梯度幅度和方向信息来提取车道边缘信息，从而改进了边缘检测。然后，将霍夫变换应用于感兴趣区域该方法在一组不同的道路条件下是有效的然而，它失败了道路，车道标记和照明挑战的退化条件K.H. 阿尔莫泰里沙特国王大学学报5263Ozgunalp和Dahnoun（2014）采用对称局部阈值法提取车道特征并获取方向信息。随后，使用Hough变换来获得左车道和右车道的方位信息。最后，地面实况车道标记用于量化结果的特征图。这种方法平均准确率很高。然而，它失败了，道路条件恶化，车道标记和照明的挑战。Tsai等人（2013）采用基于边界确定算法和Sobel边缘的方法来跟踪车道边界。实验结果表明，该算法具有良好的性能，图像质量好。然而，这些实验忽略了通常的挑战。所采用的原则未能解决这种方法的传统挑战。Yeniaydin和Schmidt（2018）采用了一种基于鸟瞰图变换的Sobel边缘二值化的方法随后，使用直方图来基于峰值选择候选左和右车道，其用于通过车道检测模型找到结果。实验结果表明，该算法在复杂环境下具有较高的检测性能。Kim等人（2016）提出了一种基于车道检测的前向碰撞警告系统通过在鸟瞰图上的逆透视映射，可以检测到感兴趣区域（ROI）它们在2D字段中重置，并且卡尔曼滤波器用于车道跟踪。 类似的方法，Duong et al. （2016）提出了一种车道检测方法，通过使用鸟瞰图映射来去除噪声和透视效应。提取图像边缘图，利用形态学开运算去除噪声。最后，Hough变换应用于最终车道线检测。前三种方法使用鸟瞰图来减少不必要的然而，他们失败了退化的照明和阴影和退化的车道标记。在前人研究的基础上，提出了几种传统的基于视觉的这些方法采用了图像处理技术，有助于车道线检测的应用这是为了克服视觉挑战，提高图像质量，并减少照明的挑战，通过采用有限元分析，真实提取方法，以改善提取的车道信息，这些车道信息在搜索过程中用于找到实际车道（表1）。以前的研究中提出的方法有局限性。以前的研究中提出的方法有局限性。它们主要检测道路的面积和所有可能的车道。它们基于基于颜色或基于边缘的车道线检测原理，其对噪声敏感，因为其主要通过阈值梯度的量来完成缺失的车道标记、低质量的道路、天气和不均匀的照明条件严重影响了它们的性能。此外，他们忽视了识别阶段的机器学习方法。机器学习算法可以实现更好的性能，而不是建议人类提出的人工智能过程。为了克服这些挑战，这项工作提出了一种基于机器视觉，自我车道检测方法的基础上图像处理和简单的机器学习为基础的技术。首先，几个图像处理步骤被应用于提取所有候选车道的特征，无论道路退化条件。其次，基于KNN和高斯过程（GP）算法的训练模型用于快速，高性能的正确车道识别该方法简单，处理时间短，硬件成本低，在良好和劣化的道路条件下都具有很高的性能，并且可以像传统方法一样推广。3. 提出方法所提出的方法的原理是基于提取所有的边缘特征，可以表示车道线标记，道路的边界，和边缘的人行道或街道的岛屿。随后，它使用机器学习模型从所有候选线路预测正确的自我车道所提出的车道检测的框架包括四个主要阶段，包括预处理，特征提取，表1总结了现有技术的优缺点作者方法优点缺点Muthalagu等人， 2020Canny边缘、Hough变换和多项式回归方法简单有效，只有精细的车道线标记El Hajjouji等人， 2016自适应阈值、Sobel边缘和Hough变换挑战车道线标记退化时失效Chen等人， 2016图像处理到照明增强和Hough变换夜间有效性能有限，挑战Xiao等人， 2016梯度幅值和方向信息提取车道边缘信息，以及Hough变换在一系列不同的挑战车道标记和照明退化导致故障Du等人， 2015脊检测器和阈值技术适合精细的车道检测图像阴影和不均匀照明挑战Duong等人， 2016鸟瞰图映射，边缘提取，去噪，和霍夫变换通过减少不必要的影响获得车道标记退化和照明不均匀导致故障Kim等人， 2016候选车道检测和卡尔曼滤波器用于车道跟踪减少不必要的影响照明退化导致失败以及不良的车道标线Ozgunalp和Dahnoun，2014局部阈值，Hough变换和地面实况车道标记Yoo等人， 2013线性判别分析提取灰度图像和Hough变换平均准确率很高。具有高准确率的带阴影因车道标记和照明挑战退化而失败照明和车道检测挑战的许多情况下都很差Tsai等人， 2013边界确定算法和Sobel边缘良好的性能与精细图像这种方法的传统挑战失败了Yeniaydin和Schmidt，2018Sobel边缘鸟瞰左右车道选择和车道检测模型显示出在复杂情况下检测车道的高性能车道标记K.H. 阿尔莫泰里沙特国王大学学报526422DR2R2识别和后处理，如图1所示。预处理阶段包含了一系列的方法，以改善视觉所需的特征，为特征提取阶段。特征提取阶段提取关于候选车道的位置和角度的数字特征。该特征用于K-最近邻（KNN）和GP的预训练机器学习模型中，以识别相关联车道的正确线路。最后，后处理阶段检测最终的自我车道区域并进行匹配它与输入帧图像。图1给出了前几个阶段的详细说明。3.1. 预处理阶段输入图像帧通常具有各种特性在确定ROI之后，所需的增强过程仅应用于其区域平滑路面和降低噪音对于减少副作用和不均匀照明挑战非常重要然而，常用的平滑和去噪滤波器，如中位数，负面影响重要的视觉结构，如边缘。因此，采用双边滤波和高斯模糊来平滑图像，去除噪声，并保持图像的边缘结构。双边滤波是一种重要的去噪和边缘保持方法。它将每个像素值替换为基于高斯分布的连接像素的权重该滤波器被应用于细节增强彩色图像（IDE）的细节增强灰度（IGD），如在以下等式中所表达的：Pm;nIGEm;nWx;y;m;n由于白天的照明条件和阴影，天气条件，路段、道路质量或车道类型。在许多情况下，这些特征会混淆并降低下一个特征提取阶段中提取特征的质量因此，预处理阶段具有IB¼Pm;nW=x;y;m;n=1.x-mDR三个目标。首先，它提高了图像的质量二是提取候选人以及可能影响特征提取阶段的噪声。最后，提取代表候选车道边界的直线。Wx;y;m;nexp-2r2-2R2;ð2Þ这些过程将在随后的段落中详细解释。3.1.1. 感兴趣区域（ROI）增强由摄像机捕获的车道图像通常包含不需要的D=x;y;m;n=1/2exp.-x-m2R2ð3Þ信息，例如无用的背景和噪声，这对检测率有负面影响。因此，需要进行预处理以提高图像质量并去除混淆信息。在这项工作中，预处理步骤包括降噪，垂直边缘细节增强，和感兴趣区域裁剪。采用多种方法增强边缘细节和去除噪声。边缘过滤器增强了边缘，但增加了一些不必要的效果，如纹理粗糙度和不均匀的照明水平。同时，大多数可用于降噪的滤波器，如高斯和平均滤波器，都会对边缘质量产生负面影响（Bataineh和Almotairi，2021）。为了克服图像处理中的这些问题，使用双边滤波器来平滑图像，降低噪声，并保持边缘。它用基于高斯分布的关联像素的权重替换每个像素值（Bataineh和Almotairi，2021;Huang等人，2018年）。在这项工作中，双边滤波器的15×R=x;y;m;n= x; y; m。-kfx-yf m-nk！ð4Þ其中IB是输出双边图像，m和n是核大小，x和y是像素位置的坐标，W是域核（D）乘以范围核（R）的权重，并且rd和rr是基于若干实验假设rd=10和rr在本研究中，选择的内核大小= 40。除了先前的双边滤波器之外，还使用小的高斯模糊核来去除先前滤波器保留的不重要的噪声。高斯模糊是一种平滑滤波器，它使用高斯降噪函数来减少图像噪声、小细节，并保持图像中的低空间频率。它以2D格式包装具有高斯内核的图像，呈现为：x2x 2去除噪声和背景粗糙度，1-2r2在车道图像结构中提供所需的垂直边缘细节ROI考虑图像中车道的视觉兴趣区域在所有2Dx;y;r=2pr2eð5Þ在以前的研究中，公共区域是图像的下半部分。为了提高检测率和减少处理时间，本工作首先确定感兴趣区域。考虑了四个假设点[P1 =（0，H），P2 =（W，H），P3 =（W * 0.55，H * 0.5），P4 =（W，H）]。=（W * 0.45，H * 0.5）]以在所选帧上生成四边形ROIH和W是图像的高度和宽度，如图2所示。这些点以这样的方式相关，即它们形成包含帧中的车道的象限区域。图3（b）显示了本研究中采用的拟议ROI其中rcontrol表示高斯分布平均值周围的方差（标准差）。在这项研究中，从RGB图像中删除红色通道，以减少处理时间，提高后续步骤的性能。绿色和蓝色通道中的每一个被选择为两个灰度图像，因为它们在路面灰度密度和其他纹理密度之间的高方差。因此，所使用的尺寸= 3的高斯更蓝内核被应用于图像绿色和图像蓝色（图3（c，d））。Fig. 1. 提出的方法框架。！K.H. 阿尔莫泰里沙特国王大学学报52656475图二. 感兴趣区域（ROI）结构。3.1.2. 边缘提取根据现有技术，几种先前的车道检测方法已经采用了Canny边缘检测方法来提取用于车道检测的边缘并去除任何其他形式的信息。然而，Canny方法提取阴影的边缘，并且受不均匀光照的影响这给后续阶段造成了困难;这是耗时的。为了克服这些问题，在该步骤中采用具有局部阈值的X方向的幅度Sobel边缘检测，以去除可能影响特征提取阶段的所有不需要的信息。剩余的信息是候选车道边界的精确边缘。在本研究中，采用X方向的Sobel，并忽略Y方向的Sobel，以减少水平边缘的出现，被认为是噪声，混淆车道检测过程，它也减少了处理时间。X方向强有力地提取代表候选车道的垂直边缘。此外，X方向Sobel边缘检测是Canny边缘检测方法的一个步骤，这意味着它减少了提取边缘的执行时间。在这项研究中，使用了（3× 3）X方向核;它由为了增加处理时间，提出了修正的梯度幅度，并表示如下。G<$qXdirection2jXdirectionj8该等式适用于图像绿色和图像蓝色。为了提取次相等阶段的最终边缘图像，将两个图像组合在一个图像中，该图像取两个图像的每个测量像素的最大值（图3（e））。梯度幅度表示如下。幅值GBx;y¼MAXG图像绿色x;y;G图像蓝色x;yð9Þ最后，一个建议的阈值方法适用于本地的幅度GB图像提取最终的二值边 缘 图 像 。 受 用 于 文 档 图 像 二 值 化 的 Niblack 阈 值 方 法 的 启 发（Bataineh等人，2011 a），我们建议以下等式以适合梯度幅度图像，因为文档图像二值化和梯度幅度边缘二值化之间的性质、值和目标的差异。T平均星等0 9以下.100万美元：二-1013×标准差震级GB/T10110索贝尔X¼-2 0 2 22 23 4-10 1二进制边缘GB255;震级X;Y

下载后可阅读完整内容，剩余1页未读，立即下载