道路边界车道检测和跟踪的机器学习方法

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 7（2021）99www.elsevier.com/locate/icte一种用于道路边界车道检测与跟踪的机器学习方法Satish Kumar Sattia，K.Suganya Devia，Prasenjit Dhara，P.斯里尼瓦桑湾a印度锡尔查尔国立技术学院计算机科学与工程b印度锡尔查尔国家理工学院物理学接收日期：2020年5月26日;接收日期：2020年6月28日;接受日期：2020年7月29日在线预订2020年摘要道路边界车道是道路交通事故的重要原因之一，它影响着驾驶员和人身安全。道路边界车道检测对于计算机视觉和机器学习方法都是一项具有挑战性的任务。近年来许多机器学习算法但它们未能产生高效率和准确性。本文提出了一种新的方法来提醒司机时，汽车通过采用机器学习技术跨越道路边界车道，以避免道路事故并确保驾驶安全。通过在数据集上生成实验结果来评估性能。与现有的车道线检测方法相比，该方法具有精度高、效率高等优点c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：实时交通;道路边界车道检测;卷积神经网络;机器学习1. 介绍利用图像处理和机器学习技术进行道路车道线检测的研究是发达国家和发展中国家的重要研究领域[1]。随着汽车数量的增长，许多智能系统被建立起来，以帮助驾驶员安全驾驶。车道检测是任何驾驶员辅助程序的一个重要方面。目前，车道检测研究人员面临着几个主要挑战，例如获得照明和背景杂波变化的可靠性。图1显示了一些有挑战性的道路车道样本。近年来，图像处理技术的进步和低成本视觉传感设备的可用性为各种道路车道自动检测方法铺平了道路[2]。自动道路车道检测方法的可行性源于车道的纹理可识别地不同于路面的背景的事实[3]。近年来，应用图像处理技术和人工智能（AI）方法来提高感兴趣的任务的准确性和生产率。此外，不规则的背景照明和复杂的路面纹理/颜色∗ 通讯作者。电子邮件地址：suganya@cse.nits.ac.in（K. Suganya Devi）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.07.007仍然是基于计算机视觉的方法必须克服的主要挑战。因此，需要研究其他先进的图像处理和人工智能方法来构建道路边界车道自动检测模型。本研究致力于建立一个新的基于人工智能的模型，自动识别边界车道的沥青路面图像。论文的其余部分结构如下：第2节介绍了相关的工作。第3节载有关于数据集和建议的方法的信息。第4节从结果和讨论开始，并在第5节中继续结论和未来的工作。2. 文献调查本节对现有文献进行了综述。对于道路边界车道检测的分析，参考了来自多个来源的重要文献。作者采用了最常 用 的 道路 车 道 检 测 方 法， 包 括 Hough 变 换 ， HoughCanny边缘检测，HSV-ROI和CNN。本节介绍这些战略。Dubey等人[4]提出了一种新的车道检测模型在不同的环境条件下，使用高斯滤波器和霍夫变换。Mammeri等人[5]提出了一种新的方法，通过合并MSER和Hough来检测道路车道，并取得了良好的性能。明发等[6]发达国家2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。100S.K. Satti，K.Suganya Devi，P.Dhar等人/ICT Express 7（2021）99++++表1图1.一、 具有挑战性的道路车道图像的示例。图二. 拟议编审中的方法。现有车道线检测方法的性能分析方法准确度高斯滤波器 霍夫变换[4] 89%[5]第五届全国人大代表HSV-ROI Hough [6] 95%美国有线电视新闻网[7] 96%提高LD Hough [10] 96%香港[11] 97%表2数据收集摘要。图像类型总图像培训（80%）测试（20%）白天图像14001120280低光图像1200960240夜间图像14001120280提出了一种基于图像白色特征的快速、准确的车道线检测方法。Kim等人[7]提出了一种基于卷积神经网络和随机样本共识的车道检测模型。Zou等人[8]提出了一种基于CNN和RNN的方法来检测道路边界车道。Peretal. [9]提出了一种通过采用LIDAR环境检测的车辆自动变道方法Zhang等人[10]介绍了一种基于改进的车道线检测算法的车道检测新方法。Wang等人[11]提出了一种称为LaneNet的两阶段策略，用于提出边缘，线条和本地化道路车道。2.1. 现有办法现有的方法无法检测出因沙藏、树影和高光照条件而退化的车道（图1）。①的人。所提出的方法被实现以解决现有方法中遇到的上述缺点。3. 方法表1中列出的当前技术在道路车道检测中显示出较低的准确性和效率。为此，提出了一种结合卷积神经网络和直线检测的车道线检测方法（CNN-LD）。作者提出了一种新的算法或伪代码以及数学方程来测试其有效性和准确性。所提出的方法的流水线如图所示。 2图3.第三章。 图表显示了用于训练和测试的样本数量。3.1. 数据集一个注释良好的道路车道数据集是产生准确结果的基本前提。因此，新的道路车道数据集是在各种照明条件下积累的，例如白天、夜间以及低光环境，由于缺乏一个公开的数据集。图像序列通常是通过使用三星C7 Pro手机固定在安得拉邦Rajahmundry的骑自行车。该数据集由4000个图像样本的道路边界车道不同的环境因素。表2提供了数据收集的摘要图中所示的图表。3表示被考虑用于训练和评估每个类别（白天，夜晚，低光）的拟议模型的图像总数。提出的CNN-LD模型的首要目标是提高车道检测的准确性和效率。采用的CNN-LD方法分为四个部分。输入图像在第一段中被馈送到两个CONV2D层，然后Sobel滤波器被保留以辨别边缘特征。在第二段中获得感兴趣区域。然后，在第三阶段中使用增强的线检测算法（Hough）在第一步骤输出的图像上绘制清晰的线。在第四段中考虑Kanade-Lucas-Tomasi（KLT）跟踪器特征。这是一种更快的跟踪方法来定位线，它使用有关空间强度的信息来指导搜索给出最佳匹配的位置3.2. 边缘检测采用基于卷积神经网络的方法结合Sobel滤波器检测地面图像的边缘S.K. Satti，K.Suganya Devi，P.Dhar等人/ICT Express 7（2021）99101×⎦⎣⎦∑∑X∑∑[客户端]Ax20−2I（1）Ay=0−1⎦∗12 1IXy通常在Eq.（7）用于表示所有直线L都呈现在所获得的ROI图像上。Lall = − cos β。x+q（七）sinβsinβ见图4。 感兴趣的区域。真实样本图像。Sobel算子使用两个3 3核来检测输入图像上的水平线和垂直线。设I是图像，Ax和Ay是垂直和水平线检测掩码。现在在图像I上应用掩码以执行卷积运算。输入图像I与垂直掩模Ax卷积，如等式（1）所示。（一）.⎡⎣1 0 −1⎤这里β是线角，q是到线的距离， 回到原点3.5. 线跟踪作者在3.3节中已经说明了线条在图像上的表现方式。现在，本节描述了使用Kanade-Lucas- Tomasi特征跟踪方法[ 13 ]识别线特征并对其进行跟踪的设主要动机是找到qy在图像In对应于Im上的px。应用等式（8）检测px在Im上。然后在输入图像I上应用水平掩模Ay，卷积，如Eq. （二）、⎡1 2 1⎤Vopt=G−1b（8）这里，G和b′作为等式给出。（9）和（10）Ay=0 0 0I（2）−1−2 −1Mx+NxG=My+Ny [第一章Ix Iy2（九）其中 * 表示2维卷积运算。进一步扩展Ax和Ay以计算梯度平滑，如等式2所示（3）和（4）。x=Mx−Nx y=My−Ny和我x我y我y11Mx+NxB=My+NyδI IxδI Iy（十）Ax=10210−1I（三）x=Mx−Nx y=My−Ny建议的CNN-LD伪码：1从Eqs。（3）和（4）中，梯度幅度Am被计算为如等式（1）中所示。（五）、Am=ΔA2+A2（五）使用等式（5），如等式（5）中所示计算梯度方向（6）. 对于垂直边，则x为零。=atan（Ay）（6）3.3. 感兴趣区域（ROI）而不是代表完整的图像上的线的非道路功能是从所获得的图像裁剪出采用ROI如图所示。4，然后在提取的区域上应用线检测算法。3.4. 线检测霍夫变换[12]应用于从边缘检测模块获得的输出。利用Hough变换在Hough空间中对图像中出现的直线]Ax=（四）102S.K. Satti，K.Suganya Devi，P.Dhar等人/ICT Express 7（2021）99表3有和没有数据增强的建议进近精度CNN-LD没有数据扩充数据增强白天图像97.5298.68低光图像95.8196.93夜间图像95.4396.27表4CNN-LD方法与现有方法的比较分析。方法准确性精确回忆F1分数高斯滤波器+霍夫变换[4] 89.79 91.6588.32 89.96MSER+ Hough [5] 92.09 93.3591.75 92.54HSV-ROI+ Hough [6] 95.72 97.9394.89 96.41美国有线电视新闻网（CNN）基于[7] 96.59 98.0995.73 96.91改良LD+ Hough [10] 96.62 97.2196.17 96.69[11] 2016年10月31日97.06 97.62建议CNN-LD98.68 98.9298.87 98.89图五. 试验结果4. 结果和讨论提出的CNN-LD方法已使用MATLAB实现。在本节中探讨了所提出的CNN-LD方法的科学价值，以及道路边界车道检测与已建立方法的比较[4所提出的CNN-LD方法在对数据集执行数据扩充操作和不执行数据扩充操作的情况下执行。它显示了出色的结果与执行数据扩充操作。具有改进的准确度的相同结果示于表3中。实验结果如图所示。 五、图5（a）示出了被考虑用于边界车道检测的样本地面实况图像。图图5（b）描绘了边缘检测图像。图5（c）描绘感兴趣的区域。图图5（d）示出了所提出的方法的检测到的边界车道图像，并且图6示出了样本实时道路边界车道检测输出。在道路边界车道线检测过程中计算了准确率、精确率、召回率和F-测度等评价指标，并与当前最先进的方法进行了比较。表4说明了所提出的方法与现有方法的比较分析。图六、 实时样品输出。5. 结论提出了一种新的道路边界车道线检测与跟踪方法CNN-LD。与其他方法不同，该方法是基于卷积神经网络提取边缘特征。 一个归一化过程已被采用，以达到最佳效果。研究结果表明，所提出的CNN-LD明显优于最先进的方法。所建议的解决方案保证在准确性和性能方面都是有益的。CRediT作者贡献声明Satish Kumar Satti：研究的概念和设计，数据采集，数据分析和/或解释，写作-原始草稿。K. Suganya Devi：研究的概念和设计，数据分析和/或解释，写作- 审查编辑。Prasenjit Dhar：数据采集，写作-原始草稿。Srinivasan：研究的概念和设计，写作-评论编辑。竞合利益作者声明，他们没有已知的可能影响本文所报告工作S.K. Satti，K.Suganya Devi，P.Dhar等人/ICT Express 7（2021）99103确认所有的作者都同意出版这个版本的手稿。引用[1] Jianwei Niu等人，鲁棒的车道线检测，使用两个阶段的特征提取与曲线拟合，模式识别。59（2016）225[2] Sandipann P. Narote等人，本文综述了近年来车道线检测和偏离预警系统的研究进展。73（2018）216-234。[3] Masahiro Hirano等人，用于规避机动辅助的联网高速视觉，ICTExpress 3（4）（2017）178-182。[4] Amartansh Dubey，K.M. Bhurchandi，稳健和实时检测具有驾驶辅助和自动驾驶车辆所需坡度的弯曲车道（曲线），2015年，arXiv预印本arXiv：1501。03124.[5] Abdelhamid Mammeri，Azzedine Boukerche，Guangqian Lu，基于MSER算法，Hough变换和卡尔曼滤波器的车道检测和跟踪系统，在：第17届ACM无线和移动系统建模，分析和仿真国际会议论文集，2014年。[6] Mingfa Li，Yuanyuan Li，Min Jiang，基于各种特征提取方法的车道检测，在：多媒体进展2018，2018。[7] Jihun Kim，Minho Lee，Robust lane detection based onconvolutionalneuralnetworkandrandomsampleconsensus，in：InternationalConferenceon Neural Information Processing，Springer，Cham，2014.[8] Qin Zou等人，使用深度神经网络从连续驾驶场景中进行鲁棒车道检测，IEEE Trans. Veh. Technol. （2019年）。[9] Gábor Péter，Bálint Kiss，Viktor Tihanyi，基于视觉和里程计的自动车辆变道，ICT Express 5（4）（2019）219-226。[10] 方正等人， 改进的基于Hough变换的车道线检测算法，模式识别。图像肛门。28（2）（2018）254-260。[11] Ze Wang ， Weiqiang Ren ， Qiang Qiu ， LaneNet ： Real-time lanedetection networks for automated driving ， 2018 ， arXiv preprintarXiv：1807. 01726.[12] 理查德·奥Duda，Peter E. Hart，使用Hough变换检测图像中的直线和曲线，Commun。ACM 15（1）（1972）11-15。[13] Barry Belmont等人，通过基于Kanade-Lucas-Tomasi迭代算法的连续下腔静脉直径跟踪，超声医学。Biol. 44（12）（2018）2793