基于深度学习的分心驾驶员检测及迁移学习模型性能分析

智能系统与应用14（2022）200075使用深度卷积神经网络的马里兰州Uzzol Hossaina， Md.Ataur Rahmana， Md.Manowarul Islama， Arnisha Akhtera，马里兰州Ashraf Uddinb， Bikash Kumar Paulca孟加拉国达卡贾格纳特大学计算机科学与工程系b澳大利亚联邦大学互联网商务安全实验室c孟加拉国Mawlana Bhashani科技大学信息和通信技术系Ar ticlei n f o ab st ract文章历史：收到2021年2022年1月29日修订2022年4月2日接受2022年4月4日在线发布保留字：驾驶员分心深度学习卷积神经网络迁移学习Resnet50MobileNetV2精度近年来，由于驾驶员的分心，世界范围内的道路交通事故数量有所增加。这种快速的道路挤压往往导致受伤，财产损失，甚至死亡的人。因此，有必要对驾驶员在驾驶过程中的行为进行监测和分析，以发现驾驶员的注意力分散，减少道路交通事故的发生。为了检测各种行为，如使用手机，与他人交谈，吃饭，睡觉或在驾驶过程中注意力不集中;机器学习/深度学习可以发挥重要作用。然而，这个过程可能需要高计算能力来通过大量的训练数据集来训练模型。在本文中，我们努力开发基于CNN的方法来检测分心的驾驶员，并通过面部和手部定位来识别分心的原因，如说话，睡觉或吃饭。迁移学习采用了CNN、VGG-16、ResNet 50和MobileNetV 2四种架构为了验证有效性，该模型使用来自公开数据集的数千张图像进行训练，该数据集包含十种不同的姿势或条件 ，一 个 分 心 的 司 机 ， 并 分 析 了 结 果 使 用 各 种 性 能 指 标 。 性 能 结 果 表 明 ， 预 先 训 练 的MobileNetV2模型具有最好的分类效率。© 2022作者（S）。由Elsevier Ltd.发布。这是一个CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）1. 介绍每天都有成千上万的人死于交通事故，死亡率最高的中产阶级和中低阶层国家（Agrawal等人，2019;Eraqi，Abouelnaga ，Saad& Moustafa，2019;Yan，Coenen& Zhang，2016）。世界各地都有许多车祸发生，其中90%是由人为或驾驶员失误造成的。根据WHO（世界卫生组织，2020年），道路交通事故造成的死亡人数约为1.35每年有100万人死亡，平均每天有64人死亡。道路交通事故是包括孟加拉国在内的许多发展中国家的一个主要问题。2019年，孟加拉国全国有5000多人死于道路交通事故，比前一年的预测有前所未有的增长。道路交通事故死亡人数增至5227人，比2018年增加788人。Nirapad Sarak Chai（我们想要安全的道路）的年度报告（Kamruzzaman，2020年），这是一个致力于∗通讯作者。电子邮件地址：manowar@cse.jnu.ac.bd（医学博士）伊斯兰教）。道路安全组织指出，道路事故的主要原因是驾驶员不合格和技术不熟练、车辆存在技术故障、交通控制不力、缺乏公众意识、高速公路上车辆超速、道路建设存在缺陷以及交通法执行不力。根据孟加拉国Jatri Kalyan Samiti（《每日星报》，2020年）的统计，2016年-道路事故数量为4312起，死亡人数为6055人，2017年-道路事故数量为4979起，死亡人数为7397人，2018年-道路事故数量为5514起，死亡人数为7221人，2019年，道路交通事故数量为5516起，道路死亡人数为7855人，如图1所示。其中，公共汽车占18.99%，货车占29.81%，摩托车占21.4%，机动三轮车占9.35%，其他车辆占2.35%。因此，图表显示，90%的道路交通事故是由于驾驶员的异常行为而发生的，例如驾驶员https://doi.org/10.1016/j.iswa.2022.2000752667-3053/© 2022作者。由Elsevier Ltd.发布。这是一个CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表智能系统及其应用期刊主页：www.elsevier.com/locate/iswa马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）2000752Fig. 1. 孟加拉国交通事故统计图2. 拟定示意图。并通知驾驶员在这些活动发生时停车，以防止发生事故。机器学习，特别是深度学习，涉及模型或算法的开发和实现，使系统能够基于先前的经验或数据集获得必要的知识。监控和分析驾驶员的驾驶行为，从而使用机器学习来解决这个问题已经很流行，并作为一种新兴的解决方案吸引了研究人员。使用智能系统，如车载摄像头或电脑，可以用来收集驾驶数据和司机 这些信息可用于训练各种机器学习模型，如支持向量机，神经网络和深度神经网络，以学习驾驶行为并识别异常活动，如在驾驶过程中睡觉，与他人交谈或进食（ Alvarez ， Garcia ， Naranjo ， Anaya&Jimenez ，2014;Kouchak&Gaffar，2019;Morton，Wheeler&Kochenderfer，2016）。在这个问题上，我们的主要目标是设计一个基于卷积神经网络的架构，可以很容易地检测和识别分心的司机。近年来，研究人员正在探索机器学习方法来实现驾驶行为，建立自动驾驶辅助设施来减轻道路交通事故。由于巨大的计算能力，深度学习算法通过从实时图像处理和计算机视觉中提取各种有用的信息，表现出令人印象深刻的性能。为了检测驾驶员的各种分心行为，使用手机、与他人交谈、吃饭、睡觉或在驾驶过程中注意力不集中，深度学习模型可以定期为分心的驾驶员生成警告。图2描绘了当前研究的示意图。我们利用各种卷积神经网络（CNN）架构，如VGG-16、ResNet 50和MobleNetV 2，并分析结果使用适当的分类评估指标，如平均训练损失，验证准确性，各种测试实验的训练准确性。我们已经发现，该方案可以有效地检测各种异常和分心的行为，如饮酒，说话和发短信等分心的司机。在这项研究中，我们专注于开发一种基于CNN的方法来检测分心的司机，并确定分心的来源。因此，这项工作的结果可能会减少事故的数量相应地，如果我们可以建立一个自动化的系统在实时。本文的贡献如下：• 提出一种基于卷积神经网络（CNN）的驾驶员分心检测模型，该模型使用Resnet50、MobileNetV2等各种架构以及迁移学习。• 为了进行性能比较，使用从公开可用的数据集收集的不同数量的图像进行了几个实验。该数据集包括具有分心驾驶员的十种不同姿势的数千个图像，包括睡觉、与他人交谈、使用手机等。• 最后，为了验证该模型的有效性，从平均训练时间、准确率、有效性和训练准确率等方面对模型进行了验证，结果表明ResNet50和MobileNetV2模型的性能优于其他模型。论文的其余部分安排如下。第2节简要回顾了先前关于使用机器学习算法识别分心驾驶员行为的研究。在第3节和第4节中，我们描述了提议的方法以及提议中采用的CNN架构第5节介绍了实验的结果以及讨论。最后，第六部分总结了本研究的未来工作。马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）20007532. 文献调查机器学习技术现在被用于若干应用中。例如，网络欺凌检测（ Islam et al. ， 2020 ） ， 人 类 生 物 识 别 ， 医 疗 记 录 诊 断（Ahamed等人，2021;Ahmed等人，2021年），人类活动是一些这里提到的应用程序。本节描述了与我们的工作相关的一些与机器学习和深度学习方法相关的文献。2.1. 机器学习方法如今，使用实时图像来训练机器学习算法以检测分心的驾驶员变得越来越流行。例如，Feng和Yue（2019）使用十个分类图像构建了一个更具包容性的数据驱动数据集。他们使用了各种机器学习方法，包括线性SVM、soft-max、naive bayes、决策树和神经网络，其中SVM分类器的分类准确率最高，为72.80%。Fernandez、Usamentiaga、Caru's和Casado（2016）研究了基于SVM的检测器的使用司机的面部图像被用来进行调查。隐马尔可夫模型（HMM）旨在检测驾驶员行为（Iversen，Møller，Morales Madsen，2016）。Craye和Karray（2015）探索了AdaBoost和隐马尔可夫模型来检测驾驶员的分心行为，但这种方法是基于室内环境中生成的数据使用机器学习和模糊集理论，作者提出了 一种新的方法来测试驾驶员分心，同时执行次要任务，如在手机上聊天，这被视为次要活动（Aksjonov，Nedoma，Vodovozov，Petlenkov&Herrmann，2017，2018a）。有几种不同的方法，如人工神经网络或多层神经网络分类器，已被研究用于模拟任何分心驾驶员的行为（Bejani& Ghatee，2018; Jabbar等人，2018年）。例如，提出了使用机器学习算法（如ANN和ANFIS）的驾驶员模型 （ Aksjonov ， Nedoma ， Vodovo-zov ， Petlenkov&Herrmann，2018 b）。如今，研究人员可以容易地获取眼睛和车辆动力学数据，使他们能够调查这些数据与驾驶员&压力之间的关系（Boril，Omid Sadjadi ，Kleinschloven Hansen ， 2010 ; Lanat 'a 等人，2014年）。文献中主要使用传统的机器学习方法从数据中手动提取特征，然后整合这些特征以构建应力检测模型（Nakisa，Rastgoo，Tjondronegoro& Rumran，2018）。即使手工特征技术产生了出色的结果，适当地提取有意义的和代表性的质量始终是一个挑战。 此外，手工特征的方法需要专业知识，并且更容易受到噪声和数据波动的影响。因此，一些学者已经开发了基于多模态数据的压力水平检测算法。作者开发了一种驾驶模拟器，该模拟器结合了多模态数据，例如视频数据（面部活动）和生理数据，以评估压力水平（Benoit等人，2009年）。为了测量驾驶员的压力水平，该模型使用了面部运动，如眨眼，打哈欠和头部倾斜，以及心电图和皮肤电反应。作者提出了一种方法来识别和预测驾驶员的压力水平和驾驶性能。生理信号、视频记录（眼睛数据、头部运动）和环境数据是多模态数据。该模型采用支持向量机（SVM）分类器区分两种压力水平 （ 无 压 力 和 压 力 ） ， 准 确 率 为 86% （ Rigas ， GoletsisFotiadis，2011）。阿克舍诺夫，内多马，沃多沃佐夫，佩特连科夫和赫尔曼（2018a）提出了一种混合技术，将改进的机器学习算法和模糊逻辑相结合，以检测和评估驾驶员在执行次要任务时分心。他们的模型包括一个子系统，用于测量驾驶员与正常活动的偏差使用模糊逻辑计算驾驶员分心。Torres，Ohashi和Pessin（2019）提供了一种非侵入式方法，用于在阅读车辆中的消息时自动区分驾驶员和乘客。他们从智能手机传感器收集数据，并将数据输入机器学习模型。在不同的环境中，他们模拟和评估了七种尖端的机器学习技术。作者2.2.深度学习方法研究人员最近表明，深度学习方法在自动检测分心姿势方面优于传统的机器学习策略。 例如，深度学习用于对驾驶员压力 水 平 进 行 分 类 （ Rastgoo ， Nakisa ， Maire ，RakotoniyaineRumerran，2019），同时跟踪驾驶员&作者开发了一个基于CNN的框架，该框架可以识别并揭示驾驶员分心的来源。他们增强的VGG 16架构的效率提高了96.31%Baheti，Gajre和Tal- bar（2018）。 Yan等人（2016）使用四种不同的分心姿势检查CNN来检测分心行为。使用深度学习算法，Abouelnaga，Eraqi和Moustafa（2017）开 发 了 实 时 分 心 驾 驶 员 姿 势 分 类 。 使 用 AlexNet 、InceptionV3、多数投票Entrial和GA加权Entrial等深度学习模型对于通过感觉融合架构进行的驾驶员行为预测，作者使用了递归神经网络（RNN）算法（Jain ， Singh，Koppula ， Soh&Saxena，2016）。他们跟踪了驾驶员的面部和头部位置，并使用GPS、道路摄像头和车辆动力学将驾驶员的车内和车外特征结 合 起 来 。 Kim ， Choi ， Jang 和 Lim （ 2017 ） 建 议 使 用RestNet50和MobileNet CNN模型检测驾驶员分心。然而，他们的分析只考虑了两种类型的分心：看前面和不看前面的姿势。Mase et al.（2020）提出了一种混合深度学习模型，该模型结合了预训练的InceptionV3和堆叠的双向LSTM，用于检测分布式行为，准确率约为92.70%。Ou和Kar-ray（2019）提出了一种基于生成对抗网络的驾驶员分心检测系统（GANs）。作者利用互联网收集了驾驶员在各种驾驶条件和行为模式下的各种数据集，并为各种驾驶场景训练生成模型。Shahverdy，Fathy，Berangi和Sabokrou（2020）提出了一种二维卷积神经网络（CNN）用于检测驾驶员分心，并使用驾驶信号（如加速度、重力、油门、速度和每分钟转数（RPM））识别五种类型的驾驶风格，包括正常、攻击性、分心、困倦和醉酒。他们提出了一种基于轻量级1D-CNN的三阶段策略，用于从 车辆 信号 中检 测驾 驶行 为（ Shahverdy， Fathy ， BerangiSabokrou，2021）。Majdi，Ram，Gill和Rodríguez（2018）建议CNN检测驾驶员分心姿势，并应用U-Net CNN架构收集对象周围的上下文。来自开罗美国大学（AUC）的分心驾驶数据集被用来训练他们的模型。与支持向量分类器和其他CNN设计相比，他们的发现表明在准确性方面有了显著的提高。同样，Eraqi等人（2019）建议利用四种不同的CNN架构来创建CNN的加权集合。接下来，CNN 使用AUC分心驱动程序数据集的五个单独马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）2000754图三. 建议书工作流程图图片源：原始图像、皮肤分割图像、面部图像、手部图像以及面部和手部图像。根据结果，单个CNN在原始图像上训练时表现出最佳的准确性。之后，使用加权遗传算法（GA）合并来自各种CNN的预测，结果表明融合比独立的CNN和多数投票融合更准确。3. 方法检测分心驾驶员的异常行为的过程如图3所示。在提案中，首先，经过预处理，用于训练具有驾驶员的不同姿势的模型，包括吃饭，手机短信，与他人交谈。其次，预训练的卷积模型由不同的基于CNN的深度学习架构组成，包括ResNet50，采用MobileNetV2来识别驾驶员的分心行为。最后，使用测试数据图像对模型进行了评估，并对结果进行了分析本节解释了提案中执行的步骤：1. 输入数据集：为了训练任何学习模型，我们需要输入代表任何分心的驾驶员状态的图像，例如在驾驶过程中闲聊，睡觉或吃饭。可以使用机载计算机系统或外部相机收集这些原始数据。我们使用一个理想的数据集，其中包含成千上万的图像，我们的实现。2. 预处理：在将图像放入学习模块之前，对图像进行预处理对于获得准确的结果至关重要。例如，我们必须旋转和调整系统输入图像的大小。3. 卷积神经网络：CNN在原始图像上进行训练，可以从用于检测、分类和分割的原始输入特征中自动提取高级特征。不同的架构，如ResNet50，VGG16和MobileNetV2被纳入我们的模型。这些架构将滤波器应用于输入图像以生成特征图，该特征图总结了检测到的特征的存在。池化层负责减小经验向量的大小，从而最小化通过降维处理数据所需的计算能量。此外，它还可以识别和提取有效分类或检测过程所需的主要特征。最后，全连接层类似于传统的多层感知器神经网络，其逐层连接每个神经元。这里，反向传播被应用于训练的每一次迭代，使系统学习。4. 分类：在此阶段，CNN根据学习到的异常阶段的经验识别每个异常行为。4. 预训练模型迁移学习迁移学习是深度学习的研究方向之一，主要应用于多任务处理和思想漂移。迁移学习在深度学习中很受欢迎，因为训练深度学习模型需要大量资源，或者深度学习模型需要大量的硬数据集。在深度学习中，迁移学习只有在第一个任务中学习的模型特征是通用的情况下才有效。在迁移学习中，我们在基础数据集和任务上训练基础网络，然后重新使用或迁移所获得的特征涉及在迁移学习中在目标数据集和任务上训练的第二目标网络。如果特征是通用的，即，适用于基本任务和目标任务，而不是特定于基本作业。反式-FER学习可以用于某人的预测建模问题。两种主要使用的迁移学习方法是开发模型方法和预训练模型方法。对于图像数据的分类，大量高性能模型已被开发并部署在ILSVRC（ImageNet大规模视觉识别挑战赛）上。ImageNet是比赛中使用的图片的来源，卷积神经网络构造和训练的许多进步。此外，在比赛中使用的许多模型都是在许可证下发布的。这些模型可以在计算机视觉应用中作为迁移学习的基础。 学习特征是有帮助的，并且模型学习从图像中检测通用特征。这些模型在特定的图像识别任务中实现了最先进的性能，并且对于模型实际开发的任务仍然有效。图4示出迁移学习的基础。预训练的模型权重非常容易获得，因为它具有免费下载的功能。下载模型权重和expedient API，并使用多个深度学习库（包括Keras）在同一模型架构中使用。为了从训练数据中获得精确和简洁的特征集，可以使用迁移学习，我们采用了四种基于CNN的架构来进行有效的深度特征提取：简单CNN，VGG-16，Resnet 50和MobileNetV 2。由于这些架构是在大型图像数据集上进行预训练的，因此它们设法学习了边缘、旋转、照明和图案等低级特征的强大表示，这些特征可用于从新的分散注意力的图像中提取深层特征。因此，这些模型可以用于使用迁移学习概念提取特定特征。下面，我们将详细介绍每一种模型马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）2000755见图4。 迁移学习。图五. 卷积神经网络的结构。4.1. 卷积神经网络卷积神经网络（CNN）是一种用于对图像进行分类和检测对象的深度神经网络。CNN有三层：卷积层，池化层和一个或多个完全连接的层，如图所示。 5.4.1.1.卷积层ConvNet的动机是视觉皮层的排列，类似于人脑中神经元的连接模式。该层从输入图像中提取特征，并生成表征这些特征存在的特征图。卷积通过学习图像微小正方形的深层特征来保留像素之间的空间关系（Yamashita，Nishio，Do Togashi，2018）。4.1.2.池化层这些层减少了大输入图像的空间维度。空间池（也称为下采样）是一种用于在保留基本数据的同时降低每个地图的维度的技术。最大池化是最流行的池化技术之一，它在输入特征和平均值中产生最大值。4.1.3.全连接层这一层类似于多层神经网络，功能性。该层预测在特征完成后，每个值与分类任务中每个类的对应程度由卷积层提取并由池化层下采样。4.2.VGG-16如图6所示，VGG-16是最知名的CNN架构之一，具有16个卷积层和高度标准化的架构。VGG-16是一种更简单的架构模型，使用更少的超参数，是使用迁移学习从图像中提取特征的热门选择（Dash，2019）。例如，卷积层使用步长为1的3×3滤波器和步长为2的2×4.3.ResNet50ResNet50是一个50层深度的CNN，有48个卷积层，一个MaxPool层和一个Average Pool层。ResNet将第n层输入直接链接到第（n+x）层，允许堆叠额外的层，并可用于图7所示的图像识别。与VGG-16等标准分类架构相比，ResNet-50表现出更快的性能和更低的计算成本（S Jahromi等人， 2019年）。4.4.MobileNetV2MobileNet-v2是一个具有53层的深度卷积神经网络。它是一个功能强大的特征提取器，可以检测和分割对象。它是建立在一个倒置的残余结构，马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）2000756见图6。VGG16的架构图7. ResNet50的架构图8.MobileNetV2的架构瓶颈层之间的剩余连接如图8所示（Seidaliyeva，Akhmetov，Ilipbayeva Matson，2020）。4.5.架构比较VGG-16、ResNet 50和MobileNetV 2是CNN的三种基本迁移学习架构。这些模型的性能精度取决于各种因素，包括数据集的性质，层的数量，epoch的数量，以及模拟过程中的批量大小。表1显示了预训练的迁移学习网络的架构比较。表1表明MobileNetV2具有更少的权重，并且该模型比其他模型更快。我们的实验结果还表明，MobileNetV2提供了更高水平的准确性。5. 实验结果分析该方法在Intel Core i7处理器上进行了评估和验证，该处理器具有4GB显卡，64位Windows操作系统。首先，我们描述了实验的数据集。然后，我们使用几个实验来评估我们的模型，并详细显示结果。5.1. 数据集我们从State Farm主办的State Farm分心驾驶员检测比赛（Kaggle，2016）。该数据集包含大量图像，其包括如表2所示的分心驾驶员的十种不同类别姿势，并且图9中描绘了驾驶员图像的一些示例。5.2.实验装置对于我们的实验，我们从数据集中取4000和6000张图像用于两个不同的实验，其中每个集合包含几乎相等数量的每10个类的图像。我们选择80%的图像用于训练，20%用于验证或测试。5.3.数据预处理在应用该模型之前，需要对图像进行旋转、缩放等预处理，首先将输入图像的大小从640× 480调整到224× 224。接下来，通过减去图10中描绘的平均值（103.939，116.779，123.68）将图像从RGB转换为BGR。每个像素值都是从所有像素的RGB平均值中减去的。使用均值减法，因为训练我们的算法需要乘以权重并应用偏差，以便在反向传播期间触发激活。马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）2000757表1VGG-16、ResNet 50和MobileNetV 2的架构比较SL性能VGG-16ResNet50MobileNetV21.图像224×224×3224×224×3224×224×32.重量ImageNetImageNetImageNet3.大小52898144.总层1650535.卷积层1348536.最大池5117.激活函数SoftmaxSoftmaxSoftmax8.总参数一亿三千八百三十万25.6million3.5百万优势/局限性VGG16• 训练起来非常缓慢• 重量相当大。ResNet50• 比VGG-16更低的复杂性。• 比VGG-16更深。MobileNetV2• 比别人快。• 低功耗模型参数化以满足资源限制。·可在基于视觉的移动和嵌入式应用中部署。见图9。 驾驶员的示例图像图10. 图像预处理管道。5.4.实验结果-1图11、12、13和14分别描绘了该实验的训练和测试准确度和损失。表3总结了不同架构的性能。从表中可以清楚地看出，MobileNetV2提供了最高的准确率，约为99.68%，同时表现出较低的训练损失。5.5.实验结果-2在这个实验中，我们使用数据集中的6000张图像来评估我们的模型。图15、16、17和18分别描述了模型准确度和损失。表4分析了模型的平均准确度。该表显示MobileNetV2提供了最高的训练和测试准确率，分别约为99.98%和98.12%。马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）200075图18. MobileNetV2的性能结果8图十一岁简单CNN的性能结果。图12. VGG-16的性能结果图13. ResNet50的性能结果马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）200075图18. MobileNetV2的性能结果9图十五岁简单CNN 的性能结果。图16. VGG-16的性能结果。图17. ResNet50的性能结果马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）20007510图19. 类混淆矩阵。表5和表6表示类平均准确度。 最后，图19表示ResNet50和MobileNetV2的实验的混淆矩阵。5.6.适合嵌入式应用MobileNets是轻量级的深度神经网络，非常适合移动和嵌入式视觉应用。MobileNet是低延迟、低功耗的模型，已被参数化，以满足特定的用例的资源约束。因此，该模型在速度方面优于ResNet 50和VGG-16。此外，模型产生的重量比VGG-16轻32倍。此外，在诸如自主车辆或机器人瞄准器的现实世界应用中，可以在计算受限的平台上完成对象检测。MobileNetV2是一个用于嵌入式视觉应用程序和移动设备的网络，它就是为了解决这个问题而开发的。因此，MobileNetV2更适合于资源最少的移动和嵌入式视觉应用马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）20007511表2注意力分散的行为类别分布。类巴基奥尔C-0安全驾驶C-1在右手边发短信C-2右手拿手机C-3用左手发短信C-4左手打电话C-5操作无线电C-6饮用C-7到达背后C-8发型和化妆C-9与乘客表3实验-1的准确度结果型号名称训练损失训练精度测试损失测试精度简单的CNN0.1770百分之九十五点三八0.1521百分之九十六点零六VGG-160.0021百分之九十八点二七0.4488百分之九十二点四五ResNet500.0313九十九点三一0.260695.10%MobileNetV20.0035百分之九十九点六八0.3177百分之八十九点三八表4实验2的准确度结果。型号名称训练损失训练精度测试损失测试精度简单的CNN0.1170百分之九十六点七九0.1175百分之九十七点四五VGG-160.0016百分之九十七点零八0.0360百分之九十四点零一ResNet500.0881百分之九十七点九三0.2753百分之九十四点二八MobileNetV20.0035百分之九十九点九八0.0937百分之九十八点一二表5ResNet50的类别准确度结果类实验-1实验二C-0：安全驾驶百分之九十八点零六51.29%C-1：右手发短信百分之九十五点五百分之九十点五九C-2：右手百分百百分百C-3：左手发短信百分之九十九点九五85.56%C-4：左手百分百百分之九十八点一五C-5：操作收音机百分百百分百C-6：饮酒百分之九十九点九八百分百C-7：Reaching Behind百分之九十九点八五百分百C-8：发型和化妆百分之九十八点九三百分之九十九点二八C-9：与乘客百分之九十五点五一百分之九十点五九表6MobileNetV2的类别准确度结果类实验-1实验二C-0：安全驾驶73.11%百分之九十九点四一C-1：右手发短信55.68%九十九点八二C-2：右手百分之九十九点八一百分百C-3：左手发短信百分之九十九点五五百分之九十九点九八C-4：左手百分之九十八点二七94.62%C-5：操作收音机百分之九十二点百分百六七C-6：饮酒62.91%79.12%C-7：Reaching Behind39.48%百分之九十九点五九C-8：发型和化妆百分之九十八点五一百分之九十九点八C-9：与乘客84.73%百分之九十九点九八6. 结论驾驶员分心是世界范围内的主要问题之一。 我们设计了一种基于卷积神经网络的架构，用于检测驾驶员分心行为及其原因分散注意力采用Simple CNN、VGG-16、ResNet 50和MobileNetV 2等各种架构作为训练模型。用理想的数据集马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）20007512来验证模型。我们发现ResNet 50和Mo-bileNetV 2分别提供了94.50%和98.12%的更高准确性所提出的模型结果可以用于设计实时驾驶员分心检测系统。虽然所提出的模型提供了较高的精度，实时测试台的实现可以使工作更有效。在未来，我们正计划开发一个Android应用程序来实时检测分心的司机。作者声明所有作者的角色/贡献使用相关类别登记如下：Uzzol Hossain，Md. Ataur Rahman数据收集、方法学和模拟马里兰州Manowarul Islam概念化，监督，方法论，编辑马里兰州Ashraf Uddin概念化，写作-审查ArnishaAkter写作-验证Bikash Kumar Paul可视化，调查，编辑竞争利益声明作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用Abouelnaga，Y.，Eraqi，H. M.，&Moustafa，M. N.（2017年）。实时分心驾驶员姿势分类。阿格拉瓦尔大学，Mase，J.M.，菲格雷多G.P.，瓦格纳，C.，梅斯加普尔M.，&约翰河I.（2019年）。英国重型货车实时驾驶行为分类在2019年IEEE智能交通系统会议（ITSC）上，2330-2336）。Ahamed，K.美国，Islam，M.，Uddin，A.，Akhter，A.，保罗湾K.， Yousuf，M.一、 例如， （2021年）。使用有效预处理技术的深度学习方法从胸部CT扫描和X光图像中检测新冠肺炎。计算机在生物学和医学，文章105014。Ahmed，N.，艾哈迈德河，Islam，M. M.，Uddin，M.一、Akhter，A.，Talukder，M.A.一、例如，（2021年）。基 于 机器学习的糖尿病预测和智能Web应用程序的开发。 国际工程认知计算杂志，2，229-241。Aksjonov，A.，Nedoma，P.，Vodovozov，V.，Petlenkov，E.，&Herrmann，M.（2017年）。 使用模 糊 逻 辑 的驾驶员分心评估方 法 ：电话使用作为驾驶员的次要活动：案例研究。2017年第26届信息、通信和自动化技术国际会议（ICAT）1-6）。Aksjonov，A.，Nedoma，P.，Vodovozov，V.，Petlenkov，E.，&Herrmann，M.（2018年 a） 。 驾 驶 员 注 意 力 分 散 的 机 器 检 测 与 评 价学 习和模 糊 逻 辑 IEEETransactions on Intelligent Transportation Systems，20，2048Aksjonov，A.，Nedoma，P.，Vodovozov，V.，Petlenkov，E.，&Herrmann，M.（2018年b）。基于机器学习的驾驶员行为模型。IFAC-PapersOnLine，51，267Alvarez，A. D、Garcia，F.美国，纳兰霍，J.E.， Anaya，J. J.， &Jimenez，F. （2014年）。 使用智能手机和神经网络来模拟电动汽车的驾驶行为。IEEE智能交通系统杂志，6，44-53。Baheti，B.，Gajre，S.，&Talbar，S.（2018年）。基于卷积神经网络的分心驾驶员检测。在IEEE计算机视觉和模式识别研讨会会议论文集（pp.1032-1038）。Bejani，M. M.，&Ghatee，M.（2018年）。一种上下文感知系统，用于通过智能手机传感器数据的集成学习进行驾驶风格评估。交通研究C部分：新兴技术，89，303Benoit，A.，博诺湖Caplier，A.，Ngo，P.，劳森湖Trevisan，D. G.，例如，（2009年）。增强驾驶员模拟器中的多模态集中注意力和压力检测与反馈。Personaland Ubiquitous Computing，13，33Boril，H.，Omid Sadjadi，S.，Kleinschleman，T.，&Hansen，J.（2010）. 驾驶员言语中认知负荷和挫折感的分析与检测在第11届国际语音通信协会年会上，502-505）。Craye，C.，&Karray，F.（2015年）。使用rgb-d传感器的驾驶员分心检测和识别。Dash，A.K.（.2019年）。Vgg16架构。https://iq.opengenus.org/vgg16/访问时间：2021-03-20。Eraqi，H. M.，Abouelnaga，Y.，Saad，M. H、 &Moustafa，M. N. （2019年）。 使用卷积神经网络集成的驾驶员分散识别网络. 杂志《先进运输》，第 1-12页。Feng，D.，&Yue，Y.叶，中国植物研究所所长。（2019年）。用于分心驾驶员检测的机器学习技术。马里兰大学Hossain，MD.Rahman，Md. M.Islam等人智能系统与应用14（2022）20007513F erna'ndez，A. 、Usamentia ga、R. ，Caru's，J. L.，卡萨多&河（2016）。 博士iverdi st r行动使用视觉为基础的 传感器和算法。传感器，16，1805。Galarza ， E. E、 Egas ， F. D 、 Silva ， F. M.， 贝 拉斯 科 ， P.M. ，&Galarza ， E. D.（2018年）。使用在智能手机中实现的人机交互系统基于驾驶员的面部图像行为的实时驾驶员困倦检测。在国际信息技术&系统会议上（第10页）。563-572）。Islam，M. M.，Uddin，M.一、伊斯拉姆湖，Akter，A.，Sharmin，S.，&阿查吉大学K.（2020年）。使用机器学习方法检测社交网络上的网络欺凌。 在2020年IEEE亚太计算机科学与数据工程会议（CSDE）上，1-6）。Iversen，E. B、Møller，J. K.，莫拉莱斯，J.M.， &Madsen，H. （2016年）。 描述驾驶模式的非齐次马尔可夫模型。IEEE Transactions on Smart Grid，8，581乔巴河，Al-Khalifa，K.，Kharbeche，M.，Alhajyaseen，W.，Jafari，M.，&Jiang，S.（2018年）。使用深度神经网络技术的安卓应用程序的实时驾驶员困倦检测。Procedia Computer Science，130，400Jain，A.，Singh，A.，Koppula，H.美国，苏，S.，&Saxena，A.（2016年）。递归神经网络作品为司机活动 期待经由 感觉融合架构在2016年IEEE机器人与自动化国际会议（ICRA）3118-3125）。Kaggle（2016）.州立农场分心驾驶检测。网址：Https://www.kaggle.com/c/state-farm-distracted-driver-detection访问时间：2021-03-20。Kamruzzaman，M.（2020年）。孟加拉国：道路交通事故令人震惊。网址：Https://www.aa.com.tr/en/asia- paci fic/bangladesh-alarming-rise-in-road-crashes/1