基于深度学习的智能手机事故预防方法

可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）618www.elsevier.com/locate/icte使用基于深度学习的物体检测预防事故Hyun-Seok Kim，Geon-Hwan Kim，You-ZeCho国立庆北大学电子工程学院，韩国大邱41566接收日期：2021年11月15日;接收日期：2022年4月25日;接受日期：2022年7月3日2022年7月14日在线提供摘要随着智能手机的日益普及，用户在行走时发生的事故数量有所增加 楼梯或人行横道上的人。在某些地区的危险地点周围放置了警告标志和图像。然而，在这方面，这对减少类似事件没有显著效果。我们提出了一种基于对象检测的深度学习方法，智能手机用户会在智能手机屏幕上收到即将到来的检测风险通知。测试表明，我们的方法可以检测楼梯和人行横道的准确率高（96.7%）。所提出的智能手机应用包括深度学习网络信息、超参数信息和用户体验。因此，在步行时查看智能手机屏幕的用户可以使用所提出的解决方案来防止事故。据我们所知，这是世界上第一个使用基于深度学习的方法来警告smartes迫在眉睫的危险的方法。版权所有© 2022作者。出版社：Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：深度学习;目标检测;智能手机事故; Smombie1. 介绍随着诸如游戏和社交网络之类的智能手机应用的普及，大量个人倾向于在行走时查看他们的智能手机屏幕。这些人被称为“smarts”。这个词是“智能手机”和“zom-bies”的组合。Smombies通常没有意识到周围环境的变化，这导致了事故。根据三星经济研究所的数据，2018年67.1%的行人分心相关事故与智能手机有关[1]。此外，在韩国，由智能手机引发的行人交通事故数量在五年内增加了2.5倍（从2009年的437起增加到2014年的1，111起）[2]，并继续增加。总风险分析的结果表明，由于使用智能手机，事故最常发生在楼梯上[3]。在美国，2009年有20万人因走路分心而住院治疗，其中约4,000人死亡[4]。根据美国国家安全委员会的一份报告，2011年至少*通讯作者。电子邮件地址：kimhyunseok0@gmail.com（H.-S. Kim），kgh76@ee.knu.ac.kr（G.-H. Kim），yzcho@ee.knu.ac.kr（Y.-Z.Cho）。同行审议由韩国通信研究所负责教育与信息科学（KICS）。https://doi.org/10.1016/j.icte.2022.07.001据报道，这是一个增长趋势[5]。图1显示了韩国智能手机相关事故的增加趋势为了防止由分心的行人（smuggles）引起的事故，已经推荐了各种方法来在行人接近事故多发点或环境时间接地预先警告行人然而，如果用户专注于他们的智能手机，他们可能不会注意到这样的警告[2，6因此，这种间接警告是无效的。在这项研究中，我们提出了一种用于物体检测的深度学习模型，该模型经过训练可以检测楼梯和人行横道，这是smartes最常见的危险。该训练模型安装在用户的智能手机中。当用户边走边看智能手机时，模型会识别出危险区域，并通知用户或完全屏蔽屏幕。这可以帮助用户避免进入潜在的不安全区域。用于危险预防的人工智能（AI）解决方案依赖于服务器来检测风险并将内容传输到用户的智能手机（主要安装在人行横道周围的相比之下，推荐的解决方案依赖于智能手机的AI来检测危险。据我们所知，这是世界上第一个使用基于深度学习的方法来警告smartes迫在眉睫的危险的方法。安装在实际智能手机中的拟议AI解决方案检测特定危险的准确率达到96.7%。此外，还可以不断添加危险物品。2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618619图1.一、 2013年至2017年期间，涉及使用智能手机的行人的车祸。数据来源：Hyundai Marine Fire Insurance DB，2018。图二. 日本新宿车站为防止楼梯碰撞事故而设计的独特楼梯。墙上的文字说明这是危险的走路时使用智能手机2. 预防事故2.1. 独特的楼梯设计某些楼梯已被设计为向用户提供视觉信息和意识[2]。由于这些独特的楼梯设计，步行者可能会意识到，他们正在接近的步骤，即使在查看他们的智能手机。图2显示了新宿站楼梯的设计[6]。然而，当用户过度专注于他们的智能手机时，他们可能不会观察楼梯设计。此外，如果所有楼梯都采用类似的设计，则会非常昂贵和费时。图3.第三章。 带楼梯报警系统的楼梯。2.2. 楼梯报警系统在之前的一项研究中，楼梯上安装了一个特殊的装置。当一个信号灯出现时，用户踩在设备上。该研究报告称，在没有设备的情况下，用户识别楼梯的时间为10.4%，而在安装特殊设备后，识别率增加到68%[2]。图3示出了在上述研究中使用的楼梯报警系统。当使用者踏在踏板上时，系统会识别他/她的存在，LED灯会打开。这会诱导使用者在视觉上感知楼梯然而，该装置仅在实验期间安装。它遇到了与标准相同的问题H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）6186202.4. 地板上的安全标记见图4。防止人行横道上发生交通事故的三重系统。(a)热成像摄像头，用于识别正在接近人行横道的人，同时查看智能手机。(b)一种装置，可以直观地显示正在接近人行横道的车辆，并通过扬声器通知行人。(c)一种在人行横道地面上投射视觉效果的装置。(d)已在交通部注册并下载该应用程序的用户可以使用通知（振动）服务。阶梯式设计，因为当用户过度专注于智能手机时，它偶尔会不成功。此外，该报警系统的设计昂贵，不适合通用安装。2.3. 人行横道报警系统在韩国，已经对各种方法进行了研究，以防止人行横道事故，并确保使用智能手机时行走的个人的安全。目前正在建立和试行一个这样的系统，称为图4显示了测试运行中的“三重系统”。热成像摄像头捕捉接近人行横道的个人，并评估他/她是否在使用智能手机。如果识别出使用智能手机的人，系统会激活人行横道 它通过扬声器播放安全警告音频信息因此，智能手机用户被通知他/她正在接近人行横道并且应该密切注意。据称，这种“三重系统”提供的环境光验证测试结果表明，车辆的速度降低了约20% [7]。然而，该系统在所有人行横道处安装热成像摄像机、报警系统和发光装置会产生大量成本。此外，还需要额外的组织和处理资源来管理和维护部署的设备。进行了一项研究，其中在地板上提供视觉信息。该研究重点关注个人在在一项类似的研究中，安全标志牌被放置在人行横道附近的地面上[9]。行人交通事故的数量在这些设施建成后有所减少。由于这些实验，这些方法的安装区域正在逐步扩大[10]。然而，这些措施有其局限性。这些并不直接在智能手机上通知用户关于接近的危险。因此，如果用户全神贯注于他们的智能手机，则他们可能不会意识到此外，任何安装的设备都需要定期维护。这就需要分配各种资源。目前，这些系统正在试行，因此所涉的维护费用不高。然而，随着这些系统在全国范围内的部署，这些成本将成比例地增加。我们认为，现有的预防smashe事故的措施已经无效，因为警告不是直接在智能手机屏幕上显示。与现有系统不同，所提出的解决方案不从服务器或警报辅助系统获得信息。相反，它采用人工智能来识别风险并动态显示警告在智能手机屏幕上。所提出的系统提供了一种通过在用户的智能手机上安装应用程序来防止事故的方法;其适用性在现实世界的scenar-ios中进行了测试。此外，不产生额外的安装成本，并且维护将产生最小的费用。3. 提出的解决方案所提出的解决方案使用卷积神经网络（CNN），其执行图像对象检测[11]。此外，楼梯和人行横道的学习图像被收集，并产生学习数据来训练神经网络。现有的方法是一个基于服务器的解决方案，因此，它表现出低实时性能和消耗资源的维护。同时，所提出的解决方案直接在智能手机中植入经过训练的神经网络，使用智能手机检测物体，并通知用户有关危险。与传统的基于服务器的方法相比，这可能会产生更高的实时性能MobileNet的参数数量大约是CNN的八分之一。然而，性能下降可忽略不计[12]。因此，选择MobileNet来执行迁移学习。所提出的用于迁移学习的神经网络架构如图5所示。我们只使用了MobileNet的第14层。此外，我们在这一层使用全局平均池来获取类信息。此外，我们在该层中添加了CNN以获取边界框信息。表1给出了所提出的架构的学习参数的最终数量。它大约比H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618621××表1图五、提 出 了使用MobileNet的迁移学习网络架构。时间分别为42 ms和60 ms，建议网络的训练参数参数数量可训练参数1，937，338不可训练参数3，228，864参数共计比现有的MobileNet更好。这是在图中所示的附加层中使用的参数的数量。 五、将输入神经网络的数据转换为128（水平）128（垂直）3（彩色）像素的图像，并用于训练系统。这是在移动终端上运行时性能不会降低的最合适的大小。学习的数据被传输到智能手机。智能手机分析由相机捕获的图像。如果该图像与先前学习的结果相匹配，则智能手机通知用户，否则，不采取进一步的行动。因此，相机操作、图像处理、对象检测和结果的数据生成在后台发生。该应用程序仅在识别出危险情况时才会生成并显示警报智能手机应该在保持用户当前屏幕的同时检测危险。因此，当在后台执行图像提取和分析时，用户在这里，图像提取和分析也应该分开。鉴于图像提取时间和分析如果使用相同的线程，则需要时间来分析单个图像。因此，有必要分离线程并单独处理它们。此外，当危险如果检测到，则应同步并通知用户。 图6示意性地示出了接收和处理图像数据的概念。整个软件类图如图7所示。主类管理整个系统并处理图像。CameraMng类监督硬件摄像机控制、调试摄像机模块并控制各种摄像机参数。当通过用户操作获得图像时，原始数据被转换为人类可读的形式并交付。FileMng类以文件格式管理图像。TensorflowImageClassifier是TensorFlowLite直接控制的类，由Google提供。预训练的参数、标签和神经网络拓扑用于识别主类提供的图像是否是预定图像。这个类的内容是使用Google提供的分类器的原型开发的，推荐信用于视频处理的线程在主类中管理，如图7所示。最后，OverlayView的构造型用于在屏幕顶部显示结果。当建议的应用程序被激活时，主类首先运行摄像机捕获的原始数据实时传送到主类，H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618622××图第六章在 Andr oid 中处理图像数据以检测危险物体的概念图。图第七章A n d r o i d 上的智能手机软件的类图。检查图像。在主图像转换成bmp文件格式的大小1281283 、 神 经 网 络 可 以 识 别 。 然 后 它 被 传 递 到TensorflowImageClassi- fier，在那里它被输入到神经网络，结果值被传递回主类。该值包括图像类别和边界框值。在主类中，图像被转换为向用户显示已推断出的图像类标签。因此，边界框的值也应该被转换，以便用户可以直观地评估推理结果。此外，Fig. 8显示了基于所提出的神经网络结构和将应用程序移植到智能手机的概念提供给真实用户的用户体验（UX）。安装应用程序后，后置摄像头将被激活（图1）。 8 a），如图所示。8b-1和b-2。当用户可以查看风险检测或仅查看时，将启用风险检测H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618623=我∑∑=NN见图8。建议的应用程序在Android中的用户体验。(a)安装应用程序。(b-1)没有预览的应用程序激活。(b-2)使用预览激活应用程序。(c)人行横道检测。(d)阻止用户应用程序，并显示警告消息。(e-1)返回到没有预览的应用程序激活。（e-2）返回到具有预览的应用的激活在使用另一个程序时通知区域中的操作项。当一个危险被识别（图）。在图8c）中，用户屏幕返回到图。8e-1或e2当危险已经过去时，过程重新开始。我们使用准确性和交集-联合（IoU）指标评估了该模型。精度可用分类交叉熵表示.因为这个网络分类器使用Softmax，所以它可以表示为Eq。（一）.这里，Si表示进入类出层的数据，并且C表示类（对于i 1.. . C）。通过替换Eq. （2）引入范畴交叉熵的表达式，得到Eq. （三）、然后，精度可以表示为Eq。（3）当类值为2时（类似于该网络）。在这里，ti是地面真相。因此，Eq. （3）示出了通过所提出的神经网络的预测类的损失，该神经网络涉及地面实况（图9（a））。当量（4）表示均方误差。它被用来计算损失。esi4. 结果和讨论使用准确性和IoU指标对所提出的神经网络进行了评估。如图9所示，网络在验证时的准确度为99.3，损失为52.8，IoU达到64.7%。图10示出了通过将真实图像输入到具有所提出的AI解决方案的神经网络中而获得的验证结果。结果表明，我们的技术认识到楼梯和人行横道的存在。然而，网络无法可靠地预测某些图像的边界框的位置。这个问题可以通过增加训练数据量[13]或改进神经网络结构来克服。图11示出了将所提出的UX实现为android应用（应用名称：Danimbut）的结果。 如图11，在初始屏幕（a）中，当用户选择预览模式时，用户移动到屏幕（b）并显示用户可以实时地看到来自照相机的图像Sof tmax f（s）i=∑ce （1）C智能手机中嵌入的神经网络实时分析图像，并如（c）所示屏蔽用户屏幕分类交叉 熵= −t ilog（f（s）i）（2）我分类交叉熵C=2= −tilog（f（s）i）i=1= −t1log（f（s）1）−（1−t1） log（1−f（s）1）（3）当它被确定为一个风险。因此，用户无需查看智能手机就能识别并规避风险。随后，根据用户的选择进行到（d）和（e）。在智能手机上加载神经网络和预训练参数后，应用程序开始执行楼梯和人行横道识别。图图10和图11（b）示出了类似的识别结果。表2显示了基于服务器的对象检测与I oUOv erlap面积联合区（四）基于智能手机的物体检测。该表显示，这两种方法的纯推理时间是平均的。IoU使用Eq. （五）、在这种情况下，重叠区域表示从框的外层输出的边界框值与地面实况的交集，同时，联合区域反映了两个值的联合。IoU表示预测对象范围的准确性（图10）。 9（c））。MeanSquaredError=1∑（yi−yi）2（5）i=1平均每100次尝试确定为20 ms。然而，基于服务器的对象检测时间需要额外的延迟，因为在发送和接收数据之间存在时间延迟。由于基于Amazon服务器发送100次ping时平均发送和接收时间，因此获得了大约200 ms的延迟值。这表明基于智能手机的危险检测可以比基于服务器的危险更快地通知用户风险侦测。H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618624=见图10。使用建议的人工智能解决方案（左：人行横道，右：楼梯）的建议神经网络获得的推理结果。表2推理时间（基于服务器与智能手机）。基于服务器的智能手机推理时间+延时250 ms 50 ms表3建议的智能手机应用程序的结果的混淆矩阵Pred TruePred FalseGroundTrue True2000GroundTrue False13187见图9。性能评估（a）分类准确度（b）损失（c）交集大于并集（IoU）。对于基于服务器的危险检测系统，大约1.4MB/s（对于1440*1440图像）的数据将被发送到网络。然而，基于智能手机的危险检测系统具有不需要传输数据的优点。此外，我们在真实环境中使用所提出的应用程序实现了楼梯和人行横道识别我们对每种情况（楼梯和人行横道;存在和不存在）进行了100次实验。结果总结于表2中。准确度计算如下：准确度（TP + TN）/（TP + FP + FN +TN）。这里TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性。在智能手机测试中获得的准确度为0.967（见表3）。我们的观察表明，通过利用神经网络和后置智能手机摄像头来预警用户潜在危险情况的应用程序可以准确地运行。然而，该应用的限制是其在现实世界环境中的电池消耗，因为需要智能手机的后置摄像头的连续操作。此外，输入图像可能根据用户握持智能电话的角度而失真。随着应用程序用户数量的增长，可以收集各种类型的楼梯和人行横道上的信息，并用于进一步的训练，以不断更新学习参数。为了实现这一目标，应该对能够获得这些关键信息并在云环境中自动更新学习参数的环境进行研究5. 结论所提出的网络是一个合适的神经网络架构预警智能手机用户时，在环境中检测到一个危险的物体，而他们走。现有的事故预防解决方案不能直接在用户正在查看的智能手机而是H.- S. 金，G.-H. Kim和Y.-Z. ChoICT Express 8（2022）618625见图11。 Android应用程序与建议的用户体验（预览模式）。(a)应用程序初始化。(b)预览模式下的危险物体检测。(c)用户屏幕块。（d）返回预览模式。（e）返回初始化。使用其他识别危险的手段，例如通过通知用户或通过智能手机以外的设备吸引他们的注意力。然而，所提出的解决方案便于用户检测和规避事故易发情况。正在使用的智能手机直接检测危险并通过屏幕通知用户。在未来，只有探测器将显示 在智能手机的应用中。因此，对于应用于真实智能电话（商用智能电话），应当进一步如下考虑功耗：一种使用具有低分辨率图像和（2）在相机操作期间的灰度图像的相机的方法，以及（3）具有红外相机的智能电话，其中仅红外相机用于楼梯和人行横道检测。为了减轻任意地激活和去激活应用的不便，智能电话可以通过使用加速度传感器、几何传感器和GPS在观看智能电话的同时检测用户移动。因此，该方法还可以用于激活/停用应用。此外，为了防止从相机获取失真的图像，智能手机应该具有用于在不适合获得清晰图像的情况下通知用户调整其角度的附加特征。最后，我们的目标是改善应用程序的用户体验，让用户更直观地理解应用程序。CRediT作者贡献声明Hyun-Seok Kim：创意开发、数据收集、数据分析、神经网络和移动应用程序开发、实验、论文原创。Geon-Hwan Kim：数据分析助理，引文。You-Ze Cho：创意开发。竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认本研究由教育部资助的韩国国家研究基金会（NRF）的基 础 科 学 研 究 计 划 支 持 （ 编 号 NRF-2018 R1 A6 A1A03025109）。引用[1] 韩国今日财经报[在线]，可在：https：//news. Mt. co。kr/mtview.php？no=2018051316400537126.[2] D.W.李，J. Y.李先生许智英Jang，J.D. Cho，智能手机用户行人在楼梯上的事故预防系统的建议，在：HCI，2017，pp. 538-541[3] 客户安全管理局，楼梯事故相关危险信息分析结果，2011年。[4] K.W. Byington，D.C. Schwebel，移动互联网使用对大学生行人受伤风险的影响，事故分析。防止。（2013）78-83。[5] 国家安全委员会估计，每年至少有160万起车祸涉及司机使用手机和发短信[在线]，可用：https：//www. edgarsnyder. COM/CAR-ACCIDENT/CAUSE-OF-ACIDENT/CELL-PHONE-ST TTISTICS 。HTML.[6] 在 韩 国 中 央 报 纸 [ 在 线 ] 可 用 ： https ： //news. 乔 因 斯com/article/18878708。[7] [ 在 线 ] Available ： https ： //www. 你 是 我 的 。 com/watch ？v=mafQCLyxvW8.[8] E.J. Kim，H.R. Kim，Y.J. Kwon，G.S. Shin，智能手机用户的地面视觉感知，在：ESK春季会议，2019年。[9] 韩国交通研究所，走路时使用智能手机时要小心，在：每月KOTI杂志上运输，第100 页。96个。[10] J.S.金，J. H.金，J. B.朴智星Kim，W.J. Jang，楼层交通信号灯的标准化趋势，在：Proc。KIIEE年会，2020，p. 60岁。[11] Y. LeCun ， K. 卡 武 克 丘 奥 卢 角 Farabet ， Convolutional networksandapplications in vision ， in ： Proc.of 2010 IEEE InternationalSymposiumon Circuits and Systems，2010。[12] A.G.霍华德等人，MobileNets：Efficient convolutional neural nets-works for mobile vision applications ： Computer vision and patternrecognition，2017，arXiv：1704. 04861.[13] C. Sun，A. Shrivastava，S.辛格A.古普塔，在深度学习时代重新审视数据的不合理有效性：计算机视觉和模式识别，2017年，arXiv：1707。02968.