没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报基于卷积神经网络的热成像凹坑检测Aparnaa,YuktiBhatia,Rachna Raia,Varun Guptaa,Rai,Naveen Aggarwalb,Aparna Akulaca印度昌迪加尔工程技术学院计算机科学与工程系b印度昌迪加尔,旁遮普大学,UIET。c印度昌迪加尔CSIR中央科学仪器组织计算仪器阿提奇莱因福奥文章历史记录:2018年12月4日收到2019年2月2日修订2019年2月3日接受在线预订2019年保留字:热成像卷积神经网络深度学习A B S T R A C T路面坑洼是造成交通意外和车辆损耗的主要原因之一。为了解决这个问题,已经实施了各种技术,从手动报告给当局到使用基于振动的传感器到使用激光成像的3D重建。但这些技术都有一些缺点,如安装成本高,风险,而检测或没有提供夜视。因此,本文的目的是分析热成像技术在坑槽检测领域的可行性和在收集了适量的包含各种条件和天气下的坑洞图像的数据,并对数据实施增强技术之后,采用了深度学习的卷积神经网络方法,这是使用热成像在该问题领域的一种新方法。同时,将自建的卷积神经网络模型与一些预训练模型进行了比较。结果表明,使用一个基于残差网络模型的预训练卷积神经网络对图像进行正确识别,最佳准确率为97.08%。本文的研究结果对热成像技术在坑槽检测领域的应用具有一定的©2019作者(S)。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍路面坑洼造成的恶劣路况一直是道路事故和车辆损坏的主要原因近年来,随着车辆交通和污染的增加,该国几乎每个城市的道路都充满了大大小小的坑洞坑洼在2017年造成了致命的伤亡,每天造成近10人死亡,该国每年的死亡人数高达3597人-比2016年的死亡人数增加了50%以上(Dash,2018)。这在许多发达国家也是一个主要当局批准了大量的资金来填补坑洞,但是由于对这些坑洞的检测不足,它们没有及时处理*通讯作者。电子邮件地址:varungupta@ccet.ac.in(V. Gupta)。沙特国王大学负责同行审查制作和主办:Elsevier手动检测坑洞是一项劳动密集型且耗时的任务。已经实现了许多技术来检测坑洞,如基于振动的方法、基于3D重建的方法和基于视觉的方法。但这些技术都有一定的因此,我们尝试使用一种新的热成像技术来解决这个坑洞问题,该技术使用物体发出的红外线来形成基于温度差异的图像1.1. 热成像与光学成像所有的物体都会发出红外线能量(热量),这是它们温度的函数。物体发出的红外线能量是已知的作为它的热信号一般来说,物体越热,它发出的辐射就越多。热成像仪(也称为热摄像机)本质上是一种热传感器,能够检测温度的微小差异。该设备收集来自场景中物体的红外辐射,并根据有关温差的信息创建电子图像。由于物体很少与周围的其他物体具有相同的温度,因此热成像相机可以检测到它们,并且它们在热图像中会显得不同(Negied,2014)。它在成像方面不同于光学成像光学成像形式https://doi.org/10.1016/j.jksuci.2019.02.0041319-1578/©2019作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.comAparna等人/Journal of King Saud University在光的帮助下成像,而热成像利用物体发出的热量形成图像。这是热成像在检测坑洞方面的主要优势,因为它可以用于光线不好或有雾和雨等天气条件的地区热成像也比其他夜视技术便宜,如基于激光的图像重建。通过这项工作,热成像技术已被用来捕捉图像,准备数据集的坑洞,然后卷积神经网络已被用于预测的在热图像中存在凹坑。1.2. 动机道路上的坑洼对生命构成极大的危险,这就是为什么它是一个需要解决的重要问题。由于坑洞形成的根本原因是积水,并且由于裂缝和裂缝中存在水,坑洞的温度通常预计低于周围道路的温度。因此,使用热成像技术很容易区分坑洼和非坑洼。此外,普通的视觉摄像机在夜间可能会错过坑洞,但由于热成像摄像机检测的是热量而不是光线,因此克服了这一缺点。使用热像仪还有许多其他优点,例如:与基于振动的传感器相比,响应时间更长。不需要通过坑洞来感测坑洞的存在更少的能源消耗比现有的夜间探测技术(如基于激光的技术)便宜。不受视觉遮挡和照明条件的影响,因此,它们可以在白天和晚上使用基于视觉的相机中使用的图像处理技术也可以用于热成像1.3. 贡献通过这项工作,在坑洞检测领域建立了一个新的基准,因为这项工作使用热成像来收集数据,并使用卷积神经网络进行训练,这对于这个领域来说也是新的这项工作的另一个贡献是数据集。这些数据是在热成像仪的帮助下通过手动捕获坑洞图像生成的没有预先存在的坑洞热图像数据集。因此,这也有助于在这一领域的未来2. 相关工作各种技术被用于坑洞检测,如使用移动应用程序的手动通知、基于计算机视觉的技术、基于传感器的技术等等。解决这个问题的最简单的技术涉及使用移动应用程序,以便每当用户遇到道路上的任何坑洞时,他或她点击坑洞的图片并将其与位置一起发送给有关当局,以便采取行动。这种技术虽然简单,但需要人为干预,也取决于人们的非自愿性因此,考虑到开发应用程序和在人们中推广应用程序所花费的资金,这种技术可能不会有很大的用处因此,自动坑洞检测技术更有用。用于坑洞检测的现有方法可以大致分为3种类型(Kim和Ryu,2014):基于振动的方法(Yu和Yu,2006; De Zoysa等人,2007;Erikson等人,2008; Mednis等人,2001)、基于3D重建的方法(Wang,2004;Chang等人,2005; Hou等人,2007年; Li等人,2009; Staniek,2013;Joubert等人,2011; Moazzam等人, 2013)和基于视觉的方法(Koch和Brilakis,2011; Jog等人,2012;Lokeshwor等人,2013; Koch等人,2013; Buza等人,2013;Lokeshwor等人, 2014年)。表1总结并比较了各种坑洞检测方法。然而,表1中提到的技术具有一些优点。问题或缺点,如(Kim和Ryu,2014):1) 设置和设备成本高。2) 由于在夜间或雾天检测的问题,准确性低。3) 通过坑洞的风险。4) 涉及复杂的算法N. Hoang(Hoang,2018)提出了一种用于坑洞检测的人工智能模型,并使用两种机器学习算法(包括最小二乘支持向量机(LS-SVM)和人工神经网络(ANN))对其进行训练。这项工作使用LS-SVM算法实现了约89%的分类准确率,使用ANN实现了约86%的分类准确率。K. An等人(2018)试验了几种用于坑洞检测的预训练模型。他们使用彩色图像实现了97%的分类准确率,使用灰度图像达到了97.5%。S. Ryu等人(2015)设计了一种坑洼检测系统,通过安装在车辆上的光学设备收集道路图像,然后提出了一种算法,从收集的数据中检测坑洼。根据所提出的算法,首先,直方图和关闭操作的形态滤波器用于提取暗区的坑洞。接下来,候选区域使用诸如大小和紧凑性的各种特征来提取坑洞的形状。最后,通过比较坑洞和背景特征来判断候选区域是否为坑洞。使用这种技术,他们实现了73.5%的分类准确率。A. Akagicet al.(2017)提出了一种基于无监督视觉的坑洞检测方法。根据所提出的方法,首先,坑区域提取的RGB颜色空间,然后,对它们进行图像分割然后,仅在提取的感兴趣区域(ROI)中进行搜索。他们的方法适合作为其他监督方法的预处理步骤他们的方法的有效性取决于ROI提取的准确性,他们达到了82%的准确率其他一些相关的工作包括杨春玉等人所做的工作。(2019),他们考虑了分形传热中微分方程的边值问题本文利用局部分数阶微分变换方法得到了不可微型方程的精确解其他类似工作由Shui-Hua Wang等人(2017)完成。他们开发了一种使用极端学习机和统计测量与分形维数相结合的方法,用于检测乳腺疾病乳房热成像,可以提供更早的警报。3. 建议计划这项工作的主要目标是开发一个系统,可以检测坑洞从热图像。这种坑洞检测可以实时完成。为此,使用了基于深度学习的方法。设计了一种基于卷积神经网络(CNN)的模型,该模型将坑洞的热图像作为输入,●●●●●580Aparna等人 /沙特国王大学学报-计算机与信息科学34(2022)578- 588表1不同的坑洞检测方法。基于视觉基于振动基于激光立体成像被用于的设备相机加速计激光相机技术应用响应时间2D成像高力、旋转和方向低使用光反射低使用多个相机进行高感测时间处理在接近坑洞的时候复镜像在经过一个坑洞时读数直接在接近坑洞的3D点云在接近坑洞的一个复杂的3D图像构建过程,处理算法使用他们的海拔。组合来自不同相机感知的成本高,因为低高高表征透镜等精密部件基于尺寸根据振动基于3D图像构建基于3D图像构建的坑洞检测波长为因穷而可以检测可以检测由于光线夜间精度照明取决于高高取决于摄像机的对准,算法采用使用的算法无坑洼路面。在此数据上训练模型之后,模型预测输入图像是坑洞还是非坑洞。卷积神经网络已经用于各种领域,例如放射学(Yamashita等人,2018年),用于分类,对象检测,分割等任务。此外,我们使用了基于残差网络的预训练神经网络模型,以获得给定任务的更好结果。然而,我们并没有使用现成的预训练模型。首先,我们针对给定的问题对这些模型进行微调,方法是在预先计算的权重上训练模型几个时期。然后,我们放弃了最后一层的预先计算的权重,并使用循环差分学习率和测试时间数据增强等最佳实践来训练模型。从这些模型得到的结果进行比较。同时,将本文的工作与已有的工作进行了比较,分析了本文提出的基于卷积神经网络的热图像模型的有效性和可行性。3.1. 自建CNN模型首先,我们从头开始开发了一个卷积神经网络模型下面讨论自建CNN模型的架构1) 我们开发了一个顺序模型,其中各层按顺序相互连接。在这个模型中,被提供给批量归一化层,在该层中,它被归一化以帮助模型有效地学习参数。2) 归一化的输入被传递到一系列具有3x3内核和ReLU激活的二维卷积层。这些层有助于从图像中提取某些特征3) 每个卷积层后面都有一个最大池化层,这有助于进一步降低输入的维度。4) 最大池化后的输出使用批处理归一化层进行归一化,并传递到下一个块。5) 在通过卷积层之后,输出通过全局平均池化,该池化通过对邻域进行平均来减小6) 最后,前一层的输出作为密集层的输入,其中一个神经元最终使用sigmoid激活将输入分类为0或17) 该模型使用二进制交叉熵作为损失函数,这是一个对数损失函数。8) 亚当优化器的各种参数,如学习率,衰减等已被用于优化。图1展示了从头开始开发的自建CNN模型的架构。3.2. 从预训练的残差网络模型迁移学习迁移学习是一种允许我们以节省时间的方式构建准确模型我们不是从头开始学习过程,而是选择一个已经在类似的更大的数据集中训练过的模型来解决类似的问题。我们根据问题域和数据集的大小导入一个预先训练好的模型,然后微调模型来执行给定的任务。S.Rajaraman等人 (2018)和C. 诉Roberts(2018)在他们的工作中确定了如何在大型数据集上微调预训练模型以提高性能。因此,我们在所提出的工作中试验了各种预训练的ResNet模型。人们已经看到,随着网络深度的增加,错误率也会增加,但有时需要创建一个深度网络。残差网络(ResNet)通过在身份映射之上添加残差层来解决这个与非线性层的输出相比,很容易将残差输出减少到最小值(He等人,2016年)。每个ResNet块要么是2层深(用于小型网络,如ResNet 18,34),要么是3层深(ResNet 50,101,152)(He等人, 2016年)。我们使用了不同的ResNet模型和不同的图像大小。ResNet模型期望输入一个正方形大小的图像。我们试图采用最佳实践来训练模型。我们使用了循环学习率和差分学习率,循环学习率在历元之间循环地改变它们的值,差分学习率根据层改变它们的值,使得训练率逐层变化,因为初始层通常表示原始特征,而内层表示高级特征。这有助于大大提高精度,并减少过度拟合(如果有的话)。为此,我们在Pytorch上使用了Fastai库,Pytorch是Python中的深度学习库。这有助于我们为给定的问题取得最佳结果。4. 方法在本节中,我们介绍了用于拟议工作的方法。拟议工作的目标如下:1) 为了找到有效和准确的CNN模型,坑检测使用热成像技术。2) 评估与现有技术相比的拟议技术。Aparna等人/Journal of King Saud UniversityFig. 1. 自建CNN模型架构。为了执行所提出的工作,我们选择了深度学习,特别是对热图像数据集的卷积神经网络,因为它是最先进的技术,可以用来解决几乎每个领域的分类或对象检测的大多数问题。此外,该技术还没有应用于使用热成像解决坑洞问题。因此,我们的计划是收集包含有和没有坑洞的道路的热图像的经过数据采集时,对图像进行预处理以去除温度标度和其他标记,并通过缩放和裁剪使其达到相同的尺寸。在此之后,应用各种技术来增强所收集的数据,以增加数据集中的图像数量。最后,使用卷积神经网络(CNN)模型进行分类,并对结果进行比较。图2描述了拟议工作的工作流程。582Aparna等人 /沙特国王大学学报-计算机与信息科学34(2022)578- 588图二. 拟议工作的工作流程。4.1. 数据采集热成像相机(也称为红外相机或热成像相机)是一种使用红外辐射形成图像的设备,类似于使用可见光形成图像的普通相机。红外摄像机的波长可达14,000 nm(14 l m),而不是可见光摄像机的400-物体的温度越高,以黑体辐射形式发射的红外辐射就越多。一个特殊的相机可以检测到这种辐射的方式类似于一个普通的相机检测可见光。它甚至在完全黑暗的情况下也能工作,因为环境光线水平并不重要。这使得它在烟雾弥漫的建筑物和地下区域的救援行动中非常有用(Thermo- graphic_camera,2018)。在所提出的工作中,我们使用FLIR ONE热摄像机进行数据采集。这款相机使用FLIR ONE应用程序显示实时热红外图像。先进的专利多光谱动态(MSX)技术融合和提取热图像和可见光图像的细节,以创建增强的图片和视频,揭示肉眼看不到的东西访问了昌迪加尔市的各个地方,这些地方都有坑洼,并点击了有坑洼和没有坑洼的道路图片与热图像一起,还保存了相应的坑洼和非坑洼道路的视觉摄像机图像,以清晰地查看实际情况。图图3和图4示出了使用FLIR ONE拍摄的坑洼和非坑洼道路的样本图像及其相应的视觉图像。确定了以下类型的坑洞以收集图像(Kim和Ryu,2014):● 根据坑洞的严重程度:低、中、高● 基于阴影的存在:阴影和非阴影● 基于水的存在:充水、潮湿和干燥图三. 热成像和视觉摄像机拍摄的坑洞图像。见图4。 非坑洞的热成像和视觉摄像机图像××Aparna等人/Journal of King Saud University此外,在一天和一年中的不同时间收集数据,以研究光和温度对热成像在坑洞检测中的性能的影响。4.1.1. 记录的参数在进行数据收集时,我们准备了单独的电子表格,用于记录来自两台热摄像机的数据集信息两个电子表格都具有以下属性:● 热图像ID● 视觉图像ID● 空气温度● 道路温度● 坑洼温度● 时间● 严重程度● 水填充● 阴影● 位置人工收集了大约500张坑洼和非坑洼道路的图像4.2. 数据预处理在采集了坑槽和非坑槽的图像后,对采集的图像数据集进行了预处理在数据集的预处理期间,对图像执行以下各种4.2.1. 裁剪图像裁剪图像以删除默认相机标签,以便它们不会妨碍图像处理技术。使用FLIR ONE拍摄的裁剪后的热图像的尺寸为480×4.2.2. 调整图像大小在尝试对裁剪图像运行CNN模型后,发现硬件(GPU内存)不足以处理上述像素的图像和4500个图像(增强后),因此在训练前将图像大小调整为一半,即240× 295像素。4.3. 数据增强在许多现实场景中,即使是小规模的数据收集也可能非常昂贵,有时甚至几乎不可能。因此,为了充分利用少量数据,使用了各种增强技术这有助于更好的训练,防止过拟合,并有助于模型更好地泛化,因为数据集更大。4.3.1. 缩放图像缩放意味着将图像转换为放大图像。热图像的放大版本可用于增强,因为它们代表从坑洞近距离拍摄图像的情况4.3.2. 旋转图像的旋转意味着以某个角度改变对象围绕枢轴点的位置。当旋转时,坑洞或非坑洞的图像仍将看起来像坑洞或非坑洞,并且将表示该情况,就好像图片是从不同角度拍摄的一样。4.3.3. 镜像镜像创建对象的镜像。坑洞或非坑洞的镜像也代表了真实场景。4.3.4. 模糊图像的模糊意味着降低图像的边缘,角落等尖锐特征的强度因此,从原始热图像中制作模糊图像有助于增加数据集大小,并导致更好的模型训练。4.3.5. 对比度增强对比度增强有助于增加图像中的对比度,从而使图像包含更多的强度而不仅仅是几个。这被应用在热图像上进行增强,因为相同的图像在晴天或晴天可以有更好的对比度。4.3.6. 椒盐噪声椒盐噪声通过随机地将图像的一些像素的强度改变为1而将另一些像素的强度改变为0而被添加到图像。椒盐噪声可以表示在尘土飞扬的日子或相机上有灰尘时收集4.4. 使用卷积神经网络为了在数据集上应用CNN,我们可以选择开发自己的模型或使用预先训练的模型。因此,我们通过将CNN以不同的方式应用于数据集来进行各种实验进行的两项广泛实验如下:1) 应用自建CNN模型2) 基于CNN的ResNet模型选择ResNet(残差网络)模型是因为它们是在ImageNet数据集上训练的,该数据集包含大量各种对象的图像。此外,这些网络在各种深度学习竞赛中表现相当好,错误率非常低。它们还解决了在大型网络中通常观察到的问题,即随着网络深度的增加,饱和和精度下降开始发生。4.4.1. 应用自建CNN模型在实验1中,我们试图最大限度地减少训练中的过拟合对于这个实验,我们还将数据的尺寸从480x590调整为240x295,因为处理如此大尺寸的图像变得越来越困难。在保留104张图像用于测试的基础上,我们将数据集按90:10的比例分为训练集和验证集。在实验期间采用的参数如下所示培训验证分配:90:10图像大小:240295总类别:2.图像总数:4904训练数据集大小:4320验证数据集大小:480测试数据集大小:104内核:3 3卷积层激活:ReLU卷积层损失函数:binary_crosss entropy4.4.2. 基于CNN的ResNet模型为了进行实验,我们将数据集以60:40、80:20和90:10三种不同的比例进行训练和验证。然后,我们尝试了不同的ResNet模型进行实验 , 例 如 ResNet18 , ResNet34 , ResNet50 , ResNet101 和ResNet152。然后我们584Aparna等人 /沙特国王大学学报-计算机与信息科学34(2022)578- 588通过改变图像大小来测试这三种数据集大小的模型。我们用四种图像大小进行了实验,224x224(标准ImageNet大小),240,360,480(图像的最大大小)。4.5. 性模型在进行所有实验之后,进行以下比较。● 自建模型与预训练模型的比较● 不同预训练模型的比较● 与先前现有工作的比较从这些不同的比较中获得的结果将在下一节中讨论。5. 结果和讨论5.1. 应用自建CNN模型实验1.1:仅在最后一层之后添加批量归一化层。主要参数:1) 最后一层2) 4个卷积层,输出大小为16,32,64,1283) dropout 0.7在致密层和S形激活4) 学习率= 0.001,衰减= 0.05) 时期数= 56) 批量= 32图5图示了该实验的结果。意见1) 从这个实验中,我们实现了58.12%的平均训练准确率和70.62%的平均验证准确率2) 训练和验证损失较高。3) 测试准确率为64.42%实验1.2:在每层之后添加批量归一化层。参数变更:1) 每层2) 学习衰减= 0.013) 时期= 104) 批量= 16图五. 实验结果1.1见图6。 实验结果1.2Aparna等人/Journal of King Saud University表2在实验2.1中的每个模型中获得最佳结果图6图示了该实验的结果。意见1) 从这个实验中,我们实现了55.74%的平均训练准确率和68.99%的平均验证准确率2) 训练和验证的损失更高。3) 测试准确率为73.06%我们看到,在自建CNN上进行的这两次实验中,准确率不够好,损失也很高。由于我们的模型结果不令人满意,我们尝试了预训练的ResNet模型。5.2. 基于CNN的ResNet模型实验2.1:不同的ResNet模型,训练验证分裂60:40和不同的图像大小。1. ResNet18我们 尝试 在图像 大小上 微调 此模型 : 224*224 , 240*240 ,360*360和480*480。最好的验证准确率为90.52%,图像大小为224。验证损失为27.37%。在图像大小480上训练模型导致内存不足错误。2. ResNet34最好的结果是从图像大小为240,验证准确率为89.42%,验证损失为27.57%。480的图像大小再次导致运行时错误。3. ResNet50最好的结果是从图像大小224获得的验证准确率为91.77%,验证损失为24.07%。在这种情况下,360和480的图像大小导致内存不足错误4. ResNet101最好的结果是从图像大小为240,验证准确率为92.50%,验证损失为22.40%。在这种情况下,360和480的图像大小导致内存不足错误见图7。图中显示了不同算法模型见图8。 使用ResNet101在224x224图像尺寸上的实验2.3的结果。S. 没有模型图像尺寸培训损失(%)验证损失(%)培训准确率(%)验证准确度(%)平均精确-回忆分数1ResNet1822430.1827.3788.6990.520.882ResNet3424028.4127.5789.4289.420.863ResNet5022425.1124.0790.0591.770.894ResNet10124023.4722.4091.1492.500.915ResNet15222428.1623.2890.2091.660.89586Aparna等人 /沙特国王大学学报-计算机与信息科学34(2022)578- 5885. ResNet152最好的结果是从图像大小224获得的验证准确率为91.66%,验证损失为23.28%。在这种情况下,360和480的图像大小导致内存不足错误表2总结了所有使用模型的结果。从实验2.1中,我们可以观察到,平均训练准确率为89.9%,平均验证准确率为91.17%,数据集以60:40的比例划分用于训练和验证。对于进一步的实验,我们使用了前3个执行模型(如表2所示),在训练和验证中实现了90%及以上的准确度,因为随着数据的增加,准确度成比例地增加此外,我们没有对图像大小360和480进行进一步的实验,因为它们总是给出内存错误。 图 7表示不同模型的训练和测试精度之间的比较。实验2.2:不同的ResNet模型,训练验证分割为80:20,图像大小为224和240。见图9。 使用ResNet101在240x240图像尺寸上的实验2.3的结果。1. ResNet50图像大小为240的验证准确率为95.20%,验证损失为20.05%。图像大小为224的验证准确率为94.47%,验证损失为13.13%。2. ResNet101图像大小为240的验证准确率为93.95%,验证损失为16.46%。图像大小为224的验证准确率为94.16%,验证损失为16.65%。3. ResNet152图像大小为240的验证准确率为95.00%,验证损失为14.89%。当图像大小为224时,验证准确率为93.95%,验证损失为14.06%意见1) 从实验2中,我们观察到准确性随着数据的增加而增加2) 图像大小224和240的精度几乎相似3) 平均训练准确率为93.76,平均验证准确率为94.45表3自建模型和预训练模型的精度比较。精度自建模型ResNetAvg. 培训62.6394.64Avg. 验证69.895.2图10个。图中显示了自训练模型和预训练模型在准确性方面的比较见图11。 图表显示了不同ResNet模型的比较。Aparna等人/Journal of King Saud University表4与以前的作品比较。S. 号参考用方法数据集精度1Hoang et. al. (2018年)基于方向可调滤波器的LSSVM和NN特征提取道路样本87*2Ryu et.(2015年)分割、候选提取和决策从摄像机73.53一个et. al. (2018年)各种ANN智能手机摄像头拍摄的坑洞96.75美元 *4拟议工作CNN ResNet模型道路热图像97.08*-从不同模型或方法获得的平均准确度。实验2.3:不同的ResNet模型,训练验证分割为90:10,图像大小为224和240。1. ResNet50最好的结果是从图像大小224获得的验证准确率为95.62%,验证损失为10.79%。2. ResNet101最好的结果是从图像大小224获得的验证准确率为97.08%,验证损失为11.61%。这是达到了最高的精度。图8和图9图示了该实验的结果。3. ResNet152最好的结果是从图像大小为240,验证准确率为94.79%,验证损失为16.28%。意见1) 图像尺寸224和240的精度几乎相似。2) 观察到97.08%的验证准确度,这是迄今为止最高的。3) 平均训练准确率为94.64,平均验证准确率为95.20。5.3. 结果比较5.3.1. 自建模型表3显示了自建模型和预训练模型的结果之间的比较。图10显示了自训练模型和预训练模型的平均准确度之间的比较。5.3.2. 各种预训练模型由于在上述实验2.3的情况下获得了最好的结果,训练和验证比为90:10,因此,我们根据在该数据集上获得的结果比较了不同的模型。 图图11示出了通过不同预训练模型获得的平均准确度之间的比较。5.3.3. 实验的主要发现上述实验表明,基于CNN的 ResNet模型明显优于自建的CNN模型。使用ResNet模型实现了95%的平均ResNet50在每种情况下都表现良好,但ResNet101在一种情况下表现优于ResNet50,准确率为97.08%这意味着ResNet50和ResNet101都是解决此问题的合适模型选择此外,在使用ResNet模型时,最佳图像尺寸为224x224,因为它在每种情况下都能得到很好的结果。循环学习率的使用大大提高了准确性。使用ResNet101实现的最佳精度也优于以前的许多到目前为止的准确性。从混淆矩阵可以看出,该方法的假阳性率较低.5.3.4. 与先前现有工作的由于热成像技术在坑洞检测领域的应用是一个相对较新的概念。在这个方向上没有多少工作此外,使用热成像以外的不同方法的先前工作的结果可以用于比较,但应该记住,这些工作使用自己的数据集和算法进行坑洞检测。因此,我们可以进行比较的唯一共同点是它们都在进行坑洞检测。表4将所提出的技术与以前的一些工作进行了比较。6. 结论使用人工智能方法的坑洞检测可以帮助更好地维护道路状况,特别是在资源有限的发展中国家为此,基于卷积神经网络使用热成像的拟议 系统 确实 有可 能与 现有的 坑洞 检测 技术 使用基 于 CNN 的ResNet模型的拟议坑洞检测系统已达到97.08的准确度,这是迄今为止文献中报道的最好此外,这是第一次将热成像用于坑洞检测,与其他技术相比,该技术具有多个优点,例如更准确,成本低,复杂性低,可以在夜间和雾天条件下工作,并且不涉及穿过坑洞的风险。此外,该工作可以扩展到在将图像分类为坑洞之后检测坑洞的区域,并且此外还可以检测参数,如坑洞的严重性,在此基础上可以找出哪个区域需要紧急维修工作。确认这项工作是与印度昌迪加尔旁遮普大学设计创新中心合作进行的。引用Kim,T.,Ryu,S.K.,2014.坑槽检测方法的回顾与分析。J. 新兴趋势计算。信息科学 5(8),603-608.Kim,T.,Ryu,S.K.,2014.坑穴分类指南。国际工程技术杂志4(10)Thermographic_camera[在线 ]https://en.wikipedia.org/wiki/Thermographic_camera ( 2018 年 11 月 15 日 访问)他,K.,张,X.,Ren,S.,孙,J.,2016. 用于图像识别的深度残差学习。在:IEEE计算机视觉和模式识别会议论文集,pp。 770- 778Hoang,N.D.,2018.基于最小二乘支持向量机和神经网络的沥青路面坑槽智能检测方法。高级土木工程师安,凯,Lee,S.W.,Ryu,S.K.,徐,D.,2018年1月使用深度卷积神经网络模型检测坑洞,用于车辆驾驶中的自适应冲击观察。在:消费电子(ICCE),2018年IEEE国际会议上(pp. 1-2)。Ryu,S.K.,Kim,T.,Kim,Y.R.,2015.用于ITS服务和道路管理系统的基于图像的坑洞检测系统。数学问题工程师一,二。588Aparna等人 /沙特国王大学学报-计算机与信息科学34(2022)578- 588Negied , N.K. , 2014. 人 类 生 物 识 别 技 术 : 向 热 成 像 迈 进 。 Int. J. 近 期 技 术 工 程(IJRTE),ISSN,2277-3878。Dash ,D.K.,2018. 2017年,印度各地的坑洞造成3,597人死亡, 恐怖803 [在线 ]https://timesofindia.indiatimes.com/india/potholes-killed-3597-across-india-in-2017-terror-803/articleshow/64992956.cms(2018年11月20日访问)Akagic,A.,Buza,E.,Obervic,S.,2017年5月坑检测:一种基于RGB颜色空间图像分割的高效视觉方法。在:信息和通信技术,电子和微电子(MIPRO),2017年第40届国际会议(pp. 1104-1109)。美国电气与电子工程师协会。Yu,B.X.,Yu,X.,2006.基于振动的路面状况评价系统。在:第九届国际会议的先进技术在交通运输中的应用,pp。 183比189De Zoysa,K.,Keppitiyagama角,Seneviratne,G. P.,诗涵W.W.A.T. 2007. 基于公交系统的路面状况监测传感器网络。发展中区域网络系统研讨会论文集,1-6。Erikson,J.,吉罗德湖,赫尔湾,2008.坑洞巡逻:使用移动传感器网络进行路面监测。第六届国际移动系统、应用和服务会议论文集(2008年),pp。29-39Mednis,A.,Strazdins,G.,Zviedris,R.,Kanonirs,G.,塞拉沃湖2001.使用带有加速度计的Android智能手机进行实时坑洞检测。在:传感器系统和研讨会分布式计算国际会议论文集。 1比6Wang,K.C.P.,2004.路面状况综合自动化调查的挑战和可行性。在 :第8届国际会议先进技术在运输工程中的应用,第。 531- 536Chang,K.T.,Chang,J.R.,Liu,J.K.,2005年 利用三维激光扫描技术检测路面破损。在:ASCE土木工程计算国际会议论文集,pp。 1比11Hou,Z.,Wang,K.C.P.,龚,W.,2007.通过立体视觉进行三维路面成像实验。在:运输工程国际会议论文集,页。 376-381.李,Q.,姚,M.,Yao,X.,徐,B.,2009年路面变形实时三维扫描检测系统。测量科学Technol.21(1),15702-15709。Staniek,M.,2013.立体视觉技术在路面评价中的应用。在:第二十八届国际波罗的海公路会议的会议记录,pp。 1比5。Joubert,D.,Tyatyantsi,A.,Mphahlehle,J.,Manchidi,V.,2011.坑标记系统。在:南非第四届机器人和机电一体化会议(2011年),1-4。莫 阿 扎 姆 岛 Kamal , K. , Mathavan , S. , Usman , S. , 拉 赫 曼 , M. , 2013. 使 用Microsoft Kinect传感器测量和可视化坑洞。在:第16届国际IEEE智能交通系统年会论文集(2013),1284-1291。科赫角,澳-地布里拉基斯岛2011年。沥青路面图像中的坑槽检测Adv. Eng.Inf. 25,507乔格,通用,科赫角,澳-地Golparvar-Fard,M.,布里拉基斯岛2012.通过视觉2D识别和3D重建进行坑穴特性测量。在:ASCE土木工程计算国际会议论文集,pp。 553- 560Lokeshwor,H.,Das,L.K.,Sud,S.K.,2013.从路面视频剪辑中自动评估坑洞、裂缝和补丁的方法。程序-社会行为。Sci. 104,312-321.科赫角,澳-地乔格,通用,布里拉基斯岛2013.基于图像处理和谱聚类的坑洞检测。 J.Comput. 土木工程 27(4),370-378。Buza,E.,Obervic,S.,Huseinnovic,A.,2013.立体视觉技术在路面评价中的应用。在:第二届信息技术和计算机网络国际会议的会议记录,pp。 48比53Lokeshwor,H.,Das,L.K.,戈尔,S.,2014.用于路面视频剪辑中有/无损伤帧自动分割的鲁棒方法。J. Transp. Eng. 1 4 0 ,31-41。山下河,Nishio,M.,多,R.,Togashi,K.,2018年卷积神经网络:放射学概述及应用。Insights Imaging 9(4),611-629.提前在线发布。doi:10.1007/s13244-018-0639-9拉贾 拉曼 ,S., Antani , S.K. ,Poostchi ,M. , Silamut ,K. , Hossain , 医学硕 士Maude,R.J.,托马斯,G.R.,2018.预训练的卷积神经网络作为特征提取器,用于改进薄血涂片图像中的疟疾寄生虫检测。PeerJ 6,e4568。罗伯茨角,澳-地五、2018.量化流行的预训练卷积神经网络隐式学习高级受保护属性的程度,计算机科学系硕士论文。普林斯顿大学。杨角是的,张玉- D、Xiao-Jun,Y.,2019.分形传热微分方程的精确解。热科学20(补充)3)、S749-S752。Wang,S.H.,Muhammad,K.,Phillips,P.,例如,2017.极端学习机结合统计测度 与 分 形 维 数 检 测 乳 腺 热 像 中 导 管 原 位 癌 。 J. Ambient Intell. 人 类 计 算https://doi.org/10.1007/s12652-017-0639-5网站。
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 基于单片机的瓦斯监控系统硬件设计.doc
- 基于单片机的流量检测系统的设计_机电一体化毕业设计.doc
- 基于单片机的继电器设计.doc
- 基于单片机的湿度计设计.doc
- 基于单片机的流量控制系统设计.doc
- 基于单片机的火灾自动报警系统毕业设计.docx
- 基于单片机的铁路道口报警系统设计毕业设计.doc
- 基于单片机的铁路道口报警研究与设计.doc
- 基于单片机的流水灯设计.doc
- 基于单片机的时钟系统设计.doc
- 基于单片机的录音器的设计.doc
- 基于单片机的万能铣床设计设计.doc
- 基于单片机的简易安防声光报警器设计.doc
- 基于单片机的脉搏测量器设计.doc
- 基于单片机的家用防盗报警系统设计.doc
- 基于单片机的简易电子钟设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)