没有合适的资源?快使用搜索试试~ 我知道了~
工程7(2021)1786研究土木工程-文章基于频域深度放大图片作者:张倩云a,Kaveh Barria,Saeed K.作者声明:a.阿拉维a,c,a美国宾夕法尼亚州匹兹堡市匹兹堡大学土木与环境工程系,邮编15261bWiss,Janney,Elstner Associates Inc.,Northbrook,IL 60062,美国c亚洲大学计算机科学与信息工程系,台湾台中41354阿提奇莱因福奥文章历史记录:收到2020年2020年6月9日修订2020年7月27日接受2020年11月19日网上发售保留字:裂缝检测混凝土桥面板深度学习实时A B S T R A C T本文提出了一种基于视觉的混凝土桥面裂缝检测方法,在图像频域中使用集成的所谓的1D-CNN-LSTM算法使用数千张开裂和未开裂混凝土桥面的图像进行训练。为了提高训练效率,图像首先在预处理阶段被变换到频域。然后使用平坦化的频率数据校准LSTM用于提高长序列数据的开发网络的性能开发的模型的准确性分别为99.05%,98.9%和99.25%,训练,验证和测试数据。进一步开发了一个实施框架与现有的深度学习方法相比,所提出的1D-CNN-LSTM方法在准确性和计算时间方面表现出优越的性能。1D-CNN-LSTM算法的快速实现使其成为实时裂缝检测的有前途的工具。©2020 THE COUNTORS.Elsevier LTD代表中国工程院出版,高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)中找到。1. 介绍根据美国土木工程师协会(ASCE)的报告卡[1],美国有超过56000座桥梁存在“对老化桥梁进行经济有效的管理已成为国家交通部门和政府面临的一项具有挑战性的任务。桥梁的可靠性状态评估是进行维修和预防决策的前提尽管这一问题促使桥梁业主进行频繁的结构检查,但传统的无损评估(NDE)和目视检查方法的应用需要对单个元件进行逐点检查,以发现多个缺陷的位置,此外,由于检查员的安全问题,桥梁关闭此外,这些方法耗时、昂贵、主观,并且高度依赖视察员许多研究小组一直在探索替代的结构健康监测(SHM)方法来处理这些限制[2虽然全球SHM技术似乎很有前途,但它们只是*通讯作者。电子邮件地址:alavi@pitt.edu(A.H. Alavi)。能够提供结构行为的粗略评估,不能提供详细信息[5,6]。此外,由于噪声信号、传感器缺陷或采集系统设置,解释由SHM方法收集的结果是一项具有挑战性的任务。近年来,基于视觉的方法在民用基础设施损伤检测实践中越来越受到已经进行了许多研究来检测表面缺陷,例如裂纹和腐蚀。例如,分割[7],过滤[8,9]和基于立体视觉的方法[10]已用于检测结构系统中的裂缝和裂缝状特征基于视觉的方法通常遵循两个步骤来检测裂缝[11]。在第一步中,使用统计滤波器对图像进行滤波,并且局部地提取裂缝特征以融合图像。第二步涉及清理和链接图像片段以定义裂纹[11]。阴影消除算法也被开发出来,以消除这些图像中的阴影,并精确定位裂缝[12,13]。然而,桥梁检测数据是在各种情况下收集的,因此差异很大。诸如由照明条件和失真引起的噪声、对先验知识的依赖以及图像数据的质量等问题对于可靠的裂缝检测仍然具有挑战性https://doi.org/10.1016/j.eng.2020.07.0262095-8099/©2020 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表工程杂志首页:www.elsevier.com/locate/engQ. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861787×××;×× ×× ××布·库奇×ðbð- -一种 Þ þ Þ×ðð -- þÞ×cbc解决这些问题的一个可行的解决方案是部署机器学习(ML)方法。基于ML的方法已广泛用于SHM和NDE领域[14这些方法通常用于解释从测试系统收集的信号数据;因此,它们特别用于提供有关结构系统状况的有用信息。该领域最近的努力集中在集成图像特征提取和ML技术,以开发新型SHM和NDE系统[17然而,过度提取或错误提取的特征的使用通常导致模型开发的显著复杂性。卷积神经网络(CNN)可以通过提取有效的图像特征来克服这个问题。cnn是一类受视觉皮层启发的深度学习算法动物[20]该方法可以有效地捕获图像的网格状拓扑结构。由于稀疏连接的神经元和池化过程,它需要更少的计算,这将缩小图像尺寸。此外,CNN在区分大量类别方面表现出可靠的性能[21,26]。由于其在图像数据上的出色性能,CNN正在成为SHM系统的有效工具[22最近,Azimi和Pekcan[27]介绍了一种用于SHM的CNN方法,该方法使用迁移学习技术来压缩响应数据。他们的CNN模型使用加速度响应历史进行训练。所开发的模型,然后通过实验数据进行验证。Soukup和Huber-Mörk[28]提出了一种基于CNN的铁路缺陷检测方法。Cha等人。[29]提出了一种用于混凝土表面的深度学习裂缝损伤检测系统。Da Silva和de Lucena[30]开发了用于混凝土裂缝检测的CNN图像分类器。虽然已经取得了很大的进步,但现有的基于深度学习的SHM方法的主要缺点是它们的计算强度和较长的训练时间。这些局限性不仅影响了这些方法本研究提出了一种实时深度学习方法,用于检测桥面上的裂缝。为此,一维(1D)-CNN与称为长短期记忆(LSTM)的人工递归神经网络(RNN)架构所提出的1D-CNN-LSTM算法使用转移到频域而不是空间域的图像进行训练采用该策略可以减少计算时间,提高检测精度。文中还讨论了所提出的裂纹实时检测系统的有效性本文的组织如下:第2节介绍了相关深度学习方法的细节。第3节概述了所提出的方法和用于模型校准的数据库,并描述了预处理步骤和网络架构。第4节提供了检测结果,并讨论了所提出的方法在一个看不见的测试数据集上的实现。第5提供了与现有深度学习方法和两种常用边缘检测方法的比较研究最后一节介绍了进一步的讨论和结论。2. 方法2.1. 卷积神经网络深度学习是ML的一个子集,能够使用多层人工神经网络结构从原始数据中提取更高级别的特征。深度学习也被称为深度神经学习或深度神经网络。在这些技术中,CNN是最著名的深度学习架构。CNN受到动物视觉皮层生物过程的启发[31,32]。在视觉处理过程中,具体到各个领域。然后,不同神经元的相应场部分重叠以覆盖整个视野。CNN在至少一个层中使用数学运算卷积进行一般矩阵乘法[33]。CNN通常由输入层、卷积层、池化层、全连接层和输出层组成通常,输入层表示为形状张量(图像数量、图像高度、图像宽度、图像通道)。卷积层将多个滤波器应用于输入的局部区域,以便提取具有形状(图像的数量特征图高度特征图宽度滤波器的数量)的图像的特征图。例如,如果输入由大小为M N像素和C个颜色通道的A个图像组成,则输入张量的形状将为A× M× N × C。假设过滤器的数量为k,则权重滤波器i的值是Wi,bi是滤波器i的偏置,xs表示滤波器窗口补丁,a是激活函数(如整流线性单元(ReLU)、sigmoid和tanh),则xs的卷积,给定每个图像的滤波器i,定义如下:我是你的朋友。Wixsbii1通过滑动过滤器窗口通过每个图像与补丁窗口大小为f F C和步幅大小S(即,滤波器在每个方向上移动步骤),对于所有维度,卷积输出的大小为N Mf=s1Nf=s1k,其中f是滤波器大小,C是图像通道数,是向下舍入函数。 图 1描述了卷积层的卷积过程。卷积层通常有一个池化层。池化层通过将一层神经元簇的输出合并到下一层的单个神经元中来降低数据的维度[20]。池化过程可以计算最大值或平均值,这取决于输出的期望。最大池化计算前一层的每个局部聚类的最大值,并将其传递给下一层。平均池化将上一层的局部聚类的平均值传递到下一层。例如,xs补丁的最大池化可以表示如下:池%s最大值%x% s最大值% 2根据以前的研究[34],最大池化在图像数据集上提供了比平均池化更好的性能CNN的最后全连接层将一层中的每个神经元连接到另一层中的每个神经元。扁平化的矩阵通过一个完全连接的层来分类图像。广泛使用的CNN结构通常包括输入层,然后是几个卷积层,池化层,全连接层和输出层[35图2示出了CNN架构的示例。根据卷积的维度和方向,有1D,二维(2D)和三维(3D)CNN。1D-CNN在一维(沿一个轴)进行卷积计算,而2D和3D-CNN分别在两个和三个方向上计算卷积值在这项研究中,1D-CNN被应用于提取和学习平坦图像频率信号的特征。 图 3显示了一个简单的一维卷积的例子。2.2. 长短期记忆RNN是一类适合序列数据的深度学习。一般的RNN都有短期记忆问题。如果一个序列很长,RNN将很难将信息从前面的步骤传递到后面的步骤。换句话说,如果处理的信号很长,RNN可能会从一开始就丢失一些重要信息。此外,RNNs遭受消失Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861788Fig. 1.卷积层的详细信息。(a)每个图像通过卷积层的整体卷积过程;(b)每个单独滤波器的详细卷积过程。图二. CNN架构的一个例子。k和h是不同层中滤波器的数量; Conv表示卷积。图三. N个例子的一维卷积。反向传播过程中的梯度问题。例如,如果梯度值变得非常小,则学习过程不会显著改善。在典型的RNN中,小梯度可以停止层为了解决这些问题,可以使用LSTM方法[38]LSTM是一种具有内部门的不变RNN架构,可用于调节信息流。LSTM由三个阈值结构组成,用于过滤空输入和冗余信息,并融合相似信息。图4显示了LSTM的工作机制。Ct-1和Ct是序列中的细胞状态,它们充当传递信息的三个门的设计,将信息转移到小区状态或将其从小区状态移除。门由一个S形神经网络层和一个逐点乘法运算组成sigmoid层的输出在0和1之间,用于描述每个组件应该通过多少。第一个门被称为例如,如果输出数字等于0,则应完全删除此组件[38]。当量(3)计算。第二个门用于决定需要向单元状态添加什么信息。这包括sigmoid层的更新输出和由tanh层创建的新候选这两者的组合被添加到Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861789~×××见图4。 LSTM的机制更新状态,如等式2所示(4)最后一步是决定需要输出什么信息。细胞状态通过sigmoid层和tanh层来生成最终输出,如等式2所示。(7)和(8)。ft¼r. Wf½ht-1;Xt]bf3itrwi½ht-1;Xt]bi4C~t¼tanhWC½ht-1;Xt]bC5由卷积核提取的这些特征彼此强烈依赖,并且可以被视为LSTM层的顺序数据输入以进行特征融合。然后施加完全连接的层以进一步融合从先前的层获得的足够的特征。图5给出了所提出的桥梁混凝土裂缝实时检测方法的框架。如图所示,第一步是收集一个数据库,其中包括数千张开裂和未开裂混凝土桥面的图像然后将数据库划分为训练、验证和测试子集。训练和验证数据集被传递到预处理阶段,在那里图像被转换为Ct¼ftCt-1 Ctð6Þ频域。可以说,表面裂纹的边缘形状对应于高频率。因此,高通滤波器(HPF)被应用于滤除对应的低频otrWo½ht-1;Xt]bo7htottanhuCt其中ft和it是sigmoid层输出;C~t是需要添加的状态当前时间步长;Wf、Wi、WC和Wo是层权重;ht-1和Xt分别是前一时间步长的输出和当前步长的输入;bf、bi、bC和bo是偏置项[38]。LSTM算法已被应用于处理长序列信号,如自然语言[39],心率信号[40]和语音信号[41]。3. 一种混凝土裂缝实时检测方法如前一节所述,CNN对于特征提取是强大的然而,特征融合在整体模型性能中起着更重要的作用。全连接层被广泛用于简单地将提取的特征与调整的权重相结合。尽管全连接层在特征混合方面具有良好的性能,但它们通常不足以提取高级信息。为了解决这个问题,本研究将1D-CNN与LSTM集成为特征融合层。LSTM已被证明可以有效地混合序列数据的长期依赖性[42在桥梁检测中,输入的混凝土桥面图像是在某个时刻捕获的单个图像,而不是按序列捕获的图像。因此,在本研究中,LSTM被应用于特征层而不是输入层。在1D-CNN特征提取阶段,卷积核用于扫描整个图像频率向量,以提取图像中将内核移动步幅设置为小于内核大小本身,可确保每个扫描区域都有重叠部分因此,特征块到背景。在滤波之后,图像频率矩阵被平坦化为矢量频率信号。这些向量用于训练所提出的1D-CNN-LSTM算法。所开发的方法被施加到测试图像进行滑动窗口通过整个图像。有裂缝的局部窗户被保留在输出图像中。3.1. 数据库1D-CNN-LSTM模型是使用包含4800张手动标记的开裂和非开裂混凝土桥面图像的数据库开发的[54]。该数据库包括窄至0.06 mm和宽至25 mm的裂缝。256256像素。为了提高检测精度,将图像分成64个子图像64像素。出4800个可用图像,4300个图像被裁剪成17200个小图像。模糊或包含角裂纹的图像将被消除。最后,16 789图像被保存作为本研究的数据集。其余500桥面图像随机拼接成20幅大小为1280 - 1280像素的图像,用于测试开发的分类器的泛化能力。3.2. 频域数据预处理在许多研究中,图像在空间域中处理。也就是说,图像按原样进行处理,而无需进一步的预处理。在空间域中,像素的值相对于场景而改变,并且图像处理基于在像素值上。一种可以说更有效的处理图像的方法是将它们转换到频域[49]。图像可以通过进行离散傅里叶变换(DFT)从空间域变换到频率域。在频域中,值和位置由取决于图像内出现在该域中,像素位置Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861790ðÞ利多卡因,利多卡因XXðÞðÞMXX1NFk;Lexpi2p门图五、所提出的方法的框架FFT:快速傅立叶变换。由其x和y频率表示,其值由振幅表示。图像可以转换到频率域,以确定哪些像素包含更多重要信息以及是否出现重复模式。在通常显示的是图,因为它包含了空间域的大部分幅度和相位可以表示如下:换句话说,在频域中,我们处理的速率为其中像素值在空间域中改变。由于图像的频率与像素值变化率有关,jFk;ljqRek;l2;lð11Þ图像的频率分量被分成两个部分:对应于图像中的边缘的高频分量;以及对应于平滑区域的低频分量。许多研究人员已经将此属性应用于图像滤波,压缩和重建[50DFT是采样傅立叶变换;因此,它不包含形成图像的所有频率,而仅包含足够大以完全描述空间域图像的一组样本。频率的数量对应于空间域图像中的像素的数量,因此空间域和傅立叶域中的图像具有相同的大小。对于尺寸为M×N的图像,图像的2D DFT可以表示如下:/k;ltan-1imk;ltan12其中,jFk;lj是幅度,fk;lj是相位,Rek;lj和Imk;lj是FFT输出的实部和虚部。Fk;l在图像的角落处具有低频,但在中心处具有高频区域,这不便于解释。因此,零频率通常会被移到中心。图图6示出了频率图像中心的偏移[53]。将图像转换到频域可以显着加快CNN训练。用原始图像训练网络,如在空间域中通过2D卷积所做的那样,不是桥面数据的有效解决方案相反,培训是针对-M-1N-1- 是的KX利什基在频域中形成,更像1D信号Fk;lx<$0y<$0fx;yexp-i2p门ð9Þ模式识别因此,在预处理阶段,在RGB通道中首先被读入灰度图像矩阵。然后,对图像矩阵中的每个图像应用FFT。的中心其中f x;y是空间域中的图像像素,并且ex ph-i2p。是对应于每个点的基函数频率图像被移位,并且计算每个图像的幅度。图7显示了有裂纹和无裂纹Fk;l。该方程可以解释为:如下:通过将空间图像与相应的基函数相乘并对结果求和来获得每个点Fk;l另一方面,频域中的图像可以变换回空间域。逆傅立叶变换由以下等式给出:裂纹如图7所示,频谱对于具有裂纹的图像具有线形火花,但是对于没有裂纹的图像使用HPF消除对应于平滑背景区域的低频显然,裂纹图像和非裂纹图像之间的主要区别在于高频域。频率滤波器比率等于0.5意味着仅保留前50%的高频测试0.2至0.7的比率以获得最佳性能。M-1N-1f=x;y= 1/4MN- 是的KX利什基最后,选择0.5来定义阈值。任何频率对于大型图像,快速傅立叶变换(FFT)通常可以降低维数复杂度和计算时间。FFT产生复数值,包括实部和虚部或幅度和相位。在图像处理中,只有大-为每个图像计算并平坦化为频率幅度矢量。图8示出了裂纹和非裂纹图像的原始和滤波幅度。预处理后的图像数据被重新整形为具有形状(图像数量×展平长度)的矩阵。k¼0l¼0ð10Þ高于阈值的频率被保持,并且所有低频被替换为0。在滤波之后,频率幅度矩阵是Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861791见图6。 2D图像频率中心偏移,其中u和v是空间频率。图7.第一次会议。(a)裂纹图像;(b)裂纹图像的频谱;(c)非裂纹图像;(d)非裂纹图像的频谱图8.第八条。(a)裂纹图像的振幅;(b)裂纹图像的滤波振幅;(c)非裂纹图像的振幅;(d)非裂纹图像的滤波振幅Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861792××频率向量1)。整形后的数据用于开发1D-CNN,LSTM作为输入层。3.3. 1D-CNN-LSTM模型架构最佳的1D-CNN-LSTM架构是通过广泛的试错方法选择的,并使用TensorFlow模块开发[55]。最优网络由一个输入层、四组卷积层、一个最大池化层、一个LSTM层、两个全连接层和一个输出层组成。对于每个卷积层,应用批量归一化。ReLU函数用作卷积层的激活函数。Sigmoid和softmax函数分别被认为是第一和第二全连接层的激活函数。网络总参数为230 082,可训练参数为229 378。对于训练过程,选择随机梯度下降作为优化器,其小批量大小为16789个图像中的32个。采用自适应递减的学习率来提高学习速度加快收敛速度。初始学习率和权重衰减分别为0.1和0.0001。应用动量值0.9以避免过拟合。此外,在LSTM层和第一个全连接层之后添加dropout。丢弃率设置为0.5。早期停止也被添加到网络中,当模型性能没有显著改善时,它会停止训练。表1显示了所提出的1D-CNN- LSTM模型的架构。4. 裂纹检测结果4.1. 性能分析数据库中裂纹图像与非裂纹图像的比例为1:2。预处理后的16789张手动标记图像的数据库被随机分为训练集、验证集和测试集,分别占70%、15%和15%。图9示出了训练和验证过程的损失和准确度。 该方法在训练和验证数据上具有很高的精度。在第49和40个epoch时,最大训练和验证准确率分别为99.05%和98.9%。测试准确率为99.25%。最好的模型被保存应用于看不见的测试数据集。 这些模拟在配备英特尔®至强®CPU的台式机上进行见图9。(a)损失和(b)开发的1D-CNN-LSTM模型的准确性。E5-1650 v4@3.60 GHz,NVIDIA Quadro K420 GPU和31.9 GBRAM. 总训练时间为1 h 12 min 4 s。4.2. 1D-CNN-LSTM模型在Python3.7中开发了混凝土桥梁裂缝检测的实现运行代码在第3中描述的程序之后,大规模图像被分解成大小为64 - 64像素的小图像每个图像组被变换到频域,并使用相同尺度的HPF进行滤波。然后,将所开发的模型应用为滑动通过每个图像组的局部窗口,以将组中的小图像分类为裂缝或裂缝。表11D-CNN-LSTM模型的架构。层(类型)输出形状数量的参数滤波器大小数量的滤波器步幅激活函数第1层 conv1d_1(Conv1D)(输入编号,4096,32)1283321-BN_1(批量归一化)(输入编号,4096,32)128----activation_1(激活)(输入编号,4096,32)0---ReLUMaxPooling_1(MaxPooling)(输入编号,2047,32)04-2-第2层 conv1d_2(Conv1D)(输入编号,2047,64)6 2083641-BN_2(批量归一化)(输入编号,2047,64)265----activation_2(激活)(输入编号,2047,64)0---ReLUMaxPooling_2(MaxPooling)(输入编号,511,64)04-4-第3层 conv1d_3(Conv1D)(输入编号,511,128)24 70431281-BN_3(批量归一化)(输入编号,511,128)512----activation_3(激活)(输入编号,511,128)0---ReLUMaxPooling_3(MaxPooling)(输入编号,127,128)04-4-第4层 conv1d_4(Conv1D)(输入编号,127,128)49 28031281-Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861793BN_4(批量归一化)(输入编号,127,128)512----activation_4(激活)(输入编号,127,128)0---ReLUMaxpooling_4(MaxPooling)(输入编号,31,128)04-4-第5层 lstm_1(LSTM)(输入编号,128)131 584----第6层密集_1(密集)(输入编号,128)16 512---乙状第7层 dense_2(密集)(输入编号,2)258---SoftmaxQ. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861794××¼×ðÞ无裂纹图像。为了获得更连续的裂纹,采用了重叠的局部滑动窗口。 图 10提供了滑动过程的简要描述。如图11所示,在使用重叠滑动窗口之后,检测到的裂纹更加连续。带有裂缝的小图像被保留为输出,并恢复到它们在大规模图像中的原始位置。所有其他没有裂缝的小图像都将被消除。 图图12显示了裂缝检测实现框架。如前所述,将500张大小为256 × 256像素的图像拼接成20张大小为1280 ×1280像素的大图像,以测试训练模型的泛化能力。对于每个图像,输出生成的时间为见图10。 重叠滑动窗口的示意图。见图11。 使用重叠和非重叠窗口检测裂缝。只有5-7秒。图13显示了两个测试图像的裂纹检测结果。实现精度计算如下:ACCTP-2000100%13TPTN FP FNER¼ 100%-ACC 140%其中ACC和ER分别是准确率百分比和错误率; TP、TN、FP和FN分别是真阳性、真阴性、假阳性和假阴性的数量。参考图13,实现准确度为98.5%和97.75%;相应地,错误率为1.5%和2.25%。5. 比较研究为了深入了解所提出的1D-CNN-LSTM方法的实现速度和准确性,将其与现有的深度学习方法和两种常用的边缘检测器进行了比较:即Canny[56]和Sobel[57]检测器。几乎所有现有的裂缝检测深度学习领域的研究都是基于在空间域中使用经典的CNN结构和训练图像[29,30]。因此,在本研究中还开发了一个类似于Cha等人最近提出的模型的2D-CNN网络[29]相同的数据库用于2D-CNN方法的训练、验证和测试。2D-CNN架构的细节如表2所示。总参数和可训练参数分别为896 770和896 322。表3总结了比较研究结果。如该表所示,所提出的方法不仅提供了更好的检测性能,而且需要显著更少的总参数和可训练参数。这里最重要的观察结果是,2D-CNN方法的计算成本分别比所提出的1D-CNN-LSTM方法在校准和实现阶段2D-CNN和其他现有的基于深度学习的方法的缓慢处理速度与它们处理空间域中的图像的事实有关此外,在预处理阶段应用HPF减少了冗余数据信息,从而加快了处理速度。1D-CNN-LSTM的快速实现使其成为实时检测桥面裂缝的理想选择 此外图图14显示了1D-CNN-LSTM、Canny和Sobel边缘检测器在一个测试样本上的简单比较。如图所示,1D-CNN-LSTM明显优于边缘见图12。用于混凝土裂缝检测的1D-CNN-LSTM实现过程。Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861795图十三. 两个测试图像的裂纹检测结果。检测方法事实上,Canny方法几乎不能检测到任何裂缝,由于不均匀的混凝土表面,而Sobel方法部分检测到的裂缝受噪声背景的严重影响。6. 结论在这项研究中,提出了一种新的混凝土裂缝检测方法,该方法集成了1D-CNN,LSTM和学习过程图十四岁(a)原始图像;(b)由所提出的1D-CNN-LSTM方法输出(c) 由Canny边缘检测器输出;(d)由Sobel边缘检测器输出在图像频域中。数千张开裂和未开裂混凝土桥面的图像被用于训练、验证和测试所提出的1D-CNN-LSTM算法。在训练、验证和测试数据集上,1D-CNN-LSTM模型的准确率分别该实现框架能够成功地部署训练有素的模型,以高精度检测未标记的大规模图像虽然在实现中的假阳性率和假阴性率是令人满意的,但模型的性能仍然可以通过包括更多的训练数据来改善。将该方法与现有的基于深度学习的方法和两种边缘检测器进行了比较结果表明,表2用于裂纹检测的经典2D-CNN网络的架构层(类型)输出形状数量的参数滤波器大小数量的滤波器步幅激活函数第1层 conv2d_1(Conv2D)(输入编号、64、64、32)3203321-BN_1(批量归一化)(输入编号、64、64、32)128----activation_1(激活)(输入编号、64、64、32)0---ReLUMaxPooling_1(MaxPooling)(输入编号、63、63、32)02-1-第2层 conv2d_2(Conv2D)(输入编号、63、63、64)18 4963641-BN_2(批量归一化)(输入编号、63、63、64)265----activation_2(激活)(输入编号、63、63、64)0---ReLUMaxPooling_2(MaxPooling)(输入编号、31、31、64)02-2-第3层 conv2d_3(Conv2D)(输入编号、31、31、128)73 85631281-BN_3(批量归一化)(输入编号、31、31、128)512----activation_3(激活)(输入编号、31、31、128)0---ReLUMaxPooling_3(MaxPooling)(输入编号、7、7、128)04-4-扁平(输入编号,6272)0----第4层密集_1(密集)(输入编号,128)802 944---乙状第5层 dense_2(密集)(输入编号,2)258---Softmax表32D-CNN和1D-CNN-LSTM方法的比较。Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861796方法总参数可训练参数训练精度验证精度测试精度训练时间执行输出时间标准2D-CNN896 770896 322百分之九十八点五二百分之九十八点一二百分之九十七点八2小时45分16秒每幅图像381D-CNN-LSTM230 082229 378百分之九十九点零五百分之九十八点九九十九点二五1小时12分4秒每幅图像5Q. Zhang,K.巴里,S.K. Babanajad等人工程7(2021)17861797的1D-CNN-LSTM优于比较的方法。与其他研究的CNN算法相比,1D-CNN-LSTM方法的显著优势之一是其显著更快的训练和实现时间。这个问题对于实时混凝土裂缝检测至关重要,特别是对于使用无人机的自主桥梁检测这一观察清楚地验证了频域中数据预处理的效率。未来的研究可以专注于使用更大和更多样化的数据集开发模型。将其他有效的深度学习方法(如Yolo)与频域中的LSTM相结合也是未来研究的一个合适伦理声明作者指出,该研究是根据伦理标准进行的。本研究不涉及人类参与者和/或动物。我确认这部作品是原创的,没有在其他地方出版过。此提交由所有作者批准,如果接受,将不会在其他地方以相同的形式,英语或任何其他语言,未经版权所有者的书面同意。致谢本文中报告的研究是在由影响力弹性基础设施科学与工程(IRISE)公共/私人研究联盟赞助的项目下进行的。在出版时,该财团包括宾夕法尼亚州交通部,联邦公路管理局(当然),阿勒格尼县,宾夕法尼亚州收费公路委员会,金三角建设和迈克尔贝克国际。IRISE成立于匹兹堡大学斯旺森工程学院土木与环境工程系,旨在研究与交通基础设施耐久性和弹性相关的遵守道德操守准则放大图片作者:Kaveh Barri,Saeed K. Babanajad和Amir H.Alavi声明他们没有利益冲突或财务冲突需要披露。本报告的内容反映了作者的观点,作者对本文所列数据的事实和准确性负责。内容不一定反映出版时IRISE研究联盟任何成员的官方观点或政策。本报告不构成标准、规范或法规。引用[1] ASCE的2017年基础设施报告卡:桥梁[互联网]。Reston:American Society ofCivilEngineers;2017[cited2017Oct11]. 可 从 以 下 网 址 获 得www.infrastructurereportcard.org/cat-item/bridges/:[2] 放大图片作者:Spencer BF Jr,Hoskere V,Narazaki Y.基于计算机视觉的民用基础设施检查和监测的进展。工程2019;5(2):199-222。[3] 包毅,陈智,魏S,徐毅,唐智,李宏。结构健康监测中数据科学与工程的现状。工程2019;5(2):234-42。[4] Fujino Y,Siringoringo DM,Ikeda Y,Nagayama T,Mizutani T,Fujino ZY,et al. 日本桥梁和建筑物结构监测的研究与实施。工程2019;5(6):1093-119。[5] 安萨里湾 土木结构中的传感问题健康监测.新York:Springer;2005.[6] [10]杨伟,杨伟,杨伟.大型结构动态分布式损伤检测的虚拟参考方法。J AerospEng2017;30(2):1-12.[7] IyerS,Sinha SK. 一种鲁棒的地下管线图像裂纹自动检测与分割方法。Image VisComput 2005;23(10):921-33.[8] Salman M,Mathavan S,Kamal K,Rahman M.使用Gabor滤波器进行路面裂缝检测。In:Proceedings of the 16th International IEEE Conference onIntelligentTransportation Systems; 2013 Oct 6-9; Hague,the Netherlands; 2014.[9] 黄忠,Xi F,Haiming L.利用Otsu方法和图像处理中的多重滤波技术检测图像中的裂纹。Optik 2016;127(3):1030-3。[10] 单斌,郑松,欧杰。基于立体视觉的混凝土表面裂缝宽度检测方法。 KSCE J CivEng 2016;20(2):803-12.[11] SinhaSK , Fieguth PW. 埋 地 混 凝 土 管 道 图 像 中 裂 缝 的 自 动 检 测 。 AutomConstruct2006;15(1):58-72.[12] 邹强,曹毅,李强,毛强,王S. CrackTree:路面图像的自动裂缝检测。PatternRecognit Lett2012;33(3):227-38.[13] 藤 田 , 滨 本 , 一种 鲁 棒 的噪 声 混 凝 土 表 面 裂 缝 自 动 检 测 方 法 。 Mach VisAppl2011;22(2):245-54.[14] Plehiers PP,Symoens SH,Amghizar I,Marin GB,Stevens CV,Van GeemKM. 蒸汽裂解建模中的人工智能:用于详细流出物预测的深度学习算法。工程2019;5(6):1027-40。[15] 尚C,尤F。智能流程制造的数据分析和机器学习:大数据时代的最新进展和前景。工程2019;5(6):1010-6.[16] 刘世文,黄俊华,宋俊成,李春春。 用神经网络和计算力学检测裂纹。计算方法应用机械工程2002;191(25-26):2831-45.[17] 李文,李文,等.基于神经网络的混凝土裂缝图像智能检测算法.北京:机械工程出版 社 , 2001. In : Proceedings of the 28th International Symposium onAutomation and Robotics in Construction; 2011 Jun 29[18] O'ByrneM,Ghosh B,Schoefs F,Pakrashi V.受损表面的区域增强多相分割技术。计算机辅助土木工程2014;29(9):644-58.[19] PrasannaP,Dana KJ,Gucunski N,Basily BB,La HM,Lim RS,等. 混凝土桥梁裂缝自动检测。IEEE Trans Autom Sci Eng 2016;13(2):591-9.[20] Ciresan DC,Meier U,Masci J,Gambardella LM,Schmidhuber J.用于图像分类的灵 活 , 高 性 能 卷 积 神 经 网 络 。In : Proceedings of the 22nd International JointConference on ArtificialIntelligence; 2011 Jul 16 -22; Barcelona,Spain; 2011.[21] Krizhevsky A,Sutskever I,Hinton GE.使用深度卷积神经网络进行图像网分类。Adv Neural Inf Process Syst 2012;1:1097-105.[22] AbdeljaberO,Avci O,Kiranyaz MS,Boashash B,Sodano H,Inman DJ.结构损伤检测的一维CNN:结构健康监测基准数据的验证。神经计算2018;275:1308-17.[23] De Oliveira MA,Monteiro AV,Filho JV.基于PZT传感器和卷积神经网络的结构健康监测新策略。传感器2018;18(9):1-21.[24] KhodabandehlouH,Pekcan G,Fadali MS,Pekcan G,Fadali MS. 基于卷积神经网络的结构振动状态评估。结构控制健康监测2018;26(2):e2308。[25] Tabian I,Fu H,Khodaei ZS.卷积神经网络用于复杂复合材料结构的冲击检测和表征。传感器2019;19(22):4933.[26] 李康Y,本吉奥Y,辛顿G. 深度学习 Nature 2015;521(7553):436-44.[27] Azimi M,Pekcan G.通过深度学习使用极度压缩的数据进行结构健康监测。计算机辅助城市结构工程2020;35:597-614。[28] Soukup D,Huber-Mörk R.基于卷积神经网络的光度立体图像钢铁表面缺陷检测。In:Bebis G,Boyle R,Parvin B,Koracin D,McMaha
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++多态实现机制详解:虚函数与早期绑定
- Java多线程与异常处理详解
- 校园导游系统:无向图实现最短路径探索
- SQL2005彻底删除指南:避免重装失败
- GTD时间管理法:提升效率与组织生活的关键
- Python进制转换全攻略:从10进制到16进制
- 商丘物流业区位优势探究:发展战略与机遇
- C语言实训:简单计算器程序设计
- Oracle SQL命令大全:用户管理、权限操作与查询
- Struts2配置详解与示例
- C#编程规范与最佳实践
- C语言面试常见问题解析
- 超声波测距技术详解:电路与程序设计
- 反激开关电源设计:UC3844与TL431优化稳压
- Cisco路由器配置全攻略
- SQLServer 2005 CTE递归教程:创建员工层级结构
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功