基于深度学习的双谱轮廓图对滚动轴承故障诊断的高准确度分析

工程科学与技术，国际期刊31（2022）101049完整文章基于双谱轮廓图Chhaya Grovera，b，Chanjin，Neelam Turkaa电子工程系，J.C. Bose University of Science and Technology，YMCA，Sector-6，Faridabad（Haryana）121006，IndiabJSS技术教育学院电子和通信工程系，Sector-62，Noida（U. P.）201301，印度阿提奇莱因福奥文章历史记录：收到2020年2021年5月17日修订2021年8月19日接受2021年9月24日网上发售保留字：轴承故障诊断双谱CNN深度迁移学习A B S T R A C T使用卷积神经网络（CNN）的迁移学习改善了许多研究中的最新成果滚动轴承故障诊断是一个广泛研究的领域，使用不同的数据挖掘和机器学习技术。在本文中，我们证明了深度CNN在使用迁移学习对故障信号的双谱图像进行训练时，可以为故障诊断提供高度准确和可靠的结果，这些结果与最先进的结果相当。这些基于迁移学习的模型能够从振动信号的双谱的视觉特征中快速学习模式，从而消除对手动特征提取的需要。在本文中，四个预训练的网络-每个网络都用3个优化器训练这些模型能够在几个时期内获得较高的分类精度。我们还可视化和分析了与这些模型之一的中间卷积层相关的特征图©2021 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍对振动信号进行频域或频谱分析是一种高效的轴承故障检测方法与传统的功率谱分析方法相比，双谱分析等高阶谱分析方法在滚动轴承故障诊断中的应用越来越特别地，双谱，三阶累积量，有助于保持振动信号的相位和幅度信息，这是有用的故障检测。双谱提供的相位保持优势，用于识别相位耦合效应，这对检测感应电机中的故障是有用的，已经在[1]中与经验模式分解一起用于检测外圈轴承缺陷。[2]提出了一种基于双谱特征和支持向量机分类器的轴承故障诊断新方法，[3]提出了一种结合双谱和模糊聚类的滚动轴承故障识别方法。[4]提出了一种轴承故障检测的特征提取方法，* 通 讯 作 者 ： 电 子 工 程 系 ， J.C. Bose University of Science and Technology ，YMCA，Sector-6，Faridabad（Haryana）121006，India电子邮件地址：chhayagrover@jssaten.ac.in（中国）Grover）。双谱轮廓图包括通过空间对齐的降维和通过SVM和遗传优化算法的识别。双谱还与图像处理方法如加速鲁棒特征（SURF）结合，如[5，6]中所讨论的，分别用于齿轮箱和液压泵的故障诊断。同样，[7]利用数字图像处理和分形理论，通过提取双谱图像的分形特征，提出了一种柴油机故障在线监测系统。与其他领域一样，深度学习也侵入了机器健康监测领域，并建立了其有效性[8[12]提出了一种在线故障诊断方法，其中他们获取轴承和离心泵的时域信号数据并将其转换为图像，然后将其馈送到由在线LeNet-5和各种离线CNN组成的深度传输卷积神经网络框架。[13]，讨论了一种新的方法，用于将三相感应电机分类为故障或健康，包括使用模式识别将原始信号转换为灰度图像，然后使用深度CNN提取重要特征。[14]将从CNN提取的压缩特征和从前几个固有模式函数提取的EMD能量熵相结合，以训练用于轴承故障检测的分类模型。[15]生成方位时频数据的图像表示https://doi.org/10.1016/j.jestch.2021.08.0062215-0986/©2021 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchC. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010492使用深度CNN架构来自动学习故障分类的特征。特别是双谱，深度学习已经显示出其优越性。[16]通过将深度残差神经网络（ResNet）应用于从放电信号生成的双谱图像，提出了一种用于高压发电厂设备监测的有效方法。[17]基于AdaMa优化执行双谱分析和CNN，以检测轴承故障、轴速度变化以及各种尺度的裂纹和故障。深度学习和图像的巨大进步也使双谱图像在其他领域的使用变得流行。[18]已经探索了深度神经网络在用于天文成像的双谱相位恢复算法的增强中的应用。[19，20]已经使用双谱分析来预测癫痫发作，其中他们分别应用了长短期记忆（LSTM）和5层多层感知器分类器。深度学习中的迁移学习子问题专注于从海量数据集中学习，并将学到的知识应用于其他领域。在电厂部件故障诊断中，迁移学习已被应用于各种类型的数据集[21，22]研究了从凯斯西储大学（CWRU）轴承数据集获取的振动信号，其中他们已经执行了轴承故障诊断的迁移学习。[23]已经通过他们的实验验证了深度迁移学习对于分类从滚动轴承信号产生的多维图形样本是有效的基于特征转移学习的联合分布自适应方法已被[24]验证，用于两种类型轴承振动数据集的频谱上的轴承故障诊断。振动信号图像也非常受欢迎，因为神经网络的图像分类[25，26，12]中的研究人员已经探索了使用CWRU轴承信号生成的振动信号图像的迁移学习[27]将他们的研究集中在齿轮故障诊断系统上，该系统使用从小齿轮数据集创建的图像中提取的自适应每个齿轮的健康状况只有104个样本，他们实现了95.88%的准确率，其中20%作为训练数据，因此消除了对足够标记样本的要求。从上述引文中，我们得出了以下结论-双谱图像为我们提供了挖掘2D特征的优势，这是1D特征数据无法实现的，同时还具有相位和振幅保留;双谱在轴承故障检测中非常流行;双谱与深度学习模型（如CNN）的结合也非常有效;迁移学习为我们提供了使用通用特征的好处，这些特征可以挖掘不同目标域中所有维度和复杂性的信息，而不会增加任何显著的计算或内存负担，否则很难获得发电厂轴承数据集，这些数据集通常很因此，我们认为高阶谱与迁移学习在轴承故障诊断中有很大的潜力，因此应该加以探索。据我们所知，本文是第一次尝试探索在双谱分析中使用深度迁移学习进行滚珠轴承故障诊断。使用深度迁移学习和从轴承振动信号获得的双谱轮廓图生成的双谱图像，我们将说明轴承故障的有效诊断，而无需依赖手工定制的统计参数或需要大型数据集。使用不同的深度迁移学习网络来分析所提出的新方法的性能。所提出的算法的性能进行了评估，使用vali-dation和测试精度和微平均AUPRC分数的指标。该方法包括两个方面，首先是构造振动信号的双谱图像，然后对这些图像进行深度迁移学习，以突出故障特征诊断他们。此外，由其中一个网络提取的特征图被可视化，以深入了解由其执行的分类严重性检测本文试图解决我们在诊断大多数数据集时面临的最普遍的问题-数据样本短缺-在我们的我们使用了迁移学习，因为当轴承故障图像没有足够的标记数据时，我们想要进行故障我们的新方法已经取得了99.7%的最佳测试精度和0.0051的测试损失。本文的组织如下：第2节描述了我们的新方法所涉及的步骤。第3节讨论了我们用于分类轴承数据集的四个深度卷积神经网络。第四部分讨论了双谱图像数据集的提取和预处理第五部分详细讨论了基于迁移学习的模型训练的实现和故障分类的结果我们已经实现了两种技术来执行基于迁移学习的模型训练，其细节也在第5节中介绍。最后，第6节涵盖了通过卷积层从其中一个训练模型获得的特征图的可视化，以理解通过深度卷积神经网络对轴承故障的双谱图像数据集第7节描述了得出的结论。2. 方法在本文中，我们从轴承故障信号中生成双谱图像，为我们的分类模型创建数据集。 对于预处理阶段，对这些图像进行去噪和归一化。这些预处理的图像用于形成训练集、测试集和验证集。然后将训练集和验证集图像通过预训练的CNN模型，以对这些模型进行基于迁移学习的训练。图1描述了所提出的方法。2.1. 双谱图像双谱分析检查在两个主要频率f1和f2处的振动信号的基础正弦分量与在频率（f1 + f2）处的调制分量之间的关系。与功率谱分析法相比，双谱分析法的优越之处在于，由于频率分量之间的对于每个三元组（f1，f2和f1 + f2），双谱B（f1，f2），一个包含相位和功率信息的量1[28，29]。Bf1;f2 jXf1：Xf2：X ωf1;f2 j1其中，Bf1;f2是频率fl和f2处的双谱，Xf1和Xf2分别是频率fl和f2处的离散傅里叶变换系数。Xω是X的复共轭。我们使用MATLAB HOSA工具箱估计每个数据样本的双谱阵列，并将其存储为RGB图像，以获得双谱的彩色轮廓图，如图所示。 四、2.2. 基于迁移学习的迁移学习是一种技术，它利用在一个环境中学到的东西，称为源问题，以提高在另一个环境中的概括能力，称为目标问题。在两种设置中，输出可以具有不同的性质。在CNN的情况下，网络首先在源数据集和任务上进行训练，然后将模型的学习权重转移到目标网络C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010493×Fig. 1. 提出的方法框图。在目标数据集和任务上进行训练在处理具有数百万个可训练参数的深度卷积网络时，这种优化技术就像是节省时间、资源和实现更好性能的捷径。由于该技术试图重新利用从源数据集学习的权重来适应目标数据集，因此它可以在小目标数据集上很好地工作。迁移学习还可以加快模型在训练过程中的收敛速度，提高预测精度。深度CNN已经彻底改变了许多研究的最新成果。四个CNN-AlexNet，VGG-19，GoogLe-Net，ResNet-50 -以前已经在计算机视觉相关研究中应用于图像，并且已经发现在n类分类问题中非常有效。在我们的研究中，我们在我们的轴承故障双谱图像数据集上实现了这四个CNN的迁移学习。这些网络首先在ImageNet数据集上使用相应的预训练权重进行初始化，然后在我们的数据集上进行微调。模型的训练细节在第3节和第5节中解释。工业轴承有3种常见的故障类型：球轴承，内圈和外圈。这些断层的直径一般为10在本文中，我们诊断轴承故障，同时考虑故障类型和故障直径的大小。两个故障大小0.007-和0.014-被认为是每种故障，导致6故障类。将这些与在普通类中，我们进行了7类分类。数据集的结构以及训练集、验证集和测试集的分布在第4节中进行了讨论。2.3. 特征图卷积神经网络通过将输入图像的像素值映射到以网格形式存储的一组权重（称为内核或过滤器）来学习对输入图像进行分类。这些过滤器在应用于图像时，将图像转换为称为一个包含所有重要识别特征的特征图。研究人员使用可视化技术来深入了解CNN中间特征层的功能[30，31]。这些技术提供了一种解释不同模型层对整体性能的贡献的有用方法模型的。这些技术对于理解CNN模型的学习过程也很有用。在本文中，我们研究了连续卷积层生成的特征图如何有助于理解训练模型学习的双谱图像中的辨别特征。这项研究有助于我们理解哪些视觉特征比其他视觉特征更重要，并深入了解经过训练的Deep CNN模型的性能。对可视化部分进行了详细讨论在第6节中已经完成。3. 模型架构3.1. AlexNetKrizhevsky等人[krizhevsky 2012 imagenet]设计的Alex- Net模型在2012年的ImageNet大规模视觉识别挑战赛（ILSVRC）中以较大的优势赢得了分类准确性。他们的研究开启了一个新的热点研究领域，专注于CNN在计算机视觉中的应用Alexnet是一个深度卷积神经网络，由8层组成，其中前5层是卷积层，后3层是全连接层。最后一层3.2. VGGNetVGGNet，由Simonyan et.al. [simonyan2014very]在他们的研究中，像AlexNet一样赢得了2014年的ImageNet挑战赛该模型是根据研究开发的，用于了解CNN深度对其性能的影响。VGGNet有多个变体，其中卷积层的数量不同。所有VGG网络具有相同的配置的完全连接层。本文实现了VGG-19VGG- 19是19层深，并采取224224 RGB输入图像。该模型的最后3层是完全连接的层，最后一层的输出被馈送到最后的softmax层。该模型在所有隐藏层中都具有ReLU非线性。3.3. GoogLeNetGoogLeNet[32]是一个基于深度卷积神经网络架构的22层深度架构，代号为该网络提高了计算资源的利用率，并且是基于在网络中的同一级别上具有多大小过滤器的想法而构建的。在本文中，ImageNet的预训练版本已用于执行迁移学习，图像输入大小为224 x 224。3.4. ResNetHe，Kaiming等人[33]介绍的残差网络（ResNet）在ILSVRC 2015分类任务中获得第一名。ResNet旨在简化非常深的网络的训练过程，同时实现比当时最先进的深度CNN更低的分类错误率。ResNet是其他深度CNN的消失梯度问题的替代方案。ResNet是C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010494××-与VGGNet和AlexNet不同，因为它们具有跳过一个或多个层的“身份快捷连接”。在本文中，我们实现了ResNet-50，它有50层。图2显示了模型的架构。在训练时保持冻结的层已被标记。由于pytorch库被用于执行迁移学习，因此为了便于理解，架构已经在python库中定义。在图中，BLOCK、Inception Block、Bottleneck-1和Bottleneck-2表示模型架构中重复的一组层。4. 数据准备我们使用了凯斯西储大学（CWRU）轴承数据集[34]。CWRU试验台如图3所示。试验台由左侧的2 HP电机、中间的扭矩传感器和右侧的测力计组成。深沟球轴承安装在驱动端和风扇端。介绍了这些滚动体轴承的内圈、外圈和滚珠中各种大小的故障。0.007和0.014英寸的轴承故障的振动数据细节表1总结了数据集和所用轴承的规格。因此，四种类型的信号被采集：正常（无故障），内圈故障，外圈故障，球轴承故障和大小为1024点的数据样本，每个从他们中提取。这些信号根据故障大小进一步划分，导致7个等级-正常等级，内圈为0.007英寸和0.014英寸，外圈为0.007英寸和0.014英寸，最后是滚珠轴承为0.007英寸和0.014英寸。然后使用MATLAB工具箱针对基于直接快速傅立叶变换（FFT）的方法估计每个数据样本的双谱阵列，其中原点在阵列的中心，并且轴指向下并且向右。FFT长度和重叠分别取为128和0。双谱阵列存储为RGB图像，以便深度学习模型可以从颜色强度中学习有用的见解球轴承和普通类的双谱图像的大小为875 656，内圈和外圈的大小为1200 900。图中显示了其中一些图像。 四、这些图像分为训练集、测试集和验证集。数据集分布如表2所示。然后，如图5所示，在传递到网络之前，对每个双谱图像进行预处理，为此，首先将图像调整为224 × 224大小，然后将其归一化为平均值= 0和标准差= 1。5. 基于迁移学习的为了强调所提出的方法的有效性，利用了4个流行的深度传输网络，即Alexnet，VGG-19，GoogLeNet和ResNet-50。所有模型都是使用Pytorch框架在python中实现的。它们首先在ImageNet数据集上使用相应的预训练权重进行初始化，然后在双谱数据集上进行微调，用于30个时期的128张图像的小批量这意味着对于每个模型，整个数据集通过网络30次，其中每次通过被进一步分成大小为128的较小批次每个网络的最后一层被修改为大小为7的概率向量，以便为7级轴承数据集定制模型。每个模型都使用3种不同的优化器进行训练：SGD，Adam和Adamax，总共有12个模型在数据集上进行了实验。选择的三个优化器是流行的梯度下降优化算法，已知实现良好的收敛。在所有实验中，SGD、Adam和Adamax的学习率（lr）分别设置为1 e-2、1 e-3和2 e-3，SGD的动量设置为0.5。这些值是在重复实验后确定的。一种流行的学习率退火方法的步骤衰减也被用来逐步降低学习率（LR）在训练过程中，以避免噪声收敛。用于相同的lr速率调度器被设置为每7个时期0.1的衰减因子。还设置了梯度剪切，以强制执行最大梯度值0.25，以阻止梯度超过此阈值，从而避免梯度爆炸。为所有模型选择的损失标准是交叉熵损失，因为该标准通常用于n类分类，并在Pytorch中将LogSoftmax非线性和NLL损失组合在一个类中。这些模型使用支持CUDA的NVIDIA P40GPU进行训练。表3解释了模型调优参数和使用的计算硬件框架在迁移学习中，有不同的方法从预先训练的模型中迁移知识。本文分析了两种方法。第一种方法涉及采用预训练的模型并从头到脚对轴承数据集进行微调。第二种方法也涉及微调，但它只微调层的最后一块，保持其余的冻结。以下2个小节讨论了这2种方法的模型性能。5.1. 迁移学习法1（TLM-1）：微调而不冻结在这个实验中，每个模型首先使用ImageNet的相应预训练权重进行初始化，然后在轴承双谱图像上重新训练整个模型。在每个训练阶段，网络首先在训练集上进行训练，然后在验证集上进行验证。训练集和验证集的大小见表2。表4报告了根据度量的分类结果- 验证准确度、测试准确度、测试损失和AUPRC（精确召回曲线下的面积）值。准确度可以定义为数据集中正确预测的样本数与样本总数之比。验证集获得的准确度为验证准确度，检测准确度也是如此。在所有时期中具有最高验证准确度的模型状态用于对测试集进行预测。最佳验证准确度值见表4。平均损失是在一次通过网络中所有小批次损失的平均损失。所有报告的损失值均为平均损失值。在类不平衡数据集的情况下，准确度值可能不是一个很好的度量。此外，另一种常用的度量，称为ROC下的面积（AUROC），可以在不平衡的数据集上产生乐观的值，并且是平衡类数据的首选度量。由于我们有一个不平衡的数据集，因此我们计算了精确-召回曲线下的面积（AUPRC），在处理不平衡数据集时，它比AUROC更受欢迎AUPRC值越大，模型的分类性能越好GoogLeNet和ResNet-50与Adam和Adamax优化器的性能最好，具有非常高的验证准确率（依次为99.85%，99.70%，99.55%，99.85%）和测试准确率（依次为99.55%，99.55%，99.70%，99.55%）以及非常低的损失值。分别为0.0076、0.0096、0.0051、0.0106。紧随其后的是使用Adam和Adamax优化器的VGG-19。从AlexNet的相应分数可以推断，它的表现也非常出色。这些模型非常高的测试精度进一步证实了它们出色的分类性能和在训练集上不存在过拟合。 这种优异的性能可以归因于这样一个事实，即即使所有层都C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010495图二.模型架构（a）AlexNet，（b）VGG-19，（c）GoogLeNet，（d）ResNet-50。C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010496图三. CWRU试验台。在轴承数据集上重新训练，权重已经被初始化为预训练模型的权重，从而已经存储了模型区分基本形状所需的曲线和边缘的大部分重要信息，因此使得它们更容易和更快地定制它们用于轴承数据集的权重。AUPRC是一个有用的工具，用于评估像CNN这样的软分类器的类分离质量既然我们有一个多类分类设置，我们计算了平均AUPRC值的微平均方法。表4显示了模型AUPRC的微平均值。该度量是通过一对所有技术聚合所有类的贡献来计算的，并且不平等地对待所有类，这再次有助于避免对不平衡的数据集获得误导性结果由于我们所有模型的AUPRC平均值都很高，因此可以得出结论，训练后的模型能够很好地分离7个类别这些也表明我们的模型在不平衡的数据集上表现良好。图6包含用于训练和验证的准确度与历元以及平均损失与历元的图。从图中可以观察到，准确度和损失曲线收敛得非常快，它们中的每一个都在第15个历元之前收敛这告诉我们，模型能够将他们从ImageNet数据集中学到的知识转移到CWRU振动信号的双谱图像中，并在整个数据集的15个通道中进一步提高学习能力。另一个有助于深度传输网络良好性能的因素是我们从这些图中观察到的准确性和损失的无噪声平滑收敛，突出了它们对大数据集的低依赖性，并防止研究人员担心数据样本的充足性。为了进一步了解和比较这三种优化器的性能，-表1CWRU数据库描述。轴承规格位置Number球轴承类型内径（英寸）外径（英寸）厚度（英寸）钢球直径（英寸）中径（英寸）驱动端6205-2RS深沟0.98432.04720.59060.31261.537轴承风扇端JEM SKF6203-2RS深沟0.66931.57480.47240.26561.122轴承JEM SKF采样频率驱动端12000个样本/s电机转速1797 RPM，1772 RPM，1750 RPM，1730 RPM电机负载0 HP，1 HP，2 HP，3 HP故障类型内圈、外圈、球轴承故障大小直径0.007英寸，0.014英寸分类正常，IR_07，IR_14，OR_07，OR_14，BB_07，BB_14见图4。a）具有0： 00700故障的滚珠轴承和b）具有0： 01400故障的滚珠轴承c）具有0： 00700故障的内圈，d）具有0： 01400故障的内圈，e）具有0： 00700故障的外圈，f）具有0： 01400故障的外圈g）正常等级的双谱图像。C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010497表2在7个类别中分配培训、验证和测试数据球轴承内圈和外圈的分类（故障直径，单位：英寸）（0.007）（0.014）（0.007）（0.014）（0.007）（0.014）列车组33133233333033233211603150验证集717272717271249678测试集717171717171248674图五、在将图像馈送到Deep CNN模型之前对图像进行预处理这里，首先将大小为875 × 656的样本图像调整为224 × 224大小，然后进行归一化。表3模型调整参数和计算硬件框架。模型调整参数CNN架构Alexnet，VGG-19，GoogLeNet，ResNet-50优化器SGD（学习率= 1 e-2，动量= 0.5）Adam（learning rate = 1e-3）Adamax（learning rate = 2e-3）学习率调度器衰减因子0.1，每7个epochs渐变剪裁的最大渐变值损失准则交叉熵损失计算硬件和框架框架PytorchGPU规格GPU架构：NVIDIA P40Memory Size：24 GB并行计算平台：CUDA CUDA核心数：3，840表4没有冻结层的CNN模型的验证和测试结果模型优化器验证准确度（%）测试损失测试准确度（%）AUPRC（微平均）AlexNetSGD95.420.246894.960.9856亚当99.850.027798.960.9994阿达麦98.670.061797.630.9982VGG-19SGD94.100.259493.770.9810亚当99.700.083199.260.9963阿达麦99.700.013299.110.9998GoogLeNetSGD92.620.769190.650.9639亚当99.850.007699.550.9999阿达麦99.700.009699.550.9999ResNet-50SGD97.190.360194.510.9914亚当99.550.005199.700.9999阿达麦99.850.010699.550.9999在TLM-1期间的事件显示在图7中的相同图中。可以观察到，具有SGD的AlexNet具有平滑的下坡曲线，而Adam和Adamax在其曲线中显示出一些尖峰所有三个优化器在大致相同的时间/时期开始收敛我们还观察到，与SGD和Adamax相比，Adam在AlexNet训练期间在收敛开始时实现了最小的验证损失值。这也反映在AlexNet与Adam实现的测试准确率比获得的更C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010498图六、TLM-1的训练和验证图蓝色曲线表示训练结果，橙色曲线表示验证结果。见图7。TLM-1的AlexNet模型的验证损失曲线与其他两个优化器。表6报告了训练模型30个epoch所花费的总时间。时间值是体面的，考虑到最好的准确性和损失是在一半的时间内实现的，即在第15个时期，我们没有从头开始学习权重。AUPRC值也可以通过绘制查准率-查全率曲线来解释准确率-召回率曲线的面积越接近我们已经提供了其中一个模型的精确度-召回率曲线，即，AlexNet使用SGD优化器进行训练（图8）。该图显示了所有七个班级的AUPRC分数的微平均值。我们可以观察到曲线几乎与1乘1绘图区域的边缘对齐这代表了0.9856的高微平均AUROC分数，并显示了该模型5.2. 迁移学习方法2（TLM-2）：冻结在这个实验中，模型再次使用ImageNet的相应预训练权重进行初始化，但微调过程涉及更新少数选定层的权重通过冻结更接近输入层的模型层并训练更接近分类输出层的层来微调模型在convnet的训练期间，首先与输入接触的层执行提取基本边缘和曲线的任务，而随后的层负责检测模型发现在类中流行的更复杂的形状和图形以及其他视觉信息，从而将该信息与该类相关联。由于任何图像都可以分解为一组基本边缘和曲线，因此初始层通常保持冻结，以便可以直接利用它们的权重，并且计算资源可以用于训练剩余的层，这些层对于根据手头的数据集定制模型训练更重要这种方法加速了训练，也防止了数据集上模型的过度拟合对于所有4个网络，直到AdaptiveAvgPool2d层的所有层都被冻结，其余层都被训练（图2）。C. Grover和N. Turk工程科学与技术，国际期刊31（2022）1010499表5冻结层后CNN模型的验证和测试结果。模型优化器验证准确度（%）测试损失测试准确度（%）AUPRC（微平均）AlexNetSGD88.640.579587.390.9426亚当98.960.158498.070.9950阿达麦99.110.065998.960.9992VGG-19SGD86.570.716685.460.9316亚当98.820.156198.220.9967阿达麦98.960.114897.920.9962GoogLeNetSGD85.100.994086.050.9234亚当95.570.197995.250.9853阿达麦95.420.216394.660.9838ResNet-50SGD92.470.746590.500.9635亚当97.930.128996.440.9944阿达麦97.930.131395.990.9946表6在30个时期内训练模型所花费的时间模型优化器培训时间不冻结图层冷冻层训练时间99.11%，测试损失低至0.0659，测试准确率高至98.96%。Adam优化器的结果也很好，达到98.96%，0.1584和98.07%的分数在同一顺序。VGG-19使用这两个优化器表现出类似的性能GoogLeNet和AlexNet SGD 14 min 51 s 13 min 51 s亚当14分57秒13分50秒Adamax 14分钟57秒13分钟45秒VGG-19 SGD 17分43秒13分40秒亚当18分19秒15分2秒Adamax 18分钟22秒13分钟44秒GoogLeNetSGD 18分8秒11分11秒亚当20分17秒13分50秒Adamax 20分钟28秒13分钟35秒ResNet-50 SGD 13分17秒11分19秒亚当14分45秒13分20秒Adamax 15分钟29秒14分钟5秒见图8。在TLM-1中使用SGD优化器训练的AlexNet模型的精度-召回曲线。表5列出了在冻结初始层集时使用CNN模型执行迁移学习的结果与第5.1节中的实验不同，使用Adamax的 AlexNet明显优于其他模型，实现了非常高的验证精度表7模型中可训练参数的数量ResNet-50也不甘落后，使用Adam和Adamax优化器都能产生不错的精度和损失。对于GoogLeNet和ResNet-50，我们观察到冻结层之前和之后的性能略有下降从冻结前的99.85%验证准确度和0.0076测试损失值到冻结后的95.57%和0.1979，GoogLeNet与Adam看到了性能的下降，表7中报告了这些模型训练的参数数量。对于GoogLeNet，可训练参数在冻结后从1e6减少到1e3出于同样的原因，在使用Ada-max的 ResNet-50的情况下这是由于在后一种情况下重新训练的权重比例更大，如表7所示。在由ResNet-50和GoogLeNet组成的前一种情况下，开放训练的层相对少于这些网络中的总层数，因此对训练分数产生了明显的因此，迁移学习的性能取决于保持未冻结的层或块的数量，这可以在未来进一步实验和探索。表5还显示了模型的AUPRC的微观平均值。我们可以观察到，模型的AUPRC分数再次非常高，因此显示了它们在我们的不平衡数据集上的优异性能和高的类分离能力。图中的准确度与历元和损失与历元图。 9因为用冻结层进行训练和验证显示出类似的趋势但我们观察到，这次收敛更平滑、更稳定，波动更小。从表6中的时间分数可以看出，当模型的层被冻结时，模型的训练时间更短，例如，使用Adam的GoogLeNet现在需要13 m 50 s来训练30个epoch，总共比20 m少了6 m 27 s当层没有冻结时，训练相同数量的epoch需要17 s。在AlexNet中，这个增量较小，原因与上面讨论的损失和准确性分数相同。总的来说，第5.1节和第5.2节所做实验的迁移学习结果相当不错。从表4和表5中获得的测试精度，我们还观察到，对于不包括层冻结的实验模型训练参数无冻结层训练的总参数有冷冻层的doesn’t hold true and for not so large dataset like ours, transferlearning can perform well and is robust even when retrainingAlexNet 57，032，519 54，562，823139，598，919 119，574，535GoogLeNet5，607，079ResNet-50层次。因此，基于转移学习的CNN，在有或没有冻结的情况下训练，形成了一个优秀的和鲁棒的分类器，用于小的和类的不平衡轴承数据集。C. Grover和N. Turk工程科学与技术，国际期刊31（2022）10104910× × ××××图9.第九条。TLM-1的训练和验证图蓝色曲线表示训练结果，橙色曲线表示验证结果。6. 特征图在本节中，我们将可视化并尝试分析在轴承数据集上训练模型时由连续卷积层生成的特征图。特征图可用于理解模型认为在轴承故障和严重性分类中贡献最大的双谱图像中的辨别特征，从而提供对经训练的深度CNN模型的性能的洞察。它们还有助于理解中间卷积层在分类中的作用。在这项研究中，我们绘制了图2中AlexNet架构中存在的5个卷积层生成的特征图，当每个类的测试图像通过第5.1节中使用Adamax优化器训练的网络转发时。当输入测试图像通过像AlexNet这样的卷积网络时，每个卷积层输出一个三维张量，可以将其视为一堆特征图。从这样一个维度为（k，m，n）的张量中，我们提取了（1，m，n）特征图，并将其绘制为二维图像。所以对于我们的224 224输入RGB图像，由图像处理器生成的特征图224前5层的尺寸为55五十五、二十七二十七，十三十三，十三，13、13在秩序中每个卷积层的第一个特征图生成为图像。这些特征映射图像被提取用于每个类的双谱图像。图10示出了七个双谱输入图像（每类一个）以及在对这些图像进行分类时从前5个卷积层生成的它们对应的特征图可视化。如前所述，从图中也可以看出，第一卷积层具有所有基本的边缘和颜色检测器。Aswe go越深入网络，特征图的抽象级别越高。随后的卷积层似乎正在检测更复杂的形状，纹理和网格图案，一直专注于这些图像中存在的中心环及其周围物体的轮廓。从颜色和基本曲线到复杂的形状和网格图案，可以观察到这些可视化具有层次性。但是当我们深入架构时，人眼仍然很难辨别和理解由层学习的复杂特征图。进一步理解这些可视化的可能的未来研究可以涉及可视化这些卷积层的过滤器映射通过观察网络逐层执行的特征检测，我们可以深入了解这些迁移学习网络如何识别重要特征并缩小到与该图像相关的类别。它还强调了迁移学习在将从数据集获得的知识转移到对不同数据集进行分类方面的效率和能力。7. 结论到目前为止，双谱图像已经使用特征提取的传统图像分析方法，然后使用机器学习分类器进行故障分类，或者从头开始设计深度学习框架，如CNN。前者依赖于手工制作的特征，需要先验知识，并且可能不适合检测可能超出人类思维范围的更高级别的后者去除了C. Grover和N. Turk工程科学与技术，国际期刊31（2022）10104911图10个。由TLM-1中的训练模型-AlexNet + Adamax -为测试图像生成的特征图每行具有从左到右排列的图像：测试输入图像，来自第1、第2、第3、第4和第5卷积层的特征图仍然存在对手工制作的特征的依赖性，但需要合理大小的数据集，以确保网络的无偏和鲁棒的训练。最近的文献使用双谱图像分类轴承数据集支持上述。[4]将双谱分析、灰度共生矩阵纹理特征和LLTSA数据降维方法相结合，用于轴承故障诊断。尽管作者为了在CWRU数据集上实现99.75%的高准确度（与我们已经实现的相似），他们必须从双谱轮廓图中手动提取该方法消除了从轴承数据集的双谱轮廓图中手动提取特征的需要[17]提出了一种基于双谱分析和CNN的故障诊断方法，用于检测CWRU数据集中的轴承故障。他们用同样的三个C. Grover和N. Turk工程科学与技术，国际期刊31（2022）10104912优化器并在一个RPM的样本上训练他们的CNN 500个时期，并在剩余的3 RPM的样本上测试它们，将样本的小数据集分类为正常，内圈 ， 外 圈 和 滚 珠 轴 承 ， 获 得 最 高 到 最 低 RPM 值 的 91.97% ，96.27%，96.74%和90.10%的平均测试准确度虽然在本文中，我们进行了实验，其中训练数据集具有来自所有这些RPM值的样本并且具有相似的大小，但是所提出的方法在仅30个时期内实现了99.7%的更好的准确度。此外，与上述论文不同的是，本文通过将在其他领域中学习的知识转移到轴承双谱信号的领域来消除设计CNN的需要。本研究利用深度学习的自动特征提取能力和迁移学习它提出了一种基于深度神经网络转移学习和更高频谱分析（如双谱）的新方法，目标是在小数据集上执行轴承故障和严重程度检测，无需手工定制特征。实验涉及流行的网络架构-卷积层的特征图被可视化，以深入了解这些知识有限的网络的内部工作原理高精度值表明，双谱图像上的迁移学习具有很好的潜力，诊断轴承故障和检测故障的严重性。它可以通过重用预训练模型的权重来加速网络训练并节省计算资源。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认作者感谢凯斯西储大学为他们提供了在其网站上访问滚珠轴承数据集的机会资助：本研究没有收到任何来自公共，商业或非营利资助机构板块引用[1] L. Saidi ， J.B. Ali ， F. Fnaiech ， Bi-spectrum b