物联网技术下的剩余使用寿命预测方法

工程科学与技术，国际期刊41（2023）101409用于剩余使用寿命预测的Kürs，atI_ncea，b，YakupGencb海军作战管理技术中心，HAVELSAN公司，Pendik/I_stanbul，TürkiyebTürkiye，Gebze/Kocaeli，Gebze技术大学计算机工程系阿提奇莱因福奥文章历史记录：2022年9月28日收到2023年3月25日修订2023年4月2日接受保留字：剩余使用寿命故障检测深度学习C-MAPSSA B S T R A C T物联网技术的无处不在的可用性允许处理大量数据以改进工业应用中的预测任务。预测学的一个重要任务是根据过去的性能数据预测系统的剩余使用寿命在实践中，虽然故障点是精确的，但实际的退化开始不一定可用，而是通常简单地用线性退化假设建模。在本文中，我们提出了一种使用联合自编码器-回归网络进行剩余使用寿命预测的数据驱动方法，这是一种深度神经网络模型，包含卷积神经网络自编码器和长短期记忆网络回归器。我们还提出了一个新的故障检测为基础的方法来建模剩余使用寿命退化。该模型允许更好地估计以故障结束的设备退化的开始和进展我们证明了所提出的算法在两个数据集上的有效性第一个是C-MAPSS，经常被用作预后研究人员的基准。第二个是PHME20，这是一个最近的预测数据集，来自一个预测学竞赛。这些实验表明，所提出的算法是能够预测剩余使用寿命的最先进的方法。结果还表明，基于故障检测的标记优于线性标记。版权所有©2023作者。由爱思唯尔公司出版代表卡拉布克大学这是一个开放获取CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍现代传感器、物联网（IoT）和人工智能/机器学习等技术的最新进展为工业4.0铺平了道路，这是工业发展的一场新革命。传感器和物联网设备帮助我们监控和收集工业过程中的数据，并获得见解。所收集的数据和见解可用于实现预测性维护策略和预测性，即，估计系统的健康状况，建议维护计划。有效的预测性维护计划可提高系统的可用性、可靠性和操作员安全性，同时降低总体维护成本[1]。Aberdeen Group最近对IT基础设施进行的一项调查显示，系统停机的平均成本约为每小时26万美元[2]。另一项来自汽车行业的调查显示，停机成本约为每分钟22，000至50，000美元，或每小时约130万至300万美元[3]。在制造业中成功的预测性维护计划可以提高系统*通讯作者：海军作战管理技术中心，HAVELSAN公司，Pendik/I_ stanbul，Türkiye.电子邮件地址：kince@havelsan.com.tr，kince@gtu.edu.tr（K.I_nce），yakup.genc@gtu.edu.tr（Y. Genc）。将系统寿命延长9%，将安全、健康、环境和质量风险降低14%，将总体维护成本降低12%，同时将系统寿命延长20%[4]。系统健康状况的退化形成了P-F曲线，其中“P”是潜在故障，“F”是功能故障（图1）。1 ），即系统崩溃[5]。预测使我们能够分析监测数据，从P-F曲线评估健康状态，退化和预期寿命。预测学最重要的任务之一是在系统发生故障之前，根据系统的历史数据预测系统的剩余使用寿命剩余使用寿命（RUL）可以定义为从评估时间到机器使用寿命结束所剩的时间统计学中的挑战是历史数据可能具有与系统的健康状况相关联的很少的标签，或剩余使用寿命预期[8]。此外，即使系统的故障时间是已知的，故障的开始通常是不可用的或正确标记的。在工业系统中，可以手动分配所需的标签，这会给维护团队带来额外的工作，这些工作可能会丢失值，不同步或嘈杂[8]。大多数情况下，假设故障是通过系统的线性退化达到的线性RULhttps://doi.org/10.1016/j.jestch.2023.1014092215-0986/©2023作者。由爱思唯尔公司出版代表Karabuk大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchKür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014092Fig. 1. 系统退化的图示（改编自[7]）。标签依赖于这个假设。P-F曲线模型表明系统的退化不是线性的，因此也应用分段线性RUL标记，其中退化到失效的过程具有多个线性斜率。因此，检测故障/降级起始点肯定有助于更好的RUL估计。在本文中，我们提出了一种使用深度神经网络模型的数据驱动方法。该模型架构包括一个基于卷积神经网络（CNN）的自动编码器和一个利用长短期记忆网络（LSTM）进行RUL预测的回归器。我们使用遗传算法来优化建筑超参数。我们还提出了一种新的方法，故障检测为基础的退化建模，和RUL标记。我们分析了不同的RUL标签的方法，通过提出的架构。当历史数据包含故障时间的系统，我们的故障检测为基础的RUL标记算法提供了一种替代线性和分段线性的RUL标记方法。我们在两个不同的数据集上证明了所提出的联合自编码器-回归模型和RUL标记方法的有效性。其中一个数据集是由NASA引入的涡轮风扇发动机退化模拟数据集[数据集][9]。这是2008年出版的，是统计学研究人员中流行的基准之一。 第二个数据集于2020年发表在PrognosticsandHealthManagement-EuropeConferenceDataChallenge（PHME 20）[dataset][10]。 PHME20数据集包含实验过滤系统的运行至故障数据。我们在本文中的贡献是三倍：首先，我们介绍了一个联合的自动编码器和回归器结构的剩余使用寿命预测，并证明了该模型的有效性在两个性能基准。我们还提出了一种新的基于故障检测的方法来建模剩余使用寿命退化和RUL标签作为替代线性和分段线性退化模型。最后，我们应用非线性变换的原始传感器数据，以获得更高的频率成分，与期望，它可能会提高RUL预测性能的时间序列数据。本文的结构安排如下：第一部分，介绍了本文的研究背景图2给出了RUL预测的背景和关于该主题的最新研究，特别是与C-MAPSS数据集相关的研究在第三章中，我们引入了自编码器-回归器联合4给出了实现细节，并介绍了我们的研究结果最后，第五章总结了我们的研究，并提出了未来的研究方向。2. 剩余使用寿命和相关工作健康过程通常由四个阶段定义：通过传感器和物联网设备获取数据，健康指数构建，健康状态分类和剩余使用寿命预测[6]。在第一步中，从传感器或IoT设备获取监测数据，例如振动信号、温度。使用信号处理技术等来处理监测数据，构建健康指数。将综合健康指数拟合成P-F曲线，反映设备的总体健康状况。P-F曲线将健康指数分为两类，但也可以进一步划分.通过对设备在不同工况下的健康指标和退化趋势的分析，预测了设备的RUL。RUL预测的方法，以及一般的统计学，可以是基于模型的，数据驱动的，或者是这两种方法的混合[11]。在基于模型的动力学方法中，开发了系统该物理模型通过分析形成，表示机器/设备的退化现象和故障模式这种方法需要完整的领域知识，这可能很难找到，特别是对于复杂的系统。建立物理模型常用的技术是巴黎定律、福尔曼定律和诺顿定律[12]。数据驱动的神经网络使用历史监测数据来创建将数据与系统降级相关联的模型（例如，健康指数和健康状态）。数据驱动的故障诊断方法需要从系统采样的正常和故障操作模式的这可能很难获得，因为它需要传感器放置以及访问正常和故障操作模式。糖尿病病例通常很罕见，很难重复。但是，一旦获得数据，就可以用最少的专家知识创建这个模型。统计方法、机器学习和深度学习方法都属于这一类。数据驱动的预测进一步分为基于模式预测（即基于实例）和基于时间序列的预测方法[13]。随着更多的数据提供给研究人员，统计学算法也在进步，以利用这些大量的数据[14]。最后，混合模型同时使用物理模型和数据驱动模型[15].近年来，深度学习技术表现得更好，在图像识别和自然语言处理任务上，与经典机器学习方法相比的性能，已被应用于预测性维护和故障诊断[16]。深度学习是基于人工神经网络（ANN）的更广泛的机器学习方法家族的一部分[17]。受人脑神经元结构的启发，特征学习隐式地发生在网络的深层。当有更多的数据时，深度学习方法比传统的机器学习方法表现出更好的性能。处理器和存储技术的不断进步，将大量数据纳入其中，使深度学习方法能够应用于预测性维护和故障诊断，这引起了研究人员的注意[16]。卷积神经网络（CNN）和递归神经网络（RNN）是深度学习中广泛使用的两种架构。一般来说，通过CNN提取空间信息，通过RNN提取时间信息，以及最近的模型变体，如长短期记忆[17]，门控递归单元[18]和双线程门控递归单元[19]。自动编码器是一种特殊的结构，它通过学习数据中的模式来提取特征。根据应用领域，可以使用不同的层，例如多级感知器（MLP）、CNN或RNN来构建AE。通常使用Vanilla自动编码器和最近的变体，例如变分自动编码器[20]，条件变分自动编码器[21]和退化趋势约束变分自动编码器[22Kür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014093用于统计期间的健康指数构建。接下来介绍了C-MAPSS和PHME 20数据集，并对这些数据集的研究方法进行了总结。这些研究的性能见4。2.1. 涡扇发动机退化模拟数据集涡扇发动机退化仿真数据集[9]，也称为C-MAPSS数据集，由使用C-MAPSS（商用模块化航空推进系统仿真）软件（涡扇发动机热力学仿真模型）仿真的多个涡扇发动机运行至故障数据组成，因此该数据集也称为C-MAPSS数据集。仿真模型有14个输入和21个输出。这14个输入包括燃油流量和13个健康参数，使用户能够模拟涡轮风扇发动机主要旋转部件故障和退化的影响。利用仿真的21个输出参数来测量不同健康状态和操作条件下的系统响应。该数据集包括四个子集，即FD 001至FD 004，它们在不同的操作条件和健康状态下记录。每个子集被分为训练集和测试集，每个训练集和测试集由26个特征组成，包括记录为时间序列数据的单元编号（EngineID）、循环时间（Cycle）、3个操作参数（设置1-设置3）和21个输出参数（传感器1-传感器21）虽然RUL标签没有给出训练集，但已知数据会一直运行直到失败。测试集在失败之前不会运行，但是为测试集提供了RUL标签C-MAPSS数据集的其他详细信息见表1。本文介绍了我们对FD001和FD003子集的研究C-MAPSS数据集是统计学研究人员常用的基准之一。虽然存在基于模型和基于数据驱动的利用C-MAPSS数据集的研究，但在本文中，我们仅限于最近关于C-MAPSS RUL预测的深度学习研究。据我们所知，Ellefsen等人。[23]报告了C-MAPSS FD 001子集的最佳性能它们在时间分布设置中采用连续的CNN和LSTM层使用基于无监督重建的故障检测算法[24]来计算第n个系统的退化起始点Fn这些值用于为每个引擎构造RUL标签。通过遗传算法的方法调整网络的超参数作者得出结论，用优化的Fn值训练的网络在C-MAPSS数据集上的RUL预测方面优于文献中最稳健的结果。他们的基于重构的故障检测算法[24]采用基于ANN和LSTM的自动编码器模型来计算重构误差。这些误差被馈送到故障检测算法中，以从滑动窗口中的误差加速度计算故障时间步长。作者得出结论，基于故障加速度的算法比基于阈值的算法更通用Ellefsen等人的另一项在[25]中比较了半监督模型和纯监督监督模型，用于完整C-MAPSS数据集上的RUL预测。他们的半监督模型使用受限玻尔兹曼机（RBM）[26]，然后是LSTM和全连接层，与没有RBM的监督模型相反。在他们的研究中，假设分段线性退化，并通过遗传算法与其他模型超参数一起进行优化。该研究的结论是，无监督的预训练通过提取退化信息的有价值特征来提高性能。Al-Dulaimi等人[27]利用混合深度神经网络架构进行RUL估计，使用并行运行的LSTM和CNN层，他们称之为混合深度神经网络。这些层从时间序列数据的不同时区提取特征。架构末端的全连接层用作数据融合层。使用分段线性RUL标记，最大RUL值为125，这是凭经验决定的。所提出的架构优于其所有同行在复杂的情况下，增加了C-MAPSS数据集的操作条件和故障模式的数量。Mo等人。[28]采用多头CNN-LSTM架构。对于每个时间序列特征，并行训练一个CNN，形成多头CNN。这些层不共享任何信息，例如内核权重。除了常规的传感器数据外，作者还为每个传感器部署了时间序列预测误差，并将其馈送到单独的CNN层中。所有这些层的输出被连接并馈送到LSTM堆栈中，然后是用于RUL预测的完全连接的层。实验结果表明，使用预测误差分析提高了基于深度学习的RUL预测模型的性能。使用分段线性RUL标记，最大RUL值为125。该架构在C-MAPSS数据集上取得了有竞争力的结果。Jiang等人[29]部署并行运行的CNN层和BiLSTM层进行RUL预测。与杜莱米等人不同，[27]，Jiang等人使用多尺度卷积，其中卷积运算的输出连接到池化层，就好像形成了残差连接。这有助于CNN架构比常规池化层更好地扩展另一个不同之处是，Jiang et al.使用BiLSTM层。多尺度卷积层和LSTM层的输出被级联并馈送到完全连接的层中以进行RUL预测。使用分段线性RUL标记，最大RUL为125。作者声称他们的模型比单一预测模型给出了更好的结果。Chen等人。[12]提出了用于RUL预测的时间卷积网络（TCN）架构。将因果过滤器与扩张卷积相结合，这种架构比LSTM具有更长的内存，因此更适合需要长历史的领域。取决于问题域的接收字段/存储器的长度，剩余块的堆栈，即，部署具有剩余连接的TCN层。使用分段线性RUL标记，最大RUL为130。该架构在性能评估和运行时性能方面优于LSTM。表1C-MAPSS数据集信息。FD001公司简介公司简介公司简介操作参数1616故障类型1122火车发动机数量100260100249最小循环128128145128最大循环362378525543测试发动机数量100259100248最小循环31213819最大循环303367475248Kür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014094Chaoub等人。[30]提出了一种基于MLP和LSTM层的端到端深度学习架构，用于RUL预测。在数据归一化之后，输入被直接馈送到堆叠的MLP层，然后是捕获时间依赖性的LSTM层。LSTM之后的全连接层用于预测RUL。超参数手动调整使用分段尽管它相对于其他深度学习模型来说很简单，但作者声称他们的模型优于现有的方法。Li等人在[31]中研究了不同部分传感器故障场景中的RUL预测。所提出的模型结合了全局特征提取器方案和共享特征提取器方案，全局特征提取器方案从数据集学习全局特征，共享特征提取器方案学习数据集的通用特征。这些特征提取器的输出被连接并馈送到RUL预测网络中。该模型大量使用CNN作为特征提取机制，以及dropout和全连接层。共享特征提取器的输出也被送入两个神经网络，其中一个神经网络预测传感器标签，另一个神经网络预测数据样本来自的训练实体标签在训练过程中，训练样本不加修改地使用传感器故障仅在测试数据的10种不同场景下实现他们声称，他们提出的模型实现了可靠的预测性能，即使传感器故障被引入到测试样本。Li等人的另一项研究[1]提出了时间序列数据的周期一致性学习方法用于RUL预测。该方法从故障点Fn开始，通过基于神经网络的循环一致性模型对运行的P-F该模型用于TUL预测看不见的退化曲线。作者声称，虽然RUL标签没有明确使用，但在不同数据集上的实验验证了方法的有效性Xiang等人在[32]中提出时空多重微分处理用于RUL估计的深度神经网络架构，该架构利用并行运行的LSTM和CNN层的新变体。时间多差分LSTM的实现重新定义了LSTM单元的内部状态和存储器状态，使得它可以支持数据健康的长期和短期退化趋势。一种新的空间多差分CNN，它采用三种不同的CNN路径用于数据的不同健康阶段，利用健康阶段的独特特征提取。LSTM和CNN层的输出被连接起来，并被馈送到最终的回归层，该回归层为样本生成RUL。Drop- out用于LSTM和CNN层以及级联操作之后。使用分段线性RUL标记，最大RUL值为130，这是凭经验决定的。作者声称在C-MAPSS数据集上取得了比较结果。我们对最近针对C-MAPSS数据集的深度学习研究的回顾表明，最先进的模型大量使用CNN和LSTM层，要么并行提取不同的特征，要么串行提取特征，将提取的特征馈送到更高的MLP层。据我们所知，我们提出的架构是第一个使用多任务学习的架构，其中端到端模型一次学习两个或多个任务：基于CNN的自动编码器，从原始数据中提取空间特征，以及基于LSTM的预测器，从自动编码器的潜在空间中提取时间行为，所有这些都是端到端训练的神经网络中的多任务学习有望提高泛化能力[33]。所提出的模型中的自动编码器像[25]中的RBM那样提取特征，但与预训练的RBM不同，自动编码器是用模型端到端训练的。所提出的架构中的CNN层被包裹在时间分布式层中，这类似于Mo等人中的多头CNN。[28]，但允许我们利用特征的共享权重。在我们的研究中，我们包括了文献中不同的RUL标记模式，例如最大RUL为120，125，130，以及线性标记，以及错误Ellefsen et al.在[23]中。Ellefsen等人启发我们构造一种新的故障检测算法，并将其用于每个引擎的RUL标记。2.2. PHME 20挑战数据集预测与健康管理学会（PHM Society）在世界各地组织PHM会议。从PHM08会议开始，该协会还为预后研究人员组织数据挑战。2020年PHM欧洲会议举办了一项数据挑战赛，要求参与者预测过滤系统的剩余使用寿命。挑战的训练数据集，即PHME 20数据集，可供参与者使用。由于液体中的污染，过滤系统容易堵塞。建立了一个试验台，对不同污染程度下的过滤器堵塞失效进行了试验研究。该装置包括储液罐、搅拌器、泵、脉动阻尼器、过滤器、压力和流量传感器以及数据采集系统。悬浮液含有不同浓度的聚醚醚酮颗粒和水用不同粒径和浓度的悬浮液进行了实验颗粒有三种可能的尺寸：小（45中型（53四种不同的浓度-已使用了不同的比例，即0.4%、0.425%、0.45%和0.475%。的数据集包含传感器读数的这些实验，包括在10 Hz下获得的过滤器前的压力、过滤器后的压力和液体的流速。当过滤器后的压力下降超过20 psi时，过滤系统被称为堵塞。有8种不同粒度和浓度的配置，6种用于训练，2种用于验证。每种配置运行4次，每次运行记录2000 - 3500个样品，直至堵塞。与C-MAPSS数据集相比，PHME 20数据集相对较新。我们遇到了Beirami等人[34]，他们提出了一个神经网络模型，使用三个完全连接的层堆叠在一起来解决RUL预测挑战。3. 拟议框架和方法RUL预测的一般框架在图中给出。 二、与许多基于机器学习的方法一样，我们使用三阶段框架进行RUL估计。在第一阶段，我们进行数据收集和标记。我们介绍了一种新的经验RUL分配方法用于数据标记。第二阶段是预处理步骤，我们将数据标准化.最后，在第三阶段，我们进行模型训练和评估。我们提出了一个端到端的联合自动编码器回归模型在这个阶段。3.1. 数据标注作为工作流程的第一阶段，我们收集数据并附带必要的标签。我们使用的数据集以时间序列传感器数据和一些故障定义的形式出现。失败定义需要转换为有效的RUL标签。在C-MAPSS数据集中，发动机在最后一次测量时发生故障，而在PHME 20数据集中，当压降超过20 PSI时定义故障。在每种情况下，都需要评估系统的剩余使用寿命。最常见的RUL分配方法是线性RUL标记（线性）和分段线性RUL标记（PwL）[11，35线性RUL标记表明RUL值的最大值是传感器读数序列的长度。RUL值以每个传感器读数一个的速率下降，最后到最后都是零。对于第i个传感器读数（假设所有传感器均为Kür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014095×公司简介- -一种×¼- -一种半]←我我们不能确切地知道哪些样本是正常的或有缺陷的，但可以通过观察经验证据来决定潜在的边界在哪里。换句话说，我们迭代地假设从序列开始的Sc个样本（数据的s%）是正态的，并且从序列的末尾开始的相同数量的样本是错误的。我们期望用这2个Sc样本训练的模型能够对剩余的数据（称为测试数据）给出最好的解释，并且能够确定Fn在这个测试数据中的位置。故障点Fn的开始可以通过从第一个测试样本开始滑动固定大小的窗口来找到，如图3所示。在窗口的每个位置，我们询问训练模型是否基于经验证据将窗口的左侧分类为无故障，而窗口的右侧分类为有故障。当窗口不在正确的位置，即，在故障位置的左侧（参见图3中最左侧的框），分类器的响应和假设的标记将不匹配。实际上，虽然用于该窗口的完美分类器将给出[0，0，0，0，0，0，0]（假设窗口具有8个样本）而不是[0，0，0，0，1，1，1]。如果窗口位于正确的位置，那么完美分类器将得到[0，0，0，0，1，1，1]。此外，当窗口位于故障起始点的右侧时，完美分类器将是[1，1，1，1，1，1，1，1]。这意味着，假设分类器是正确的，则分类器标记结果和假设结果之间的差异可以使用马修斯相关系数（MCC）[39]来测量，如等式中所示3. 由于假设的结果可能因问题性质而不平衡，因此MCC比其他度量更具信息性，因为它考虑了所有测量的所有平衡比率，即真阳性（tp）、真阴性（tn）、假阳性（fp）、假阴性（fn）。TPTNFP fnpð3Þ图二. RUL预测框架以相同的速率和时间读取），线性RUL定义为RULi C i，其中C是故障发生前的样本数。PwL RUL标记的公式在等式中给出。1.一、在此公式中，RUL Max是根据经验[35]训练数据集。在整个论文中，线性RUL标签被称为线性，PwLRUL标签被称为PwLd>，其中d表示标签的RUL Max<我们建议使用这种经验测量来通过迭代分类器训练样本大小Sc和测试窗口位置a（参见算法1）来寻找最佳MCC得分来找到故障起始点在Sc和a上的迭代将生成热图（存储在ScoreMatrix中），其中最佳Sc和a的右坐标将最大。一个简单的优化算法，如高斯混合模型[40]将产生如图4所示的得分矩阵热图的质心。算法1：CalculateFn1：函数CALCULATEFNdf;wsddf：数据，ws：窗口大小2：ScoreMatrix←03：对于s¼5%至40%，4：X train;y train← TrainingDatasetdf;ws;s5：模型←分类器分类：trainX train;y train6：对于1/4秒，1至100秒，规则：RUL MaxifiPRUL Maxð1Þ7：X test;y test←测试TestingDataset测试数据集C-否则8：预测←模型：预测X测试另一种RUL分配方法，基于故障检测的RUL标记，最近受到了关注[24]。在这种方法中，退化/故障点的第n个系统，Fn预测使用异常检测技术。如在PwL方法中，RUL被认为是恒定的，直到该退化点，然后RUL线性地减小（等式10）。2）的情况。9：ScoreMatrix s;mcc评分y检验;预测10：结束11：结束12：Fn←CalculateFnFromGMMComponents计算FnFromGMMComponents的分数矩阵returnFn13：结束功能规则：F nif iP F nð2ÞC-I否则作为对基于故障检测的方法的扩展，我们提出了一种标记方法，其中Fn是在经验分类过程后预测的。我们假设从序列开始的一些正常样本和从序列结束的一些故障样本将足以建立一个模型来将给定的样本分类为正常或故障。我们3.2. 数据预处理该框架的第二阶段为模型训练和评估准备数据集。首先，对数据集执行数据缩放。对缩放数据集的探索性分析表明，并非所有特征都同样重要。标准化的特征我Kür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014096BbddÞð Þ图三. 算法1中训练和测试数据集构造的可视化。假设正常样本（标记为0）位于序列的头部，错误样本（标记为1）位于序列的尾部，为了构造训练子集，我们从每一侧获得序列的s%使用大小为ws的浮动窗口（根据经验选择）从剩余数据构建测试子集。在每次迭代中，使用训练子集训练分类器。分类器用于为测试子集中的每个窗口预测类。 我们假设包含Fn的 窗 口 具有最大评估分数。图四、算法1中的预测的评估得分创建如（a）中的热图我们计算GMM分量的评价分数（b），并采取的组件，其平均值最大化的评价分数。到一个接近常数的值包含没有有用的信息，所以这些特征被丢弃，为了低维。在处理时间序列数据时，深度网络倾向于首先拟合较低频率的函数[41]，这会导致模型对信号的过度拟合。为了利用时间序列信号的潜在益处，我们使用非线性变换经由谐波函数将非线性分量添加到信号，如在等式（1）中。其中，p是原始信号，其中，因此，我们提出了一个联合自动编码器回归模型，它提供了一个可插拔的架构。本研究中的模型包括卷积自动编码器和基于LSTM的回归器。三个卷积层一个接一个地堆叠以形成编码器，其用于提取空间信息。自动编码器的输入为Xt，即时间t的传感器值。同样，三解卷积层分别对时间t和t = 1处的信号X_t =1和X_t=1进行解码。 卷积层被包裹加到信号上，i是第i次谐波。在这种情况下，非线性变换使用高频函数将输入映射到更高维的空间，增加信号中特征外观的变化，从而产生更好的拟合[42]。cp。[咒语]20便士;co s.20便士;。 . . ;si n.2ippp;co s.2ppð4Þ3.3. 模型架构、培训和评估该框架的训练和评估阶段由模型架构、模型训练和评估步骤组成。对于mod-在时间分布层，对输入的每个切片进行卷积运算。在卷积层之间执行批量归一化。在RUL回归之前，时间t的编码传感器值与时间t处的操作条件OC t相关联。RUL回归层包含两个LSTM层，它从在RUL回归层中提取的特征中提取时间信息。编码器。密集层用于生成RUL t和RUL t1。在神经网络中使用多个输出（多任务学习）有望提高泛化能力[33]。一般架构如图5所示，附录中给出了该架构模型结构的超参数采用基于生物学概念的遗传算法Kür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014097¼¼X.1NX.^X.1d¼-¼ ¼图五、建议的联合自动编码器回归架构估计RUL与时间序列数据。进化论[43]在遗传算法中，要优化的超参数被称为基因，而构成唯一模型的一组基因序列被称为个体。遗传算法的过程从一组个体开始，即，初始人口，这是模型的初始集合。初始种群被训练并评估其对问题解决方案的适应性。通常，通过基因交叉（交配）和基因突变选择n个最佳拟合个体形成下一代。新一代的个体进入培训和评估阶段。该过程继续，直到达到最大代数或达到预定的适应度分数。最后，选择最适合的个体来创建最佳架构模型[44]。回归问题的常用评估指标是平均绝对误差和均方根误差，它们的定义 如 等 式 2 所 5 、 Eq 。 6 ， 分 别 。 在 这 些 等 式 中 ， y 是 预 期 结 果（tegrondtruth），yi是模型预测，并且ii是样本索引。除了常用的度量标准之外，数据基准测试和挑战测试还使用它们自己的其他评估度量标准。这些评价的详细情况见第4段中有关段落。. 1XnFD001中每个发动机的故障点Fn值，我们标记为PwLE。对21个时间序列特征的分析表明，只有一个传感器子集因此，在本文中，我们只使用这些特征来建模RUL预测器。随着原始传感器数据，我们增强了数据，通过应用非线性变换方程。4，并在方程中加入由i0和i1产生的所提出的联合自编码器-回归架构被应用于用于RUL预测的FD 001和FD 003子集。在3.3中，我们使用了两步方法来评估和优化所提出的模型架构。在第一步中，我们使用遗传算法[43]来搜索模型的超参数。在这个优化过程中，我们训练每个模型（种群的个体）100个epoch。我们使用验证数据的RMSE作为适应度得分。将训练时期限制为100是基于实验观察，即通常单个模型会收敛到合理的解决方案。这有助于我们尽可能缩短搜索时间。与此同时，已经观察到一些模型在训练期间受益于更多的时期。因此，在第二步中，我们训练了产生的前三名1000个早期停止的epoch模型个体的基因MAE（平均年龄）ni¼1jyi-y^ij5在表2中给出。遗传算法优化参数是在几次实验运行后手动选择的vu。ffiffiffi1ffiffiffiΣffiffiffiXffiffiffinffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffi2ffiffi联合自动编码器回归提供了一个通用的架构，RMS有效值1/1我-我-我ð6ÞRUL预测。给出了该体系结构的一个实现实例在图6中，这是我们对C-MAPSS FD 001数据集的最佳模型。图中还给出了模型的超参数均方误差被用作模型损失函数。以来4. 实验和结果模型有四个输出，每个输出的损失加起来就是最终的损失，如等式2所示。7 .第一次会议。我们已经将所提出的RUL预测框架应用于涡轮风扇发动机退化模拟数据集[9]，LLoss¼LossXLoss 损失X损失RUL损失RUL损失RUL损失RUL损失PHME 20数据挑战数据集[10]。本节提供信息-框架每个阶段的实施细节，以及对数据集的评估结果。N损失X单位重量N1/12Xti-X^ti4.1. C-MAPSS数据集损失X损失1损失1N2Xt1i-Xt1i1/1ð7ÞC-MAPSS数据集的详细信息见2.1。由于训练数据包含运行至故障的传感器数据，但是缺少NLossRUL损失1/12RULti-RUL^tiRUL标签，我们使用Python3.1中的RUL赋值方法来标记1XN。^2002年数据集。最初，我们为线性和分段线性添加了RUL标签，耳标，即线性、PwL120[36]、PwL125[11，37]和损失RUL不超过100N1/1RULt1i-RULt1iPwL 130[35，38]，通常用于C-MAPSS数据集。我们还应用了3.1中提出的故障检测算法，使用三个分量和五个分量的GMM，分别创建KGMM3和KGMM5 RUL标签。Ellefsen等人在[23]中提出了另一种故障检测方法，并给出C-MAPSS 数 据 集 上 的 RUL 预 测 性 能 由 （ 等 式 10 ） 中 的ScoreFunction[9]8）。在等式中;S是总惩罚分数，n是子集中的发动机计数，d RUL RUL;a113和a2 10。在这个等式中，更好的RUL预测性能产生更低的分数。ΣΣKür，satI_nceandY. Genc工程科学与技术，国际期刊41（2023）1014098¼n>X的1一个表2使用遗传算法优化的联合自动编码器-回归模型超参数。型号参数类型范围一般窗口大小随机整数5的方法，和原始数据的非线性变换的影响。在表3中给出了在C-MAPSS FD 001子集上的具有非线性变换实验的所提出的联合自编码器-回归器的结果对于这个子集，线性RUL标记几乎总是给出最差的RMSE和得分。线性标签的分数逐渐增加学习率随机实数（对数均匀）卷积层（编码器）10-3-10随着非线性元件数量的增加而减少。PwL120和PwL125评分接近（3%），优于PwL130评分。PwL 120和PwL 125评分均降低，过滤器数量[001 pdf 1st-31 files]核大小随机从列表[3，5，7，9，11，13]添加了非线性分量。PwL 130评分仅前两个组分降低（i1/40）。基于故障检测的L1惩罚随机实数（原木统一）10-3-10RUL标记，KGMM 3与原始传感器值给出了最佳RMSE激活随机从列表应用批次标准。随机布尔值[true，false]卷积层（解码器）和分数。 添加两个非线性分量（i 0）提高了PwLE和KGMM 5的性能，但不提高KGMM 3的性能。 参见图 7（其中为了清楚起见，测试引擎按其地面真实RUL值排序），RUL预测在非L1惩罚随机实数(log制服）10-3-10大部分发动机的线性当预测偏离很大时，激活随机从列表密集层（潜在空间）编码大小随机10激活随机从列表它们对于所有方法都是关闭的，这表明地面真实值标签存在某些问题。此外，图。图8示出了时间RUL估计。这是针对典型试运行（针对发动机100）给出的预测通常更接近于分配的RUL值。虽然非线性化平均改善了估计，但有时它可以比线性的情况更多。L1惩罚随机实数（对数均匀）LSTM层（RUL生成）10-3-10C-MAPSS FD 003子集上的建议模型的结果在表4. 与以前的结果不同，向数据中添加非线性分量并没有提高模型的性能我们怀疑LSTM单元数随机数5融合层节点数随机数50激活随机从列表在将原始输入映射到更高维空间并增加信号变化的同时，非线性变换也增加了噪声的变化，这反过来又破坏了模型RMSE和得分L1正则化随机实数（对数均匀）10-3-10PwL120、PwL125和PwL130标记的值接近，并且比KGMM 3和KGMM 5结果好得多总的来说PwL RUL标记评分优于其他标记方法，8NS¼>i¼1>：Xi¼1e-。de. dd0

下载后可阅读完整内容，剩余1页未读，立即下载