基于卷积神经网络的多采样率迁移学习提高能源效率预测

能源与人工智能14（2023）100258基于卷积神经网络的多采样率迁移学习Chanin Panjapornpona，*，Santi Bardeeniza，Mohamed Azlan Hussain b，Kanthika Vongvirat a，查雅尼·朱玉a曼谷Kasetsart大学工程学院，石油化工和材料技术卓越中心化学工程系，10900，泰国b马来西亚吉隆坡50603马来亚大学工程学院化学工程系H I G H L I G H T S G R A P H I C A LA B标准• 提出了一种新的• 多通道卷积结构从数据中捕获不同的特征。• 该方法提高了19%的石油化工案例研究的预测性能。• 当新的输入组合出现时，迁移学习可以维持绩效。• 模型洞察揭示了7.25%的年度公用事业节省和5700吨温室气体减少。A R T I C L EI N FO保留字：能源效率预测传递学习石化过程多速率预测卷积神经网络A B标准石化行业的能源效率对于降低能源消耗和环境影响至关重要。准确的能源效率模型将为支持运营调整决策提供有价值的见解。在实践中，由于石化行业中采样间隔不一致，用于获得能量效率的传统方法可能不可靠并且难以处理这些多速率数据特征。因此，在本文中，多通道卷积神经网络模型集成了基于模型参数的迁移学习方法，提出了提高不一致的采样间隔下的能源效率的预测。多通道结构旨在通过沿时间维度卷积信息来识别来自数据集的不同模式。同时，迁移学习允许模型在完全训练后学习新的输入模式。最后，将其应用于氯乙烯单体生产的实例研究，验证了该方法的节能效果。结果表明，该模型在准确性和可重复性方面优于传统模型和典型卷积神经网络结构，r平方为0.97。迁移学习的利用防止了性能的显著下降，并增强了模型学习对实时能量跟踪的适应性。此外，预测结果的能隙分析确定了一个重要的能量-* 通讯作者。电子邮件地址：fengcnp@ku.ac.th（中国）Panjapornpon）。https://doi.org/10.1016/j.egyai.2023.1002582023年3月22日在线提供2666-5468/© 2023作者。由爱思唯尔有限公司出版。这是一篇开放获取的文章，获得了CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可从ScienceDirect获取目录列表能源与AI期刊主页：www.sciencedirect.com/journal/energy-and-aiC. Panjapornpon等人能源与人工智能14（2023）1002582节能潜力，年均降低能耗7.25%，减少二氧化碳排放5,709吨。1. 介绍自十九世纪以来，全球能源消耗持续增长[1]，工业部门占全球温室气体排放量的24.2%[2]。根据美国能源信息署的工业能源报告，化工行业是能源密集型行业之一[3]，二零二一年能源消耗占总能耗的37.77%，年产量约为5亿吨（如图1所示），其中能源和原材料成本约占生产成本的三分之二[4]。作为化学工业的一个分支，石化行业一直面临着与可持续发展目标保持一致并实现净零排放的压力。作为回应，该行业专注于预测能源效率并确定工业规模的节约机会，以降低能源成本并最大限度地减少环境影响[5]。随着近年来数据驱动知识的指数增长，多年来，各种学术方法已被用于执行能源和节约分析。例如，数学模型需要了解变量之间的关系，只有少数得到充分验证[6]。主成分分析法虽然可以用来预测能源效率，但效果不佳找到足够的映射空间[7]。数据挖掘分析可以在一定程度[8]但在处理时难以处理参数波动不确定的数据[9]。一些研究人员应用人工神经网络（ANN）来适应数据的复杂性，因为它们具有灵活的学习方法，简单的实现和良好的化学过程性能[10]。Sauer和Walser利用卷积神经网络（CNN）在工业部门进行短期负荷预测[11]。Machalek等人提出了一种具有编码器-解码器架构的门控递归单元（GRU），用于锅炉蒸汽网络的滚动时域能量预测[12]。基于综合注意力机制的GRU由Liu等人提出。[13]，增加了一个注意力机制，使模型能够专注于输入信息的特定部分。残差网络（RESNET）可以提高预测性能。该模型在内部残差块中包含跳过连接，允许网络从输入和中间表示中学习;尽管如此，网络更容易出现梯度消失问题[14]。由于门控机制，可以使用长短期记忆（LSTM）模型有效地解决梯度问题[15]。LSTM网络成功地捕获了扰动数据变化[16]和参数波动[17]的动力学行为。然而，当时间段延长时，LSTM模型表示的长期依赖性的效率降低，降低了模型的可靠性。迁移学习已经成为一种越来越受欢迎的技术，提高神经网络的识别能力[18]，减少 数据 [19]求。 不是 只允许 的改编Fig. 1. 按国家、部门和行业类型划分的能源消费。C. Panjapornpon等人能源与人工智能14（2023）1002583图二、本研究的模型开发。通过在较小的目标数据集上微调模型的权重，将预训练的模型用于新的任务或领域[20]，但当信息模式与训练领域不同时，也提高了模型的适应性[21]。然而，当系统边界很大时，模型通常必须处理来自工厂范围信息的多维问题[22]。CNN通常用于处理多维信息，因为它具有强大的特征提取功能[23]。卷积滤波器检测输入信息的各个区域，而CNN的局部连接识别数据中的局部模式并将它们组合以形成更高级别的表示[24]。为了捕获更多的模式，多通道CNN可以通过利用多个输入通道提供的附加信息来实现比标准CNN更好的模式识别性能[25]，但这种模型缺乏自适应学习能力。此外，人工智能（AI）被广泛用于开发多个应用程序的能源模型，例如能源优化，政策分析和预测性维护，以防止浪费能源[26]。然而，由于所需数据的特性和类型，只有少数情况适用于化学工程应用[27]。由于安全程序、测量部署限制，和过程特性，可测量的过程变量可能很难以统一的间隔收集，特别是在工业过程中[28]。化学过程数据是唯一的、有限的和不确定的[29]，使得传统的学习算法对化学工程应用无效[30]。石化过程通常涉及定性和定量变量，需要离线分析以产生额外的变量或检查现有的变量。因此，观测变量都是唯一的，采样率是不一致的[31]。基于上述现有文献，大多数研究使用统一的采样间隔和完整的数据集进行能量分析，而多速率问 题 仍 未 解 决 [32] 。 通 过 利 用 基 于 密 度 的 噪 声 应 用 空 间 聚 类（DBSCAN），可以将不完整的数据集转换为统一的采样间隔[33]。然而，该方法将大大减少可用数据的数量，从而造成数据有限和不足的情况。因此，在现实中，考虑到多时间尺度数据挑战的基于人工智能的全厂能效和节能分析的性能尚未得到彻底研究[34]，这导致了我们在本文中提出的研究工作的动机。因此，我们认为， 这 研究 旨在 到 解决 研究差距开 发 实 时 能 效 预 测 模 型 ， 并 使 用 多 通 道 转 移 学 习 卷 积 神 经 网络（TLCNN）模型识别节能潜力和多时间尺度预测器挑战。当无法以相同的采样率收集信息时，传统的能效确定方式可能需要一组完整的输入变量，而这些变量不可能实时执行分析。通过使用TLCNN模型，该研究表明，人工智能网络可以处理模型训练后的过程或数据分布差异，以预测石化行业的能源效率。此外，所提出的方法可以充分利用，无需任何数据预处理，不会减少可用的数据集。以氯乙烯单体（VCM）工艺为例，验证了模型的性能和再现性。在这种情况下，拟议的研究为采用人工智能方法的研究人员提供了预测和模型开发的新视角，以通过解决多速率采样挑战来改善复杂石化工业的能效跟踪性能，其中主要贡献可以总结如下：1 提出了一种新的方法来预测能源效率时，多率采样间隔，例如1，5和10分钟，存在的石化行业的案例研究，以及如何使CNN的每个通道，以识别不同的信息模式使用多通道结构。2 确定代表氯乙烯单体工艺全厂能源生产关系的能源密集型变量。采用基于树的特征选择和前向逐步特征选择相结合的方法来识别强相关的输入变量，避免模型训练过程中输入和输出之间不必要的关系。3 提出了一种TLCNN模型，当训练后采样率发生变化且与训练数据集存在显著差异时，该模型可以提高自适应学习能力。此外，结果表明，迁移学习显着提高了训练的重复性，在多时间尺度预测的情况下。4 评估节能潜力的预测能源缺口，以实现更可持续和更环保的运营。这项工作的其余部分分为以下几个部分。第2节描述了TLCNN模型的拟议网络结构和特征选择框架。第3节概述了氯乙烯单体工艺和比能耗的定义。第4节用实时测试、可靠性分析、滑动测试以及如何使用预测结果来发现节能潜力来评估所提出的模型的性能。最后，结论见第5。2. 模型开发框架图2说明了模型开发的框架，包括特征选择、数据划分、模型公式化、错误分析和多个测试场景。每个步骤的详细信息在以下小节中描述2.1. 特征选择预测大规模过程中的能源效率需要先进的特征工程技术来识别具有高节能潜力的强相关特征和变量[35]。这项研究采用了一种特征选择技术，包括两个途径。第一种方法涉及使用树模型来获得预测重要性的估计，其中决策树（基于模型的特征选择类型）在识别必要特征方面是有效的[36]。特征重要性分数指示预测变量在评估最终输出（在这种情况下是能量效率）中的相对重要性。特征重要性（FI）通过对由于每个预测器上的分裂而引起的节点变化求和来计算，然后C. Panjapornpon等人能源与人工智能14（2023）1002584∑（我∑我图三. 每个步骤中的特征选择和消除标准的框架。见图4。 TLCNN模型结构。除以这些树的分支总数。没有显著值的预测变量被删除。特征重要性的计算由以下等式给出：(1)- （2）。NIj=wjej-（we）child，j（1）NIjJ显示了本研究中使用的特征选择方法的框架。2.2. 多通道转移学习卷积神经网络（TLCNN）在这项研究中，TLCNN由五个主要层组成，包括一个FIi=：NodejsplitonfeatureiNI∈输入层、卷积层、池化层、全连接层和输出层，其中TLCNN的结构在其中wj是到达节点j的样本的加权因子，ej是节点j的误差，NIj是节点j的重要性得分，FIi是特征i的特征重要性得分，并且k是所有树节点。简而言之，FI分数越大，特定变量与能源效率之间的关系越强。在第二种方法中，使用前向逐步特征选择来训练具有在第一次迭代中获得的FI分数的最高显著值的模型。然后，在下一个周期中添加预测变量的下一个重复迭代直到使用秩中的最后一个预测变量最后，最好的图4所示，所提出的模型的可学习参数如表1所示。下面描述所提出的模型中的每一层堆肥2.2.1. 输入层网络的输入层不包含加权因子或偏差，但输入层的主要优点是嵌入归一化。在这项研究中，在输入层应用z分数归一化，将数据转换为相同的尺度，并使用Eqs提高学习稳定性。(3)- （5）。选择调整后R2值最高的预测变量组合作为模型比较研究的最终预测变量图 3zj= xj-μjσj（三）C. Panjapornpon等人能源与人工智能14（2023）1002585∑xn表1TLCNN模型的特点名称类型激活可学习参数输入层序列输入14× 1× 1nJ我μj=i=1我知道你是谁。̅ ̅x̅j -̅μ̅j̅)̅2（四）14× 1× 1，带正常化卷积层_1卷积14× 1×N权值10 × 10σj=i=1我n-1（五）50 10×1×Njj×10 ×1卷积偏倚1× 1×N其中xi是第j个输入特征的原始第i个数据点，μ是第j个输入要素的平均值，σj是最大池层_1最大池14× 1×N3× 3最大合并第j个输入特征。完全连接层_1完全连接1× 1×N重量N×70050个全连接层偏倚N×12.2.2. 卷积层卷积层_2卷积14× 1×N权值10 × 10卷积层获得可学习的参数，50 10 ×10 ×1×1 ×N1× 1×学习特征并卷积输入信息。 一般来说，卷积是一种数学运算，它将两组信息合并在一起，卷积N最大池层_2最大池14× 1×N3× 3最大合并在输入数据和卷积滤波器之间。它在一维输入数据的时间维度本案中完全连接层_2完全连接1× 1× 1砝码N×700主回归层被应用于卷积层，1个完全连接层偏倚N×1卷积过滤器，以产生自动和卷积层_3卷积14× 1×N权重15 × 1550 15 ×15 ×1×1 ×N1× 1×卷积输出可以使用等式（Eq. （六）、卷积N最大池层_3最大池14× 1×N5× 5最大合并yj=f（xiwk+bk）（6）全连接层_3全连接1× 1×N重量N×700其中f是指定的激活函数，wk是加权因子，40个全连接层偏倚N×1而bk是卷积滤波器的偏置。级联层级联1× 1× 3沿尺寸t2.2.3. 池化层在执行卷积之后，池化层减少了全连接层全1× 1×1砝码1 ×N通过将神经元簇的输出组合在一个1 全连通层偏倚1 ×1在下一层中变成单个神经元。 池没有权重回归层回归输出1× 1× 1因素或偏见，但它降低了信息*N是表5中列出的最终超参数。并对每个特征图进行下采样，从而降低训练时间内后续层中可学习参数图五. 卷积神经网络的概念。偏置偏置C. Panjapornpon等人能源与人工智能14（2023）1002586表2搜索超参数调优的域。层超参数值卷积层滤波器的大小[5，20]池化层是最大池化和平均池化。Max-pooling选择过滤器窗口内的最大值，而average pooling计算平均值。 卷积层和池化层中处理数据的步骤如图所示。 五、池化层过滤器数量[10，60]合并区域的大小[1，6]池化类型[平均值，最大值]2.2.4. 全连接层下采样层（如卷积）后面是一个或全连接层节点数[1，60]训练选项L2正则化[0，1]学习率[0.25，1]学习率下降期[20，100]学习率下降因子[0.5，1]最大纪元[100，500]验证频率10最小批量120Wight更新优化器[Adam，SGD]减少和防止过拟合 最常见类型的更完全连接的层，其将输入乘以权重矩阵X并向模型添加偏差。全连接层还重塑输出向量以匹配预测输出的大小2.2.5. 输出层输出层为给定的输入生成预测结果，并在各层之间反向传播误差，以调整加权因子和偏差，从而最小化回归任务的损失函数。半均方误差被用作模型训练的目标函数，其可以通过等式（1）计算。（七）、一种网格搜索优化见图6。 CNN公式化和迁移学习过程。见图7。 氯乙烯单体生产的整个过程。C. Panjapornpon等人能源与人工智能14（2023）1002587表3氯乙烯单体工艺中工艺变量和取样间隔的说明没有过程变量间隔没有过程变量间隔1EDC温度1分钟50E-的CW进料速率1分钟表3（续）T-502底部D-1012底部质量流量R-1013D-101顶部质量流量4底部EDC质量流量D-1015至R-1016至R的乙烯进料的质量流速-304E- 301的CW进料速率E- 306的CW进料速率E-303低压给汽量E-305低压给汽量至F-401（1）5分钟10分钟1分钟1分钟1分钟37EDC进料至E-30138EDC进料至T-30139T- 301顶部温度40温度底部T-30141T- 302顶部温度10 min 86温度底部T-502 5min 87温度在L- 517处回收的EDCL- 501处的质量流率L- 502处的质量流率1 min 90 T时的质量流率502入口1分钟1分钟1分钟1分钟1分钟1017 R-101的空气进料速率5 min 56 EDC的温度1分钟42温度底部T-3021 min 91 VCM质量流速1 min8 R-101的低压蒸汽进料速率进料至F-401（2）1 min 57L温度-403 1 min43温度K-301处的纯化EDC44EDC的质量流速10 min 92质量回收率底部T-5021 min 93质量回收率1分钟1分钟9在L-22810温度在L-229时11C-201出口温度12P-201出口温度13温度5 min 58温度再循环的EDC D-402 1 min 59 D-402下的温度401入口10 min 60顶部温度D-4015 min 61温度再循环的EDC D-403 10 min 62 D-403下的温度1分钟1分钟1分钟1分钟1分钟进料至E-30145T-301顶部质量流量46底部质量流量T-30147T-302顶部质量流量48底部质量流量T-302在顶部T-5011 min 94 CW E-503E-502的1 min 95E-504的1 min 96 MP蒸汽进料速率1 min 97制冷剂进料速率E-5011分钟1分钟1分钟1分钟底部D-20114温度L- 223处的循环水15温度402入口10 min 63温度从D-4041 min 64 D-时的温度1分钟1分钟49 E-302的CW进料速率1 min使用验证R2作为目标函数，通过使用搜索域，滗析器D-20216顶部温度T- 201403入口1 min 65 D-时的温度404入口1分钟表2中指定的超参数调优。N17温度1 min 66质量流率1分钟HMSE=1Σ。y实际t-y（7），预测，t）2底部T-20118至M的乙烯进料的质量流速EDC进料至F-4011 min 67顶部的质量流率D-4011分钟2Nt=12.2.6. 迁移学习程序20119至M-201的氧气进料的质量流速1 min 68质量排水率底部D-40110分钟迁移学习是一种克服权重初始化问题、提高模型可靠性和重现性的有用技术。20 EDC的质量流率1 min 69顶部的质量流率5分钟在处理多维数据时，需要进行优化[37]。 模型底部T-20121L- 208处的质量流率22在L-229时10分钟70D-402D-402底部再循环的质量流量D-403顶部的质量流量5分钟1分钟选择基于参数的迁移学习作为学习类型，以避免需要大量新数据并节省训练时间[38]。在我们的研究中，八个模型的能源效率进行了评估预测，包括回归树（RT），前馈神经网络23 D时的质量流率顶部质量流率5分钟（FFNN），复发性 神经 网络(RNN)、 LSTM， 简单 CNN，202入口24 L-207时NaOH的质量流速D-404底部回料质量比D-4035分钟多通道CNN（2C-CNN）、数据重建25顶部的质量流率质量回收率1分钟使用线性插值和零阶保持也被包括作为一个D-20126底部质量流量D-20227P-时的质量流率201入口底部D-404 P- 403出口D时的质量流率-402入口1分钟5分钟比较案例零阶保持和插值是两种最直接的数据重建技术。零阶保持通过在出现缺失值时保持旧值直到出现以下值来重构输入信息。28顶部的质量流率1 min 77 D时的质量流率1分钟另一方面，内插假设信息是-T-20129 E-202的CW进料速率1分钟78401入口E-的CW进料速率10分钟两个观测值之间是线性的，并估计它们之间的数据。然而，这些数据重建技术增加了训练时间，30 E-203的CW进料速率5min 79403E- 404的CW进料速率1分钟使得当周围的数据点不可用时不可能在实时测试场景中实现2C-CNN31 E-204的CW进料速率1 min 80 F-204的燃料进料速率1分钟两个通道，而3C-CNN的第一通道32E-205低压给汽量33E-201中压蒸汽进料量1分钟811分钟82401E-401低压给汽量E-402低压蒸汽进料量1分钟5分钟这两个模型具有与简单CNN模型相同的结构，但是2C-CNN的第二通道和3C-CNN的第三通道的超参数另一方面，TLCNN模型使用了前34 MP蒸汽进料速率5 min 83顶部温度1分钟来自2C-CNN模型的前两个通道的训练参数R-20135 E-206的CW进料速率1分钟84T-501底部温度T-5011分钟并在附加的训练周期中单独训练其第三信道。 这种结构通过在CNN层的每个通道之间共享学习负载来提高学习稳定性，并且允许网络使用CNN层的附加通道从输入数据学习不同的模式没有过程变量间隔没有过程变量间隔36C-202电源输入5分钟85顶部温度1分钟1分钟515分钟521分钟531分钟541分钟551分钟715分钟721分钟735分钟745分钟751分钟76C. Panjapornpon等人能源与人工智能14（2023）1002588∑̂∑2（y-y）n--n̂（yiy）（九图8.第八条。多速率采样间隔包括a）数 据 的 示例和b）输 入 的 组合。CNN模型。部分层冻结应用于结构的剩余部分与此同时，该模型冻结了预训练网络的学习参数，以保留从旧的采样率中获得的知识网络形成和迁移学习过程如图6所示。2.3. 模型试验讨论区。n（yi-y）2R2=1-i=1我i=11ni=1（八）最后，对所有模型进行了软件在环测试，MAPE1∑yi-y100%（10）实时应用，用于检查模型和可靠性比率的一致性的再现性测试，以及用于体验=ni=1 yi⃒×通过使用r平方（R2）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）值作为指标训练模型后的时间尺度变化，分别示于等式(8)-（10）。测试场景将在结果中更详细地解释，其中yi是第i个样本的实际输出，y是预测输出值，y是原始输出的平均值。 R2测量a模型适应性，并指出能源效率的变化比例可以通过使用模型的输入变量来解释RMSE=C. Panjapornpon等人能源与人工智能14（2023）1002589表4见图9。 R2和RMSE来自前向逐步特征选择的模型训练。性能比R2，而MAPE表示为百分比，使得模型的误差对极端值不太敏感，模型开发的重要输入变量RMSE。3. 氯乙烯单体法氯乙烯 工艺包括 五个部分 ：直接 氯化、 氧氯化、 二氯乙烷（EDC）提纯、EDC热解工艺和氯乙烯提纯。 图 7概述了整个VCM流程及其各部分。该工艺首先将乙烯和氯气送入直接氯化工段，通过加成反应制备EDC。在氧氯化中，乙烯与氧气和氯化氢在气相中反应以形成EDC，然后在碱洗涤器中用氢氧化钠溶液中和EDC将流出的混合物进料至蒸馏塔，其中EDC和水分离。随后将纯化的EDC从三个混合物中混合。来源， 包括 EDC 从 直接 氯化， EDC 从oX y-表5CNN模型的最佳超参数。调整超参数CNN 2C- CNN 3C - CNN TLCNN1过滤器尺寸过滤器数量PR_1的大小FC节点数2过滤器尺寸过滤器数量PR_2- 3 3 3氯化和未反应的EDC从VCM纯化部分排出。在EDC纯化部分中，合并的产物流被纯化以分离其他量的痕量物，包括水、氯乙烷和三氯乙烷（TCE）。第一塔除去轻质组分、低沸点杂质和水，而第二塔除去重质产物如TCE。将纯化的EDC进料到反应器中。带有长管式线圈的热裂解器，在480至530摄氏度的温度和607.95至3546.37千帕的压力范围内产生氯乙烯单体和其他副产品。热气被一系列的冷凝器和进料到氯化氢（HCl）塔的分离过程，这将未反应的HCl回流到氧。氯化工段作为生产EDC的原料第二3全球FC节点数过滤器尺寸过滤器数量PR_3的大小-FC节点数学习率0.75 0.75 0.75塔将VCM产物与未反应的EDC分离，并将其回流至EDC纯化部分以进一步裂解。总的来说，氯乙烯单体的生产经历了几个转化步骤，如氯化反应、裂解反应和多个纯化过程。这些步骤需要高温和高压，所有这些都需要注：PR=合并区域，FC=完全连接。此外，RMSE和MAPE测量预测值和实际值之间的差异。RMSE考虑了误差的大小，并提供了更全面的模型视图大量的能源来维持生产力和各种公用事业。因此，氯乙烯单体的生产是一个高耗能的行业.号过程变量间隔FI评分63来自D-404的1分钟百分之十五点一五1底部EDC温度D-1011分钟百分之十四点六一84底部温度T-5011分钟百分之十点一五23D-202进口5分钟9.51%9在L-2285分钟8.31%47T-302顶部质量流量1分钟8.29%46底部质量流量T-3011分钟百分之七点一七78E-403的CW进料速率10分钟7.03%31E-204的CW进料速率1分钟6.39%85T-502顶部温度1分钟百分之三点零五10在L-2291分钟2.53%13底部温度D-20110分钟1.94%39T-301顶部温度1分钟1.78%C. Panjapornpon等人能源与人工智能14（2023）10025810±表6图10个。使用不 同 CN N 模 型 的 训练RMSE和训练时间的 比 较 。3.1. 多速率信息软件在环测试结果。数据集模型R2RMSE MAPE训练FFNN 0.741 899.359 2.546RNN 0.891 433.708LSTM 0.904 498.773 1.511美国有线电视新闻网0.929 437.334 1.482CNN（零阶保持）0.851 483.642 1.667CNN（插值）0.871 452.174 1.5512C3C本研究中可用的数据是基于文献[39]中的模拟操作条件，通过MATLAB和UniSim Design Suite之间的联合模拟方法生成的。在该研究中，乙烯在235，000至410，000 kg/天的范围内变化（直接氯化的最小能力为160，000 kg/天，氧氯化工段的最小能力为75，000kg/天），而热解工段的新鲜EDC进料在750，000至1800，000 kg/天的范围内变化，在1000至200百分之十的数据是在2000多个样本中产生的，采样时间为1分钟，验证TLCNN 0.971 228.738 0.760FFNN 0.832 848.018RNN 0.813 828.486LSTM 0.921 457.401 1.538美国有线电视新闻网0.927 436.898 1.474CNN（零阶保持）0.868 487.621 1.678CNN（插值）0.872 475.678 1.6312C3CTLCNN 0.962 262.518 0.803在UniSim环境下的Terval。最后，通过MATLAB软件在多时间尺度上收集数据，符合表3，以1、5和10 min的三种不同速率，假设在训练步骤中采样速率恒定。VCM过程包含97个可测量变量，多速率信息的示例如图8a所示。低采样率变量的两个记录之间的过渡消失，使得低采样率特征的行为缺乏高频动态性，并且对处理和识别具有挑战性。测试FFNN 0.771 869.828 2.315RNN 0.617 1205.701LSTM 0.919 462.329 1.650美国有线电视新闻网0.929 392.484 1.262CNN（零阶保持）0.907 471.861 1.686CNN（插值）0.915 443.578 1.5662C数据中的潜在模式。数据对齐根据可用数据创建三种可能的组合，如图1所示，分别为1分钟、1-5分钟和1-5-10分钟。 8 b.为了确保深度学习模型的准确性和通用性，数据集将被分为两个子集：训练集和验证集。训练集包含总体数据的80%，而剩余的20%用于验证。在训练步骤中，3C0.948311.6661.039TLCNN0.970232.8620.784C. Panjapornpon等人能源与人工智能14（2023）10025811见图11。 所有基于CNN的模型的实际和预测SEC之间的比较示例。图12个。 测试CN N 模 型 的 R 2值的 Bo x 图 。C. Panjapornpon等人能源与人工智能14（2023）10025812=（11）表7基于CNN模型的滑动测试结果图十三. 滑动测试场景。多个层面，包括过程、区域和国际层面，以及生产类似产品的行业4. 结果和讨论4.1. 特征重要性得分为了确定最重要的过程变量，使用FI评分从最重要到最不重要对所有97个过程变量进行排名，其中FI评分等于零的变量在第一阶段被排除。因此，在前向逐步特征选择中进一步利用剩余的40个变量。 图图9显示了前进步骤的结果-使用FI排名进行训练的明智特征选择。从其精度和误差来看，很明显，最大训练R2和测试4 CNN 0.471 2678.653 9.5652C3CTLCNN 0.815 595.259 2.024以等于2的验证频率（每次验证迭代的训练迭代）来应用保持验证，这使用沿训练曲线的未看见的数据集来评估模型的准确性，并防止过拟合问题。3.2. 比能耗能源需求、热效率和能源强度都被用来描述能源效率[34]。由于这些定义仅考虑能耗和转换效率，因此比较不同电厂负荷下的能源效率性能更具挑战性[40]。能源效率的另一个有用的定义是比能耗（SEC）[41]。SEC是生产特定产品所需的能量除以生产能力，其可以使用等式（1）计算。（十一）、生产产品所用 的SEC根据SEC的定义，它将产品的功能单元所需的能量归一化，使生产能力具有可比性。此外，SEC可用于基准测试，当预测变量的数量等于14时，出现最小RMSE这些显著变量和FI评分列于表4中。前向逐步特征选择的结果确认剩余变量是具有最高FI分数的14个变量，这与其特征重要性的排序结果一致4.2. 超参数和速度指示器表5显示了最终的超参数，该参数最大化了本研究中使用的所有CNN模型的网格搜索优化训练R2。根据结果，TLCNN和3C-CNN3C-CNN和TLCNN之间的主要区别训练时间和所有CNN模型的准确性如图10所示。所有模型都可以在实时应用中实现，所有模型的预测速度都小于1秒（工业测量最频繁的采样间隔）。TLCNN需要28 s的训练时间。由于采样率是以分钟为单位的，结果表明，模型可以在获得新的采样之前完成再训练过程。因此，2C-CNNTLCNN消耗的时间最多，但与其他学习算法相比，它的训练RMSE最低。此外，TLCNN预测即将到来的样本比3C-CNN更快场景数据集模型测试R2RMSEMAPE样本移位测试1CNN0.935334.6881.1522C0.931344.8711.1873C0.933340.8151.181测试2TLCNNCNN0.9540.752271.384820.5290.9191.6522C0.662918.7772.0913C0.779653.6521.779TLCNN0.938337.7971.071可变移位测试3CNN0.3922137.7214.1632C0.3982077.2454.0483C0.4641767.8443.755TLCNN0.678985.9812.671C. Panjapornpon等人能源与人工智能14（2023）100258134.3. 能效预测测试性能见图14。 TLCNN的网络分析结果。关于原始数据集的假设。零阶保持通过假设信息保持恒定来填充未采样数据本节包含能源效率预测中每个模型的在线测试结果。该模型部署在UniSim设计环境中，以收集模型的实时性能。模型已经测试了20次迭代，每次迭代400个样本，以确定其平均性能，最终报告在表6中。当比较CNN、LSTM、RNN和FFNN模型的性能时，CNN在处理多时间尺度预测器时往往具有最高的准确性。因此，选择CNN作为通过零阶保持和插值重建后的数据的预测模型。简单CNN的精度为0.929，而将其与零阶保持和插值相结合，精度分别为0.907和0.915。TLCNN的性能优于其他替代回归模型的R2为0.970，RMSE为232.862，MAPE为0.784。这是因为数据重建技术 等 作为 零级 举行和 插值 做出一些而内插假设两个数据点之间的未采样值可以由单个关系来描述。由于模式变化和插值误差而导致的信息丢失可能导致神经网络生成的预测精度降低。与简单CNN相比，所提出的模型将SEC 的跟踪能力提高了43.13%，这高于2D-CNN（17.06%）和3D-CNN（19.88%）的改进。这些结果表明，增加模型的通道会导致性能下降，这也更容易发生过拟合。迁移学习的使用将冻结预训练通道的权重因子和偏差，并迫使模型使用未训练通道从数据中捕获剩余模式，这可以提高模型的性能和通用性图 11将实际SEC与通过以下公式预测的SEC值进行比较：VCM过程的基于CNN的模型。结果显示，TLCNNC. Panjapornpon等人能源与人工智能14（2023）10025814图15. 模型提供的实际和基准SEC残差图可以处理宽范围的SEC值，而CNN、2C-CNN迁移学习实现了偏差和方差之间的良好平衡，这通常是其他预测模型在实时实现期间难以实现的预训练通道的作用是作为特征提取器，模型的最终通道旨在为特定任务微调模型，使模型的工作域更宽。4.4. 重现性分析准确性并不是使用人工智能进行新型预测分析的唯一问题。模型的可重复性也是一个主要考虑因素。为了证明模型结果可以重现，本节提供了重现性分析的信息和结果。所有模型都经过了200次重新训练，以评估模型的不一致性。新的数据集是随机生成的，并用于训练具有不同序列但具有相同最优超参数的模型。图12显示了再现性分析的测试结果通过 的 描述 procedure. 相比 到单训练模型，自适应模型，如TLCNN具有更高的再现性。根据结果，TLCNN的测试R2保持在0.929至0.992的范围内，而简单CNN保持在0.874至0.992的范围内。排除离群值后为0.933。更重要的是，2C-CNN和3C-CNN中的多通道结构cantly分别下降到0.854和0.869，这增加了模型开发步骤中训练失败的可能性。模型结构中的通道数量越多，更新和收敛到有效的解决方案就越困难。在这种情况下，基于模型参数的迁移学习在解决权重初始化问题方面发挥了重要作用。预训练的模型作为一个固定的起点，指导模型找到合适的权重和偏差范围，并减少训练过程中可学习的数量。4.5. 滑动试验实际上，一旦模型经过训练，就可以部署它来收集新数据集的实时性能数据。研究最多的正态测试数据集使用与训练数据相同的模式进行预测（1-5-10分钟）。在多速率预测问题中，分析时间尺度变化时的性能，以评估数据模式与训练数据不同时的性能是很重要的。图13示出了工业测量中可能的时间帧变化情况。测试1和2显示了系统延迟的影响，其使用最小公倍数（1-6-12 min）或不使用最小公倍数（1-6-11 min）移动采样帧。测试3和4显示了特定变量的变化率，这些变量可能变得更频繁或由于维护而暂时不可用。表7显示了测试场景中400个样本的时间尺度发生变化时各种模型的结果。结果表明，所有模型的性能仅在测试1中保持较高，其中测试集（1，1-6，1-6-12 min）的可能三种组合与训练集（1，1-5，1-5-10 min）相同。然而，当一个可能的模式出现在测试步骤中而没有出现在训练集上时，所有模型的性能都会大大降低。迁移学习在增强性能方面发挥着重要作用，因为最终通道中的微调层允许它理解新输入的一些模式。冻结可学习的参数模型和微调最后一个通道可以大大提高模型的适应性。预先训练的通道允许模型利用从先前输入模式获得的知识，而最终通道仍然适应新采样间隔的具体情况。图14示出了TLCNN的每个滤波器的输入权重以及网络连接对SEC的最终预测的重要性，使用来自权重的特征属性的概念[42]。结果表明，CNN的三个不同通道从输入信息中学习不同的模式。第一个通道侧重于1分钟和10分钟采样间隔的输入，占总输入权重的53.44%，覆盖约70.32%的SEC预测结果。第二通道以5分钟和10分钟的采样间隔捕获输入模式，占总输入权重的65.58%。最后，TLCNN的最后一个通道主要考虑1分钟采样间隔的输入。虽然该通道包含了最高频率的输入，但连接的揭示表明，最终通道的结果仅占绝对SEC的28.41C. Panjapornpon等人能源与人工智能14（2023）10025815价值观4.6. 节能分析图十六岁a）集群1和b）集群2的能效运行范围的基准。基准条件约为20，668 kJ/kg。当将第31个样品的操作条件与具有相同乙烯负载的第95百分位数以下的相邻数据点进行比较时，很明显，该点的能量消耗与第31个样品的操作条件相比相对较高。缺乏跟踪能力的不