能源与人工智能8（2022）100143基于规则训练更新策略Katharina Brauns，Christoph Scholz，Alexander Schultz，André Baier，Dominik JostFraunhofer IEE，Königstor 59，34119 Kassel，GermanyA R T I C L E I N F O保留字：垂直潮流预测LSTMA B标准可再生能源的强劲增长以及不稳定能源消费量的增加正在导致电网面临重大挑战。为了保证用电的安全可靠电网，未来几个小时的高质量的潮流预测是必要的。在本文中，我们调查的预测垂直潮流在Transformer之间的中高压电网。 由于Transformer处的潮流特性不断变化，因此预测垂直潮流是具有挑战性的。我们提出了一种新的方法来应对这些挑战。对于多步时间序列预测，使用长短期记忆（LSTM）。在我们提出的方法中，定期对模型进行重新训练的更新过程进行了研究，并与基线模型进行了比较。一旦有足够数量的新测量可用，模型就会重新训练。我们表明，这种再培训主要是捕捉变化在Transformer的特性中，模型在过去还没有看到，因此在没有更新过程的情况下不能由模型预测。为了给最近的数据更多的权重，我们在epoch的数量和学习率方面检查了不同的策略。我们表明，我们的新方法显着优于调查的基线模型。平均而言，我们实现了约8%的改进与定期更新过程相比，没有更新过程的方法1. 介绍问题陈述。近年来，可再生能源的大规模扩张导致电网中的电力流动发生了重大变化。在过去，由于发电厂的部署规划，以及由于建立的标准负载分布而在消耗侧上。但现在的电力流量更难预测，主要是因为风能和光伏发电的高度波动性。此外，在过去，大部分发电发生在特高压电网。现在可以看到一种根本的范式转变。主要原因是由于可再生能源在所有电网级别产生的巨大发电量，特别是在380 kV电网以下的电网级别。此外，由于存储设施和电动汽车的使用越来越多，使用标准负载曲线无法预测消费行为。所有这些因素导致电网中不可预测的功率流，特别是在电压等级之间的变压器处，即所谓的垂直功率流。为了电网的安全可靠运行，生产和消费的过程总是需要保持完整。此外，这有助于防止过载。因此，重要的是要知道准确的状态和电网中的电功率流动，包括电流以及未来的能量流。这种知识允许每个电网运营商所需的准确系统状态和功率流的可靠交换，以便能够优化和启动安全相关干预。对于这些电网运行策略，需要对未来几个小时的垂直潮流进行预测。预测垂直潮流是具有挑战性的，由于不稳定的发电，动态电网拓扑结构，安装资产的变化和变压器本身的奇异事件，如维护或交换。 电网中的这些影响可能导致Transformer的常见行为特性的极端变化，因此很难用所使用的方法溶液在本文中，我们提出了一种新的方法来处理所描述的挑战时，Transformer改变其特性急剧。首先，我们介绍并分析了长短期记忆（LSTM）[1]模型架构，以计算垂直潮流的多步时间序列预测。LSTM是一种特殊类型的（递归）神经网络[2]，通常用于时间序列预测。为了回答这个问题，如果提供的LSTM模型架构 适用于纵向潮流预测，比较了∗ 通讯作者。电子邮件地址：christoph. iee.fraunhofer.de（C. Scholz）。https://doi.org/10.1016/j.egyai.2022.100143接收日期：2021年10月27日;接收日期：2022年1月14日;接受日期：2022年1月28日2022年2月11日在线提供2666-5468/© 2022作者。由爱思唯尔有限公司出版。这是一篇开放获取的文章，获得了CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可从ScienceDirect获取目录列表能源与AI期刊主页：www.elsevier.com/locate/egyaiK. Brauns等人能源与人工智能8（2022）1001432最先进的基线模型的质量。作为基线模型，我们使用两个持续性模型和一个ARIMA模型。作为第一个训练的LSTM架构的补充，我们引入并研究了一种新方法，每天定期更新训练模型。因此，我们表明，这一过程可以显着改善 预测质量。一旦有足够数量的新测量可用，模型就会重新训练。此更新过程应捕获过去未发生的Transformer特性的重大更改。 作为一个出发点，所提出的结果进行了分析和比较，从七个不同的Transformer。对于更新策略，我们研究了几种解决方案，以考虑不同超参数的影响，例如学习率， 而且还包括诸如给予新的输入测量更高重要性的时期的数量的参数。纲要总的来说，我们的贡献可以总结如下：1. 据我们所知，我们提出并分析了第一种深度学习方法，用于使用LSTM模型架构构建垂直潮流2. 我们比较我们的模型在不同的预测范围的基线模型。3. 在垂直潮流预测的背景下，我们介绍并评估了LSTM模型架构的一种新的定期更新方法，该方法可以应对由于特性变化而导致的预测Transformer潮流的挑战。我们表明，我们的模型显着优于基线模型。4. 我们研究不同的策略，定期更新过程。2. 相关工作可再生能源的不稳定和分布式发电往往导致关键电网基础设施的高负荷。这对输电和配电系统运营商在规划电网加固和日常电网运营方面提出了特别的挑战。对于识别的瓶颈，网格模拟进行，从而底层电网的负荷流量是非常重要的。因此，特别是近年来，纵向潮流预测的研究越来越受到重视。2.1. 垂向潮流预测然而，迄今为止，发表的科学论文并不多in this field领域ofresearch研究. 在[3]中，作者提出了一种预测垂直潮流的方法，其中他们使用极端学习机[4]作为机器学习模型。他们还提出了一种后处理技术，可以根据最后几天的测量结果“校正”预报。通过这种后处理，作者考虑了由于例如维护、电网扩展或电网拓扑结构的开关而引起的功率流的最近变化。他们表明，他们的方法能够准确地预测垂直功率流。此外，他们表明，提出的后处理步骤进一步提高了预测质量。在文献[5]中，作者描述了一种预测概念，其中垂直潮流首先被分解为风和光伏馈入以及剩余负荷的分量。然后，对每个组件进行单独的预测，并考虑组件之间的相互作用。然而，在现阶段，该文件描述了分解的垂直潮流预测的概念，并没有得到评价。2.2. 基于LSTM的多步时间序列预测对于垂直潮流的预测，我们使用长短期记忆（LSTM）。LSTM由Hochreiter和Schmidhuber在[1]中介绍。LSTM是一种特殊类型的递归神经网络（RNN）[2]，其优点是可以考虑长期依赖性。此外，它能够处理消失和爆炸梯度问题。在[8]中，Marino等人将LSTM与基于LSTM的S2S架构，用于能源负荷预测。作者表明，S2 S-LSTM的性能优于有关多步预测策略的详细概述，请参阅[9]。3. 垂直潮流预测在本文中，我们研究了不同的预测方法，使用七个变压器。这七台变压器是根据对EU-SysFlex项目中计算的预测进行的第一次评估选择的。1总的来说，585个模型使用了图1中描述的LSTM模型架构。三是发展 和 评 价 。 结 果 进 行 了 分 析 ， 使 用 误 差 的 措 施 ， 如 均 方 根 误 差（RMSE），皮尔逊相关性和时间序列图本身。 事实证明，所使用的模型对几个变压器的性能不是很好。 原因是由于已经解释的Transformer的变化特性的挑战，这在下一节3.1中示出。 为了获得用于评估新的更新方法的良好起点，并且通过使用七个Transformer而不是仅一个来获得更可靠的结果，通过上述误差测量来选择具有高于38%的RMSE和0.6与0.8之间的Pearson相关性的Transformer。除了这些误差测量选择之外，还分析了时间序列图，并将结果按比例缩小到7个变压器，因为这里的预测特别受到影响，并且由于变压器的上述变化特性而表现不佳。在进行这些分析之后，发现7个变压器是分析定期更新过程的良好起点。3.1. 垂直功率流测量如前所述，垂直功率流是功率流，不同电压等级之间的电网。在EU-SysFlex项目中，主要使用中压电网与高压电网之间的垂直电力流。该电压电网受到动态电网拓扑的影响，动态电网拓扑可能是由于开关状态的变化、新安装的资产或对Transformer本身的维护工作。新资产可能是全新安装的风电场或光伏系统，这可能导致Transformer的功率流中产生大量额外发电。另一方面，在Transformer处增加更高消耗的新连接的工业或商业企业。这导致Transformer行为的特性发生变化，从而难以预测。在过去，消耗量很容易预测，因为它具有周期性行为，其中正常的标准负载曲线可以用于预测消耗量。但是，由于未来存储和电动汽车的使用在不稳定的消费中所占的份额越来越大，这一预测变得越来越复杂。 股份波动性发电量，特别是来自风电场和光伏系统的波动性发电量，目前正在不断上升，这也使得预测更加复杂。有些变压器只连接到消费者，有些只连接到风力或光伏发电场。取决于消耗或发电是否较高，垂直功率流的值可以是正的或负的。图图1示出了具有变化特性的一个Transformer的示例。蓝线是风力发电和光伏发电的预测也是一个重要的研究课题。相关话题。我们在这里指的是[6，7]的工作1 https://eu-sysflex.com/。K. Brauns等人能源与人工智能8（2022）1001433Fig. 1. Transformer 5的 时 间 序 列 ， 训 练 数 据 为 蓝 色 ， 测 试 数 据 为 橙 色 。 特 别 是Transformer在试验数据中的变化特征可以看出。 (For对于图中颜色的解释，请读者参考本文的网络版本。）训练数据集的数据和橙色线表示测试数据集。为了在图中获得更好的概述，来自 2016年被剪掉了，这与2016年的行为非常相似。 2017年。可以看出，训练数据具有与测试数据不同的缩放比例，并且从2018年2月27日左右开始，值变得更负，这意味着向Transformer添加了高发电。在这种情况下，原始训练模型不知道附加的装机功率，并且不能表示特性的这种变化。本文所采用的垂向潮流具有15 min的时间分辨率，并且每15 min进行一次在线更新。根据可用的Meta数据，仅地理信息用于将Transformer位置与数值天气预报相结合。3.2. 天气数据在垂直潮流测量的旁边，数值天气预报被用作模型的输入。天气预报由欧洲中期天气预报中心的IFS提供。IFS具有较高的预报质量，但在线数据的空间分辨率为9 km，时间分辨率为3小时。预测范围从0到10天，这使得它在使用时灵活，一旦预测范围需要延长，这是项目EU-SysFlex的意图。此外，天气预报每天更新两次，在早上大约早上9点和晚上6点左右。它具有广泛的参数范围，我们使用以下一组参数2：• 太阳位置信息3：高度、方位角、太阳辐射• 10 m和100 m处的风速方向（10u，10v和100u，100v）• 2m内温度（2t）和2m内露点温度（2d）• 预报日射量（fal）和地面太阳向下辐射（ssrd）• 地面气压（sp）和总降水量（tp）4. 预测模型4.1. 基于LSTM模型的短期垂直潮流预测在EU-SysFlex项目范围内，将在德国建立一个配电网这位示威者目标是为优化的拥塞管理创建优化的有功和无功功率调度，以支持DSO提供配电系统和电压控制的灵活性，作为TSO的辅助服务。为了能够为接下来的几个小时和几天创建所需的有功和无功功率计划，需要对中压和高压变压器处的垂直功率流进行高质量的预测。垂直功率流被定义为具有不同电压水平的电网之间的功率流，其可以取负值和正值，这取决于是消耗还是生产占主导地位。对连接到高压电网的中压中的每个Transformer计算垂直潮流的预测。图2我们展示了开发的预测系统，其输入数据，其机器学习算法和输出作为一个垂直的潮流预测。为了训练模型，使用从DSO传送的垂直功率流测量值4，包括关于测量值的可靠性的状态信息（0表示真，1表示假）。另外，使用数值天气预报、太阳位置、具有一天中的小时和工作日的一天信息数据 作为训练模型的输入数据。对于历史数据和在线数据，垂直潮流输入值的时间分辨率均为15 min。计算得到的垂向潮流预报的预报时间范围为48 h。预报也以15分钟的时间分辨率生成，并每15分钟定期生成一次，并交付给DSO。在本文中，我们使用了与项目中相同的约束条件，用于多步时间序列预测的时间分辨率、预测范围和交货期如所介绍的，对于垂直潮流预测的训练，使用具有LSTM的深度神经网络架构。该架构如图所示。3，并在下面描述。 使用具有多个表示层的深度神经网络的优势不需要时间序列特征工程。‘‘The model learnsthe representation layers together at the same time so that all dependingfeatures are adjusted and all modifications to the model contribute to thesame goal’’ [ ‘‘With more layers a more complex representation of thedata can be achieved’’ [可惜是没有框架的时候，这篇论文写的，可以自动找到一个适当的架构多步时间序列回归问题。对于本文的工作，我们使用4层。对于每个Transformer，生成并使用LSTM模型架构。在训练中创建的权重（为每个Transformer单独保存）然后添加到LSTM模型中，以计算每个Transformer的预测。模型架构的第一层有两个- 并行输入层，其描述垂直功率流（input_1）和（input_2）所有其它特征、数值天气预报、太阳位置和日信息的真实测量值。这些输入层之后是两个LSTM，它们使用输入时间序列分别计算隐藏的输出状态，然后将它们连接到下一层。作为LSTM的激活函数，使用泄漏整流线性单元（LeakyReLU）。在级联层之后跟随两个密集层。深度神经网络中的一个重要组成部分是正则化，以避免过度拟合。因此，两个Dense层由Dropout层扩展，并且在LSTM中使用递归Dropout。最后一层是完全连接的输出层。作为优化器，我们选择Adam，其学习率为0.001和0.01，损失函数为第一个训练模型的平均绝对误差和定期更新模型的均方误差。对于所有密集连接的层，我们应用整流线性单元（ReLu）作为激活函数。其他超参数列于第5.1节的表1中。 我们在此注意到，第4.1节是EU-SysFlex可交付成果中第252所有斜体的参数可以在https://www.ecmwf.int/en/forecasts/datasets/set-i#I-ii上找到更详细的描述。3使用Pysolar软件包https://pypi.org/project/Pysolar/计算。4数据集是在项目中提供的，必须保密处理。5 D6.2一个共同的K. Brauns等人能源与人工智能8（2022）1001434图二. 预测系统的垂直潮流预测（右侧）与输入数据（左侧）和使用机器学习算法（中间）的方式，它是如何使用的项目EU-SysFlex和增加定期更新过程（中下部），这是本文提出的使当前可用数据的权重高于已经用于训练第一模型的历史数据。4.3. 基线模型持续性模型通常是非常简单的模型，只使用时间序列本身作为预测的输入。虽然它们非常简单，但它们通常仍然很难被击败，特别是对于长达1小时的低预报范围。这就是为什么我们选择了两个持久性模型Persistence Last Measurement和Persistence Last Day。此外，我们使用ARIMA作为额外的基线模型。持久性最后测量：。使用持久性模型的最简单方法是仅使用最后可用的测量值，并对所有预测范围重复此操作。在计算预报时，这意味着在接下来的48小时（最大使用预报范围）内，预测值与最后可用测量值相同。坚持最后一天：。使用持久性模型进行预测的另一种方法是使用最后一天的可用测量值。这意味着通过预测在例如第1天下午3点有效的下一小时值，则预报得到与在第1天下午3点的测量相同的值。前一天（第0天）下午3点，以此类推。如果预测范围超过24小时，它只是从最后一天开始，这意味着对于预测提前25小时，这也是第2天下午3点的有效值，再次从第0天下午3点获得相同的值。总结，创建在计算预测时的这种持续性，只是意味着它预测了前一天第一天（预测范围0到24小时）的完全相同的值，并通过预测第二天重复这一点图三. LSTM模型的架构。4.2. 使用LSTM模型的定期训练更新策略如在数据集的描述中提到的，特别是Transformer的特性的改变使得难以执行高质量的预测。这在图中示出。1，其中测试数据极大地改变了垂直功率流的行为。 我们的想法是通过定期更新和重新训练模型来处理这些变化。在本文中，我们使用一个再培训按日使用定期更新过程的预报系统的描述已经在图1中示出。二、 由于垂直潮流测量每15分钟在在线过程中交付一次，因此最后一天的数据在第一步用作先前训练的LSTM模型的输入，然后再用于重新训练的模型。图中描述的模型架构。3没有改变，但是学习率和epoch数等超参数，请参见第5.2节中的表2。选择这些参数的主要原因是日（预报范围25至48小时）。ARIMA：. 时间序列预测中的一种众所周知的方法是自回归积分移动平均（ARIMA）。对于AA（AR，AR，AR）模型，必须配置三个参数AR（自回归项的数量）、AR（差异度）和AR（移动平均模型的阶数）。为了确定术语“不确定性”，我们使用KPSS测试。为了确定λ和λ值，我们使用自相关函数（ACF）和部分自相关函数（PACF）。我们选择最大数量的时间步长（对于λ和λ），这些时间步长位于95%置信区间之外。5. 实验5.1. 设置：使用LSTM进行垂直潮流预测为了开发和评估预测，通常需要在预处理步骤中准备输入数据，并将其分为训练、验证和测试数据集。预处理步骤主要是特征工程所需的，这对机器的K. Brauns等人能源与人工智能8（2022）1001435表1用于LSTM模型的超参数及其值的列表模型超参数数Number neurons LSTM层100密集层神经元数量1 500将模型转换为类似的尺度，这通常用于训练神经网络。对于这种标准化，数据减去其平均值，然后除以其标准偏差，两者都是从训练数据集计算的，即���−���神经元数密集层2 500经常性辍学���������������������=���、（1）辍学率0.5其中，是原始值，��� 平均值和平均值是标准批量192时期数40每周期步数学习率0.001损失函数MAE表2用于定期更新的LSTM模型的超参数及其值的列表。模型超参数数数字epoch 5，10，15，20每周期步数学习率0.01，0.001损失函数MSE偏差为了完全预处理用于深度神经网络模型计算的输入数据，将数据分配到批次中。对于训练过程，通过40个时期评估验证数据集。“EarlyStopping”的使用可以防止通过所有40个时期。最佳权重被保存并与测试数据一起使用，测试数据的处理类似于训练数据，用于评估模型。为了计算误差度量，如RMSE和Pearson相关性，我们主要用于评估预测结果，预测时间序列值在0和1之间的归一化是必要的。因此，需要将这些值反转回绝对值，然后使用以下等式重新归一化：��������������������� 为���−0.03（���99.7（）−0.03（）���学习算法正如在4.1中所解释的，对于深度学习方法，它不是必需的，实际上已经包含在深度神经网络架构中。因此，假设我们不必例如，预先评估输入数据的哪个特征是重要的，哪个特征应该被丢弃，因为模型本身决定使用哪个特征。以来我们还具有垂直功率流测量的状态信息，即，状态1表示不可靠的测量值，0表示可靠的测量值，我们事先不执行任何实际数据净化。对于使用LSTM模型的预测，没有定期更新，2016年1月至2018年5月的历史数据可用于所有变压器。将历史数据划分为训练、验证和测试数据，具体日期为2018年1月1日、2018年3月1日，直到可用日期结束。数据，重点是获得最可能的训练数据集。为 将Transformer与其相应的数值天气预报相结合，映射两个位置的坐标。模型超参数列于下表1中。这些超参数的选择是基于[11]和已经获得的经验。为了验证，将结果与 使用自动机器学习（AutoML）方法的超参数优化，该方法使用Salz在他的硕士论文[12]中研究的NNI框架，该论文由我们监督。可以表明，表1中使用的超参数导致的结果与AutoML方法的结果5.2. 设置：使用LSTM的垂直潮流预测，使用定期更新策略第4.2节描述了定期更新过程。使用验证和测试数据集，我们每天使用前一天的输入数据重新训练模型，包括96个时间步。需要验证数据，因为之前训练的模型还没有看到这些数据。它只是用来验证训练。对于评估，我们仅使用每个更新周期后保存的测试数据。在表2中，仅列出了改变的超参数（与表1相比）。由于我们研究了不同的更新策略，因此为epochs和学习率提供了多个值。我们使用以下epoch数来评估定期更新：5，10，15和20，学习率为0.01和0.001。5.3. 评价程序和误差测量为了评价预测结果，使用了第一个用于规范化输入数据其中，是原始值，��� 是归一化值。 为了防止使用离群值作为x的最大值和最小值，分别使用99.7%分位数（99.7）和0.03%分位数（0.03）的分位值作为最大值和最小值。6. 结果在本节中，将对前几章中描述的所有模型和所有更新策略的结果进行比较和分析。以下主要汇总了结果，以便更好地进行概述，但为了更详细地讨论结果，我们仅选择一个Transformer作为示例。6.1. 采用不同战略定期更新培训结果我们希望通过使用定期的最新训练数据来解决的主要问题是改善垂直潮流预测，该预测受到3.1.如图1，测试数据中的行为发生了极大的变化，因此先前训练的模型可能不知道它，因此表现不佳。加上每天重新训练 现有模型应该学习数据的新行为，然后由模型正确地表示。对于日常训练，我们研究了不同的策略，例如使用不同数量的epoch和学习率，以便将新的可用输入数据的权重高于用于第一次训练的历史数据。 图4总结了不同更新策略的结果。我们有八个模型，其中不同数量的epoch与0.01或0.001的学习率相结合。 每种策略都针对7个不同的预测范围进行评估，这些预测范围由X轴表示。作为误差测量，使用归一化RMSE并由下式表示：-轴。它示出，在原则上，更高数量的历元不会自动给出更好的性能。相反，在5个时期实现最佳性能。在大多数情况下，0.001的学习率会带来更好的性能。为了进一步讨论结果，我们选择了epoch数为5，学习率为0.001的更新策略。图6 5我们比较了没有和有6对于未来的工作，仍然需要评估使用的epoch数量和学习率是否在更多的测试周期上提供高质量的预测。目前，我们的目的是证明所建议的方法确实改善了预测。、（二）K. Brauns等人能源与人工智能8（2022）1001436图四、归 一 化 RMSE的箱形图，比较使用epoch 5、10、15和20的 不 同 更 新 策 略 ，学习率为0.01或0.001。图五. （a）附有1小时、4小时和48小时预报范围和真实测量值的时间序列图。蓝线标记训练和验证数据，黑线表示测试数据。上面的图包含没有LSTM模型的结果，下面的图包含定期重新训练模型的LSTM模型。(b)这一次我们放大并使用了大约10天的时间跨度（有关本图例中颜色的解释，请参阅本文的网络版本对编号为5的Transformer进行定期再培训。由于在定期更新过程中计算的预测需要从验证数据开始，因此也在下图（5a）中绘制。蓝色时间序列标记训练/验证数据，黑色时间序列标记来自垂直功率流真实测量的测试数据。在这两个图中，预测被绘制为三个预测水平，1小时，4小时和48小时的水平。上图（5a和5 b）是没有对LSTM模型进行任何更新的预测。我们看到（在测试数据上）预测值对于每个预测范围都太低。相比之下，使用定期更新过程的预测达到了新缩放的测试数据的整个范围，这可以在下面的图（5a和b）中看到。为了得到一个更完整，更深入的洞察力，也是关于预测的前景，我们再次放大了这个数字。这可以在图中看到。5b. 预测的相关性，意味着所有显示的预测范围，有一个定期更新的过程要比没有它高得多。其中使用了四个预测范围的散点图，并且再次没有和有定期的再训练。 到以前使用的预测地平线在图。5a和b，增加了16 h水平。 散点图显示了预测值（y轴）和真实测量值（x轴）之间的关系。 一条比较线显示了如果模型已经了解了解释变量和垂直潮流测量值之间的确切关系的情况。 在上图中，在以下之间存在中等强度的线性关系：K. Brauns等人能源与人工智能8（2022）1001437见图6。 Transformer 5的4个不同预测范围（1 h、4 h、16 h、48 h）的散点图。 将真实测量值与预测值绘制在一起。 在上图中，显示了不使用常规再训练的LSTM模型的预测结果，而在下图中，显示了使用常规再训练的LSTM模型的结果见图7。 归一化RMSE的箱形图，比较不同模型，第一个训练的LSTM没有更新（lstm），LSTM更新（lstm_updated），持久性使用最后一个24 h（persistence_24 h）、最后一个值的持久性（persistence_last）和ARIMA（model_arima）。预测和测量值，而无需更新模型。预测范围越高，相关性越差（从 从左到右）。与下图相反，下图使用定期更新过程。在这里，可以看到预测和测量之间的更强的线性关系，对于每个预测范围具有更高的相关性。6.2.结果和比较：LSTM、带更新的LSTM和基线模型为了评估使用和不使用定期更新过程的LSTM模型架构的性能，我们将预测结果与三个基线模型进行了比较（见第4.3节）。对于ARIMA，必须指定参数、和���使用第4.3节中描述的程序，我们分别确定每个变压器的三个值。预测结果如图所示。7 .第一次会议。结果再次显示为所有7个变压器和7个预报时间段的汇总结果：1 h、4 h、8 h、16 h、24 h、32h和48 h。使用归一化RMSE作为误差度量。 可以清楚地看到，使用定期更新模型的LSTM模型架构优于所有其他模型，除了ARIMA模型，它显然在1小时的预测范围内表现最好。与ARIMA模型相比，LSTM模型（定期更新）在1小时预测中的性能较差的一个事实是，LSTM没有明确优化1小时预测地平线然而，对于所有其他预测范围，ARIMA模型是表现最差的。关于没有更新过程的LSTM模型，它仅在1小时的预测范围内超过了使用最后一天的持久性模型，如4.3所述。对于其他的预测时间段，它的表现仅优于ARIMA模型和使用4.3中所述的最后可用测量值的持续性模型，预测时间段为4小时、8小时、16小时和32小时。24 h和48 h的预报层较易预报，对于这两种持久性模型。原因可能是垂直电力流每天都有类似的重复模式，如果消耗量超过挥发性发电量，情况通常就是这样。这实际上 是 七 个 变 压 器 中 的 大 多 数 的 情 况 。 最 后 ， 我 们 评 估 所 有 七 个Transformer和所有七个预测范围，通过使用常规训练更新获得的归一化RMSE的改进（见图11）。8）。 图8显示了该方法的潜力，并说明在未来的工作中仍然存在一些小的性能损失的风险。所有变压器都可以实现改进，尽管 对于3个变压器，这仅对于某些预测范围是正确的。这些Transformer提供约1.4%的最大改进。另一方面，其他四个变压器显示出超过7.5%的所有预测视野的平均改善。 然而，平均而言，对于其他3个变压器，必须接受1.2%的性能降低。这种减少可能是由于最近数据的权重较高，导致对K. Brauns等人能源与人工智能8（2022）1001438见图8。与没有定期更新的LSTM模型相比，通过使用定期训练更新获得的归一化RMSE的改进长期行为。这导致性能损失的风险更高，特别是对于具有定期长期影响的变压器。然而，在我们的分析中，我们观察到3个变压器的性能损失很小，但其他4个变压器的性能得到了很大的7. 讨论与展望在本文中，我们提出了一种新的方法，使用一个定期更新的过程与以前训练的LSTM模型相结合，并比较两种性能。此外，我们比较了我们的模型与ARIMA模型和两个持续性基线模型。在第一次评估中，确定了更新过程的最佳策略。为此，确定了最佳时期数和最佳学习率。在第二次评估中，使用最佳更新策略的LSTM模型用于与其他模型进行比较。总体而言，结果表明，高性能是通过我们的新方法实现的。平均而言，它对所有变压器的性能明显优于其他考虑的模型。在我们的实验中，使用具有定期更新过程的LSTM模型可以观察到8%（平均）的显着改 善 。 在 未 来 的 工 作 中 ， 我 们 将 研 究 一 个 时 间 融 合 Transformer（TFT），以进一步提高垂直潮流预测。它已经显示出高性能，特别是由于通过使用自注意层来学习长期依赖性，选择相关特征，以及通过使用门控机制和样本因变量选择来抑制不必要的信息，C.F. [13 ]第10段。此外，TFT还可以用于迁移学习方法，这提供了覆盖进一步挑战的可能性，特别是由变压器的变化特性所带来的挑战。最后，我们建议将我们的结果与[3]中描述的方法进行比较。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作是基于从欧盟SysFlex项目的结果。该项目获得了欧盟地平线2020研究和创新计划的资助，资助协议编号为773505。此外，这项工作的出版是由黑森州高等教育，研究，科学和艺术部通过K-ES项目资助的，参考编号为：511/17.001。作者对本出版物全权负责引用[1] Hochreiter S，SchmidhuberJ.长短期记忆。 神经计算1997;9（8）：1735-80.[2]Rumelhart DE，Hinton GE，Williams RJ.通过反向传播误差学习表示。神经计算机：Found Res1988;696-9.[3]Jost D，Braun A，Brauns K，Dobschinski J.纵向预测 输电网节点的电力流特点是可再生能源发电和消费的高度渗透。在：风能集成研讨会（WIW）。2019年。[4]丁S，徐X，聂R.极限学习机：理论与应用神经计算应用2014;25（3-4）：549-56.[5]Wessel A，Brauns K.预测从中压到高压过渡时电网节点的垂直负荷：概念和实现。在：风能集成研讨会（WIW）。2019年。[6]放大图片创作者：Giebel G，Kariniotakis G.风力发电预测--最新技术回顾。收录于：可再生能源预测：从模型到应用。WoodheadPublishingSeries in Energy，Woodhead Publishing; 2017，p. 59比109[7][10]杨文，李文. 光伏发 电 功率预测综述。太阳能2016;136：78[8]Marino DL，Amarasinghe K，Manic M.使用深度神经网络进行建筑物能源负荷预测。在：IECON 2016 -IEEE工业电子学会第42届年会。2016，p. 7046-51[9]Souhaib BT，Bontempi G，Atiya AF，Sorjamaa A. 审查和比较基于NN5预测竞赛的时间序列多步预测策略。专家系统应用2012;39（8）.[10] 肖莱湾 用Python进行深度学习 曼宁;2017年。[11] Greff K，Srivastava RK，KoutníkJ， Steunebrink BR，SchmidhuberJ. LSTM：A search space odyssey.2015年，CoRRabs/1503.04069。[12] 萨尔茨湾Hyperparameter tuning mit AutoML für ZeitreihenplosenimEnergiesektor.威斯特伐利亚应用科学大学;2020年。[13] Lim B，Arik SO，Loeff N，Pfister T.用于可解释多水平时间序列预测的时间融合变换器。2020年，arXiv：1912.09363。
