时间序列生成方法的神经网络性能比较研究

制作和主办：Elsevier沙特国王大学学报时间序列Federico Gattaa，Fabio Giampaoloa，Edoardo Preziosoa，Gang Meib，Salvatore Cuomoa，弗朗西斯科·皮恰利a数学与应用系R.b中国北京中国地质大学工程技术学院阿提奇莱因福奥文章历史记录：2022年6月1日收到2022年7月5日修订2022年7月13日接受2022年7月16日在线发布保留字：时间序列生成对抗网络医疗保健深度学习A B S T R A C T如今，时间序列是一种广泛使用的方法来描述属于不同领域的现象事实上，从数据分析的角度来看，电力消耗可以用时间序列来解释，如医疗保健、金融指数、空气污染或停车场占用率。将时间序列应用于不同的感兴趣领域，有助于从业者和学者的兴趣呈指数级增长。另一方面，特别是对于静态数据，一种新的趋势在数据分析界越来越受欢迎，即神经网络生成方法。生成式方法旨在通过隐式学习数据的概率分布来生成新的假样本通过这种方式，可以解决几个任务，例如数据扩充、类别不平衡、异常检测或隐私。然而，即使这个主题在与关于时间序列的静态数据相关的文献中相对较好地确立，辩论仍然是开放的。本文通过比较四种基于神经网络的时间序列生成方法，属于文献中最先进的方法，有助于这一争论比较已经进行了5个公共和私人数据集和不同的时间粒度，与总数的13个实验方案。我们的工作旨在提供一个广泛的概述的性能比较方法时，工作在不同的条件下，如季节性，强自回归成分和长或短序列。版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言79212.相关工作。...................................................................................................................................................................................................................................................... 79222.1.实际应用中的生成方法2.2.调查和比较工程79232.3.为什么是这份报纸？...................................................................................................................................................................................................................... 79233.生成模型79233.1.生成问题79233.2.生成对抗网络79243.3.复发性条件性GAN 79243.4.时间GAN 79243.5.条件Sig-WassersteinGAN 7925*通讯作者：数学与应用系R。Caccioppoli’, University of Naples Federico II, viaCinthia, 80126,电子邮件地址：francesco. unina.it（法文）Piccialli）。沙特国王大学负责同行审查。https://doi.org/10.1016/j.jksuci.2022.07.0101319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comF. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报7921X ¼.2J. Σ3.6.生成矩匹配网络79254.实验设置描述4.1.实施细节79254.2.数据集79264.3.中国人79285.实验结果79295.1.结果汇总79295.2.图形示例79295.3.小行星79305.4.结果讨论79315.5.有界实验79335.6.计算时间79335.7.解决方案7934的时间演变6.下一个是什么...........................................................................................................................................................................................................................................................6.1.最先进的79356.2.挑战79366.3.未来的方向7.结论7937竞争利益声明致谢7938附录A. 第7938章名单附录B. 补充数据7938参考文献79381. 介绍人工智能（AI）中最相关的研究课题之一是时间序列处理。时间序列是一个集合不断重复的观察结果特别是，我们专注于多变量时间序列，它可以被认为是向量的组成部分是相关的序列。由于它们能够描述变量的时间演化，时间序列目前用于处理属于不同领域的各种现象，例如金融（Arroyo等人，2011）、管理（Machiwal和Jha，2006）和医疗保健（Muhammad等人，2021年），所以他们吸引了相当数量的学者和从业人员。另一方面，最近引起更多兴趣的人工智能任务之一是生成假样本。更详细地说，一些研究人员担心开发生成模型，可以从真实观察数据集开始创建新的假样本。特别地，假样本生成可以用于各种目的，诸如数据增强、异常检测或隐私问题。因此，在静态数据领域已经开发了相当多的文献，并且已经提出了几项工作来总结和比较静态数据的生成方法，例如参见（Oussidi和Elhassouny，2018;Harshvardhan等人，2020年）。动机与静态数据相比，时间序列生成模型的研究仍处于萌芽阶段，尽管已经成功地提出了不同的方法来实现不同的任务，例如Che et al.（2018），Shen et al.（2018）和Debnath et al.（2021），但只有少数作品试图总结，比较并给出时间序列生成模型的研究方向。事实上，在处理时间序列时，另一个问题是在观察下正确地建模变量的时间演变。此外，另一个大问题是对假样品的评估。也就是说，虽然对于静态数据，特别是图像，通过目视检查来评估生成的样本的质量大致更简单，但对于时间序列，这一任务有时是不可能的（例如，参见我们在第4节中工作的时间序列示例）。此外，一个好的度量还应该考虑时间因素，因此使用与静态数据相同的评估标准是不正确的。时间序列的深度学习生成模型在这项工作中，我们专注于时间序列的深度学习生成模型事实上，如Iwana和Uchida（2021）所指出的，用于时间序列生成的现有方法可以分为两类，即统计方法和深度学习方法。前一类中的方法明确地对时间序列的概率分布建模，即它们的动态。因此，通常，这些方法对时间序列的条件分布做了很强的先验假设。因此，它们不如基于神经网络的模型灵活。事实上，这些模型近似于概率分布，通常没有对其形式进行任何预先假设。此外，由于它们具有通用逼近器的特性，如果经过适当训练的神经网络应该能够复制任何类型的分布，如Lu和Lu（2020）所述。任务在这个角度来看，本文的重点是时间序列的生成。也就是说，给定由实时序列组成的数据集，Xj，我们想建立一个由假时间序列组成的数据集F ¼Fjj2J。因此，我们利用神经网络方法，其目的是用一个新的、可复制的分布pfake来近似原始概率分布p数据，该分布p fake是从一个著名的分布pz中学习的。特别是，几个神经网络为基础的时间序列生成方法进行了比较，在不同的实验。作为模型，我们利用了一些属于生成对 抗 网 络 （ GAN ） 中 广 泛 使 用 的 方 法 ， 即 递 归 条 件 GAN（RCGAN），时间GAN（TimeGAN）和条件Sig-Wasserstein GAN（SigCWGAN）。此外，生成矩匹配网络（GMMN）也被用作非GAN方法的一个例子。这些技术是从对研究影响最大的技术中选出的，其Python代码可在网上公开获得它们都是基于神经特别是，最常用的架构是递归神经网络（RNN）及其主要变体，长短期记忆（LSTM）。此外，自回归前馈神经网络（AR-FNN）也被广泛使用。至于用于比较的数据集，我们使用3个公共数据集和2个私有数据集，如第4节所述。我们使用的数据集涉及交通流量、空气污染物、电力消耗、金融指数和工业生产。它们涵盖了广泛的记录：时间序列表现出季节性，时间序列具有很强的自回归部分或没有明显的模式。此外，对每个数据集进行了不同时间范围和粒度的几个实验，总共有13个实验。F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报7922主要贡献我们的论文解决了一些开放的问题，这些问题在以前与此主题相关的作品中已经突出显示，例如（Wen et al.，2020; Brophy等人，2021年）。特别是：我们提供了一个实验比较神经网络生成模型的时间序列，而不限于一个特定的任务;我们讨论了使用集合的方法来生成假样本的好处;我们讨论并采用了大量的指标来评估时间序列的无任务生成模型;我们分析了模型在处理相同数据集但具有不同时间范围和粒度时的行为。本文的以下内容就是这样组织的。第二节讨论了相关的作品，有助于我们对文学的贡献。第3节简要介绍了用于比较的生成模型第4节介绍了实验设置，数据集和所使用的第5节展示并讨论了所获得的结果。第6节包含对时间序列深度生成模型当前和未来最新最后，第7节结束了这项工作。2. 相关工作在本节中，我们回顾了神经网络生成模型领域中一些最重要的工作，以将我们的工作置于现有文献中，并证明我们论文的必要特别是，该部分由三个部分组成：第一部分，我们回顾了一些应用论文，这些论文显示了生成方法在解决数据分析问题方面的潜力;第二部分涉及与我们类似的其他调查和比较论文;第三部分，我们陈述了我们工作的新颖性，并明确强调了它如何克服其他类似论文的局限性。2.1. 实际应用这项工作提出了时间序列的生成方法的比较。这种类型的模型由于其在数据分析问题中的广泛应用而获得了更多的关注。在我们看来，最相关的任务是数据增强、异常检测和隐私。在研究人员社区开发的方法和框架中，值得一提的是（Srinivasan和Knottenbelt，2022）。他们引入了一种新的基于时间序列的GAN，即时间序列Transformer GAN，它将对抗训练与Transformer网络的前沿思想相结合。通过这种方式，作者声称能够克服大多数现有的基于GAN的方法。在5个公开的真实和模拟数据集上进行了实验。但是，尚未发布此模型的代码。相反，Sumiya等人（2019）的建议更侧重于医学信号的降噪。特别是，作者提出了降噪GAN，这是一种在生成器损失中具有惩罚项的CNN GAN，它迫使生成的样本比标准GAN更接近原始数据。另一项专注于医学信号的工作是Hazra和Byun（2020）。在这种情况下，提出了合成生物医学信号GAN。它在判别器中结合了CNN，在生成器中结合了RNN另一个跨学科的工作是Jeha等人（2021），其提出了PSA-GAN，这是一种基于GAN的方法，利用自我注意力机制来识别序列中的时间模式此外，PSA-GAN声称，由于允许以不同粒度近似时间序列的渐进训练，在建模长时间序列时特别有效。Sun等人（2020）通过修改多Wasserstein损失来考虑决策意识，提出了决策意识时间序列条件GAN。该框架是专门为财务决策而设计的。Wang等人（2019），提出了顺序耦合GAN架构。它专为医疗应用而设计，由两个发生器和一个稳压器组成。这两个鉴别器是顺序的，即第一个鉴别器的输出被第二个鉴别器用作输入，并且旨在生成假患者的状态和建议的治疗。Li et al.（2021）提出了时间序列增强GAN，以在时间序列分类的背景下执行数据增强他们的建议试图解决饱和问题，可以影响发电机的自适应恢复策略。以这种方式，实现了准确性的显著提高。相反，Liu等人（2021）面对时间序列缺失值插补的问题。他们的建议，即GlowImp，结合了变分自动编码器（VAE）和Wasserstein GAN，以减轻程序的计算成本，同时在公共数据集上提供有效的插补。关于数据增强，有趣的工作是Tu et al.（2018），其中利用基于LSTM的AutoEncoder（AE）来增强与智能房屋背景下的骨架数据相关的时间序列。在有和没有增强数据的情况下训练不同的深度学习分类器，结果显示了所提出的方法在提高整体准确性方面的贡献。此外，关于GAN，已经出版了几部作品，表明对这一主题的文学兴趣日益浓厚。特别地，已经研究了几个应用领域，例如商业（Deng等人，2022）、光物理学（Wang等人， 2021）、医学诊断（Kiyasseh等人，2020; Altaheri等人， 2021年）和工业4.0（李等人，2021年）。最后，值得注意的是，引用（Shiota等人，2018），它利用GMMN对语音数据集进行数据增强。至于异常检测，我们报告（Zhu等人， 2019年），其中卷积层和LSTM层都用于GAN风格的架构中，以研究ECG和纽约出租车数据集中异常值的发生。实验阶段证实，所提出的方法是能够提供更准确的精度比标准的方法。相反，Li et al.（2018）利用具有递归网络的GAN架构来解决多变量设置中的异常检测任务特别是，该建议关于此任务的其他神经网络方法， Bovenzi 等人提供了一个例子。（2022），其提出了用于网络安全背景下的异常检测的基于AE的模型。在这个观点中，如果新样本的重建误差超过某个阈值，则该新样本被认为是恶性的。在隐私应用方面，仍然缺乏工作。或许，这可以成为未来研究的重要分析方向之一。然而，我们强调（Xu et al.，2021），其利用基于神经网络的方法来生成合成网络流量数据集，根据该论文的结果，该数据集可以有效地用于训练网络安全分类算法，同时保护用户的隐私。此外，解决隐私问题，由于目前的法规，利用基于神经网络的方法，结合GAN与Transformer架构，即时间序列Transformer生成对抗网络，准确地模仿的时间序列的条件分布。然后将他们的方法与其他最先进的方法进行比较，以评估提案的价值。最后，Xie等人。（2018）提出了一种改进的GAN来解决差分●●●●F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报7923F. X<$J<$A · · ·fgj2J.Σ通过在反向传播过程中向梯度添加噪声来保护隐私。2.2. 调查和比较工作与静态和时间序列数据相关的生成方法已经研究了多年。特别是，在过去的几年中，已经提出了一些值得注意的工作，分析和比较不同的方法。例如，Brophy et al. （2021）提供了关于时间序列GAN方法的调查。虽然这项调查是全面的几乎所有国家的最先进的方法，并深入讨论了可能的应用生成模型，它没有提供一个实际的比较不同的现有方法。实际上，它在结论中强调需要进行这种比较。事实上，据我们所知，没有以前的文献已经开发了关于时间序列生成方法的实际比较唯一类似的贡献是在时间序列的数据扩增中发现的。这些方法之间的主要区别在于，虽然数据增强专注于扩展最终确定为特定任务的基础数据集（通常是为了减少分类框架中的类不平衡），但生成方法专注于通过显式（统计方法）或隐式（神经网络方法）近似原始数据的概率分布来创建全新的数据集。同样清楚的是，虽然生成方法可以用于数据增强，但相反的情况并非如此。关于数据增强比较工作，Guennec等人（2016）提出了时间序列数据增强技术与将数据馈送到卷积分类器的任务的比较。另一项工作是Um等人（2017），在可穿戴传感器的背景下比较了不同的时间序列增强方法。特别是，所生成的系列与真实的系列一起被用来训练帕金森氏症的卷积分类器。在这种情况下，数据增强显示能够增强模型的预测能力。此外，强调了应用集成技术来提高生成数据质量的重要性。Iwana和Uchida（2021）提供了一项关于审查和评估时间序列数据增强方法的广泛研究。更详细地说，本文提供了一个仔细的解释，最相关的作品与时间序列增强和生成方法处理此外，它提供了一个比较研究的增强方法的分类任务超过128个公开可用的数据集。与上面提到的工作类似，Wen et al.（2020）强调了数据增强方法在处理时间维度方面的弱点，时间维度是时间序列数据中固有的此外，必须强调的是，这项工作的结论提供了一个关键的概述国家的最先进的研究，他们给未来的工作五个指导方针。我们强调，我们的工作旨在解决其中的两个问题，即基于神经网络的生成模型的分析和时间序列数据生成的集成方法的2.3. 为什么是这份报纸？我们的工作旨在成为第一个贡献的时间序列的神经网络生成方法的实际计算特别地，我们希望通过几乎仅考虑与假数据的统计分布相关的度量、其与原始样本的距离以及其用作重建原始信息的基础的能力来提供所检查的方法的无任务比较为了提供一个广泛的概述，性能的一些国家的最先进的方法，我们进行据我们所知，我们的工作是这方面的第一次尝试。所有以前的类似作品，我们已经发现，文献主要集中在其他任务上。更详细地，关于（Guennec等人，2016年），出现了一些差异。首先，他们的工作与数据扩充有关，这是一项与时间序列生成略有不同的任务，如上所述。其次，它没有考虑基于神经网络的模型，也没有考虑基于GMMN或GAN的模型。此外，虽然在我们的比较实验中，相同的数据，但在不同的时间粒度进行，这是不正确的Guennec等人。（2016年）。此外，这项工作的重点是一项具体任务，时间序列的分类。相反，我们的工作旨在无任务，更关注假样本和真样本的统计特性。 关于Um et al.（2017），它展示了以前工作的所有局限性。此外，另一个限制是所进行的实验数量，因为它只考虑一个数据集。至于岩名和内田（2021），正如已经指出的那样，它由两部分组成：调查和实验阶段。特别是在第二部分，生成模型被完全忽略。相比之下，我们的论文特别关注生成模型的实验比较。关于Wenet al.（2020），它针对不同的任务提出了不同的比较。然而，没有深度生成模型用于它们的比较。同时，没有考虑集成策略，也没有考虑同一数据集的不同时间粒度。最后，尽管Brophy et al.（2021）与基于深度学习的时间序列生成方法密切相关，尽管非常关注描述所有可能的应用领域，但缺少实验部分。3. 生成模型在本节中，我们将讨论用于比较的模型我们已经搜索了基于神经网络的生成方法，其Python代码可以在网上公开获得。特别是，源代码的起点由GitHub存储库https://github.com/SigCGANs/Conditional-Sig-Wasserstein-GANs提供。然后，我们稍微修改了一些代码，以便更好地定制超参数。在这项工作中使用的算法中，我们可以识别两个子集：一方面，有 GAN 方 法 ， 即 TimeGAN ， Recurrent Conditional GAN 和Conditional Sig-Wasserstein GAN;另一方面，有一个通用神经网络方法的例子，即生成矩匹配网络。表1显示了拟议模型之间的主要特征和差异。在定义了所面临的生成问题之后，我们简要地讨论了所考虑的算法的理论方面3.1. 生成问题这项工作涉及的任务是时间序列的生成方法的比较。更具体地说，让我们假设我们有一组实时序列数据X j与1; ;J.假设每个Xj是一个多变量时间序列Xj<$xj;tt2T，其中时间设置T1/4f1;。 . . ;Ng对所有考虑的时间都是公共的序列，每个观测值是一个向量xj;t2Rd，其中d2N。我们假设真实数据遵循一个潜在的分布p数据。生成模型任务是学习近似p个数据的概率分布pfake。然后，使用pfake生成一个新的伪时间序列数据集，即。为了简单起见，我们生成伪造的时间序列和原始时间序列一样多，所以在不同的数据集和时间粒度上进行实验F¼.Fjj2J ，Fj。fj;tt2T 和fj;t2Rd.F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报7924ðÞð Þð Þð ð ÞÞ. -是的X<$J<$F<$f. ΣJ半]Jt¼1吉吉GD表1比较所考虑的方法之间的主要差异Gan基缩小尺寸基于统计的损失RNN与AR-FNNSigCWGAN是的没有没有RNNRCGAN是的是的没有RNNTimeGAN是的没有是的自回归模糊神经网络GMMN没有是的是的自回归模糊神经网络我们指出，至少对于基于神经网络的生成方法，新分布pfake的生成是通过图1.一、生成对抗网络架构。生成器（G）从随机噪声开始创建假样本然后，鉴别器（D）必须区分真实样本和伪样本，并且其误差被反向传播以训练D和映射随机样本Z1/4。zjj2J由一个著名的G.分布pz（通常是均匀的或正态的）转换成假样本，假样本与原始数据进行比较，以提高生成过程的质量。下面将更详细地讨论每种算法如何实现这一目标分节。3.2. 生成对抗网络GAN由Goodfellow et al.（2014）在2014年提出。GAN背后的主要思想是训练两个神经网络。更详细地，生成器（G）必须从从已知分布pz采样的随机向量z开始创建伪样本;鉴别器（D）必须区分从伪Gz样本中猜测真实X，即它必须提供一个能力D X/D G z，真实/假样本属于真实数据集。以这种方式，G被迫学习真实数据p_data的分布，即，它学习将已知分布映射到目标分布。实际上，G真正学到的是原始分布的近似p伪这两个网络可以被视为最小最大博弈的参与人VD;GEx~pdata½logDX]Ez~pz½logg1-DGz 1显然，D试图最大化V D;G，而G的目标是最小化它，从而产生以下minmaxVD;G2在D迭代之后计算的梯度然后被反向传播到D和G两者，以便更新权重。更详细地，假设该批次由J个真实样本组成X j，其中1;. ;J和J个伪样本F j，其中F j<$G<$zt <$j和Z <$z jJ2 J是从p z采样的随机向量，两个损失函数为：1.一、1“XJ。 第十 章. 联系我们图二.时间GAN方案。AutoEncoder和GAN共同工作。首先，训练AutoEncoder。然后，它被冻结，并将GAN应用于从编码器提取的潜在空间，并具有额外的监督损失。最后，在训练之后，通过将解码器应用于生成器来生成假样本3.3. 递归条件GANRCGAN（Esteban等人， 2017）是第一个专门设计用于处理时间序列的基于GAN的架构之一。主要方案与标准GAN中的相同：一方面，有一个生成器，它从随机向量开始创建新的假样本;另一方面，有一个鉴别器，它必须区分真实和合成样本。在这种情况下，由于RCGAN是专门为处理时间序列而设计的，因此生成器和鉴别器都由RNN组成。特别是，它们是从最广泛使用的RNN类型（即LSTM）开始构建的。因此，批处理中的每个元素都是一个多变量时间序列，G输出本身也是一个序列。相反地，D被训练来区分真实时间序列和合成时间序列，也就是说，从输入序列开始，它返回一个数字作为输出，0; 1区间，它表示所考虑的序列属于真实数据集。至于损失函数，由G和D利用，它们是与标准GAN中相同的基于交叉熵的。尽管它的简单性，RCGAN已被证明提供Excel-LD ¼-2JJt1/2logD Xjþt1/2log 1-D Fjð3Þ在不同的场景和几个评估指标下的性能。特别是，它已经用合成数据进行了测试以及重症监护室LG¼1Xlog g.1-DFj4对抗训练的总体方案总结在图中。 二、事实上，Eq。2要求D在G的每一步都得到训练由于其在计算上太昂贵，因此优选的是对于每个G步交替一定数量k的D步，以便提高收敛速度。整体算法的收敛性仍由理论结果保证，如Goodfellow等人（2014）的原始论文所示。最后，值得注意的是，虽然原始文件是关注静态数据，已提出了几个扩展来解决时间序列问题。在下文中，我们描述了我们实验中使用的那些。结果表明，RCGAN生成的样本的可靠性和它们在实际场景中的有用性。3.4. 时间GANTimeGAN（Yoon等人，2019）是一个为时间序列构建的GAN模型，它利用AE来降低问题的维度。为了简单起见，在下文中，我们省略了样本索引j。特别是，TimeGAN专注于条件的近似分布p数据xt x1：t-1。为了实现这一任务，TimeGAN由两部分组成：一方面是AE，另一方面是GAN，它对潜在空间提供的低维数据表示进行操作此外，F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报7925.Σ. Σ不2¼.Σ不ð Þ不不t1j2iJ2J2我J-2r j我J不不M不不¼ ðÞ不. - 是的- 是的ΣK.Σ1个d条件分布近似的增强还通过利用监督损失来实现，监督损失测量从数据获得的真实潜在空间与由G生成的伪潜在空间之间的距离。为了形式化架构，我们使用与之前相同的符号来表示真实数据和输入噪声。此外，潜在空间用fhtgt2T表示，AE输出为fx^tgt2T，编码器函数为e<$e ht-1; x t，解码器函数为d<$d ht。所以声发射结构是总结在这方式：ht<$e ht-1; xt和x^t¼dht。 A代表G和D，它们在潜在空间水平上运行。因此，生成元被定义为h~tGh~t-1;zt并且假样本可以获得为ft/dh~t . 相反，稍微复杂一点，因为它基于双向循环层，所以D/VD。！ut;←ut在哪里！ut表示判别器的正向，so！ut¼！C.ht;！ut-1和u← 是落后的方向，即←u←c。h;←u-是的 在上述公式中，！c;←c请注意，条件期望值是通过蒙特卡罗方法估计的。值得注意的是，通过最小化p个数据和p个假数据之间的C-Sig-W1（特别是它们的条件期望），SigCWGAN强制生成的时间序列具有与原始时间序列相同的统计特性。3.6.生成矩匹配网络GMMN（Li等人， 2015）是一种神经网络生成方法，旨在克服与最小-最大GAN训练相关的困难。为了做到这一点，专门设计的损失函数，即最大平均离散度（MMD）被用来捕捉统计量的所有阶数，从而完美地匹配p个数据和p个假值（事实上，已经表明MMD = 0意味着两个分布的渐近收敛）。最重要的是，MMD是可区分的（如果它的内核是可区分的），所以它可以成功地用于反向传播框架。形式上，在定义了适当的内核k之后，kx g，通过利用-表示向前和向后递归函数，以及的用伪潜空间代替真潜空间也可以得到同样的公式。;使用上面相同的符号，我们可以将损失函数写为：J J J J J JL ¼ 1XXk. Xi;Xj=2X Xk。Xi;Fj=1XXk.Fi;FjSigCWGAN （ Ni 等 人 ， 2020 ） 是 一 种 基 于 条 件 签 名Wasserstein-1度量（C-Sig-W 1）的基于GAN的时间序列生成方法。至于架构，生成器利用了一个AR-FNN，为了更好地模拟真实数据的条件分布。相反，鉴别器利用C-Sig-W1来在实际应用中，一个很好的选择可能是高斯核，定义为：K. X;X±1/4exp. 1X-Xj210测量真实分布和生成分布之间的距离为了实现这一任务，起点是随机过程的期望签名S，其可以被认为是随机变量的矩母函数的对应利用信号性质，以有效地处理非平稳时间序列，即，其统计特性随时间演变的时间序列。更详细地，令X1/4fxtgtT，其中xt2Rd是多个多元时间序列我们可以定义张量代数空间TRd1千美元0Rd，即TRd是定义在R d上的所有k阶张量空间的直和，通过改变k阶。按照惯例，Rd0被定义为实空间R。现在，路径X的签名被定义为元素SXT。1;X1;· · ·;Xk;···2T. Rd2005年这样，通过最小化MMD，GMMN能够匹配所有两个分布的矩。至于神经网络本身，它由顺序的AR-FNN层组成，这些层被设计成将均匀分布映射到p个数据。除了这个第一个简单的GMMN公式，另一个版本已被提出来结合GMMN和AE的优点。在这个框架中，我们的想法是首先在真实数据上训练AE，从而获得真实样本的潜在空间表示。然后，应用生成方法生成潜在空间，该潜在空间随后依次通过解码器来获取假样本4. 实验设置描述在本节中，我们提供了关于实验的所有细节。阶段首先，我们描述了每个生成的实现在空间T Rd法然后，我们展示了用于比较的数据集。Xk¼ Zt1···tkdXt1·················dXtk6最后，我们讨论了用于比较的指标结果在下一节中显示和讨论了这些实验。注意，随着k阶的增加，我们对时间集T的划分更精细，它提供了关于时间序列行为的更局部的信息实际上，在实际应用中，代替S XT，它被认为是其截断版本4.1. 实现细节对于所进行的每个实验，首先，数据在[001 pdf1st-31files]范围;然后，考虑了两种情况。如果样本我的天啊1;X1;· ··;XM7在数据集中，获得作为滑动窗口的独特的，长时间序列，则在窗口创建之前执行缩放也称为M次X的截断签名。因此，假设在概率分布p_data或p_fake下有条件地生成x_t_l，则可以以这种方式定义两个分布之间的C-Sig-W_lC-Sig-WMp数据;p假在1/2SMxtjx 1：t-1时的1/4 k E p]-Epfake½SMxtjx1：t-1]kl28相反，如果样本属于不同的时间序列，则每个样本都独立于其他样本进行缩放。在缩放之后，应用生成模型来生成假样本。特别地，每种方法都有一个要调整的超参数向量。我们使用相同数量的随机超参数向量对每种方法进行了10次实验。我们搜索的超参数空间对于每个实验几乎是相同的。具体地，在表2中描述。3.5. 条件Sig-Wasserstein GAN联系我们联系我们联系我们F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报表79267926半]超参数空间实验中的超参数向量在该空间内采样。Common表示所有模型共有的超参数。具体来说，batch表示批量大小，n hidden表示网络中隐藏层的数量，hidden dim表示隐藏层的维度。MC大小表示蒙特卡洛模拟的次数，深度p/f是真实/虚假路径的签名的截断阶，比例p/f用于截断签名的计算，而LR用于学习速率。此外，lr G是生成器的特定学习速率，lr D是仅用于鉴别器的学习速率，并且步骤D G是用于每个生成器步骤的鉴别器步骤的数量超参数表共同批n隐藏隐藏式调光器SigCWGAN4–16MC尺寸2–3深度p/f40–100比例P/F LRRCGAN600–1200lr G2–3lr D0.15-0.35 5e-4-0.05步骤D G5e- 5-时间GAN lr G lr D步骤D G5e- 5-GMMN lr5e- 5-3e- 4图三.比较管道。首先对数据集进行预处理，提取真实数据集;然后，固定超参数向量和epoch数，通过改变种子来多次应用生成模型然后，对于每次迭代，计算度量因此，对于每个度量，都有一个值向量（每个种子一个）。最后，对于每个度量，获得值向量的均值和标准差，并计算wcs关于每个实验中使用的超参数向量的更多详细信息，请参见补充材料。此外，我们分析了在不同时期产生的样本，即在100; 200; 500;750; 1000; 1500; 2500; 5000个时期之后。理解由生成模型找到的近似解pfake如何随时间演变可能是有用的此外，为了评估方法的稳定性，我们通过使用前25个素数（如种子）执行25次发射然后，在计算每个生成的数据集的度量之后，计算它们在种子上的平均值l和标准差r，并获得最坏情况wcs可以被认为是在与最佳情况相反的情况下的置信区间的界。在形式上，它被定义为这些指标的lr4.2. 数据集在实验阶段，我们利用五个数据集的时间序列的生成模型的com-candidate。三个数据集是公开的，而另外两个是私人的。所考虑的数据集表现出不同的特点，如坚实的季节性或优势的自回归部分，给一个广泛的概述在不同的场景生成模型的性能。表3总结了每个实验中数据集的维度，而关于所考虑的数据集的进一步细节在下面提供。补充材料中报告了每项实验的图示示例。公开提供的数据集如下：1其中低值是期望的，并且对于其它度量为L-R● 北京该数据集描述了12个不同地区最后，记录训练和假样本生成的执行时间。比较流水线总结在图1中。3.第三章。至于硬件开发，我们在三个不同的工作站上工作：Intel （ R ） Core （ TM ） i9-9900 K CPU@3.60 GHz ， 128 GiBRAM ， GeForce RTX 2080 ti 用 于 Noval Weekly 、 Elec- tricityBiMonthly和Finance Quarterly实验。Intel （ R ） Core （ TM ） i9-9900 K CPU@3.60 GHz ， 128 GiBRAM，GeForce RTX 3080用于北京4年，电力季度和金融年度。AMD Ryzen 5 3600 6核处理器，32 GiB RAM，GeForce RTX3070用于所有其他实验。在北京点每个点被视为多变量时间序列的样本每个时间序列由6个变量组成，分别称为PM2.5，PM10，SO2，NO2，CO和O3三种不同长度的时间窗被考虑，即每月，每年和4年。在第一种情况下，我们利用每日观测，通过平均每小时的值，原始数据集，考虑的时间段为2016年1月在第二种情况下，我们使用每周时间粒度，并将2016年视为参考期。在最后一种情况下，时间序列由汇总的月度值组成，它们涵盖2013年3月1日至2017年2月28日期间。此外，还有一些缺失值。我们将这些值与前一个值相对应。图1中提供了该系列在每月情况下的示例。 四、在实验阶段利用不同的工作站怎么--由于每次实验只使用一台工作站对比较没有直接影响。1Zhang et al. （2017年）。●●●F. Gatta，F. Giampaolo，E. Prezioso等人沙特国王大学学报79272半]表3用于实验的数据集及其维度的总结。对于每个数据集，该表显示了所有利用的形状。此外，在每个数据集和每个所考虑的形状下面，报告输入张量的维度。更详细地说，第一个维度等于可用观测的数量，第二个维度等于每个时间序列的长度，最后一个维度表示变量的数量北京电力每月（12、31、6）每月每年（12，53，6）双月刊4年（12，48，6）季度金融创新(36（第31、30段）每月（12，21，5）BiWeekly（31，6，14）每日（84，24，6）(18（第62页，第30页）Quarterly（12，62，5）每周（67，6，14）每周（12，168，6）(12（《罗马书》，93，30）每年（12，52，5）图7.第一次会议。Noval数据集中的多变量时间序列，具有双周聚合。每日样品通过使用滑动时间窗口来生成样本我们通过改变窗口的长度在这个数据集上进行了三个不同的更详细地说，我们生成了每月、每两月和每季度的时间序列，时间步长分别为31、 62和93。0- 在少于31天的月份应用填充。毛皮-因此，时间窗口的步幅等于其长度，因此不同样本之间没有重叠。图5示出了在月情况下的多变量时间序列的示例。● 财政 该数据集代表了12个金融指数的最图四、北京数据集的月序列样本图五、电力月度多变量时间序列示例见图6。月度序