MVTS-Data Toolkit：Python包预处理多变量时间序列数据

软件X 12（2020）100518MVTS-Data Toolkit：用于预处理多变量时间序列数据的Python包AzimAhmadzadeh，Kankana Sinha，Berkay Aydin，Rafal A.安格里克计算机科学系，佐治亚州立大学，亚特兰大，GA 30302，美国ar t i cl e i nf o文章历史记录：接收日期：2020年收到修订版2020年5月4日接受2020年保留字：特征提取数据分析多元时间序列班级不平衡多类抽样a b st ra ct我们开发了一个独立于域的Python包，以方便准备任何多类，多变量时间序列数据所需的预处理例程。它提供了一套全面的48个统计特征，用于提取时间序列的重要特征。特征提取过程以顺序和并行方式自动化，并补充了有关数据的广泛摘要报告。使用其他模块，用户可以使用不同的数据标准化方法和估算方法。为了满足类不平衡的问题，这往往是内在的现实世界的数据集，一组通用的，但用户友好的，采样方法也被开发出来。©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据C1当前代码版本版本0.2.6C2指向用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_15C3法律代码许可证MIT许可证（MIT）C4使用的代码版本控制系统gitC5使用的软件代码语言、工具和服务PythonC6C7编译要求、操作环境依赖性如果可用，链接到开发人员文档/手册Python≥ 3.6dmlab.cs.gsu.edu/docs/mvtsdata_toolkit/C8技术支持电子邮件咨询aahmadzadeh1@cs.gsu.edu软件元数据S1当前软件版本v0.2.6。S2此版本可执行文件的永久链接pypi.org/project/mvtsdatatoolkit/S3法律软件许可证MIT许可证（MIT）S4计算平台/操作系统与操作系统无关S5安装要求依赖项请参见requirements.txtS6如果可用，用户手册的链接bitbucket.org/gsudmlab/mvtsdata_toolkit/src/master/README的网站。MDS7技术支持电子邮件，用于提问aahmadzadeh1@cs.gsu.edu1. 动机和意义1.1. 一种多元时间序列的研究工具时间序列是最早引入并大量使用的数据类型之一，甚至在数字技术*通讯作者。电子邮件地址：aahmadzadeh1@cs.gsu.edu（A. Ahmadzadeh）。网址：http://azim-a.com （A. Ahmadzadeh）。https://doi.org/10.1016/j.softx.2020.100518世界，以数字和分类值的表格形式。当同时观察和记录研究对象的几个变量时，结果基本上成为多变量时间序列数据（下文简称为“mvts”数据）。快速阅读文献可以发现，大多数使用这种数据类型的研究都共享一组预处理例程，例如原始数据的分布分析[1]，时间序列特征工程[2]，特征提取[3]，从提取的特征和可视化中获得一组汇总统计量 汇总统计、缺失和无效2352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2A. Ahmadzadeh，K.辛哈湾Aydin等人粤公网安备44010502000018号值，变量的归一化，以及给定数据集的适当欠采样和过采样。认真执行这些步骤通常是一项耗时的工作，并且由于缺乏对代码的全面和严格的测试，个体研究人员通常没有能力创建生产就绪的、经过充分测试的和可部署的软件产品，生成有用功能时的小错误可能会被忽视;导致对结果的不确定或完全错误的解释。为此，我们决定扩大我们最近的研究项目的实施[4]，并将其作为数据驱动的研究社区中更广泛受众的独立于领域的工具包进行共享。1.2. 最初动机该项目最初是为了预处理一个特别具有挑战性的mvts数据集而开发的，该数据集名为太阳耀斑空间天气分析，简称SWAN-SF[5]。该数据集被创建为一个基准，用于标准化耀斑预测的雄心勃勃的任务。然而，我们实现自动化预处理器所面临的挑战并不特定于任何特定的领域，任务或数据集。因此，我们决定将其扩展为一个通用的Python包，该包具有良好的文档记录和适当的测试，用于提取和分析mvt。1.3. 与现有工具的这个工具包可以与其他一些已经可用的开源Python包相媲美。时间序列特征提取库（Time Series Feature Extraction Library，缩写为TSFEL）[6]。该软件包专门用于自动特征提取功能，适用于时间序列数据的60多个统计，时间和光谱特征。TSFEL的一个重要方面是，它允许用户使用JSON格式向现有功能添加个性化功能。然而，当前版本的TSFEL不支持并行处理;这是一种重要的功能，在处理大型mvts数据集和复杂的统计特征时，这一功能往往是必不可少的，而且执行时间很长。另一个在特征提取的统计和计算方面投入更多的软件包是基于可扩展假设检验的时间序列特征提取（简称tsfresh）[3]。虽然，它似乎不支持mvts，1它配备了并行和分布式计算能力，以及用户的自定义功能。tsfresh允许基于63个时间序列特征提取许多特征，并且还提供自动假设检验以帮助特征选择过程。将上述软件包与我们的软件包进行比较，MVTS- Data Toolkit在多类mvts数据集上提供了并行和顺序的特征提取。它还提供了原始mvts数据集的每个时间序列的统计概述作为对所提取特征的数据集的自动分析。此外，在该工具包中还实现了两个预处理步骤，即归一化和采样。虽然我们理解为什么其他开发人员可能会发现这些步骤超出了他们的软件包的范围，但我们发现在我们自己的研究中，能够在开始学习阶段之前使用一个单一的库来完成我们的数据集是非常有用的。更具体地说，由于程序已经熟悉了提取特征的数据结构，因此它可以无缝地执行其他预处理步骤，而无需任何额外的修改工作，例如处理时间戳，类别标签和归一化中的其他非数值。1在https://github.com/blue-yonder/tsfresh/issues/566上查看对话。还有其他一些软件包是为分析时间序列而设计的，但它们与我们的工作几乎没有交集（例如，statsmodels [7]）和/或它们以Python以外的语言实现（例如，[8]在MATLAB或MTS [9]在R中）。我们把它们排除在比较之外。1.4. 限制值得注意的是，虽然MVTS-Data Toolkit提供了一组灵活且通用的采样技术，可以很容易地在提取的特征上调用，但存在更复杂的方法，可以显着改善数据集上不同模型的学习过程。处理阶级不平衡问题并不是这套方案的特别目标，所实施的抽样方法只是为了提供对这一问题的快速补救。在这方面，Imbalance-learn包[10]提供了这样的方法，并且可以很容易地在我们的工具包产生的提取特征的pandas.DataFrame上使用。在这个软件包的当前版本中，原始mvts数据的标准化还没有包括在内。虽然在mvts数据上实现标准的标准化方法并不难，但这种功能的简单性可能会导致误导性的结果。为了正确地规范化数据集，需要严格研究数据的每个维度中的值和离群值的分布，并就其规范化方法做出特定于域和特定于任务的决策。例如，有时被称为“惯例”的做法，例如，基于四分位数范围的离群值去除，通常这是一种天真的方法，当涉及到现实世界的数据集。为此，我们决定在原始数据级别上不包含任何规范化模块。然而，在未来的版本中，我们可能会包含一些工具，这些工具可以为任何mvts数据集的规范化决策铺平道路在接下来的部分中，我们介绍了MVTS数据工具包的设计和应用。在第二节中，我们首先解释了软件的体系结构和主要组成部分，然后讨论了所包含的功能和实现细节，如统计特征的收集，顺序和并行实现的mvts数据分析和特征提取过程，以及其他重要的预处理步骤，如mvts数据集的归一化和采样。在第3节中，我们从不同的角度强调了该软件的影响。最后，我们在第4节中结束这项工作。2. 软件描述MVTS-Data Toolkit是一个完全用Python实现的开源软件包，可以在PyPI上找到，PyPI是一个名为The Python Package Index的流行在线存储库，可以使用pipinstall命令安装该软件包还包含嵌入在代码中的详细文档，这些文档也可以在线获得（请参阅代码元数据和软件元数据）。源代码在我们的Bitbucket存储库中的两个永久分支中公开访问：master分支跟踪软件的最新稳定版本，dev分支在临时分支中实现和测试后，所有新的开发都合并到其中。2.1. 软件构架MVTS-Data Toolkit遵循一个简单的体系结构，优先考虑健壮性，为它的类和方法提供用户友好的界面，以及代码的可扩展性。在下面的部分中，我们将重点介绍架构和设计选择的重要方面。A. Ahmadzadeh，K.辛哈湾Aydin等人粤公网安备44010502000018号32.1.1. 主要部件图1.一、MVTS 的主要组件-数据工具包。2.1.4. 全局配置该软件包由图中所示的四个主要组件组成。1.一、特征提取组件允许轻松快速地计算大量统计特征在数据集上。数据分析组件为mvts（原始）数据集和由特征提取组件计算的提取特征提供高级探索性分析。另外两个组件，即数据规范化和数据采样，顾名思义，提供了各种数据转换、欠采样和过采样的预处理方法2.1.2. 扩展性特征提取和数据分析组件配备了顺序和并行执行能力。合并的并行性，这是没有任何额外的复杂性，为最终用户，是特别有用的，当所研究的数据集被认为是并行版本的执行时间基本上是线性可伸缩的可用进程的数量。此外，特征提取过程被设计为将输入数据划分为分区，然后将一个分区分配给每个过程。每个进程通过接收文件路径列表而不是实际文件来启动其作业因此，内存约束仅由最大MVTS文件的大小决定。也就是说，只要有足够的内存可供最大的MVTS加载，就不会出现内存不足的问题，无论整个数据集的大小如何。这提高了包的可伸缩性的健壮性上面提到的可扩展性只有通过统计技术才有可能获得我们想要返回的基于排名的统计数据换句话说，在不将整个数据集加载到内存中的情况下，只能估计每个时间序列的时间序列。在这方面，委员会注意到，我们利用一种称为T-Digest[11]的在线算法，该算法通过聚类实值样本并保留平均值和样本大小来准确地估计期望的汇总统计量聚类产生称为t-摘要的数据结构的实例，其随着算法进行估计的迭代而具有恒定的内存消耗。2.1.3. 组件的重复性虽然工具包的四个组件独立工作，但有些组件旨在进一步处理其他人，如果需要的话。例如，来自数据分析组件的MVTS数据分析包给出关于原始MVTS数据的一般统计数据并且基于原始MVTS数据，并且来自特征提取组件的特征提取器包也从原始MVTS数据提取一组统计特征。然而，提取的特征分析包，顾名思义，分析特征提取组件产生的提取特征。这两个组成部分之间的关系如图所示。二、类似地，由其他组件提供的归一化和采样也处理提取的特征。为了提供一个用户友好的包，可以在执行之前使用YAML语言配置一组输入参数。一个yml配置文件可以存储在宿主机的任何目录中，只要它的路径通过类构造函数传递给需要这种元数据的类实例。此文件中的关键字是预定义的，如下所述：PATH_TO_MVTS：存储mvts数据集的相对或绝对路径。PATH_TO_EXTRACTED_FEATURES：提取的特征将被存储的相对或绝对路径（特征提取组件使用此路径）。Meta_DATA_TAGS：一个标签列表，基于该列表可以从mvt的文件名中提取一些信息。 例如如果 时间戳 是 编码 在文件名中，例如，_st[YYYY-MM-DD HH：MM：SS]，则字符串st（不带括号）是可以包含在此列表中的标记。在特征提取过程中，被包装在每个文件名的方括号中，作为提取特征的数据框的额外列。通常，使用此功能，任何额外的元数据都可以编码在文件名中，并因此传递到提取的特征中。MVTS_PARAMETERS：mvts数据集中使用的参数名称及其统计特征的列表。换句话说，这些是mvts文件。STATISTICAL_FEATURES：要从mvts中提取的感兴趣的 统 计 特 征 列 表 。 它 们 必 须 从 features.feature_www.example.com 模 块 中 提 供 的 方 法 中 选 择collection.py 。为例 如 ， get_min 是 一 个 有 效 的feature-name，因为此方法在包中实现。本手稿中记录的关键字可能会随着软件包的新版本的发布而改变 。 我 们 将 根 据 最 新 的 更 改 更 新 存 储 库 中 的 在 线 手 册（README.md文件）2.2. 软件功能MVTS-Data Toolkit提供了一系列适用于任何mvts数据集的预处理被输入机器学习算法在在以下部分中，我们将对这些功能进行高级描述。2.2.1. MVTS统计特征MVTS数据工具包的主要贡献之一在于其全面的统计功能。表1列出了该工具包中提供的所有统计功能，分为9组。这些特征是在对大量时间序列数据的应用研究·····4A. Ahmadzadeh，K.辛哈湾Aydin等人粤公网安备44010502000018号||||∑′|{·}|{·}|·|图二、 数据分析和特征提取组件的框图。表1MVTS数据工具包中所有可用统计功能的列表组特征描述1min（ts），max（ts），med（ts），µ（ts），σ（ts），sk（ts），ku（ts）时间序列的描述性统计量ts2|、|max（ts）− max（ts）|、|med（ts）− med（ts）|、|,|、|sk（ts）− sk（ts）|、|ku（ts）− ku（ts）|ku (ts⊣) − ku (ts⊢)|3|、|{ local _ maxima（ts）}|、|{ local _ extrema（ts）}|、|,|、µ { local _ minima（ts）}、µ { local _ maxima（ts）}、µ{ local _ maxima _upsurge（ts）}、µ { local _ minima _ do wnslides（ts）}|, µ{local_minima (ts)}, µ{local_maxima (ts)},µ{local_maxima_upsurges (ts)}, µ{local_minima_downslides (ts)}时间序列ts的前半部分和后半部分的描述性统计量之间的时间序列极值形式的几种表示4µ（ts′），σ（ts′），sk（ts′），ku（ts′）导数的描述性统计（即，时间序列5µ（μts），σ（μts），σ2（μts），sk（μ ts），ku（μts）导数的描述性统计量（即，时间序列的解析梯度近似6lwa（ts），qwa（ts），μ（ts′），μ（ts′）时间序列的线性和二次加权平均，以及导数7| {p∈ts;p>0}|、|{p∈ts;p<0}|时间序列中记录的正负分数n n长度n8lvk=1（ts），（lvk=10（ts）），μ（lvk=10（ts））用最后k个值描述时间序列（lvk（ts））9longest_positive_run，longest_monotonic_increase，longest_monotonic_decrease，slope（longest_monotonic_increase），slope（longest_monotonic_decrease），µ（{slope（monotonic_increases）}），时间序列tsµ（{slope（monotonic_decreases）}）符号。ts：时间序列，µ：均值，med：中位数，σ：标准差，sk：偏度，ku：峰度，ts：ts的前半部分，ts：ts的后半部分，：set，：绝对值，ts：ts的差导数，ts：ts的梯度导数，：set基数，lwa：线性加权平均，qwa：二次加权平均，lvk：最后k个值。它们可以单独或成组地描述具有合理随机程度的时间序列参数的许多独特特征。有关这些功能的更多详细信息，我们建议感兴趣的读者查阅该工具包的文档和开源实现（参见模块功能。feature_collection.py）。2.2.2. 数据分析该工具包提供了一个功能，以获得一些关于正在研究的数据集和提取的特征的一般性见解。数据分析组件提供三个不同级别的摘要：（1）mvts文件的大小和数量，（2）时间序列参数;它提供缺失值的计数和六位数摘要，即，每个参数的最小值、第一四分位数、平均值、中位数、第三四分位数和最大值，以及（3）使用相似统计量提取的特征。这个组件设计的可伸缩性（如2.1节中所讨论的）使其成为一个方便的工具。2.2.3. 正常化由特征提取组件计算的提取特征数据通常需要经过数据转换过滤器以准备好进一步分析或被馈送到机器学习模型中。MVTS-Data Toolkit有一个包装器类scikit-learn包中的sklearn.preprocessing模块中实现了大约四种数据转换方法。该包装器有助于数据规范化过程，使得用户可以规范化提取的特征，而不必担心细节，例如在数字列的变换之后丢弃非数字列并将它们追加回数据框;或者保护仅保留每个记录的唯一性的数字列（例如id或索引列）免受这种变换。2.2.4. 采样当类的种群大小不同时，数据集被称为类不平衡。在现实世界的问题中，数据集通常是不平衡的，即，主要关注事件的发生频率明显低于其他事件。这种不平衡问题必须在被传递到机器学习模型之前得到适当的处理主要解决办法之一是通过随机抽样的方式在各类别人口中实现平衡。为此，该工具包中包含一个采样器模块，其中包含几种通用且灵活的方法，这些方法一起为解决类不平衡问题提供了大量可能性。 图图3显示了其中一些可能的结果。有关更多详细信息，请参阅模块sampling.sampler.py中的方法文档。A. Ahmadzadeh，K.辛哈湾Aydin等人粤公网安备44010502000018号5图三. 通过采样器模块提供的一些可能的采样方法的说明。在该示例中，假设数据集中有五个不同的类，其中A、B和C一起形成多数类（即，超类ABC），并且X和Y形成少数类（即，超一流XY）。US1和OS1导致ABC和XY之间的平衡，同时保留超类内的比率。 OS 2类似于OS 1，具有抑制最大类（即这里的A）的附加约束。这很重要，因为在某些情况下，这个多数类可能太大，以至于其原始大小将在二次抽样中使其他类相形见绌。US2和US3通过分别将X和Y类作为对其他类进行欠采样的参考来施加平衡，从而也在子类之间进行平衡。OS 3将C类作为过采样的参考。请注意，在每种情况下，采样数据如何与关于超类ABC和XY。3. 影响从时间序列数据集中发现知识的任何程度的成功通常与所选择的工程特征的相关性密切相关（除非使用自动特征选择，这通常是深度神经网络的产品）。我们实现了一个全面的统计特征集合，使研究人员有机会研究他们的时间序列的各种这种收集的可用性鼓励真正的数据驱动的研究环境，在过去十年中已经证明了其在科学研究领域的重要性。MVTS数据工具包正在并将逐步更新。我们设想，它的功能收集模块不断扩展，因为我们遇到其他时间序列功能，在我们正在进行的研究。此外，具有相关经验的贡献者还可以通过向存储库提交pull-request向该集合添加新特性。因此，这个包可以作为一个框架来创建开箱即用的时间序列特性。数据的预处理通常由几个独立于域的例程组成，这些例程一起烘焙原始数据以用于实际分析。我们对这些常见例程的通用实现，满足了mvts数据集的需要，节省了其他研究人员为他们的特定研究重新实现类似任务的时间。此外，在每个新版本发布之前，开发管道通过大量的测试用例来传递整个包，以确保新的更改不会产生错误或不准确的结果。这一必要的部件为封装增加了显著的可靠性。最后但并非最不重要的影响，这一包是耀斑预测研究，其中依赖于时间序列数据。为了帮助推进这一领域的研究，我们在佐治亚州立大学的实验室最近制作了一个新的基准数据集，称为太阳耀斑空间天气分析（SWAN-SF）[5]。它完全由mvts组成，旨在进行无偏的耀斑预报。到目前为止，已经有几项研究使用了这个软件包，或其中的一部分，[4，12，13]。随着基准数据集的正式发布，我们希望看到其他研究人员有兴趣将此软件包用作基准数据集旁边的补充工具，以帮助社区进行耀斑趋势分析和预测研究。4. 结论我们提供了一个Python包来帮助一些预处理例程处理mvts数据。我们讨论了包的主要架构及其提供的功能。我们还强调了这套方案的几种方式，有助于时间序列数据集的应用研究，以及如何轻松扩展以实现更多工具和更新功能。我们希望这个软件包能成为时间序列数据的跨学科研究的一个有用的工具包。CRediT作者贡献声明概念化，方法论，软件，可视化，写作-初稿，监督. KankanaSinha：软件，调查，验证。Berkay Aydin：验证，数据策展，写作-评论编辑。拉法尔河Angryk：资金收购。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢这项工作得到了美国国家航空航天局（NASA）、美国资助奖[编号NNH14ZDA001N]和美国国家科学基金会资助奖[编号AC1443061和AC1931555]的部分支持。AC1443061奖得到了美利坚合众国计算机和信息科学与工程局高级网络基础设施处、美利坚合众国数学和物理科学局天文科学处、以及美利坚合众国地球科学局大气和地球空间科学司。引用[1]Brockwell PJ ， Davis RA. 时 间 序 列 与 预 测 导 论 。 Springer InternationalPublishing; 2016，http://dx.doi.org/10.1007/978-3-319-29854-2.[2]Fulcher BD.基于时间序列分析。In：机器学习和数据分析的特征工程。CRCPress; 2018，p.87比116[3] Christ M，Braun N，Neuffer J，Kempa-Liehr AW.基于可扩展假设检验的 时 间 序 列 提 取 （ tsfresh -Python 包 ） 。 神 经 计 算 2018;307 ： 72-7.http://dx.doi.org/10.1016/j.neucom.2018的网站。三点零七分[4]Ahmadzadeh A，Hostetter M，Aydin B，Georgoulis MK，Kempton DJ，Mahajan SS ， et al. Challenges with extreme class-unbalance and temporalcoherence：A study on solar flare data.在IEEE大数据国际会议上。2019年，URLhttps://doi.org/10.1109/BigData47090.2019.9006505。[5]Angryk RA，Martens PC，Aydin B，Kempton DJ，Mahajan SS，BasodiS，Ah-madzadeh A，Cai X，Boubrahimi SF ，Hamdi SM ，Schuh MA，Georgoulis MK. 用于空间天气数据分析的多变量时间序列数据集。Sci. 2019年数据。手册已提交出版。6A. Ahmadzadeh，K.辛哈湾Aydin等人粤公网安备44010502000018号[6]Barandas M，Folgado D，Fernandes L，Santos S，Abreu M，Bota P，et al.TSFEL： Time series feature extraction library. SoftwareX 2020;11：100456.http://dx.doi.org/10.1016/j.softx.2020.100456网站。[7]Seabold S，Perktold J. Statmodels：用Python进行计量经济学和统计建模。在：第九届Python科学会议论文集，卷。57，Scipy; 2010，p. 61岁。[8] Fulcher BD，Jones NS. Hctsa：使用大规模特征提取的自动时间序列表型细 胞 系 统2017;5 （ 5 ） ： 527http://dx.doi.org/10.1016/j.cels.2017.10.001 网站。[9]Tsay RS。MTS：用于分析多变量时间序列（MTS）和估计多变量波动模型的通用工具包。In：R package version，vol. 33，2015.[10]Lemaittre G，Nogueira F，Aridas CK. Imbalanced-learn：一个Python工具箱，用于解决机器学习中不平衡数据集的诅咒。J Mach Learn Res 2017;18（17）：1http://jmlr.org/papers/v18/16-365[11] 邓宁T，埃特尔O.使用t-mists计算非常精确的分位数2019年，arXiv预印本arXiv：1902.04023。[12]Hostetter M，Ahmadzadeh A，Aydin B，Georgoulis MK，Kempton DJ，Angryk RA.为了理解耀斑预报分析的南极时间序列特征的影响。在IEEE大数据国际会议上。2019年，URLhttps://doi.org/10.1109/BigData47090.2019.9006116。[13]Ahmadzadeh A，Aydin B，Kempton DJ，Georgoulis MK，Mahajan SS，Hostet- ter M，et al. Rare-event time series prediction：A case study of solarflare prediction.第18届IEEE机器学习与应用国际会议2019年。