PPML-TSA：隐私保护时间序列分类的模块化框架

软件影响12（2022）100286原始软件出版物PPML-TSA：一个模块化的隐私保护时间序列分类框架DominiqueMerciera，b，P.， AdrianoLucieria，b， Mohsin Munira，b，AndreasDengela，b，Sheraz Ahmedaa德国人工智能研究中心（DFKI）有限公司，67663 Kaiserkirstern，德国b德国凯泽尔登技术大学，67663凯泽尔登A R T I C L E I N F O保留字：人工智能深度学习隐私保护分类时间序列机器学习A B标准隐私保护对于现代深度学习算法过渡到处理敏感数据的日常应用（如医疗保健、金融和其他几个关键基础设施领域）至关重要。计算机科学研究的一个主要障碍是建立实验及其评估所需的大量时间投资。 在保护隐私的深度学习领域，由于实现分散在框架和库中，这一问题更加严重。这项工作介绍和文件PPML-TSA，一个多功能的框架，隐私保护的时间序列分类。我们的框架最初用于评估跨不同模型架构和数据集的隐私保护方法。PPML-TSA提供了一个模块化设计，适合对整个UCR UEA存储库中的所有数据集进行分类。它的模块化实现提供了快速简单的适应和扩展，以增加支持的模型架构和数据集的数量。该代码支持各种模型架构（如AlexNet，FCN，FDN，LSTM和LeNet）以及隐私保护深度学习方法（差分隐私，联合学习，它们的组合和同态加密）。我们相信，我们的框架有助于进一步研究保护隐私的深度学习，从而加速该领域的创新和颠覆代码元数据当前代码版本v1.0.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-15可再生胶囊的永久链接https://codeocean.com/capsule/7196518/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统使用python、bash的软件代码语言、工具和服务编译要求，操作环境依赖图形卡，cuda如果可用，链接到开发人员文档/手册https://github.com/DominiqueMercier/PPML-TSA如有疑问，请发送支持电子邮件至dominique. dfki.de或adriano. dfki.de1. 介绍人工智能在各种安全关键应用中的重要性日益增长，导致出现了几个与其安全操作相关的新研究领域。特别是处理敏感数据的领域，在利用数据驱动的深度学习医疗保健、金融或基础设施等领域需要高级别的数据和模型隐私，以保护其用户并避免恶意攻击。这是安全运行的基础，因此也是最终用户接受的基础。此外，系统提供商对当局承担越来越多的法律义务，限制了对私人数据的访问为了应对这些挑战，本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。德国人工智能研究中心（DFKI）GmbH，67663 Kaiserstern，Germany.电子邮件地址：dominique. dfki.de（D.Mercier），adriano. dfki.de（A. Lucieri），mohsin. dfki.de（M. Munir），andreas. dfki.de（A.Dengel），sheraz.dfki.de（S.Ahmed）。https://doi.org/10.1016/j.simpa.2022.100286接收于2022年3月11日;接受于2022年4月1日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsD. Mercier，A. Lucieri，M. Munir等人软件影响12（2022）1002862图1.一、预先实施的实验设置。 显示了 框 架 支 持 的默认实验设置[1]。隐私保护机器学习致力于开发技术，以隐藏数据和模型，防止数据，知识产权和未经授权的系统干预被盗。在我们的论文“在关键结构中评估隐私保护机器学习：时间序列分类的案例研究”[ 1 ]中，这项工作为我们开发的基准框架提供了文档，该框架允许感兴趣的研究人员在丰富的架构和数据集上快速评估上述隐私方法。此外，我们的框架是以模块化风格编写的，这使得架构，隐私方法和数据集的扩展变得快速而简单。此外，该框架可以用来评估差分隐私和联邦学习对时间序列分类数据集的适用性。该框架的通用性的概述在图中给出。1.一、2. 贡献这个隐私保护实验框架是使用Bash和Python编写的[4]。 我们的代码可以用于 在时间序列分类的上下文中建立隐私保护评估管道。五种不同的网络架构被实现为基线算法（AlexNet [5]，FCN，FDN，LSTM和LeNet [6]）。支持的模型架构集可以很容易地扩展，只需将所需的模型类附加到src/modules/model_definition.py文件中。默认代码支持任何UCR UEA数据集[7]和共享相同格式的数据集。该框架主要提供差分隐私[2]和联邦学习[3]的端到端评估以及这两种方法的组合。在联合学习的情况下，该框架进一步提供自适应随机梯度下降作为对传统随机梯度下降的扩展。只需要进行很小的修改，就可以进行涉及上述方法的不同实验，并使用标准化测量（如micro-f1，macro-f1和准确度）来比较它们的结果。该守则是评估隐私保护方法对研究和可行性研究的影响的通用框架。此外，Mercier等人的论文[1]的结果可以重现，并且可以显示关于噪声时间序列数据的限制使用所提供的bash脚本提供对框架所提供的所有能力的快速访问。成功执行后，所有模型权重和结果将被保存以供进一步使用。 此外，还包括计算差分隐私参数影响的文件。输出包括每个类别的分类报告和以可重复使用的文件格式存储的总体结果。该框架还支持多次运行，并提供了自动检索不同运行的平均结果的可能性。对于结果和可能的实验设置的概述，我们参考Mercier等人。[1]的文件。3. 如何使用项目目录中列出了有关使用的详细信息和所有可用的Bash脚本再现原始结果。要使用该框架，需要根据提供的需求文件创建一个python环境。此外，我们强烈建议设置GPU支持，因为它将显著加快深度学习模型的训练和测试。 在运行任何实验之前，需要将所需的数据集文件放置在数据集文件夹中。用户可以使用具有相同格式的任何数据集[7]如《易经》所言。不同实验的执行由位于相应文件夹中的不同Bash文件处理。该框架允许通过相应脚本文件夹中的Bash文件所有实验结果（模型重量和结果报告）都单独存储在专用的结果文件夹中。这些报告可随时阅读和重复使用，以供进一步评估。我们的框架提供了一个方便和快速的评估实验，通过jupyter笔记本电脑，自动聚合相关的结果，从一个完整的实验集。笔记本允许可调整的过滤，以便总结结果并找到所有运行的平均值或最佳性能方法。该框架可以很容易地扩展，以支持多种不同的架构和数据集。任何时间序列数据集都可以通过转换为UEA [7]格式轻松使用我们的工具。延伸新模型架构的框架需要对python文件以及新模型架构的定义进行微小的更改。 在模型定义文件中为了只执行一部分实验，建议用户只运行相应的bash脚本。可以使用各个python脚本提供的参数对不同的实验进行进一步的更改。因此，简单地改变参数D. Mercier，A. Lucieri，M. Munir等人软件影响12（2022）1002863表1预先实施的实验设置。可与所有已实现的架构和UEA兼容数据集一起执行。ID对应于Mercier等人进行的实验。[1]的文件。ID脚本描述execute_baseline.sh在模型架构上执行训练和测试，而不使用任何隐私保护方法（默认值：AlexNet）。execute_baseline_architecture.sh在一组模型架构上执行训练和测试，而无需任何隐私保护方法。execute_federated_learning. sh在单个模型上执行联合训练和测试（默认：AlexNet）。1execute_differential_privacy.sh在单一模型架构（默认：AlexNet）上执行差异隐私训练和测试。execute_federated_ensemble.sh在单一模型架构上执行联合Ensemble训练和测试（默认值：AlexNet）。execute_differential_privacy_architecture.sh在选定的模型架构上执行差异隐私培训和测试，以涵盖2架构影响。execute_federated_learning_architecture. sh在选定的模型架构上执行联合学习培训和测试。execute_federated_ensemble_architecture.sh在选定的模型体系结构上执行联合Encoding培训和测试3execute_differential_privacy_detailed.sh对一组参数执行差异隐私，以评估噪声、批量大小的影响以及与差分隐私方法相关的其他参数4execute_federated_ensemble_detailed.sh对一组投票方案执 行 联 合 枚 举 以评估最佳投票方案。的最佳投票方案取决于数据集和架构。5execute_DPFE.sh使用差分隐私和联合加密的组合在模型架构上执行训练和测试。因此，在每个反向传播实例上使用差分优化器，并且模型聚合类似于联邦Ensemble。6execute_crypten_timing. sh初始支持同态加密。该脚本可用于估计运行时关于使用同态加密的私人训练Bash脚本就足够了。这些参数包括用于调整隐私级别的方法特定参数以及各种其他训练参数。表1给出了预实施实验的概述以及简短描述，以提供可能设置的第一印象。虽然没有提到，但所有脚本都可以在所有不同的架构和数据集上使用。4. 研究影响所提出的框架有助于在时间序列分类上下文中执行隐私保护深度学习实验。通过他们的实验和结果，Mercier等人[1]表明，可以更好地理解隐私保护方法对不同设置中的深度学习分类器的影响。凭借其灵活性和可配置性，我们的框架构成了进一步详细的实验以及特定情况下的分析一个伟大的基础。代码的易扩展性允许更高级的实验和后续工作，只需要很小的更改。我们认为，在数据集聚类方向上的进一步工作评估差异隐私的确切影响有助于理解其适用性。因此，我们提出的框架可以用来计算在一个私人保护设置的性能。另一个有趣的想法可能是在使用联合学习时评估数据集大小的影响。数据分布和客户端数量的影响可以使用 我们的框架。5. 局限性改进该框架在发布时存在一定的局限性，需要进一步的相关研究加以改进。对同态加密的有限支持主要是由于运行时间过长导致的不可行性。虽然支持不同的用例， 是通过CrypTen [8]库提供的，我们的框架确实只覆盖了有限数量的设置，但其他设置可以很容易地添加。一个可能的改进是将模型架构转换为单个深度学习框架，因为在初始版本中，框架使用PyTorch和Tensorflow的组合。 这部分是由于隐私保护框架在整个深度学习库中的分布式可用性。此外，该框架目前不提供自动可视化功能来绘制实验结果。然而，这是相当具体的实验，可以在任何时候添加。6. 结论我们提出的框架提供了一个易于使用和灵活的代码基础，当添加一些最新的最先进的隐私保护深度学习方法（如差分隐私和联合学习）时，可以评估不同网络架构在不同数据集上的性能。此外，这两种技术的组合和初始支持同态加密。 所有结果都以标准化的方式收集，并为各种实验提供开箱即用的支持。 最后，该框架提供了调整隐私方法的几乎所有参数的自由。随着框架的发布，我们相信其他研究人员可以快速对应用于时间序列域网络训练的隐私保护方法的影响进行深入实验，以快速推进社区对此类方法的理解。从长远来看，这将促进新方法的开发，在隐私保护AI中开辟大量新的研究方向。CRediT作者贡献声明Dominique Mercier：概念化，方法论，软件，写作-原始草稿。Adriano Lucieri：概念化，方法学，软件，写作-原始草案. MohsinMunir：写作安德烈亚斯登格尔：写作-审查编辑，超级视觉. SherazAhmed：写作竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢我们感谢DFKI深度学习能力中心的所有成员的意见和支持。这项工作得到了BMBF项目SensAI （BMBF Grant 01IW20007）和ExplAINN（BMBF Grant 01IS19074）的支持。0D. Mercier，A. Lucieri，M. Munir等人软件影响12（2022）1002864引用[1]D. Mercier，A. Lucieri，M. Munir，A. Dengel，A. Sheraz，评估关键基础设施中的隐私保护机器学习：时间序列分类的案例研究，IEEE Trans.Ind.Inf. （2021年）。[2]M. Abadi，A. 楚岛 Goodfellow，H.B. 麦克马汉岛 Mironov，K. 塔尔瓦湖Zhang，Deep learning with differential privacy，in：Proceedings of the 2016 ACMSIGSACConference on Computer and Communications Security，2016，pp. 308 -318[3]B. McMahan，E.穆尔， D. Ramage， S.汉普森 文学士y Arcas，Communication-efficientlearningofdeepnetworksfromdecentralizeddata，in ：ArtificialIntelligence and Statistics，PMLR，2017，pp. 1273-1282年。[4]Python 软 件 基 础 ， Python 语 言 参 考 ， 版 本 3.7 。 可 用在https://www.python.org。[5]A.克里热夫斯基岛Sutskever，G.E. Hinton，Imagenet分类与深度卷积神经网络，高级神经信息处理。25（2012）1097-1105。[6]Y.勒昆湾Boser，J.S. Denker，D. Henderson，R.E.霍华德，W。 Hubbard，L.D. 杨明，李晓波，李晓波，李晓波，等. 1（4）（1989）541-551。[7]A. Bagnall，J.Lines，W. Vickers，E. Keogh，UEA ucr时间序列分类库，2021年，可在http://www.timeseriesclassification.com获得。[8]B. Knott，S.文卡塔拉曼A. Hannun，S.森古普塔湾 易卜拉欣湖 van derMaaten，Crypten：Secure multi-party computation meets machine learning，Adv. 神经信息处理。（34）（2021）.