联合分离式GAN：异构设备协同训练的开源软件

软件影响14（2022）100436原始软件出版物用于异构设备协同训练的联合分离式GANYileiLianga，PranveraKortoçib，Zhou，PengyuanZhouc，Lik-HangLeed，AbbasMehrabie，PanHuif，Sasu Tarkomab，Jon Crowcroftaa英国剑桥大学b芬兰赫尔辛基大学c中国合肥科技大学dKAIST，大田，韩国英国纽卡斯尔诺森比亚大学香港科技大学，中国A R T I C L E I N F O关键词：联邦学习分裂学习GAN硬件异构隐私保护A B标准基于机器学习（ML）的应用程序极大地促进了移动设备及其巨大的数据量和种类。为了更好地保护用户数据的隐私，传统的机器学习技术已经过渡到新的范式，如联邦学习（FL）和分裂学习（SL）。然而，现有的框架忽略了设备的异构性，极大地阻碍了它们在实践中的适用性。为了解决这些限制，我们开发了一个基于FL和SL的框架，将GAN的区分部分的训练负载共享给不同的客户端设备。我们将我们的框架作为开源软件1。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-208Reproducible Capsule的永久链接https://codeocean.com/capsule/5643805/tree/v1GNU通用公共许可证使用git的代码版本控制系统使用TensorFlow、Numpy的软件代码语言、工具和服务编译要求、操作环境依赖性和开发人员文档/手册链接问题支持电子邮件yl841@cst.cam.ac.uk1. 介绍GAN [1]是机器学习模型的子集，在半监督和无监督学习中。GAN广泛应用于人工智能（AI）应用，如医学，计算机视觉，语音AI，自动驾驶和自然语言处理[2发电机的整流器和���GAN是深度神经网络;具体来说，GAN是一个分类器，旨在区分本地存储的真实数据（在设备上）和GAN生成的虚假数据。因此，非常期望并且在某些情况下需要在生成和存储真正（真实）数据的设备上训练器。然而，这些设备的不同处理能力可能会阻碍GAN本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：yl841@cst.cam.ac.uk（Y.Liang），pranvera. helsinki.fi（P. Kortoci），pyzhou@ustc.edu.cn（P. Zhou），likhang. kaist.ac.kr（L.-H.northumbria.ac.uk（A.Mehrabi），panhui@cse.ust.hk（P. Hui），sasu. helsinki.fi（S.Tarkoma），jon. cl.cam.ac.uk（J.Crowcroft）。1 https://github.com/YukariSonz/FSL-GANhttps://doi.org/10.1016/j.simpa.2022.100436接收日期：2022年9月27日;接收日期：2022年10月16日;接受日期：2022年10月25日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsY. Liang，P.科尔托奇山口Zhou等人软件影响14（2022）1004362模型实现GAN模型的分布式学习，特别是对于XR应用，需要克服两个重大障碍：(i) 训练模型的设备上的资源有限（异质性）。(ii) 数据隐私，例如，医疗应用程序基于极其敏感的患者数据，因此任何对此类数据进行操作的机器学习模型都必须保持其机密性。最近有一些工作使用FL和SL来确保数据和模型隐私，同时考虑客户端功能。FL通过要求每个客户端私下训练机器学习模型来实现数据隐私，参与客户端之间没有数据共享。然而，参与客户端的有限资源严重限制了FL [6]的适用性，因为客户端可能无法训练整个模型。另一方面，SL通过划分来解决FL的限制参与的客户端和可能的协调实体（例如服务器）之间的网络体系结构。[7]提出了一种隐私敏感的并行SL方法，其中每个客户端训练模型的一部分 具有与其（本地）数据收集的大小相对应的预置大小的迷你批。同样，[8]提出了一种将FL和 SL在分布式序列数据上训练递归神经网络我们的工作在现有工作的基础上进行了改进，根据它们的板载计算能力，将神经网络最优地分成较小的部分，由各个设备进行训练。因此，我们的方法通过根据单个设备的计算预算划分模型，确保在一定的时间预算内训练模型。 接下来，我们将介绍软件的细节。2. 描述我们的软件FSL-GAN [9]为具有分裂学习的联邦GAN网络提供了仿真环境。在我们的软件中，我们通过模拟设备的性能，通过模拟设备的内存消耗。������������������������������������������������������������������������������������������我们知道这个模型是幼稚的，需要改进，但用户可以很容易地插入他们的选择算法进行实验。我们在我们的软件中部署DCGAN [10]模型;然而，用户可以部署他们喜欢的任何模型。为了在FSL-GAN上定制模型，用户需要定义模型的每个可分割部分和模型复杂度（以模拟客户端选择算法）。用户还需要注意，在我们的软件中，一个客户端意味着一个客户端，因此每个客户端也可以访问一部分（模拟真实的联邦学习用例）。清单1： 拆分DCGAN#params_of_params = 1664def制造_零件_A（ ）的人：模型 =t f . keras。 Sequential（）模型add（l a y e r s.Conv2D（64，（5，5），s t r i d e s =（2，2），padding=模型add（l a y e r s . LeakyReLU（））模型。add（l a y e r s.辍学率（0.3））回报模型# 参数集 = 204，928defmake _ dis criminat or _ p ar t _ B（）：模型 =t f . keras。 Sequential（）模型add（l a y e r s.Conv2D（128，（5，5），s t r i d e s =（2，2），padding=add（l a y er s.LeakyReLU（）模型add（l a y e r s.辍学率（0.（3））返回模型# 参数集 = 八十二万三千五百五十三def使_discriminator_ par t _ C （）：模型 =t f . keras。 Sequential（）模型add（l a y e r s.Conv2D（256，（5，5），s t r i d e s =（2，2），padding=add（l a y er s.LeakyReLU（）模型add（l a y e r s.辍学率（0.3）模型。add（l a y e r s . F l a t t e n（））模型。add（l a y e r s .稠密（1））回归模型3. 软件影响我们的FSL-GAN方法包括在单个客户端的多个设备上合作训练GAN的可扩展模型，充分利用它们的异构资源。它的启发式设备选择策略考虑到他们的能力，以实现更好的系统性能。增加系统中鉴别器的数量可以进一步减少发生器损耗和训练时间。我们的软件提供了一种在移动设备上运行GAN的解决方案，使这些设备能够联合训练复杂的GAN，用于基于GAN的渲染[11]和场景合成[12]等用例对于这些情况，企业可以将预先训练的模型提供给用户。这些模型可以在计算能力较低的设备（如手机）上进行训练，同时保护客户端的数据隐私4. 局限性和未来发展我们计划调查以下几个方面：1. 最小化设备之间的通信开销，2. 考虑到存储器大小和计算性能之间的折衷（例如，带宽和GPU/CPU上的核心数量），3. 移除系统中最慢的缓存，以及4. 研究数据异质性对模型收敛的影响。CRediT作者贡献声明梁毅磊：软件实施，数据整理，草案准备。Pranvera Kortoçi：监督，分割模型，草稿准备，编辑。周鹏远：监督，起草。李力恒：监督。阿巴斯·梅赫拉比：分裂模式，监督。潘辉：监管。萨苏·塔科马：监督。乔恩·克劳克罗夫特：监督。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1] I.作者简介：李伟杰米尔扎湾Xu，L.沃德-法利，S。奥扎尔A. 库尔维尔YBengio ， Generative Adversarial Networks ， Commun. ACM 63 （ 11 ）（2020）139-144。[2]K. Lin，L. Li，X.他，Z。张曼- T.孙，语言生成的对抗性排名，高级神经信息处理。系统30（2017）。[3]C.- C. 徐，H.- T. Hwang，Y. C. Wu，Y. 曹，H.- M. 小王，声音使用变分自动编码的瓦瑟斯坦生成对抗网络从未对齐语料库转换，2017，arXiv预印本arXiv：1704.00849。[4]O. Mogren，C-RNN-GAN：Continuous recurrent neural networks with adversarialtraining，2016，arXiv preprintarXiv：1611.09904.[5]A.乔巴，X。李湾，澳-地Omar，A Survey on Generative Adversarial Networks：Variants，Applications，and Training，ACM Comput.监视器54（8）（2021）1-49。Y. Liang，P.科尔托奇山口Zhou等人软件影响14（2022）1004363[6]P. Zhou，H. 许湖，加-地 李，P。芳，P.阿辉，是你左出去？一个Efficientand Fair Federated Learning for Personalized Profiles on WearableDevices ofInferior Networking Conditions，Proc. ACM Interact。Mobile WearableUbiquitousTechnol. 6（3）（2022）.[7] J. Jeon，J. Kim，Privacy-sensitive parallel split learning，in：2020InternationalConference on Information Networking ， ICOIN ， IEEE ，2020，pp. 七比九[8]A. Abedi，S.S. Khan，FedSL：Federated Split Learning on Distributed SequentialData in Recurrent Neural Networks，2020，arXiv preprintarXiv：2011.03180.[9]P. Kortoçi，Y. Liang，P. Zhou，L.- H. Lee，A. Mehrabi，P. Hui，S. Tarkoma，J.Crowcroft ， Federated Split GANs ， 2022 ， arXiv 预 印 本 arXiv ：2207.01750。[10] A.雷德福湖梅斯，S. Chintala，使用深度卷积生成对抗网络的无监督表示学习，在：Y。Bengio，Y. LeCun（Eds.），第四届国际学习表征会议，ICLR 2016，圣胡安，波多黎各，2016年5月2日至4日，会议跟踪程序，2016年。[11] Y. Zhang，W. Chen，H.林杰，高毅，杨文。Zhang，中国古柏A. 托拉尔巴角Fidler ， ImageGANs meet Differentiable Rendering for Inverse Graphics andInterpretable 3DNeural Rendering，2020，CoRR，abs/2010.09125。[12] E.陈，M。作者：J. Wu，G. Wetzstein，pi-GAN：用于3D感知图像合成的周期性隐式生成对抗网络，在：ArXiv，2020年。