CE-Fed：通信高效的联邦学习 在分散环境中保护隐私和提高AI模型准确性的新方法

0Array 15（2022）1002070取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。0ScienceDirect提供的内容列表0数组0期刊主页：www.elsevier.com/locate/array0CE-Fed：通信高效的多方计算启用的联邦学习0Renuga Kanagavelu a，�，Qingsong Wei a，Zengxiang Li b，Haibin Zhang a，Juniarto Samsudin a，Yechao Yang a，Rick Siow Mong Goha，Shangguang Wang c0a 新加坡A*STAR高性能计算研究所 b 中国ENN集团数字研究所 c中国北京邮电大学0文章信息0关键词：联邦学习 边缘计算多方计算 委员会选择0摘要0联邦学习（FL）允许多方共同训练模型，而不泄露私人数据集。即使联邦学习阻止原始数据的共享，仍有可能从共享模型中提取个人或机密数据。安全多方计算（MPC）被利用来以保护隐私的方式聚合本地训练的模型。然而，在分散环境中，这会导致高通信成本和低可扩展性。我们设计了一种名为CE-Fed的新型通信高效的MPC启用的联邦学习。特别是，所提出的CE-Fed是一种分层机制，它通过少量成员形成模型聚合委员会，并且仅在委员会成员之间聚合全局模型，而不是所有参与者。我们开发了一个原型，并展示了我们的机制在不同数据集上的有效性。我们提出的CE-Fed在不损害隐私的情况下实现了高准确性、通信效率和可扩展性。01. 引言0人工智能（AI）技术在各个领域都有有用的应用，如医疗保健、智能建筑、自动车辆、远程监控和制造厂的预测性维护。训练这些AI模型需要大量数据才能获得可接受的准确性和吞吐量，从而提高用户体验。在不同组织产生的大量数据被聚合到基于云的服务器上，以生成更有效的推理模型。尽管这种方法是有益的，但将大量数据传输到集中式服务器会给骨干网络带来负担。它还会引入长延迟[1]，这对需要实时决策的应用（如自动驾驶汽车和自动汽车装配厂[2]）是不可接受的。除此之外，法律限制和对数据所有者共享私人信息的担忧[3]使他们不愿将其数据发送到数据中心进行模型训练[4]。因此，个体组织产生的大量数据仍以碎片化数据孤岛的形式存在。为了解决上述问题，谷歌的AI研究团队推出了联邦学习（FL）[5]。0� 通讯作者。电子邮件地址：renuga_k@ihpc.a-star.edu.sg（R. Kanagavelu），wei_qingsong@ihpc.a-star.edu.sg（Q. Wei），zengxiang_li@outlook.com（Z. Li）0zhang_haibin@ihpc.a-star.edu.sg（H. Zhang），juniarto_samsudin@ihpc.a-star.edu.sg（J. Samsudin），yang_yechao@ihpc.a-star.edu.sg（Y.Yang），gohsm@ihpc.a-star.edu.sg（R.S.M. Goh），sgwang@bupt.edu.cn（S. Wang）。0深度学习和边缘计算的交集，其中训练数据集仍然掌握在数据所有者手中，无需将数据汇集到单一位置。相反，模型训练被带到网络的边缘，因此数据永远不会离开网络，只有模型被发送到中央协调器进行聚合，如图1所示。它使客户端能够学习模型，而无需共享原始数据，也不依赖于任何可信的第三方来持有数据。但是，联邦学习依赖于中央服务器/协调器来聚合模型。参与联邦学习的所有客户端都应对中央服务器/协调器的角色作为模型聚合器达成完全一致。中央服务器/协调器可能会遇到单点故障，这将导致整个系统崩溃。我们选择去中心化的联邦学习框架[6]来克服这个问题。这是一种无服务器、去中心化的方法，客户端直接在没有中央服务器/协调器的情况下进行通信，如图2所示。尽管联邦学习使训练数据对本地用户保密，但在训练过程中仍然容易受到各种隐私攻击的影响，并导致隐私泄露。同时也存在可能性0https://doi.org/10.1016/j.array.2022.1002072022年3月10日收到；2022年6月10日修订后收到；2022年6月10日接受20数组15（2022）1002070R. Kanagavelu等。0图1。中央联邦学习。0图2。分散式FL。0图3。MPC启用FL。0图4。MPC启用FL-分层聚合。0通过逆向工程通信模型参数来提取本地用户数据集[7-9]。为了确保模型聚合的保密性并提供数据隐私保证，可以将隐私保护技术与FL一起使用，例如差分隐私（DP）[10]，安全多方计算（MPC）[11]和同态加密（HE）[12,13]。安全MPC允许多方之间进行安全计算，共同计算其敏感输入数据的函数。所有参与方只知道输出，同时保持这些输入私有。各方只能了解最终输出。尽管MPC具有安全数据共享的优势，但在大规模分散式联邦学习系统上实施时，它往往具有显著的通信和计算开销[14]。在传统的MPC启用FL中，每个客户端都会交换其0如图3所示，将本地训练模型的秘密份额与FL中的所有其他客户端共享。因此，当FL客户端数量增加时，通信开销也会呈指数方式增加。这些观察结果激发了我们提出一种名为CE-Fed的新型通信高效MPC启用联邦学习，其目标是减少通信开销和可扩展性。我们提出的CE-Fed的关键方法是选择少数客户端作为委员会成员，他们以分层方式使用MPC服务对所有FL客户端的本地模型进行聚合。因此，它避免了将每个客户端的模型参数共享给FL列表中的所有其他人。我们提出的CE-Fed分为两个阶段执行。在第一阶段，我们将位于彼此附近的FL客户端分组。使用MPC安全地聚合同一组中所有FL客户端的本地模型，形成组内模型。根据延迟，从每个组中选出一个客户端来形成聚合委员会。在第二阶段，委员会成员共同使用MPC对跨组模型进行聚合，如图4所示。我们的论文的主要贡献总结如下：0•我们通过实验结果定量分析了安全MPC集成到分散式联邦学习中的通信开销。•我们提出了分层模型聚合以减少MPC启用的联邦学习中产生的通信成本。•我们提出了基于延迟的委员会选举算法，用于MPC基础的分层模型聚合。•我们通过对各种数据集进行广泛实验，展示了我们的分散式通信高效MPC基础联邦学习的有效性。0本文的其余部分组织如下。第2节0描述了背景和相关工作。CE-Fed框架在第3节中介绍。实验分析和性能评估在第4节中介绍，然后在第5节中得出结论。02.背景和相关工作0在本节中，我们介绍了联邦学习的概述以及多方计算。我们还讨论了各种联邦学习研究工作的优点和局限性。02.1.联邦学习0在联邦学习（FL）出现之前，数据必须上传并在集中的数据中心或云中 consoli-dated。机器学习模型将从集中数据生成，然后部署进行推理和推荐。数据所有者30数组15（2022）1002070R. Kanagavelu等0既然数据和构建的机器学习模型都不再驻留在数据所有者的地方，数据所有者就无法控制它们。集中式服务提供商有可能从数据和模型上获得额外收入，并将它们用于一些非法目的。数据所有者无法阻止这种情况。0联邦学习（FL）已经成为一种有效的方法0谷歌的AI研究团队于2017年推出了这种方法[15]。中央服务器将基准ML模型发送给客户端。然后，每个客户端使用其本地数据训练自己的子模型，并将微调后的模型发送回中央服务器。中央服务器收集所有训练好的子模型并对它们进行聚合。然后聚合模型一遍又一遍地发送回客户端，直到它们学到所有的知识。在整个过程中，原始数据保存在客户端设备上，而本地模型被传输和共享。联邦模型通过迭代地聚合许多本地模型来提高其准确性，从而利用了大量设备的互补数据/输入。0联邦学习（FL）已经扩展到了协作0跨多个组织。根据样本和特征空间上的数据分布，它被分类为水平FL和垂直FL[16]。在水平FL中，不同组织的数据集（如不同的工业组织）具有相同的特征，但样本大小不同。在垂直FL中，不同的组织（如银行或保险公司）在同一城市内收集了具有不同特征的数据。0目前有一些开源的FL框架。谷歌的TensorFlow0联邦（TFF）是一个轻量级的开源框架，是社区的首次尝试。它是为安卓用户设计的，用于使用TFF在他们的手机上预测键盘下一个单词[17]。FATE[18]是由微众银行开发的联邦学习框架。它支持各种联邦学习方法。Pysyft[19]是一个仅支持FedAvg算法的Python库。它支持MPC和差分隐私。它可以在独立运行或多台机器上运行，并使用Web套接字API在不同客户端之间进行通信。Clara[20]是用于构建AI加速医学成像工作流的框架。Facebook的隐私保护机器学习框架是CrypTen[21]。02.2.隐私保护技术0安全MPC是一种隐私保护技术，允许进行安全计算0在敏感数据上进行计算。它最早是由姚期智在1986年引入的[22]。混淆电路和秘密共享是两种主导的MPC技术[23]。秘密共享是一种常用的MPC协议。它将敏感数据分割成秘密份额。原始数据是从这些秘密份额的组合中获得的。客户端除了最终输出之外无法了解任何信息。0在联邦学习中，模型参数和梯度是0与服务器共享以进行模型聚合。恶意用户有可能拦截模型参数，并进行反向工程来提取敏感数据，而在联邦学习中与服务器共享[24,25]。为解决此问题，可以使用诸如加法秘密共享[26]或Shamir秘密共享[27]等多方计算方法来在执行聚合之前加密梯度/模型更新，以便没有人能够看到梯度。0最近研究人员采用差分隐私（DP）[28]来0确保数据安全和保密。通过向数据添加随机噪声来保护数据隐私。引入噪声会在安全性和准确性之间进行权衡。这不适用于FL，因为向每个参与方的模型参数数据添加噪声可能会影响全局模型的准确性[29]。02.3. 相关工作0FL框架以提高可扩展性。我们进行了初步工作，其中委员会成员是随机选择的。随机选择可能不高效，因为各方地理分布可能会对延迟产生影响。此外，我们考虑了启用MPC的FL，并进行了新的性能实验和分析，使用不同的数据集。0在我们之前的工作[38,39]中，我们提出了一个两阶段MPC启用的0MPC用于FL框架中的保护隐私的模型聚合03. 动机0工作[40]。使用MPC协议，每个客户端将其本地训练的模型S分成n个秘密份额，每个份额对应参与客户端中的一个。这些秘密份额在对等客户端之间交换，每个客户端持有其他每个客户端的一个秘密份额。然后，每个客户端在本地计算所有客户端模型的一个秘密份额的总和。每个客户端的本地聚合的秘密份额进一步交换和聚合以重构模型S。n个客户端之间交换的消息总数与(i×(i−1)×2)成正比，即A(i2)。由于在FL框架中每个客户端与其他每个客户端之间的通信和连接，MPC导致更高的通信成本。传统MPC启用的FL中的模型聚合过程如图5所示。我们考虑六个客户端（节点1、节点2、节点3、节点4、节点5和节点6）进行说明。单个客户端的本地模型（A、B、C、D、E和F）具有隐私敏感性。它们被分成多个秘密份额[(A→A1，A2，A3，A4，A5，A6)，(B→A1，A2，A3，A4，A5，A6)，(C→A1，A2，A3，A4，A5，A6)，(D→A1，A2，A3，A4，A5，A6)，(E→A1，A2，A3，A4，A5，A6)，和(F→A1，A2，A3，A4，A5，A6)]。这些秘密份额在其他客户端之间交换，以便每个客户端持有每个其他客户端的一个份额。例如，节点1持有A1，A1，A1，A1，A1，A1。因此，每个客户端（节点1）进行秘密份额的本地聚合（G1→A1+A1+A1+A1+A1+A1）。这些在相应客户端的本地聚合的秘密份额G1、G2、G3、G4、G5和G6被交换和全局聚合（S→A1+A2+A3+A4+A5+A6）以消除随机性，从而重构所有客户端的本地模型。六个客户端之间交换的消息总数与(6×(6−1)×2)成正比，即60。40数组15（2022）1002070R. Kanagavelu等0图5. 启用MPC的模型聚合。0图6. 通信开销。0我们进行了初步的实验研究，以深入了解在隐私保护的联邦学习中考虑客户端数量如何影响通信开销。我们使用传统的MPC在MNIST数据集[41]上评估性能，使用以下参数：参与的客户端总数（N）=从4到128变化；本地轮数（E）=10；学习率（lr）=0.01；批量大小=10；通信轮数（T）=50。在FL与传统MPC和FL无MPC的两种情况下，通信开销显示在图6中。从图6中可以看出，启用MPC的FL中通信的消息数量随着客户端数量的增加而增加，因为每个客户端在每次通信轮中都与所有其他客户端交换模型参数的秘密份额。结果表明，与没有MPC的FL相比，交换的消息数量增加了5×-10×。这些发现激励我们提出了一个新的FL框架，以减少传统MPC启用的联邦学习中产生的通信成本。04. CE-Fed框架0在本节中，我们描述了所提出的CE-Fed框架，如图7所示，旨在减少传统MPC通信成本。所提出的CE-Fed选择少数客户端作为委员会成员，他们使用MPC服务以分层方式聚合所有FL客户端的本地模型。因此，它避免了将模型参数从每个客户端共享给所有其他FL列表中的客户端。我们提出的CE-Fed分两个阶段执行。在第一阶段，我们将位于彼此附近的FL客户端分组。所有FL0同一组中的客户端使用MPC进行安全聚合，形成一个组内模型。根据延迟，从每个组中选出一个客户端组成聚合委员会。在第二阶段，委员会成员共同使用MPC来聚合组间模型。它有三个模块：0（1）组长选举：该模块根据领导者到同一组中所有其他客户端的延迟来选择组长。（2）模型聚合委员会选择：该模块从组长中选择聚合委员会成员（3）分层模型聚合模块：该模块使用基于委员会的方法进行全局模型聚合0我们首先讨论了组长的选择，并介绍了我们实现中使用的术语。然后，我们介绍了聚合委员会成员的选择方法，最后我们描述了基于委员会的模型聚合如何帮助减少通信开销。我们框架中使用的一些重要变量在表1中描述。04.1. 组长选举0在联邦学习中涉及大量的客户端。去中心化联邦学习中客户端之间的通信面临着独特的挑战，随着参与客户端数量的增加。在联邦学习环境中，参与的客户端可以位于同一地区，也可以分布在不同地点（国家）的地理位置上。在去中心化环境中，需要客户端之间进行强有力的协调以实现更好的性能。如果参与的客户端位于地理分布的位置，它们之间会有更高的节点间延迟，这反过来会导致长时间的延迟。需要数百毫秒甚至数秒的时间来在多个地理位置之间传输数据。延迟最长的客户端是瓶颈，迫使所有其他客户端等待模型聚合。如果这种通信延迟没有得到妥善处理，将影响学习算法的可扩展性。为了减轻这一问题，我们提出了一种基于响应延迟对客户端进行分组的方法，并确保同一组中的所有客户端具有最小的节点间延迟。在对客户端进行分组后，从每个组中选出一个客户端作为领导者。我们选择每个组中的一个代表与其他组进行通信，而不是让每个人都与其他人共享秘密份额。这减少了通信开销。该组50数组15（2022）1002070R. Kanagavelu等人。0图7. CE-Fed框架。0表1 联邦学习框架中的变量。0类别符号类型描述0联邦学习0� Int参与FL客户端的数量� Int全局模型训练迭代次数� Int本地模型训练轮数�����Int每次通信轮的批量大小0委员会� Int当选委员会成员�数组委员会成员列表0CNN模型�张量本地模型参数�张量聚合模型的参数/权重�整数本地/聚合模型的参数/权重的大小0网络0� Int相互排斥组的数量� Int组中的客户端数量��数组组成员列表�Int节点间延迟�数组相互排斥组领导者列表0领导者是基于与其他客户端的平均延迟选择的。0假设每个客户端都处于固定位置，并且估计的延迟0任何一对客户端之间的延迟是预先知道的。选举出的0组领导者可能有机会参与全局模型0聚合。组中只有一个领导者，其余的人都是0是他的追随者。领导者以0频繁的间隔。如果在特定时间间隔内没有来自领导者的“活着”消息0特定时间间隔向其追随者发送“活着”消息，如果在0其他追随者将被选举为新的领导者。伪代码0特定时间间隔内没有来自领导者的“活着”消息，则组成员0我们的算法考虑了许多相互排斥的具有不同0组成和领导者选举的代码如算法1所示。01：函数{领导者选择（G，k，m，C）}2：组初始化 3：读取值 4：对于�∈[1，�]，执行5：���←���（��[1]） 6：对于�∈[1，�]，执行7：如果�j<���，则 8：������=� 9：结束如果 10：�←������11：结束对于 12：结束对于 13：结束函数0客户端数量。算法1 组领导者选举0为了进一步减少通信开销，将选举来自不同组的一部分领导者组成聚合委员会。委员会成员共同使用MPC服务安全地聚合不同组的本地模型。有几种方法可以形成安全模型聚合的委员会。当所有客户端都在本地区域设置中彼此靠近时，可以基于静态规则[42,43]选择委员会成员。当客户端位于不同的地理位置时，系统中的不同链接具有显着的延迟差异，这种方法不适用。我们的委员会选择基于延迟，选择具有低延迟（节点间延迟）到其他组的一部分领导者（m个领导者中的m个）作为成员，以增加委员会选择的效率。选举出的领导者不断与其他领导者交流并监视他们的延迟。我们考虑委员会有m个成员（（m≥3），基于这样的假设，即委员会成员之间没有串通。04.2. 聚合委员会选择0模型聚合分两个阶段进行，如图所示0• 组内模型聚合和 • 组间聚合。6𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖 = (𝑘𝑖 × (𝑘𝑖 − 1)) × 2 × 𝑎(1)𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑆𝑖𝑧𝑒𝑖 = 𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖 × 𝑠(2)𝑇 𝑜𝑡𝑎𝑙_𝐼𝑛𝑡𝑟𝑎_𝑀𝑠𝑔_𝑁𝑢𝑚 =𝐺=1𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖(3)𝑇 𝑜𝑡𝑎𝑙_𝐼𝑛𝑡𝑟𝑎_𝑀𝑠𝑔_𝑆𝑖𝑧𝑒 =𝐺∑𝑖=1𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑠𝑖𝑧𝑒𝑖(4)0数组15（2022）1002070R. Kanagavelu等人。0图8. CE-Fed分层模型聚合。04.3.1.组内模型聚合在训练过程中，同一组中的所有客户端开始使用其本地数据集在本地训练其模型。组中的每个客户端有两个主要任务：0•在本地数据上进行本地训练：从原始数据中提取特征后，客户端的数据分析模块对其本地数据进行本地训练。 •启用MPC的组内模型聚合：将本地训练的模型参数分割为秘密份额，并使用MPC协议进行安全聚合。0最初，每个客户端在本地数据集上进行局部训练，直到满足收敛标准。完成本地训练后，组内的客户端以点对点的方式协作学习模型。在分散的环境中没有可用的中央服务器来启动模型聚合过程，任何随机客户端  � �都可以启动该过程。个体本地模型参数/权重的张量  �是隐私敏感的。为了保护隐私，使用MPC秘密共享技术安全地聚合张量  �，而不损失准确性。张量  �根据同一组中的客户端数量被分割为多个张量作为秘密份额。每个客户端持有一个份额，并与同一组中的所有其他参与客户端交换其余份额。然后，客户端使用MPC对秘密份额进行安全模型聚合，以获得其组内模型。学习到一个良好的组内模型后，组长将其组的组内模型提交给组内模型聚合委员会进行全局协作学习。0算法2  组内模型聚合01: 函数{组内模型聚合(n, u, v, m)} 2:  对于  �  ∈ [1 , � ]  执行 3: 对于  �  ∈[1 , � ]  执行 4: 对于  �  ∈ [1 , � ]  执行 5:  �  ←  ������������� 6: 结束 7: 对于  �  ∈ [1 ,  执行 8: 将本地训练的模型分成  u  个秘密份额 9:与聚合委员会的成员分享它 10: 结束 11: 结束 12:  �  =  ������������������ 13: 对于  �  , � ]& �  ≠  �  执行 14: 将  �  广播给对等客户端 15: 从对等客户端接收  � 16:结束 17:  �  ←  �����  −  �������������������� 18:  结束0良好的组内模型后，组长将其组的组内模型提交给组内模型聚合委员会进行全局协作学习。0模型提交给全局协作学习的模型聚合委员会。组内模型聚合的伪代码如算法2所示。基于在客户端之间交换的消息数量估算的组内模型聚合的通信成本。可以通过将在所有组的客户端之间交换的消息数量相加来计算。我们计算中使用的变量在表1中描述。在组内模型聚合期间交换的消息的数量表示为  ����� _ ��� _ ��� _ ���� �  给出为：0在组内模型聚合期间在第i组中交换的消息的大小表示为  ����� _ ��� _ ��� _ ���� �  给出为0在所有组之间的组内模型聚合中交换的消息的总数表示为  � ���� _ ����� _ ��� _ ��� 给出为0在所有组之间的组内模型聚合中交换的消息的大小表示为  � ���� _ ����� _ ��� _ ����  给出为04.3.2. 组间模型聚合优化的不同组的组内模型最终由模型聚合委员会成员聚合，形成组间全局模型。每个聚合委员会成员使用MPC将从不同组领导者接收的组内模型分割成m个秘密份额。它持有一个份额，并与所有其他委员会成员交换其余份额。委员会成员共同使用MPC执行组间全局模型的安全聚合，并将聚合的全局模型广播给各个组的组长。然后，组长将组间模型广播给其组内的跟随者。直到模型收敛，才重复组内模型聚合和组间模型聚合的整个过程。组间模型聚合的伪代码如算法3所示。0组间模型聚合的通信成本是根据模型之间交换的消息数量来估计的70Array 15（2022）1002070R. Kanagavelu等0算法3 组间模型聚合01：函数{Inter-group.Model.aggregation(Q，m，n)}2：对于�∈[1，�]，执行 3：�←�����−����������04：结束 5：对于�∈[1，�]，将组内模型分割成m个秘密份额07：与聚合委员会成员分享08：结束9：对于�∈[1，�]，求秘密份额之和011：对于�∈[1，�]和�≠�执行012：向对等客户端广播�013：从对等客户端接收�014：结束015：�←���������������������−����������016：结束 17：返回�18：EndFunction0聚合委员会成员之间交换的消息数量，表示为����� _ ��� _ ��� _ ���，可以计算0����� _ ��� _ ��� _ ��� =（� ×（� − 1））× 2 × �（5）0组内模型聚合中交换的消息大小表示为����� _ ��� _ ��� _ ����0����� _ ��� _ ��� _ ���� = ����� _ ��� _ ��� _ ��� × �����（6）0分层模型聚合减少了份额的数量0在所有参与的客户端之间交换，因为秘密份额只与选举委员会成员m共享，其中m� n。客户端之间交换的消息总数表示为Total_Msg_Num，并计算如下：0����� _ ��� _ ��� = 0����� _ ��� _ ��� _ ���（7）0交换的消息总数与�（� 2）成正比+0当k，m � n时，与传统的MPC启用的FL方法[O(n 2)]相比，通信成本�（�2），非常少。05.实验和结果05.1.实验设置0为了实施和评估我们提出的CE-Fed的有效性0框架，我们使用PyTorch 1.2.0和Python3.74作为机器学习库。我们考虑了三个公共图像数据集，MNIST [44]，CIFAR-10[45]和时尚MNIST数据集[41]。我们使用了由两个5×5卷积层组成的CNN模型。第一层有32个通道，第二层有64个通道。每一层后面都跟着2×2的最大池化，使用ReLu激活函数，最后是一个softmax输出层。该模型有大约600,000个可训练参数。在我们的实验中，我们研究了使用IID（独立同分布）和非IID数据集的性能和有效性。在IID分布中，数据被洗牌并分配给所有客户端，而在非IID分布中，首先按标签对数据进行排序，然后根据每个客户端固定数量的标签进行分区，并且不同客户端的样本之间没有重叠。为了消除客户端采样带来的随机性，所有客户端都参与每一轮训练。学习率设置为0.01，本地轮数设置为5，批量大小设置为64。我们使用随机梯度下降（SGD）作为优化器。我们考虑4个组，并使用FedAvg进行模型聚合。我们在实验中使用准确性和通信成本作为性能指标。05.2.通信成本0通信成本是根据发送的消息数量来评估的0在客户端之间使用三种不同数据集（MNIST，CIFAR-10和时尚MNIST）传输的份额（消息）以及消息的大小如图9、图10和图11所示。我们将我们提出的CE-Fed的性能与传统的MPC启用的FL框架（FL+传统MPC），传统FL（FL）和两阶段MPC启用的FL（Two-phase）[38]进行比较。05.2.1. MNIST数据集0我们在客户端上使用了MNIST的两种不同数据分布。0独立同分布（IID）数据设置中，每个客户端具有平衡和相同的数据点。对于IID数据分布，我们首先对数据进行洗牌，然后平均分配给客户端。然而，在实际场景中，客户端的数据集更可能是非均匀和不平衡的（非IID）。对于非IID数据异质分布，我们以不同的比例将数据分配给客户端。0IID和非IID的通信轮次准确性0如图9(a)和图9(d)所示。在非IID情况下，达到98%的测试准确性需要更多的轮次（约为10倍），这表明与IID情况相比，非IID数据确实会减慢收敛速度。还观察到准确性受非IID数据异质性的影响。0在传统的MPC启用的FL中，每个客户端共享其秘密份额0与每个其他客户端合作重建全局联合模型。因此，在MPC启用的FL中，交换的秘密份额数量与客户端数量成正比，即O（i2）。这导致了大量的通信开销，如第2.1节所分析的那样。在传统的FL中，每个客户端都与每个其他客户端共享其模型参数以进行全局模型聚合。消息的数量和大小随着客户端数量的增加而增加。在两阶段MPC启用的FL[38]中，所有参与的客户端形成一个单一的组，并且从该组中随机选择委员会成员进行全局模型聚合。消息的数量和大小比MPC启用的FL中要低得多。然而，在我们提出的具有聚合委员会方法的FL（CE-Fed）中，基于客户端的地理位置形成多个组，并且从每个组中选举出一个领导者参与全局模型聚合。所有客户端只与委员会成员共享其秘密份额。在IID和非IID情况下，消息交换的数量平均减少了90%，如图9(b)和图9(e)所示。因此，这证明了我们提出的方法具有更低的通信成本和更好的可扩展性。我们观察到，在非IID情况下，交换的消息数量约为10倍，比在IID情况下更多，因为非IID需要更多的通信轮次才能达到最大的测试准确性，如图9(a)和图9(d)所示。0我们考虑的另一个度量标准是评估通信成本0是客户端和委员会成员之间交换的消息大小。在客户端和委员会成员之间交换大量消息会导致它们之间传输的数据量大。我们通过改变客户端的数量从4到128来进行实验。已经观察到，我们提出的CE-Fed在IID和非IID分布中平均减少了90%的通信成本，如图9(c)和图9(f)所示。05.2.2. CIFAR-10数据集0为了进一步评估我们提出的FL的有效性，我们进行了实验0在CIFAR-10数据集上进行实验。对于IID设置，我们将5万个训练样本平均分配给客户端。对于非IID设置，我们不均匀地分享数据，并限制每个客户端的类别数为2。IID和非IID的通信轮次准确性分别显示在图10(a)和图10(d)中。需要更多的80Array 15（2022）1002070R. Kanagavelu等0图9. MNIST数据集。0图10. CIFAR-10数据集。0与MNIST数据集相比，在非IID情况下收敛所需的轮次更多，这表明非IID具有更强的数据异质性。0交换的份额数量迅速增加0与我们提出的FL与委员会选择相比，在MPC启用的FL中，随着客户端数量的增加，平均减少了80%–90%的通信成本，如图10(b)和图10(e)所示。这表明传统的MPC启用的FL在更多客户端加入FL时不具有可扩展性。这证明我们的方法能够支持更多参与FL的客户端。与两阶段MPC启用的FL方法[38]相比，我们提出的CE-Fed平均降低了80%–90%的通信成本。0当CIFAR-10和MNIST数据集进行相似的观察时0考虑客户端之间交换的消息大小。已经观察到，我们的CE-Fed方法在IID和非IID分布中随着客户端数量的增加平均降低了80%–90%的通信成本，如图10(c)和图10(f)所示。这证明我们提出的CE-Fed方法更有效地产生低通信开销。05.2.3.时尚-MNIST数据集0我们提出的FL的有效性是在时尚-MNIST上研究的0数据集。对于IID数据分布，我们首先对数据进行洗牌，然后平均分配0分发给客户端。对于非IID数据，数据集被分成200个300个样本的碎片，每个客户端随机选择两个碎片。IID和非IID时尚-MNIST（FMNIST）数据集的准确性分别显示在图11(a)和图11(d)中，与MNIST数据集的准确性接近。消息数量方面的通信成本显示在图11(b)和图11(e)中。我们提出的CE-Fed方法在IID和非IID情况下平均减少了80%–90%的消息交换。它与MNIST数据集的观察结果相似。0消息大小方面的通信成本结果为0如图11(c)和11(f)所示。已经观察到，在传统的MPC启用的FL中，通信成本随着IID和非IID分布中客户端数量的增加而显著增加。它与MNIST和CIFAR-10数据集的观察结果相同。0从上述实验分析中，已经观察到0我们提出的CE-Fed随着客户端数量的增加显著降低了通信成本。05.3.准确性0为了研究我们提出的FL的有效性，准确性得分为0所提出的CE-Fed方法与集中式训练和本地训练进行了比较，如图12所示。在本地训练中，模型是在个别客户端的本地数据上训练的90数组15（2022）1002070R. Kanagavelu等。0图11.时尚-MNIST数据集。0图12.准确性。0图13.准确性（不同客户端数量）比较。0使用本地数据集进行本地训练。集中式训练在集中数据上训练模型。实验结果表明，联邦学习的测试准确性与集中式学习相当，并且优于本地训练。已经观察到，与本地训练相比，FL训练在MNIST、CIFAR-10和时尚-MNIST上的准确性分别提高了22%、33%和17%。本地训练准确性较低的主要原因是本地数据集的大小不够大。0图13显示了在MNIST上提出的CE-Fed的准确性分数，0通过改变客户端数量来研究CIFAR-10和时尚MNIST数据集0客户端。已经观察到，所提出的CE-Fed方法在更多客户端加入系统时，即使达到了稳定的准确性。这表明我们提出的方法是可扩展的。06.结论0在本文中，我们提出并实现了一个CE-Fed框架0采用分层MPC模型聚合。它支持多方共同学习机器学习模型，以保护隐私的方式。我们提出的分层模型聚合减少了10[1]e feature extraction in[2][3][4][5][6][7][8][9][10][29][30][38][39]0Array 15 (2022) 1002070R. Kanagavelu等0MPC协议中产生的通信成本，并以保护隐私的方式聚合模型，而不会影响准确性。我们提出的CE-Fed框架的有效性在各种数据集上得到了证明。上述实验表明，我们提出的CE-Fed能够显著减少通信成本，同时实现类似的准确性和隐私。0CRediT作者贡献声明0Renuga Kanagavelu：研究设计和撰写，写作 -0原始草案。 Qingsong Wei：研究设计和撰写，原始草案。 ZengxiangLi：研究设计和撰写。 Haibin Zhang：对重要知识内容进行批判性修订。Juniarto Samsudin：对重要知识内容进行批判性修订。 YechaoYang：对重要知识内容进行批判性修订。 Rick Siow Mong Goh：研究设计。Shangguang Wang：研究设计。0竞争利益声明0作者声明他们没有已知的竞争性财务利益或个人关系。0在本文中，我们提出并实现了一个CE-Fed框架0致谢0所有作者都批准了手稿的最终版本。0参考文献0移动边缘计算。IEEE Trans Mob Comput 2020。0分散算法是否优于集中算法？去中心化并行随机梯度下降的案例研究。在：NIPS。2017。0隐私保护的物联网查询：挑战、解决方案和机遇。IEEE Netw 2018;32(6):144–51。0通过大规模Facebook广告数据分析性别不平等。Proc Natl Acad Sci 2018;115(27):69586963。0无需集中式训练数据。2017，https://ai.googleblog.com/2017/04/federated-learning-collaborative.html . Google AI Blog。0Wachinger Christian.BrainTorrent：用于分散式联邦学习的点对点环境。2019，https://arxiv.org/pdf/1905.06731.pdf。0机器学习模型。在：IEEE安全与隐私研讨会论文集。2017。0学习：被动和主动白盒推断攻击下的独立和联邦学习。在：IEEEACM安全与隐私研讨会论文集。2019。0Segal A, Seth K.隐私保护机器学习的实用安全聚合。在：ACM计算机与通信安全会议论文集。2017。0OBrien R, Steinke T, Vadhan S.差分隐私：非技术观众的入门指南。范德堡J娱乐技术法律2018;21(1):209–75。0[11]  Evans D, Kolesnikov V, Rosulek M. 安全多方0计算。NOW Publishers; 2018。0[12]  Chillotti I, Georgieva M, Izabachne M. 更快的打包同态操作0和TFHE的高效电路引导。在：密码学进展，第I部分。第10624卷。计算机科学讲义，2017年，第377–408页。0[13]  Phong LT, Aono Y, Hayashi T, Wang L, Moriai S. 隐私保护深度0通过加法同态加密进行学习。IEEE Trans Inf Forensics Secur 2018;13(5):1333–45。0[14]  Ivan D, Ishai Y, Mikkel K. 完全安全的多方计算和0密码学技术的计算开销。在：密码技术理论与应用的第29届年会。2010年。0[15] McMahan B, Ramage D. 联邦学习：协作机器学习0无需集中式训练数据。2017年，https://ai.googleblog.com/2017/04/federated-learning-collaborative.html。Google。AI博客。0[16]  Yang Q, Liu Y, Chen T, Tong Y. 联邦机器学习：概念和0应用。ACM Trans Intell Syst Technol（TIST）2019。0[17] Tensor flow federated。2020年，取自https://www.tensorflow.org/0联邦/。最后[访问时间：2020年7月]。0[18] Webank FATE（联邦AI技术支持者）。2020年，取自https：0//github.com/FederatedAI/FATE。最后[访问时间：2020年8月]。0[19] OpenMined/PySyft-用于加密、隐私保护深度学习的库。02020年，取自https://github.com/Op