通信高效的联邦学习：CE-Fed 提高隐私保护与性能的新型模型聚合机制

0Array 15（2022）1002070下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。0ScienceDirect上提供的内容列表0数组0期刊主页：www.elsevier.com/locate/array0CE-Fed：通信高效的多方计算启用的联邦学习0Renuga Kanagavelu a，�，Qingsong Wei a，Zengxiang Li b，Haibin Zhang a，Juniarto Samsudin a，Yechao Yang a，Rick Siow Mong Goha，Shangguang Wang c0a 新加坡A*STAR高性能计算研究所，b 中国ENN集团数字研究所，c中国北京邮电大学0文章信息0关键词：联邦学习 边缘计算多方计算 委员会选择0摘要0联邦学习（FL）允许多方共同训练模型，而不泄露私人数据集。即使联邦学习阻止了原始数据的共享，仍有可能从共享模型中提取个人或机密数据。安全多方计算（MPC）被利用来以保护隐私的方式聚合本地训练的模型。然而，在分散环境中，这会导致高通信成本和低可扩展性。我们设计了一种名为CE-Fed的新型通信高效的MPC启用的联邦学习。特别是，所提出的CE-Fed是一种分层机制，它通过少量成员形成模型聚合委员会，并且仅在委员会成员之间聚合全局模型，而不是所有参与者。我们开发了一个原型，并展示了我们的机制在不同数据集上的有效性。我们提出的CE-Fed在不损害隐私的情况下实现了高准确性、通信效率和可扩展性。01. 引言0人工智能（AI）技术在各个领域都有有用的应用，如医疗保健、智能建筑、自动车辆、远程监控和制造厂的机器预测性维护。训练这些AI模型需要大量数据才能实现可接受的准确性和吞吐量，从而提高用户体验。不同组织产生的大量数据被汇总到基于云的服务器上，以产生更有效的推理模型。尽管这种方法是有益的，但将大量数据传输到集中式服务器会加重骨干网络的负担。它还会引入长延迟[1]，这在需要实时决策的应用中是不可接受的，比如自动驾驶汽车和自动汽车装配厂[2]。除此之外，法律限制和对数据所有者共享私人信息的担忧日益增加[3]，使他们不愿将其数据发送到数据中心进行模型训练[4]。因此，个体组织产生的大量数据仍然以碎片化数据孤岛的形式存在。为了解决上述问题，谷歌的AI研究团队推出了联邦学习（FL）[5]。它已经成为0� 通讯作者。电子邮件地址：renuga_k@ihpc.a-star.edu.sg（R. Kanagavelu），wei_qingsong@ihpc.a-star.edu.sg（Q. Wei），zengxiang_li@outlook.com（Z. Li）0zhang_haibin@ihpc.a-star.edu.sg（H. Zhang），juniarto_samsudin@ihpc.a-star.edu.sg（J. Samsudin），yang_yechao@ihpc.a-star.edu.sg（Y.Yang），gohsm@ihpc.a-star.edu.sg（R.S.M. Goh），sgwang@bupt.edu.cn（S. Wang）。0深度学习和边缘计算的交集，其中训练数据集仍然掌握在数据所有者手中，无需将数据汇集到单一位置。相反，模型训练被带到网络的边缘，因此数据永远不会离开网络，只有模型被发送到中央协调器进行聚合，如图1所示。它使客户端能够学习模型，而无需共享原始数据，也不依赖于任何可信的第三方来持有数据。然而，联邦学习依赖于中央服务器/协调器来聚合模型。参与联邦学习的所有客户端都应对中央服务器/协调器的角色作为模型聚合器达成完全一致。中央服务器/协调器可能会遇到单点故障，这将导致整个系统崩溃。我们选择去中心化的联邦学习框架[6]来解决这个问题。这是一种无服务器、去中心化的方法，客户端直接在没有中央服务器/协调器的情况下进行通信，如图2所示。尽管联邦学习使训练数据对本地用户保密，但在训练过程中仍容易受到各种隐私攻击的影响，并导致隐私泄露。还存在一种可能性0https://doi.org/10.1016/j.array.2022.100207收到日期：2022年3月10日；收到修订稿日期：2022年6月10日；接受日期：2022年6月10日20数组15（2022）1002070R. Kanagavelu等。0图1. 中央联邦学习。0图2. 分散式FL。0图3. MPC启用FL。0图4. MPC启用FL-分层聚合。0通过反向工程通信模型参数来提取本地用户的数据集[7-9]。为了确保模型聚合的保密性并提供数据隐私保证，可以将隐私保护技术与FL一起使用，例如差分隐私（DP）[10]，安全多方计算（MPC）[11]和同态加密（HE）[12,13]。安全MPC允许多方在它们的敏感输入数据上共同计算函数。所有参与方只知道输出，同时保持这些输入私密。参与方只能了解最终输出。尽管MPC具有安全数据共享的优势，但在大规模分散式联邦学习系统上实施时往往存在显著的通信和计算开销[14]。在传统的MPC启用FL中，每个客户端都会交换其在FL列表中的本地训练模型的秘密份额。0如图3所示，通过与FL中的所有其他客户端共享本地训练模型的秘密份额，当FL客户端数量增加时，通信开销也会呈指数增长。这些观察结果激发我们提出了一种名为CE-Fed的新型通信高效MPC启用的联邦学习，其目标是减少通信开销和可扩展性。我们提出的CE-Fed的关键方法是选择少数客户端作为委员会成员，他们使用MPC服务以分层方式聚合所有FL客户端的本地模型。因此，它避免了将每个客户端的模型参数共享给FL列表中的所有其他人。我们提出的CE-Fed分为两个阶段执行。在第一阶段，我们将位于彼此附近的FL客户端分组。使用MPC安全地聚合同一组中所有FL客户端的本地模型，形成组内模型。根据延迟，从每个组中选出一个客户端来形成聚合委员会。在第二阶段，委员会成员共同工作，使用MPC聚合组间模型，如图4所示。我们论文的主要贡献总结如下：0•我们通过实验结果定量分析了安全MPC集成到分散式联邦学习中的通信开销。•我们提出了分层模型聚合以减少MPC启用的联邦学习中产生的通信成本。•我们提出了基于延迟的委员会选举算法，用于MPC基础的分层模型聚合。•我们通过对各种数据集进行广泛实验，展示了我们的分散式通信高效MPC基础的联邦学习的有效性。0本文的其余部分组织如下。第2节0描述了背景和相关工作。CE-Fed框架在第3节中介绍。实验分析和性能评估在第4节中介绍，随后是第5节的结论。02. 背景和相关工作0我们在本节中介绍了联邦学习的概述以及多方计算。我们还讨论了各种联邦学习研究工作的优点和局限性。02.1. 联邦学习0在联邦学习（FL）出现之前，数据必须上传并在集中的数据中心或云中consolida。机器学习模型将从集中数据生成，然后部署进行推理和推荐。数据所有者30数组15（2022）1002070R. Kanagavelu等0既然数据所有者不再控制数据和构建的机器学习模型，因为它们都不再驻留在数据所有者的位置，那么集中式服务提供商有可能获取数据以及模型的额外收入，并将它们用于一些非法目的。数据所有者无法阻止这种情况。0联邦学习（FL）已经成为一种有效的方法0谷歌的人工智能研究团队在2017年推出了联邦学习[15]。中央服务器将基线机器学习模型发送给客户端。然后，每个客户端使用其本地数据训练自己的子模型，并将微调后的模型发送回中央服务器。中央服务器收集所有训练好的子模型并对它们进行聚合。然后将聚合模型再次发送回客户端，如此反复，直到它们学到所有的知识。在整个过程中，原始数据保存在客户端设备上，而本地模型被传输和共享。联邦模型通过迭代聚合许多本地模型来提高其准确性，从而利用来自大量设备的互补数据/输入。0联邦学习（FL）已经扩展到协作0跨多个组织。根据样本和特征空间上的数据分布，它被分类为水平FL和垂直FL[16]。在水平FL中，不同组织的数据集（如不同的工业组织）具有相同的特征但不同的样本大小。在垂直FL中，不同的组织（如银行或保险公司）在同一城市内收集了具有不同特征的数据。0目前有一些开源的联邦学习框架。谷歌的TensorFlow0联邦（TFF）是一个轻量级的开源框架，是社区的首次尝试。它设计用于安卓用户，在他们的手机上使用TFF来预测键盘的下一个单词[17]。FATE[18]是由微众银行开发的联邦学习框架。它支持各种联邦学习方法。Pysyft[19]是一个仅支持FedAvg算法的Python库。它支持多方计算和差分隐私。它可以在独立运行或多台机器上运行，并使用Web套接字API在不同客户端之间进行通信。Clara[20]是用于构建AI加速医学成像工作流的框架。Facebook的隐私保护机器学习框架是CrypTen[21]。02.2. 隐私保护技术0安全多方计算是一种隐私保护技术，允许进行安全计算0在对敏感数据进行计算时保护隐私。它最早由姚期智在1986年引入[22]。混淆电路和秘密共享是两种主导的多方计算技术[23]。秘密共享是一种常用的多方计算协议。它将敏感数据分割成秘密份额。原始数据是从这些秘密份额的组合中获得的。客户端除了最终输出外无法获得任何信息。0在联邦学习中，模型参数和梯度是0与服务器共享以进行模型聚合。存在恶意用户可能拦截模型参数并进行逆向工程以提取敏感数据的可能性，而在联邦学习中与服务器共享[24,25]。为解决此问题，可以使用诸如加性秘密共享[26]或Shamir秘密共享[27]等多方计算方法来对梯度/模型更新进行加密，以便在进行聚合之前没有人能够看到梯度。0差分隐私（DP）是研究人员最近采用的一种方法[28]，用于0确保数据安全和保密性。通过向数据添加随机噪声来保护数据隐私。引入噪声会在安全性和准确性之间进行权衡。但不适用于联邦学习，因为向每个参与方的模型参数数据添加噪声可能会影响全局模型的准确性[29]。02.3. 相关工作0FL框架以提高可伸缩性。我们进行了初步工作，其中委员会成员是随机选择的。随机选择可能不高效，因为各方地理分布可能会对延迟产生影响。此外，我们考虑了启用MPC的FL，采用分层模型聚合，并进行了新的性能实验，并分析了不同数据集的结果。0在我们之前的工作[38,39]中，我们提出了一个两阶段的MPC启用0MPC用于FL框架中的隐私保护模型聚合03. 动机0MPC用于FL框架中的隐私保护模型聚合0工作[40]。使用MPC协议，每个客户端将其本地训练的模型S分成n个秘密份额，每个份额对应参与客户端中的一个。这些秘密份额在对等客户端之间交换，每个客户端持有其他每个客户端的一个秘密份额。然后，每个客户端在本地计算所有客户端模型的一个秘密份额的总和。每个客户端的本地聚合秘密份额进一步交换并聚合以重构模型S。n个客户端之间交换的消息总数与（�×（�−1）×2）成正比，即�(�2)。由于MPC在FL框架中每个客户端之间的通信和连接，导致更高的通信成本。传统MPC启用的FL中的模型聚合过程如图5所示。我们考虑六个客户端（Node1，Node 2，Node 3，Node 4，Node 5和Node6）进行说明。个别客户端的本地模型（A，B，C，D，E和F）具有隐私敏感性。它们被分成多个秘密份额[(A→�1，�2，�3，�4，�5，�6)，(B→�1，�2，�3，�4，�5，�6)，(C→�1，�2，�3，�4，�5，�6)，(D→�1，�2，�3，�4，�5，�6)，(E→�1，�2，�3，�4，�5，�6)，和(F→�1，�2，�3，�4，�5，�6)]。这些秘密份额在其他客户端之间交换，以便每个客户端持有每个其他客户端的一个份额。例如，Node1持有�1，�1，�1，�1，�1，�1。因此，每个客户端（Node1）进行秘密份额的本地聚合（G1→�1+�1+�1+�1+�1+�1）。这些在相应客户端的本地聚合秘密份额G1、G2、G3、G4、G5和G6被交换并全局聚合（S→�1+�2+�3+�4+�5+�6）以消除随机性，从而重构所有客户端的本地模型。六个客户端之间交换的消息总数与（6×（6−1）×2）成正比，即60。40数组15（2022）1002070R. Kanagavelu等0图5. 启用MPC的模型聚合。0图6. 通信开销。0我们进行了初步的实验研究，以深入了解在隐私保护FL中考虑客户端数量如何影响通信开销，使用传统的MPC。我们使用MNIST数据集[41]进行性能评估，使用以下参数：参与的客户端总数（N）= 4到128不等；本地轮数（E）=10；学习率（lr）= 0.01；批量大小= 10；通信轮数（T）=50。在FL中，传统MPC和不使用MPC的两种情况下的通信开销显示在图6中。从图6中可以看出，启用MPC的FL中通信的消息数量随着客户端数量的增加而增加，因为每个客户端在每次通信轮中都与所有其他客户端交换其模型参数的秘密份额。结果显示，与不使用MPC的FL相比，交换的消息数量增加了5×-10×。这些发现激发了我们提出一种新的FL框架，以减少传统MPC启用的联邦学习中产生的通信成本。04. CE-Fed框架0在本节中，我们描述了所提出的CE-Fed框架，如图7所示，其目标是减少传统MPC通信成本。所提出的CE-Fed选择了一些客户端作为委员会成员，他们使用MPC服务以分层方式聚合所有FL客户端的本地模型。因此，它避免了将模型参数从每个客户端共享给所有其他FL列表中的客户端。我们提出的CE-Fed分为两个阶段执行。在第一阶段，我们将位于彼此附近的FL客户端分组。所有FL0同一组中的客户端使用MPC进行安全聚合，形成一个组内模型。根据延迟，从每个组中选出一个客户端形成聚合委员会。在第二阶段，委员会成员一起使用MPC来聚合组间模型。它有三个模块：0（1）组长选举：该模块根据领导者到同一组中所有其他客户端的延迟来选择组长。（2）模型聚合委员会选择：该模块从组长中选择聚合委员会成员（3）分层模型聚合模块：该模块使用基于委员会的方法进行全局模型聚合0我们首先讨论组长的选择，并介绍我们实现中使用的术语。然后，我们介绍了聚合委员会成员的选择方法，最后我们描述了基于委员会的模型聚合如何帮助减少通信开销。我们框架中使用的一些重要变量在表1中描述。04.1. 组长选举0在FL中涉及大量的客户端。分散式FL中客户端之间的通信面临着独特的挑战，随着参与客户端数量的增加。在联邦学习环境中，参与的客户端可以位于同一地区，也可以分布在不同地点（国家）的地理位置上。在分散式环境中，需要客户端之间进行强有力的协调以实现更好的性能。如果参与的客户端位于地理分布的位置，它们之间会有更高的节点间延迟，这反过来会导致长时间的延迟。需要数百毫秒甚至几秒的时间来在多个地理位置之间传输数据。延迟最长的客户端是瓶颈，迫使所有其他客户端等待模型聚合。如果这种通信延迟没有得到适当处理，将会影响学习算法的可扩展性。为了缓解这一问题，我们提出了一种基于响应延迟对客户端进行分组的方法，并确保同一组中的所有客户端具有最小的节点间延迟。在对客户端进行分组后，从每个组中选出一个客户端作为领导者。我们选择每个组中的一个代表与其他组进行通信，而不是让每个人与其他每个人共享秘密份额。这减少了通信开销。该组50数组15（2022）1002070R. Kanagavelu等人。0图7. CE-Fed框架。0表1 联邦学习框架中的变量。0类别 符号 类型 描述0联邦学习0� Int 参与FL客户端的数量 � Int 全局模型训练迭代次数 � Int 本地模型训练轮数 ����� Int每次通信轮的批量大小0委员会� Int 被选举的委员会成员 � Array 委员会成员列表0CNN模型 � Tensor 本地模型参数 � Tensor 聚合模型的参数/权重 � Integer 本地/聚合模型参数/权重的大小0网络0� Int 互斥组的数量 � Int 组中的客户端数量 �� Array 组成员列表 � Int 节点间延迟 � Array互斥组领导者列表0领导者是基于与其他客户端的平均延迟选择的。0假设每个客户端都处于固定位置，并且估计的延迟0任何一对客户端之间的延迟是预先知道的。选举出的0组领导者可能有机会参与全局模型0聚合。组中只有一个领导者，其余的成员都是追随者。0是他的追随者。领导者定期向其追随者发送“活着”消息0频繁的时间间隔。如果在特定时间间隔内没有来自领导者的“活着”消息0在特定时间间隔内，如果没有来自领导者的“活着”消息，则具有最小节点间延迟的客户端将被0其他追随者将被选举为新的领导者。伪代码0组形成和领导者选举的伪代码如算法1所示。0我们的算法考虑了许多相互排斥的具有不同0客户端数量。算法1 组领导者选举01：函数{领导者选择（G，k，m，C）}2：组初始化 3：读取值 4：对于�∈[1，�]，执行5：���←���（��[1]） 6：对于�∈[1，�]，执行7：如果�j<���，则 8：������=� 9：结束如果 10：�←������11：结束对于 12：结束对于 13：结束函数04.2. 聚合委员会选择0为了进一步减少通信开销，将从不同组中选举出一部分组领导者以形成聚合委员会。委员会成员共同使用MPC服务安全地聚合不同组的本地模型。有几种方法可以形成安全模型聚合的委员会。当所有客户端都在本地区域设置中彼此靠近时，可以基于静态规则[42,43]选择委员会成员。当客户端位于不同的地理位置时，系统中的不同链接具有显着的延迟差异，这种方法就不适用。我们的委员会选择是基于延迟的，选择出具有低延迟（节点间延迟）到其他组的一部分组领导者（m个中的m个）作为成员，从而提高了委员会选择的效率。选举出的领导者不断与其他组领导者进行通信并监视他们的延迟。我们考虑委员会由m个成员（m≥3）组成，基于这样的假设，即委员会成员之间不存在串通。04.3. 启用MPC的分层模型聚合0模型聚合分为两个阶段，如图所示0图8：0• 组内模型聚合和 • 组间聚合。6𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖 = (𝑘𝑖 × (𝑘𝑖 − 1)) × 2 × 𝑎(1)𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑆𝑖𝑧𝑒𝑖 = 𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖 × 𝑠(2)𝑇 𝑜𝑡𝑎𝑙_𝐼𝑛𝑡𝑟𝑎_𝑀𝑠𝑔_𝑁𝑢𝑚 =𝐺=1𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑁𝑢𝑚𝑖(3)𝑇 𝑜𝑡𝑎𝑙_𝐼𝑛𝑡𝑟𝑎_𝑀𝑠𝑔_𝑆𝑖𝑧𝑒 =𝐺∑𝑖=1𝐼𝑛𝑡𝑟𝑎_𝐺𝑟𝑝_𝑀𝑠𝑔_𝑠𝑖𝑧𝑒𝑖(4)0数组15（2022）1002070R. Kanagavelu等人。0图8. CE-Fed分层模型聚合。04.3.1. 组内模型聚合在训练过程中，同一组中的所有客户端开始使用其本地数据集在本地训练其模型。组中的每个客户端有两个主要任务：0•在本地数据上进行本地训练：从原始数据中提取特征后，客户端的数据分析模块对其本地数据进行本地训练。 •启用MPC的组内模型聚合：将本地训练的模型参数分割为秘密份额，并使用MPC协议进行安全聚合。0最初，每个客户端在本地数据集上进行局部训练，直到满足收敛标准。完成本地训练后，组中的客户端以点对点的方式协作学习模型。在分散环境中没有可用的中央服务器来启动模型聚合过程，因此任何随机客户端  � �都可以启动该过程。个体本地模型参数/权重的张量  �是隐私敏感的。为了保护隐私，使用MPC秘密共享技术安全地聚合张量  �，而不损失准确性。张量  �根据同一组中的客户端数量被分割为多个张量作为秘密份额。每个客户端持有一个份额，并与同一组中的所有其他参与客户端交换其余份额。然后，客户端使用MPC对秘密份额进行安全模型聚合，以获得其组内模型。学习好的组内模型后，组领导者将其组的组内模型提交给组间模型聚合委员会。0算法2  组内模型聚合01: 函数{组内模型聚合(n, u, v, m)} 2:  对于  �  ∈ [1 , � ]  执行 3: 对于  �  ∈[1 , � ]  执行 4: 对于  �  ∈ [1 , � ]  执行 5: �  ←  ������������� 6: 结束 7: 对于  �  ∈ [1 , 执行 8: 将本地训练的模型分成  u  个秘密份额 9: 与聚合委员会成员分享10: 结束 11: 结束 12: �  =  ������������������������ 13: 对于  �  ∈ [1 , � ]& �  ≠  广播给对等客户端 15: 从对等客户端接收  �  16: 结束 17: �  ←  �����  −  ��������������结束0良好的组内模型后，组领导者将其组的组内模型发送给模型聚合委员会进行全局协作学习。0模型提交给全局协作学习的模型聚合委员会。组内模型聚合的伪代码如算法2所示。基于在客户端之间交换的消息数量估算组内模型聚合的通信成本。可以通过将在所有组的客户端之间交换的消息数量相加来计算。我们计算中使用的变量在表1中描述。在组内模型聚合期间在第i组中交换的消息数量计算如下：0在组内模型聚合期间在第i组中交换的消息大小表示为  ����� _ ��� _ ��� _ ���� �  为0在所有组之间的组内模型聚合中交换的消息总数表示为  � ���� _ ����� _ ��� _ ���  为0在所有组之间的组内模型聚合中交换的消息大小表示为  � ���� _ ����� _ ��� _ ����  为04.3.2. 组内模型聚合优化的不同组的组内模型最终由模型聚合委员会成员聚合，形成组间全局模型。每个聚合委员会成员使用MPC将从不同组领导者接收的组内模型分割成m个秘密份额。它持有一个份额，并与所有其他委员会成员交换其余份额。委员会成员共同使用MPC执行组间全局模型的安全聚合，并将聚合的全局模型广播给各个组的组领导者。然后，组领导者将组间模型广播给其组内的追随者。直到模型收敛，才重复组内模型聚合和组间模型聚合的整个过程。组间模型聚合的伪代码如算法3所示。0组间模型聚合的通信成本是根据模型之间交换的消息数量来估计的70数组15（2022）1002070R. Kanagavelu等0算法3 组间模型聚合01：函数{Inter-group.Model.aggregation(Q，m，n)}2：对于�∈[1，�]，执行 3：�←�����−����������04：结束 5：对于�∈[1，�]，将组内模型分割成m个秘密份额07：与聚合委员会成员分享08：结束9：对于�∈[1，�]，求秘密份额之和011：对于�∈[1，�]和�≠�，执行012：向对等客户端广播 �013：从对等客户端接收�014：结束015：�←���������������������−����������016：结束 17：返回� 18：结束函数0聚合委员会成员之间交换的消息数量，����� _ ��� _ ��� _ ���，可以按以下方式0����� _ ��� _ ��� _ ��� =（� ×（� − 1））× 2 × �（5）0组内模型聚合中交换的消息大小，����� _ ��� _ ��� _ ����，0����� _ ��� _ ��� _ ���� = ����� _ ��� _ ��� _ ��� × �����（6）0分层模型聚合减少了份额的数量0因为秘密份额只与当选的委员会成员m共享，其中m �n，所以只有在所有参与的客户端之间交换秘密份额。客户端之间交换的消息总数称为Total_Msg_Num，并按以下方式计算：0����� _ ��� _ ��� = 0����� _ ��� _ ��� _ ���（7）0交换的消息总数与�（� 2）成正比，加上0当k，m � n时，与传统的MPC启用的FL方法[O(n 2)]相比，�（� 2），�2的通信成本非常少。05.实验和结果05.1.实验设置0为了实施和评估我们提出的CE-Fed的有效性0在框架方面，我们使用了PyTorch 1.2.0和Python3.74作为机器学习库。我们考虑了三个公共图像数据集，MNIST [44]，CIFAR-10[45]和时尚MNIST数据集[41]。我们使用了由两个5×5卷积层组成的CNN模型。第一层有32个通道，第二层有64个通道。每一层后面都跟着2×2的最大池化，使用ReLu激活函数，最后是一个softmax输出层。该模型有大约600,000个可训练参数。在我们的实验中，我们研究了使用IID（独立同分布）和非IID数据集的性能和有效性。在IID分布中，数据被洗牌并分配给所有客户端，而在非IID分布中，首先按标签对数据进行排序，然后根据每个客户端固定数量的标签进行分区，并且不同客户端的样本之间没有重叠。为了消除客户端采样带来的随机性，所有客户端都参与每一轮训练。学习率设置为0.01，本地轮数设置为5，批量大小设置为64。我们使用随机梯度下降（SGD）作为优化器。我们考虑了4个组，并使用FedAvg进行模型聚合。我们在实验中使用准确性和通信成本作为性能指标。05.2.通信成本0通信成本是根据消息数量来评估的0在三个不同的数据集MNIST、CIFAR-10和时尚MNIST之间，客户端之间通信的份额（消息）以及消息的大小如图9、图10和图11所示。我们将我们提出的CE-Fed的性能与传统的MPC启用的FL框架（FL+传统MPC）、传统FL（FL）和两阶段MPC启用的FL（Two-phase）[38]进行比较。05.2.1. MNIST数据集0我们在客户端上使用MNIST的两种不同数据分布。0独立同分布（IID）数据设置中，每个客户端具有平衡和相同的数据点。对于IID数据分布，我们首先对数据进行洗牌，然后平均分配给客户端。然而，在实际场景中，客户端的数据集更可能是非均匀和不平衡的（非IID）。对于非IID数据异质分布，我们以不同的比例将数据分配给客户端。0IID和非IID的通信轮次准确性0如图9(a)和图9(d)所示。在非IID情况下，达到98%的测试准确性需要显着更多的轮次（约为10倍）比IID情况下，这表明与IID情况相比，非IID数据确实会减慢收敛速度。还观察到准确性受非IID数据异质性的影响。0在传统的MPC启用的FL中，每个客户端分享其秘密份额0与每个其他客户端合作重建全局联合模型。因此，在MPC启用的FL中，交换的秘密份额数量与客户端数量成正比，这导致了大量的通信开销，如第2.1节所分析的那样。在传统的FL中，每个客户端都与每个其他客户端共享其模型参数以进行全局模型聚合。消息的数量和大小随着客户端数量的增加而增加。在两阶段MPC启用的FL[38]中，所有参与的客户端形成一个单一的组，并且从该组中随机选择委员会成员进行全局模型聚合。消息的数量和大小要比MPC启用的FL中的要低得多。然而，在我们提出的具有聚合委员会方法的FL（CE-Fed）中，基于客户端的地理位置形成多个组，并且从每个组中选举出一个领导者参与全局模型聚合。所有客户端只与委员会成员分享他们的秘密份额。在IID和非IID情况下，消息交换的数量平均减少了90%，如图9(b)和图9(e)所示。因此，这表明我们提出的方法具有更低的通信成本和更好的可扩展性。我们观察到，在非IID情况下，交换的消息数量约为IID情况下的10倍，因为非IID需要更多的通信轮次才能达到最大的测试准确性，如图9(a)和图9(d)所示。0我们考虑的另一个指标是评估通信成本0是客户端和委员会成员之间交换的消息大小。客户端和委员会成员之间交换的大量消息会导致它们之间传输的数据量很大。我们通过改变客户端的数量从4到128来进行实验。实验结果表明，我们提出的CE-Fed在IID和非IID分布中平均减少了90%的通信成本，如图9(c)和图9(f)所示。05.2.2. CIFAR-10数据集0为了进一步评估我们提出的FL的有效性，我们进行了实验0在CIFAR-10数据集上进行实验。对于IID设置，我们将5万个训练样本平均分配给客户端。对于非IID设置，我们不均匀地分享数据集，并将每个客户端的类别数限制为2。IID和非IID的通信轮次准确性如图10(a)和图10(d)所示。需要显着更多的80第15号数组（2022）1002070R. Kanagavelu等人0图9.  MNIST数据集。0图10.  CIFAR-10数据集。0与MNIST数据集相比，在非IID情况下收敛所需的轮数，表明非IID具有更强的数据异质性。0交换的份额数量迅速增加0与我们提出的FL与委员会选择相比，在MPC启用的FL中，随着客户数量的增加，平均减少了80%–90%的通信成本，如图10(b)和图10(e)所示。这表明传统的MPC启用的FL在更多客户加入FL时不具备可扩展性。这证明了我们的方法在支持更多参与FL的客户方面是可扩展的。与两阶段MPC启用的FL方法[38]相比，我们提出的CE-Fed方法平均减少了80%–90%的通信成本。0CIFAR-10和MNIST数据集在0考虑到客户之间交换的消息大小。观察到我们的CE-Fed方法在IID和非IID分布中随着客户数量增加显著降低了通信成本，平均降低了80%–90%，如图10(c)和图10(f)所示。这证明了我们提出的CE-Fed方法在产生低通信开销方面更有效。05.2.3. Fashion-MNIST数据集0我们提出的FL的有效性是在Fashion-MNIST数据集上研究的。0数据集。对于IID数据分布，我们首先对数据进行洗牌，然后平均分配0在非IID数据中，数据集被分成200个300个样本的碎片，每个客户随机选择两个碎片。IID和非IIDFashion-MNIST（FMNIST）数据集的准确度分别显示在图11(a)和图11(d)中，接近于MNIST数据集的准确度。消息数量方面的通信成本显示在图11(b)和图11(e)中。我们提出的CE-Fed方法在IID和非IID情况下平均减少了80%–90%的消息交换。这与MNIST数据集的观察结果相似。0消息大小方面的通信成本结果为0如图11(c)和11(f)所示。观察到在传统的MPC启用的FL中，通信成本在IID和非IID分布中随着客户数量的增加显著增加。这与MNIST和CIFAR-10数据集的观察结果相同。0从上述实验分析中，观察到0我们提出的CE-Fed方法显著降低了随着客户数量增加而增加的通信成本。05.3. 准确度0为了研究我们提出的FL的有效性，比较了所提出的CE-Fed的准确度得分。0所提出的CE-Fed方法与集中式训练和本地训练进行了比较，如图12所示。在本地训练中，模型是在各个客户的本地数据上训练的90Array 15（2022）1002070R. Kanagavelu等。0图11. Fashion-MNIST数据集。0图12. 准确度。0图13. 准确度（不同客户数量）比较。0使用各个客户的本地数据集。集中式训练在集中数据上训练模型。实验结果表明，联邦学习的测试准确度与集中式学习相当，并且优于本地训练。观察到与本地训练相比，FL训练在MNIST、CIFAR-10和Fashion-MNIST上的准确度分别提高了22%、33%和17%。本地训练准确度较低的主要原因是本地数据集的大小不够。0图13显示了所提出的CE-Fed在MNIST上的准确度得分。0通过改变客户数量来比较CIFAR-10和Fashion MNIST数据集0观察到所提出的CE-Fed方法在更多客户加入系统时，即使达到了稳定的准确性。这表明我们提出的方法是可扩展的。06. 结论0R. Kanagavelu等人。0具有分层MPC模型聚合的CE-Fed框架。它支持多方共同学习机器学习模型，以保护隐私的方式。我们提出的分层模型聚合减少了10[1]e feature extraction in[2][3][4][5][6][7][8][9][10]0Array 15 (2022) 1002070R. Kanagavelu等人。0MPC协议中产生的通信成本，并以保护隐私的方式聚合模型，而不会影响准确性。我们提出的CE-Fed框架的有效性在各种数据集上得到了证明。上述实验表明，我们提出的CE-Fed能够显著减少通信成本，同时实现类似的准确性和隐私。0CRediT作者贡献声明0Renuga Kanagavelu：研究的构思和设计，撰写-0原始草案。 Qingsong Wei：研究的构思和设计，撰写-原始草案。 ZengxiangLi：研究的构思和设计。 Haibin Zhang：对重要知识内容进行批判性修订。Juniarto Samsudin：对重要知识内容进行批判性修订。 YechaoYang：对重要知识内容进行批判性修订。 Rick Siow MongGoh：研究的构思和设计。 Shangguang Wang：研究的构思和设计。0竞争利益声明0作者声明他们没有已知的竞争性财务利益或个人关系。0在本文中，我们提出并实现了一个CE-Fed框架0致谢0所有作者都批准了手稿的最终版本。0参考文献0移动边缘计算。IEEE Trans Mob Comput 2020。0分散式算法是否优于集中式算法？去中心化并行随机梯度下降的案例研究。在：NIPS。2017。0带隐私保护的物联网查询：挑战、解决方案和机遇。IEEE Netw 2018;32(6):144–51。0通过大规模Facebook广告数据分析性别不平等。Proc Natl Acad Sci 2018;115(27):69586963。0无需集中式训练数据进行联合学习。2017，https://ai.googleblog.com/2017/04/federated-learning-collaborative.html。Google AI Blog。0Wachinger Christian.BrainTorrent：用于分散式联合学习的点对点环境。2019，https://arxiv.org/pdf/1905.06731.pdf。0机器学习模型。在：IEEE安全与隐私研讨会论文集。2017。0学习：被动和主动白盒推断攻击下的独立和联合学习。在：IEEEACM安全与隐私研讨会论文集。2019。0Segal A, Seth K.针对保护隐私的机器学习的实际安全聚合。在：ACM计算机与通信安全会议论文集。2017。0OBrien R, Steinke T, Vadhan S.差分隐私：非技术观众的入门指南。范德堡J娱乐技术法律2018;21(1):209–75。0[11] Evans D, Kolesnikov V, Rosulek M. 安全多方0计算。现在的出版商; 2018。0[12] Chillotti I, Georgieva M, Izabachne M. 更快的打包同态操作0和TFHE的高效电路引导。在：密码学进展，第I部分。第10624卷。计算机科学讲义，2017年，第377–408页。0[13] Phong LT, Aono Y, Hayashi T, Wang L, Moriai S. 隐私保护深度0通过加法同态加密进行学习。IEEE Trans Inf Forensics Secur 2018;13(5):1333–45。0[14] Ivan D, Ishai Y, Mikkel K. 完全安全的多方计算和0密码学技术的计算开销。在：密码技术理论与应用的第29届年会。2010年。0[15] McMahan B, Ramage D. 联邦学习：协作机器学习0无需集中式训练数据。2017年，https://ai.googleblog.com/2017/04/federated-learning-collaborative.html。Google。AI Blog。0[16] Yang Q, Liu Y, Chen T, Tong Y. 联邦机器学习：概念和0应用。ACM Trans Intell Syst Technol（TIST）2019。0[17] Tensor flow federated。2020年，取自https://www.tenso