商业图像来源的联合学习算法和数据集研究

6534商业图像源Shreyansh JainIIIT德里印度新德里shreyansh21089@iiitd.ac.inKoteswar RaoJerripothula IIIT德里印度新德里koteswar@iiitd.ac.in摘要联合学习是一种协作式机器学习模式，它使多个客户端能够学习全局模型，而无需相互暴露数据。因此，它提供了一个具有隐私保护功能的安全学习平台本文介绍了一个新的数据集，它包含从8个不同的商业来源收集的23，326幅图像，并分为31个类别，类似于Office-31数据集。据我们所知，这是第一个专门为联邦学习设计本文还提出了两种新的联邦学习算法，即Fed-Cyclic和Fed-Star。在Fed-Cyclic中，客户端从其前一个客户端接收权重，通过本地训练更新它们，并将它们传递给下一个客户端，从而形成循环拓扑。在Fed-Star中，客户端从所有其他客户端接收权重，通过预聚合（以解决统计异构性）和本地训练更新其本地权重，并将其更新的本地权重发送到所有其他客户端，从而形成星形拓扑。实验结果表明，在新引入的数据集上，两种算法的性能均优于已有的基线算法。1. 介绍联邦学习（FL）是一种分布式学习范式，可以从分散的数据中学习全局模型，而无需在客户端之间交换敏感数据[24][29]。传统的机器学习要求用户将他们的数据上传到中央服务器，以进行学习和推理任务。最终用户没有权力和控制如何使用数据[11]。此外，将数据上传到中央服务器会产生严重的成本。 维持这样大量的数据和将学习参数传送回用户是昂贵的。为了克服隐私挑战和在集中式设置中维护大量数据的问题，Google提出了联邦学习范式[22]，其目的是克服这些问题联合学习框架解决了敏感的数据隐私和数据访问问题[41]。联邦学习模型是通过模型聚合而不是数据聚合来训练的。它要求模型在数据所有者的机器或本地边缘设备上进行本地训练，并且仅共享模型参数。联邦学习在物联网、医疗保健、金融等领域都有成功的应用[23][31]。传统的联合学习优化方法涉及使用SGD优化器在本地数据集上对本地客户端进行固定数量的epoch训练然后，本地客户端将模型权重上传到中央服务器，在中央服务器中，权重被平均以形成全局模型，该全局模型的参数与本地客户端共享。这种方法被称为FedAvg [29]，它有助于本地客户端从不同的客户端学习功能，同时保护隐私。然而，如果客户端表现出统计异构性，FedAvg可能会出现收敛问题，这可能会导致模型的非收敛[25] [21] [16]。因此，简单的FedAvg算法在处理设备级异构时可能没有帮助。在这项工作中，我们的目标是了解现实世界的sce-nario，不同的商业图像源可以合作，在联邦设置执行图像分类任务与隐私保护。以前的研究工作大多采用联邦学习算法在一个单一的数据集分布在客户端之间的IID或非IID的方式。这并不接近真实世界的场景，其中不同的客户端可能由于它们之间的域转移（统计异质性）而具有不同的数据分布[34] [30]。联邦学习中的另一个挑战是当客户端之间的数据分布不同时的收敛问题，这可能会增加客户端和中央服务器之间的通信成本，并导致次优模型性能。出于上述挑战，我们提出了我们的数据集，其中每个客户端这是6535因为每个商业图像源具有其自己的唯一图像集，从而导致客户端之间的域转移。该数据集受到Office-31数据集的启发[37]。我们还提出了两个新的算法，即联邦循环和联邦星。Fed-Cyclic是一种简单的算法，其中客户端从前一个客户端获得权重，局部训练模型，并以循环方式将权重传递给下一个客户端。通过这种方式，全局模型只是以循环的方式从一个客户端传递到另一个客户端。全局服务器不必涉及这里。即使我们需要它来保持匿名性，全局服务器也不需要执行任何计算，只能用于将一个客户端的参数传递给另一个客户端。Fed-Star要求每个客户端在其训练集上对每个客户端进行本地训练后，在预聚合期间以星形方式从所有其他客户端接收权重。在预聚合时，每个客户端优先学习存在于不同客户端中的离群值特征，同时保留共同特征以训练对客户端的数据分布之间的统计异质性不敏感实验表明，该算法具有较好的收敛性和准确性.总而言之，我们的贡献有三个方面：• 我们提出了一个专门为联邦学习设计的图像分类数据集，它接近于现实世界的场景，每个客户端都有一个唯一的数据集来展示域转移。• 我们提出了一种简单的算法Fed-Cyclic，该算法具有通信效率高，精度高的特点。• 我们提出了Fed-Star算法，该算法训练一个模型，该模型优先考虑广义和离群特征的学习，以创建针对每个客户端的异构数据集分布的个性化模型，并以更高的准确性获得比基线更快的收敛速度。2. 相关作品许多分布式优化算法已被开发用于处理并从加载的数据中得出推论[47]，[36]，[9] [2] [1]。然而，这种分布式方法需要将数据上传到中央服务器，这导致了在中央维护数据的相当大的成本，并且处理它需要大量的功率[32] [8]。此外，隐私问题仍然存在，因为用户无法控制如何使用和共享个人数据。联邦学习算法的第一个应用是Mcmahan等人提出的FedAvg。[29]第10段。当客户端之间的数据分布是IID时，Fe- dAvg的性能相当好，并且显示出更快的收敛速度。全球模式。当数据遵循Zhao等人提出的非IID分布时，在现实世界中会出现问题。48.具有数据异构性的联合学习：当客户端之间存在数据异构性时，普通的FedAvg会面临收敛问题。为了应对这一挑战，已经提出了不同的方法。FedProx [24]通过计算服务器和客户端之间的平方距离来增加一个邻近项，并使用局部损失来更好地优化全局模型。FedNova [43]提出了标准化平均，以消除异构联邦优化的目标不一致性FedMax，如Chen等人提出的。[7]，旨在通过使跨不同设备的相同类别的激活向量相似来减轻激活发散Reddi等人提出的FedOpt。[35]将不同的优化 器应 用于 服务 器， 如Adam ，Yogi 和Ada-Grad 。VRL-SGD [26]将方差缩减纳入本地SGD，并在降低通信成本的同时获得更高的精度FedCluster [5]建议将本地设备分组到不同的集群中，以便每个集群可以实现任何联邦算法。RingFed，由Yang等人提出。[46]通过在将参数上载到中央服务器之前在本地客户端之间预先聚集参数来最小化通信成本。SCAF-FOLD [20]使用方差缩减来减轻客户端漂移。Chen等人[6]提出了FedSVRG，它使用基于随机Jeong等人[18]提出了联邦增强（FAug），它涉及本地客户端联合训练生成模型以增强其本地数据集并生成IID数据集。在本文中，我们的目标是通过我们提出的算法训练对数据异构性具有鲁棒性的模型，具有更快的我们提出的方法之一，Fed-Star类似于RingFed [46]。RingFed涉及相邻客户端之间的权重的简单预聚合，而我们的方法涉及使用准确性度量的所有本地客户端之间的权重的预聚合。个性化联邦学习FedAvg还受到创建广义全局模型的影响，因为参数是平均的，这给具有异构数据的客户端提供了很差的表示。Personalized Federated Learning-ing涉及使用任何Federated vanilla算法训练全局模型，然后通过在每个客户端上本地训练模型为每个客户端[19] [28] [48] [11].客户端之间的数据异构性是个性化联邦学习的原因。探索数据增强以解释本地数据异质性，并涉及本地客户端以共同生成IID数据分布[12][44]。Wang等人[42]提出FAVOR，并在每一轮选择一个客户子集，以减轻非IID数据引入的偏差Chai等人[4]亲6536KΣKL|D|[|k =1 i=1|k =1 i=1我 我K|DK|i=1我 我|D|ΣΣΣ提出了TiFL方法，将不同层中的客户端Sattler等人[38]提出了一种基于客户端梯度的余弦相似性的分层聚类方法，以将相似客户端分割为相似的clus。为培训当地客户提供培训。 Xieetal. [45]提出了期望最大化来获得本地客户端和全局模型之间的最佳匹配，Deng等[10]提出了APFL算法来寻找个性化学习的最佳客户端-服务器对。有不同的基于聚类的方法，由不同的作者探索[3][14][17][13]。Tanet其中Dk表示第k个客户端拥有的数据。考虑到这一点，我们可以将目标函数重写如下：1K|D K|minL（x，y;w）（3）如果我们用下式表示第k个客户端的平均本地损耗Lk1|D K|L=L（x，y;w），（4）al. [40]提供了对个性化联邦框架的更深入分析。在我们的工作中，我们的目标是通过提出一种算法来在全球层面上对模型进行个性化，处理客户端的异常特征，同时保留一般化特征。我们可以将目标重新拟订如下：最小Σ |DK |Lk=1（五）联邦图像分类数据集大多数联邦学习算法都是在属于单个域的数据集上模拟的，这些数据集在客户端之间具有人工分区，或者使用现有的公共数据集。在真实世界场景中，数据集的分布可能因不同客户端而异，因为客户端表现出域转移。第一项工作提出了真实世界的图像数据集[27]，其中包含900多张图像，属于7个不同的对象类别，这些对象类别是通过街道摄像机捕获的，并用详细的框进行注释。图像数据集在目标检测中有应用。这表明我们的目标是最小化客户所遭受的本地损失的加权总和，并且权重与客户所拥有的数据样本数量成比例。这个目标函数与[29]相似。我们讨论了这个问题，使我们的论文自成一体。该公式激励FedAvg [29]以加权平均方式聚合局部模型权重以获得w，如下所示：第在我们的工作中，我们提出了第一个真实世界的图像数据集的图像分类任务，以更好地了解性能的联邦算法在现实世界中Kw=k=1|中文（简体）|w(6)|D|设置.3. 提出方法3.1. 目的在联合学习（FL）中，不同的客户端（例如K个客户端）协作学习全局模型，而无需共享数据。假设这样的模型的权重为w，并且假设样本（x，y）的模型的损失值为这种聚合迭代地发生，其中，在给定的在迭代中，中央服务器将全局模型发送到本地客户端，在本地客户端，本地模型被更新，然后被发送回全局服务器用于聚合，如图1所示。这种情况一直持续到全局模型收敛。全局模型我我（xi，yi;w）.现在的目标是找到最优w，使得实现以下目标：1Σ当地2模型1. 与客户端W82.当地培训3. 共享全局模型的权重4. 加权平均min|D| i=1L（xi，yi;w）⑴W_fi：第k个客户端的权重DK：第k个客户端的数据其中D表示不同客户端拥有的所有数据的并集，如下所示：KD=Dk（2）k=1312W1431132W2K6537D1D2D8图1. FedAvg算法[29]然而，FedAvg算法可能需要几轮通信才能收敛，特别是当客户端数据集中存在统计异构性时。因此，在本发明中，6538W2D2W1W31←wK←1KRKK准确度也会下降[15]。此外，FedAvg通过平均来自本地客户端的参数来创建通用化模型，迫使具有统计异质性的本地模型学习可能与其数据分布不同的通用表示在这种情况下，本地客户不会发现全局模型令人满意。考 虑 到FedAvg 的 这 些局 限 性 ，我 们 提 出 了 Fed-Cyclic和Fed-Star算法，这些算法迎合了客户端之间数据的统计异构性，并确保了全局模型的令人满意的局部性能。算法1提出的Fed-Cyclic算法输入初始权重winit，全局轮数R，局部时期数E，学习率η，由k索引的K个客户端（具有本地数据Dk和本地权重w，k）和局部小批量大小b。输出全局权重wR（R轮后）演算法：初始化w0←winit//全局权重初始化w0←w0对于r=0到R−1，对于k=1到K−1，wr+1←ClientUpdate（wr，k）使用SGD3.2. 联邦循环KRk+1Kr+1K我们提出了Fed-Cyclic算法来克服FedAvg算法所面临的挑战，该算法由于大量的边缘设备将参数上传到中央服务器而导致网络拥塞，从而导致通信瓶颈。模型可视化如图2wr+1←ClientUpdate（wr，K）使用SGDwr+1←wr+1wr+1←wr+1函数ClientUpdate（w，k）B（将Dk分成大小为b的批次）对于e=1到E，对于d∈B，做w<$w-η<$g（w;d ）返回wD3客户端一次通过. 我们在算法1中解释它，D1更详细。最重要的步骤如下：D4D8Wfi ：第k个客户端的权重DK：第k个客户端的数据我们使用wk+1r+1k日（七）D7D5D6W6图2.使用Fed-Cyclic的建议模型显示了本地训练后客户端循环传递的权重。在Fed-Cyclic算法中，我们使用全局模型来初始化网络中一个客户端的权重，然后训练客户端在本地客户端使用的优化器是SGD。然后，更新的权重被用于初始化网络中的下一个客户端的权重，如等式（7）所示，并且该过程继续，直到所有客户端以这种方式被周期性地训练，构成一个训练回合。在我们的Fed-Cyclic算法中，客户端可以直接将权重传递给下一个客户端，也可以让全局服务器这样做，以保持最后一个客户端的匿名在每轮结束之后，全局权重w被更新。这是一个通信效率高的算法，因为客户端可以直接传递权重到下一个客户端，而不涉及全局服务器。即使全局服务器参与将权重从一个客户端传递到另一个客户端，也不进行任何处理，并且仅使用来自单个K客户端初始化（k+1）个客户端。该算法对统计异质性具有鲁棒性，每个客户端都有机会在本地数据上训练全局模型。此外，我们可以认为全局模型正在数据集（D）的不同部分上定期训练，就好像它们是小批量（Dk）。因此，从全局模型的角度来看，该算法有点类似于典型的深度学习方法因此，收敛也得到了保证，不像FedAvg，我们期望收敛的简单聚合的权重。3.3. 联邦星报虽然Fed-Cyclic的收敛速度比FedAvg快，但它是一种非常简单的算法，类似于FedAvg。而且，它缺乏任何类型的聚合。在这里，我们提出了联邦星算法，在那里我们解决这些限制。在Fed-Star中，对于一段时间，以并行方式对一些时期局部地训练局部模型。一旦给定的时期完成，我们通过彼此共享它们的模型，在每个客户端本地执行权重的预聚集。每个客户端从每个其他客户端获取模型获得的准确度有助于我们确定W 4W8W5W 7W←w6539∗JJΣKΣJ←p+1KΣJJJΣKK∈{· ··}←∈{· ··}∈{···−}算法2提出的Fed-Star算法输入：初始权重winit，全局轮R，局部时期的数量E，学习率η，K，以k为基数（具有局部数据Dk和局部权重wk），局部W1小批量大小b、周期数P和权重矩阵MdimK K的输出：全局权重wR（R轮后）演算法：初始化w0←winit //初始化对于r=0到R−1，Wr，0K←wr，k∈{1，···，K}7对于p，，P1，对于k1，，K并行地做wr，p+1ClientUpdate（wr，p，k）对于j 1，K做将wr，p+1转移到第k客户端M（k，j）= 1−Acc（wr，p+1，Dk）/100图3.使用Fed-Star的所提出的模型展示了在本地客户端之间以星型拓扑方式的参数的预聚合，并且由等式（9）给出。然后将权重转移到全局模型，在全局模型中进行权重聚合Kwr，p+1=j=1M（k，j）≠r，p+1KM（k，j）j=1请注意，在预聚合期间，我们为与参考客户端显著不同的客户端提供更多权重，因为我们希望每个客户端都了解异常值Kwr+1=1|W |w r、P客户端的功能，同时保留广义的有限元分析，Kk=1 |D|K函数ClientUpdate（w，k）B（将Dk分成大小为b的批次）对于e=1到E，对于d∈B，做w<$w-η<$g（w;d ）返回w在预聚合期间。第k客户端的预聚合权重被描绘如下：KM（k，j）wj函数Acc（w，D）returnw在D的训练集上的精度wr，p+1=j=1KM（k，j）j=1（九）在预聚合期间，应当给予每个客户端的模型权重这些预先聚合的权重现在用于重新初始化用于训练的局部模型。这些步骤被迭代地执行，并且这些迭代被称为周期。这种模型共享的交互类似于星形网络拓扑，其中每个客户端与网络中的每个其他客户端交互。在一定数量的周期P之后，本地权重在中央服务器上聚合，因此一轮中有P个周期，其中本地模型彼此共享，它们在每个客户端进行预聚合以初始化，从而在下一个周期中训练模型。在轮r的任何周期p中，权重矩阵M得到开发，计算如下：M（k，j）=1-Acc（wr，p+1，Dk）/100（8）其中Acc（wr，p+1，Dk）表示以下训练精度：wr，p+1在数据集Dk的训练集上。它表示在第k客户端预聚合时来自第j个模型的模型的权重值。D2D1WD23W3全局模型D4W4D7D5D6W5W_fi：第k个客户端的权重DK：第k个客户端的数据W6D8W8W6540其中，我们在执行权重的预聚合时用权重的和来归一化权重。因此，每个本地模型倾向于从显著不同的其他客户端学习更多。在算法2中进一步解释了Fed-Star算法，并且可以通过图3可视化。该算法是通信密集型的，因为每个客户端必须与每个其他客户端交互。尽管如此，总的通信开销显着减少，因为客户端之间的预聚合步骤减少了对全局服务器的收敛的依赖。我们的算法达到更快的收敛速度比FedAvg更少的通信开销与全球服务器和更高的精度。Fed-Star很好地保留了异常值特征，并帮助创建了一个全球模型，该模型也针对本地客户进行了个性化。4. 拟议数据集我们提出了一个包含23，326张图像的数据集，这些图像来自8个不同的图像托管网站。8个来源中的每一个都代表了我们美联储式学习环境中的8个不同客户。图像的平均数量6541数据集[37]，其中包含办公室设置中的常见对象，如键盘，打印机，显示器，笔记本电脑等。我们的数据集包含与Office-31数据集中相同的图像类别。我们格外小心，以确保只拍摄来自每个来源的相关和高质量的图像。我们通过手动管理数据集来删除质量差、重复或不相关的图像表1和表2总结了显示图像在类内和源间分布情况的统计数据。示例图像如图4所示。图4.来自我们数据集的样本图像。类别平均标准品dev. 总图像背包108.50 37.98 868自行车108.62 31.73 869自行车头盔94.25 26.54 754书架77.13 25.93 617奶瓶计算器办公椅台灯106.87 24.87 855台式计算机99.00 19.13 792档案柜耳机105.63 22.36 845键盘76.38 35.14 611手提电脑信箱26.38 13.47 211手机84.88 15.06 679监测小鼠116.87 25.97 935马克杯117.38 25.19 939笔记本笔108.50 25.20 868电话113.63 21.80 909打印机投影仪冲床66.88 32.37 535环形活页夹尺子剪刀127.13 51.77 1017发言人订书机105.25 21.75 842胶带分配器垃圾桶103.25 33.36 826表1.不同商业来源类别中的图像的平均值、标准差和总数。每个来源大约有2916个，分为31个类别。该数据集的灵感来自Office-31表2.数据集各类别的图像分布的平均值、标准差以及每个源中的总图像。5. 实验5.1. 实现细节在本节中，我们描述了我们执行的实验，以评估我们的联邦图像分类算法。我们利用PyTorch预训练模型库[33]提供的预训练VGG-19 [39]网络进行初始化。我们冻结了它的卷积层，并将网络的其余部分替换为三个新的完全连接的层（大小为1024，256和31）和一个softmax层。在前两个完全连接的层中，我们使用ReLU激活和0.5的丢弃率我们使用SGD优化器，批量大小为64。我们在任何客户端都使用80：20的训练测试数据分割。使用的评估指标是分类准确性，但我们也使用MacroF1 评 分 和 加 权 F1 评 分 。 默 认 学 习 率 为 3e-4 （ 3x10−4）。表3中给出了使用的不同迭代参数。5.2. 结果我们在我们的数据集上评估了所有四种算法（FedAvg [29]，RingFed [46]，Fed-Cyclic，Fed-Star）。 对于RingFed，我们保持γ=0.8，因为我们使用该值获得了RingFed的最佳精度，如表4所示。我们提供全球评估和本地评估的结果。当局部测试集用于局部评估时，它们的并集用于全局评估。正如我们在表5中看到的，我们提供了全球评估结果，源是说 STD. dev.总图像123RF94.1626.962897Adobe Stock101.1627.253104Alamy102.8040.653155CanStockPhotos95.0633.242915Depositphotos101.4138.593112Getty Images63.0621.991923iStock90.1033.012761Shutterstock112.6136.3434596542RingFed 3 2 50进料-循环3 - 1503 2 50表3.迭代参数γ准确度123RFAdobe StockFedAvg 83.79%RingFed 84.47%联邦循环（我们的）86.38%Fed-Star（我们的）88.90%本地模型92.43%FedAvg 91.46%RingFed 92.07%联邦循环（我们的）94.52%Fed-Star（我们的）94.96%表4. RingFed的γ方法准确度加权F1宏F1CanStockPhotos本地模型89.53%FedAvg 89.20%RingFed 89.56%联邦循环（我们的）90.40%表5.实验结果表明，Fed-Star和Fed-Cyclic的准确率均这里，红色表示最佳值，蓝色表示第二佳值。我们提出的两种方法，Fed-Cyclic和Fed-Star，性能优于FedAvg和RingFed。其中Fed-Star的准确率最高，达到91.72%。此外，我们的方法收敛得非常快. Fed-Star需要在我们的数据集上进行50次全局轮，如表3所示。虽然RingFed也需要相同数量的全球轮数，但其准确性低于Fed-Star。在表6中，我们提供了局部评估的结果，我们将我们的方法与竞争的联合学习方法和相应局部模型的基线（使用E=250）进行了比较。可以看出，我们的联邦星al-出租m得到所有客户端的最佳结果。我们的Fed- Cyclic算法在8个案例中的6个案例中排名第二，在Depositphotos和iStock上输给了本地模型。就FedAvg和RingFed而言，它们分别输给了5个和4个本地客户。这表明从个性化的角度来看，FedAvg和RingFed没有多大帮助。5.3. 学习率（η）实验我们还在改变学习率的同时进行了实验。对于FedAvg，我们已经观察到准确度随着学习率的降低而稳步增加，并且对于3e-3的学习率获得最大准确度对于RingFed，我们观察到，Fed-Star（我们的）86.47%本地模型FedAvg89.45%89.60%ShutterstockRingFed百分之九十点一六Fed-Cyclic（我们的）91.56%Fed-Star（我们的）92.11%表6. Fed-Star优于所有使用传统ML方法和基线以及Fed-Cyclic在不同来源上训练的局部模型。从1 e-3到7 e-3，随着学习率的增加，正确率逐渐增加（91.81%~ 92.17%），3e-4学习率的正确率逐渐下降（89.65%）。对于Fed-Cyclic算法，对于3e-3的学习率获得最大准确度，准确度值为92.52%，对于3e-4的学习率获得最小准确度为91.15%。Fed-Star在1 e-3的学习率下达到了92.77%的最大准确率。准确度随着学习率的增加而下降，对于3e-4的学习率，准确度下降到91.72%的值。详细结果见图5和表7。方法局部历元（E）期间（P）全球回合（R）数据集模型测试精度FedAvg3-250本地模型85.51%0.289.22%本地模型86.84%0.588.96%FedAvg87.32%0.889.65%AlamyRingFed87.98%1.089.39%Fed-Cyclic（我们的）88.90%Fed-Star（我们的）90.14%Fed-Star（我们的）91.68%[29]第二十九话89.11%88.98%88.47%本地模型百分之九十八点零七RingFed [46]89.65%89.53%89.14%FedAvg百分之九十六点九五联邦循环（我们的）91.15%百分之九十点八九百分之九十点三三DepositphotosRingFed97.76%本地模型89.35%FedAvg90.13%Getty ImagesRingFed91.06%Fed-Cyclic（我们的）92.72%Fed-Star（我们的）93.87%本地模型85.71%FedAvg83.72%iStockRingFed84.68%6543图5.该图显示了FedAvg，RingFed，Fed-Cyclic和Fed-Star的准确性如何随着不同的学习率（lr）而变化学习FedAvgRingFed联邦循环联邦星速率（η）[29日][46个]（我们的）（我们的）1e-391.39%91.81%92.42%92.77%3e-391.43%92.09%92.52%92.68%7e-391.33%92.17%92.35%92.53%3e-489.11%89.65%91.15%91.72%表7.该表显示了针对不同学习率值的FedAvg、RingFed、Fed-Cyclic和Fed-Star收敛后的准确度值结论我们提出了两种联合学习算法，Fed-Cyclic和Fed-Star，以及从8个商业图像源收集的新的联合图像分类数据集，使该设置比其他图像分类设置更接近真实世界的场景，而其他图像分类设置本身是人工划分的。我们的算法有更好的收敛性和更好的精度比FedAvg和RingFed算法。此外，从个性化的角度来看，它们的表现要好得多，与具有统计异质性的客户之间的有意义的协作相关（域转移）。引用[1] Mohammad Amiri-Zarandi ， Rozita A Dara 和 EvanFraser。基于机器学习的物联网隐私保护解决方案的调查。计算机安全，96：101921，2020。[2] Stephen Boyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.基于乘数交替方向法的分布式优化和统计学习。Foundations and Trends® in MachineLearning，3（1）：1[3] Christopher Briggs，Zhong Fan，Peter Andras。联邦学习与局部更新的层次聚类，以改善非iid数据的训练。2020年国际神经网络联合会议（IJCNN），第1-9页。IEEE，2020年。[4] Zheng Chai，Ahsan Ali，Syed Zawad，Stacey Truex，Ali An-war ， Nathalie Baracaldo ， Yi Zhou ， HeikoLudwig，Feng Yan，and Yue Cheng.Tifl：一个基于层的联邦学习系统。第29届高性能并行和分布式计算国际研讨会论文集，第125-136页，2020年6544[5] 陈成，陈紫怡，周怡，巴维亚·凯尔库拉。Fedcluster：通过集群循环促进联邦学习的收敛。在2020年IEEE大数 据 国 际 会 议 （ Big Data ） 上 ， 第 5017-5026 页 。IEEE，2020年。[6] Dawei Chen，Choong Seon Hong，Yiyong Zha，YunfeiZhang，Xin Liu，and Zhu Han. mec网络中基于Fedsvrg的 联 邦 学 习 通 信 高 效 方 案 IEEE Transactions onVehicular Technology，70（7）：7300[7] WeiChen，KartikeyaBhardwaj，andRaduMarculescu.Fed-max：减轻激活发散，实现准确和高效的通信联邦学习。在关于数据库中的机器学习和知识分发的欧洲联合会议上，第348-363页。Springer，2020年。[8] 埃米利亚诺·德·克里斯托法罗。机器学习中的隐私概述arXiv预印本arXiv：2005.08679，2020。[9] Ofer Dekel ， Ran Gilad-Bachrach ， Ohad Shamir 和 LinXiao。使用小批量的最优分布式在线预测。Journal ofMachine Learning Research，13（1），2012.[10] Yuyang Deng，Mohammad Mahdi Kamani，and MehrdadMahdavi.自适应个性化联邦学习。arXiv预印本arXiv：2003.13461，2020。[11] Georgios Drainakis，Konstantinos V Katsaros，PanagiotisPantazopoulos，Vasilis Sourlas，and Angelos Amditis.进食与隐私弹性用户下的集中式机器学习：比较分析。2020 年 IEEE 第 19 届 国 际 网 络 计 算 和 应 用 研 讨 会（NCA），第1-8页。IEEE，2020年。[12] 段某明，刘铎，陈献章，刘仁平，谭玉娟，梁亮.移动系统中具有全局不平衡数据的自平衡联邦IEEE Trans-actions on Parallel and Distributed Systems，32（1）：59-71，2020。[13] Moming Duan，Duo Liu，Xinyuan Ji，Renping Liu，Liang Liang ， Xianzhang Chen ， and Yujuan Tan.Fedgroup：通过分解的基于相似性的聚类进行有效的联邦学习。在2021年IEEE国际会议上，并行分布式处理与应用程序，大数据云计算，可持续计算通信，社交计算 网 络 （ ISPA/BDCloud/SocialCom/SustainCom ） ， 第228-237页IEEE，2021。[14] 阿维舍克·高希，钟吉灿，尹东，和坎南·拉姆·钱德兰.一个高效的集群联邦学习框架。神经信息处理系统的进展，33：19586[15] Song Han，Huizi Mao，and William J Dally.深度压缩：使用修剪、训练量化和霍夫曼编码压缩深度神经网络。arXiv预印本arXiv：1510.00149，2015。[16] Tzu-Ming Harry Hsu，Hang Qi，and Matthew Brown.测量不相同数据分布对联邦视觉分类的影响arXiv预印本arXiv：1909.06335，2019。[17] Li Huang ， Andrew L Shea ， Huining Qian ， AdityaMasurkar，Hao Deng，and Dianbo Liu.患者聚类提高了联邦机器学习预测死亡使用分布式电子医疗记录的住院时间。生物医学信息学杂志，99：103291，2019。[18] Eunjeong Jeong，Seungeun Oh，Hyesung Kim，JihongPark，Mehdi Bennis，and Seong-Lyun Kim.通信-高效的设备上机器学习：非iid私有数据下的联邦提取与扩充。arXiv预印本arXiv：1811.11479，2018。[19] Peter Kairouz，H Brendan McMahan，Brendan Avent，Aure' lienBellet ， MehdiBennis ， ArjunNitinBhagoji ，KallistaBonawitz，Zachary Charles，Graham Cormode，Rachel Cum- mings ， et al. 联 邦 学 习 的 进 展 与 问 题Foundations and Trends® in Machine Learning，14（1[20] Sai Praneeth Karimireddy ， Satyen Kale ， MehryarMohri ， Sashank Reddi ， Sebastian Stich ， and AnandaTheertha Suresh.支架：随机控制平均喂养学习。国际机器学习会议，第5132-5143页。PMLR，2020年。[21] Sai Praneeth Karimireddy ， Satyen Kale ， MehryarMohri，Sashank J Reddi，Sebastian U Stich，and AnandaTheertha Suresh. Scaffold：随机控制平均，用于设备上的联合学习。2019年。[22] JakubKon ecˇ n y`，HBrendanMcMahan，FelixXYu，PeterRicht a´ rik，AnandaTheerthaSuresh，andD av eBacon. 美联储式学习 ：提高 沟通效 率的策略 。arXiv预印 本arXiv：1610.05492，2016。[23] 李莉、范羽西、谢迈克、林国义。联邦学习应用综述。计算机工业工程，149：106854，2020。[24] Tian Li ， Anit Kumar Sahu ， Ameet Talwalkar ， andVirginia Smith.联合学习：挑战、方法和未来方向。IEEE信号处理杂志，37（3）：50-60，2020年。[25] Xiang Li ， Kaixuan Huang ， Wenhao Yang ， ShusenWang，and Zhihua Zhang.非iid数据上fedavg的收敛性。arXiv预印本arXiv：1907.02189，2019。[26] Xianfeng Liang ，Shuheng Shen，Jingchang Liu，ZhenPan，Enhong Chen，and Yifei Cheng.具有较低通信复杂度 的 方 差 减 小 的 局 部 sgp 。 arXiv 预 印 本 arXiv ：1912.12844，2019。[27] Jiahuan Luo，Xueyang Wu，Yun Luo，Anbu Huang，Yun-feng Huang，Yang Liu，and Qiang Yang. 用于联邦学习的真实世界图像数据集。arXiv预印本arXiv：1910.11089，2019。[28] Yishay Mansour，Mehryar Mohri，在寅罗和阿南达·瑟莎·苏雷什三种个性化方法及其在联邦学习中的应用。arXiv预印本arXiv：2002.10619，2020。[29] Brendan McMahan，Eider Moore，Daniel Ramage，SethHampson，and Blaise Aguera y Arcas.通信-从分散的数据中高效学习深度网络。在人工智能和统计，第1273-1282页。PMLR，2017年。[30] Jose G Moreno-Torres 、 Troy Raeder 、 Roc 'ıo Alaiz-Rodr' ıguez、Nitesh V Chawla和Francisco Herrera。分类中 数 据 集 移 位 的 统 一 观 点 Pattern recognition ， 45（1）：5216545[31] Dinh C Nguyen ， Ming Ding ， Pubudu N Pathirana ，Aruna Seneviratne，