非IID数据的统一特征学习和优化目标对齐

4420…非IID数据的联合学习统一的特征学习和优化目标对齐张林1、2罗勇3阎白1、2杜博3段凌玉1、2*1北京大学数字媒体研究所（IDM），中国北京2鹏程实验室，深圳，中国3武汉大学计算机学院人工智能研究所，中国武汉{zhanglin.imre，yanbai，lingyu}@ pku.edu.cn，{luoyong，dubo}@ whu.edu.cn摘要联邦学习（FL）的目标是在隐私保护约束下建立一个跨去中心化客户端的共享模型。尽管取得了一定的成功，它仍然是具有挑战性的FL处理非IID（非独立和相同的分布）的客户端数据，这是一个普遍的情况下，在现实世界的FL任务。结果表明，在非IID情况下，由于数据分布的不一致性会导致优化不一致性和特征分布的不一致性，FL的性能将大大降低。全局模型聚集…本地模型客户端数据模型(a) FedAVG后验模型(b) FedUFO收敛问题。此外，在这种情况下，天真地最小化聚合损失函数可能对一些客户端具有负面影响，从而使他们的个人模型性能恶化。为了解决这些问题，我们提出 了 一 个 统 一 的 特 征 学 习 和 优 化 目 标 对 齐 方 法（FedUFO）的非IID FL。特别地，提出了一个对手模块，以减少不同客户端之间的特征表示的分歧，并提出了两个共识损失，从两个角度来减少优化目标的不一致性。大量的实验表明，我们的FedUFO可以超越国家的最先进的方法，包括竞争的一个数据共享方法。此外，FedUFO可以使不同客户端之间的模型性能更加合理和平衡。1. 介绍如今，基于机器学习的人工智能（AI）技术通常严重依赖于大量的训练数据。然而，随着个人隐私数据的过度收集和过度使用，隐私泄露和滥用的风险例如，在金融、医疗和智慧城市应用中，数据泄露可能导致财产甚至生命的巨大损失。*Ling-Yu Duan为通讯作者。图1.传统的FedAVG和提出的FedUFO的比较。通过利用从全局和局部模型中提取的全局、组数据信息，我们的FedUFO有效地在局部、组和全局级别上对齐了特征表示和优化目标。为了建立健康和可持续的人工智能生态系统，McMa-han等人 [20]提出了一种新的机器学习范式- Federated Learning（FL），在隐私保护约束下打破不同客户（如地区和行业）之间的数据壁垒。FL的主要思想是将数据级的传输和聚合转变为模型级的传输和聚合，从而在不泄露隐私的情况下，将大数据的优势应用于人工智能应用中。受这种范式的启发，数据保存分散学习已经在各种应用中进行了研究[3，4，5，18]。在现实世界的FL任务中，不同客户端的数据分布可能会有所不同，因为数据通常是从不同的源或场景收集的。然而，现有的FL方法通常简单地忽略分布发散，并且已经证明，全局模型在非IID（非独立和相同分布）联邦数据上的性能可能比IID数据上的性能差得多[22，9，16]。原因被证明是来自差异数据分布[32，19]的权重发散局部模型被优化到远离理想的不同方向。的分布差异聚集…局部模型…特征优化目标对齐全局/组信息开发…4421非IID数据还将加剧性能公平性问题[15]，这意味着所建立的模型在客户端之间产生显著不同的本地性能。这促使我们开发一种新的非IID FL方法，同时调整跨客户端的本地优化具体而言，一组共识损失（CGR损失）和全球共识损失（CGL损失）提出了明确减少优化目标的不一致性，分别考虑一组客户端和所有客户端这是通过利用提取的组和全局数据信息来固定模型预测的有偏分布来实现的。此外，提出了一种具有统一对抗损失（UAD损失）的对抗方案，以隐式地在特征层上对齐优化目标，这强制执行了模型学习所有数据分布的广义特征图1是所提出的FedUFO和传统FedAVG [20]方法之间的比较与FedAVG在局部训练时只利用局部数据而不考虑优化目标差异相比，FedUFO可以利用额外的全局和组数据信息进行目标对齐，因此所获得的模型更可靠。通过大量的实验，验证了简单地使用UAD损失可以优于现有的方法，并且通过增加CGR和CGL损失可以进一步提高模型的性能。我们的FedUFO还可以在客户端之间实现更公平的此外，通过评估四个具有挑战性的重新识别和分类任务的FedUFO，FedUFO在现实世界FL应用程序是有效的。概括起来，本文的主要贡献是：• 我们设计了一个群体共识损失和一个全局共识损失，以明确地调整局部，群体和全局优化目标，以减轻非IID FL中的不同数据• 我们提出了一个具有统一的对抗损失的对抗方案来学习统一的特征表示，可以进一步帮助隐式地调整客户端之间的优化目标。• 在各种计算机视觉任务中进行了大量的实验。结果表明，该方法在现实世界中的应用的优越性。2. 相关工作联邦学习（FL）[20]旨在在数据保留约束下使用分散的数据集训练模型非IID联邦数据在现实FL场景中是普遍存在的[9]，并且当直接将传统FL方法应用于IID联邦数据时，性能将显著下降[22，9，16]。Hsu等人[7]验证了性能下降随着数据分布中偏斜度的增加而变大因此，一些FL方法是为非IID数据设计的，现有的解决方案可以大致分为两类：以服务器为中心和以客户端为中心的方法。以服务器为中心的解决方案。这些方法旨在建立一个在所有数据集上表现良好的全局模型，在现实世界的应用中更有价值和有用。Zhao等人。 [32]通过推土机距离（EMD）量化数据集偏斜度，并提出了一种数据共享策略来减少客户端之间的EMD。Liu等人 [16]设计了一种算法，该算法计算边缘上的多个局部Saltter等人。 [21]，He等人。 [6]和Wang等人。 [26]在非IIDFL场景上设计梯度压缩，神经架构搜索和客户端选择算法，以分别改善传输，模型架构和收敛速度。在本文中，我们遵循以服务器为中心的方法的思想。具体而言，我们将优化目标与统一的特征表示跨客户端，使不一致的数据分布的影响将得到缓解，而无需任何数据共享。以客户为中心的解决方案。 这种方法并不追求有效的全局模型，而是试图为每个只擅长自己数据集的客户端建立局部模型，这在极端情况下更可行。 Li等人[14]使用公共数据集在客户端之间构建共识，以限制本地模型训练。Shen等人。 [22]设计了一种新的FL范式，实现了全局和局部模型之间的相互学习。Wu等人。 [29]和Zhuang等人。 [34]将联邦模型分为特征提取器和分类器，并使用不同的策略在局部和全局模型之间传输知识。这些研究将来自其他客户的数据信息视为一种知识，并将其用于指导本地培训。然而，建立一组局部模型不是本文的目标。除了性能改进之外，所提出的方法还可以在客户端之间实现更公平的性能分布，这也由q-FFL [15]探索。然而，q-FFL在非IID场景中表现不佳。此外，它只关注公平性，整体模型性能可能较差。而在我们的方法中，良好的整体性能和不同客户端之间的公平性得到了很好的保证。3. 方法在联邦学习中，当忽略由差异数据分布[7，32]导出的优化目标差异时，非IID客户端数据将导致显著的性能下降，并且模型的性能通常比IID数据设置中的性能差得多[22，9，16]。在本文中，我们提出了统一的特征学习和优化目标对准方法（FedUFO）的非IID FL。具体来说，提出了一个具有统一损失的对抗模块来学习统一的特征表示，4422,ℒ���������特征提取器分类器,ℒ���������塞吉���መ���ℒ鉴别器ℒ���,���ሚℒ���������������������|1|���~���መ ||1|���，���~…˜˜D{|}||∈∗˜˜˜˜˜Dkonly，其中包含数据信息和fea-步骤3：训练后验模型后验模型��� ���|1���~���|������������|0正向反向输出|1~|预测评分特征独热标签图2.第k个客户端在第t次迭代上的整个训练过程。步骤1：使用本地数据训练本地模型wt，k并交换它和其他客户 步骤2：通过全局模型wt和所有局部模型wt，1w t，Kc提取特征表示、全局和组数据信息 步骤3：在对齐的特征表示和优化对象约束下训练后验模型w t，k。跨客户端的操作，这隐含地在功能级别上调整优化目标。考虑到一组客户和所有客户，应用两个共识损失来修复模型预测的有偏分布，从而显式地对准优化目标。3.1. 总体框架我们的FedUFO遵循以服务器为中心的方法（如FedAVG [20]）的类似训练机制：在每个版本中，服务器将全局模型发送给一组客户端;然后这些客户端使用本地数据集分别训练全局模型并将生成的模型上传到利用信息分别建立全局优化目标和分组优化目标; 3）在统一特征表示和优化目标的约束下局部训练后验模型wt，k，并最终发送到服务器用于模型聚合和更新。在下文中，我们使用K来表示客户端的数量。K是客户端组[ 20 ]的大小，并且C是分数（C [0，1]）。 S t是第t次迭代中的群（S t=K c）。第k个客户端的数据集被定义为k=（xi，k，yi，k）1≤i≤nk，其中nk是数据集大小。模型h由两部分组成：特征提取器HE和分类器HC。 wt是中的全局模型参数服务器;最后服务器更新全局模型第t次迭代。wt，k和wt，k是局部和后部所生成的模型的加权聚合。在本文中，我们主要优化客户端的训练过程与对手模块和两个共识损失，使上传的模型共享相同的优化目标。图2示出了第t次迭代中的第k个客户端的训练过程（三个训练步骤）：（1）基于全局模型w，局部模型w接受当地培训模型参数相对于水平。fi，k和y模型wt，k. fi，k|j是第j个客户端的本地模型上的xi，k的特征，|j是相应的预测。为了符号简单起见，我们在下面忽略下标k Di|k和di|j代表一个热点不数据集~t，k特征的真值标签（即， xi，k）和~fi|J.第k个客户端的真实表示。wt，k可以看作先验模型，客户端组相互交换局部模型; 2）第k个客户端从全局模型中提取全局数据信息，也从所有局部模型中提取组数据信息和特征表示。提取的全局和组数据信息-3.2. 统一特征表示学习不同的数据分布会导致局部模型关注的数据特征不同因此，客户端将生成不同的特征表示，这将阻碍优化目标的特征级对齐步骤1：训练本地模型并与其他客户端第二步：提取特征表达式和数据信息全局模型������|0全局数据信息分类器特征提取器���������,1���ሚ我|1,+������|1������ℒ���������������,������ሚ+局部模型|������|������组数据信息…特征表达……4423t，jj.j.˜˜˜˜˜Σ˜Σ˜˜DΣLJ˜˜因此，它意味着第j个客户端，你也是. 调整优化目标我我均匀我KCLS我Kc−1我|J关于我们˜˜t，kD⊗因此，我们首先对齐的功能表示跨客户端隐式统一的优化目标。特别地，我们在特征提取器he上引入对抗学习以及特征鉴别器D。在训练过程中，D被学习以识别输入特征属于哪个客户端，而他尝试学习跨客户端的无分布特征表示。在获得除了St自身之外的所有客户端的局部模型之后，我们首先在这些局部模型上计算xi的数据特征fi|j=he （ xi|we ） ， 1≤j≤Kc ， jk ，其中w∈是第j个局部特征提取器的参数模型wt，j. 这里fi|j意味着第j个客户端的感兴趣的特征，即，j次数据分布的一般特征在当前k次后验模型的训练期间，特征从局部模型fi|jjk和后验模型将被馈送到鉴别器中以预测它们属于哪个客户端（特征表示），d~i|j=So ftmax （ D （ i ）fi|J|w（ d ） ） ，1≤j≤Kc，jk，（2）t，k的客户端出St.因此，这两个不一致将导致整体模型性能低下[7]和不公平的性能分配[15]。为了提高绩效和绩效公平性，我们建议通过在局部、群体和全局层面上构建共识来减少不一致性。具体地，提出了组一致性损失（CGR损失）和全局一致性损失（CGL损失）以分别对齐局部组和组全局优化对象。3.3.1群体共识损失我们使用CGR损失在每次迭代中构建客户端组St之间的共识，以减少局部组优化目标的不一致性。局部优化目标直接反映在局部模型和全局模型之间的模型参数变化上。然而，模型参数信息高度集中，规模庞大，难以进行比较和融合。为了解决这个问题，我们使用不同局部模型上相同数据的预测分布来表征不同的局部优化目标。然后我们确定di= Softmax（D（fi|wdD）），（3）全局部优化的群优化目标组St中的目标。其中wt，k表示D的参数。 D i|j和di是K维向量。为了使提取器能够学习统一的特征表示我们首先计算所有其他客户端的本地模型对xi表示，特征我伊吉|j=S〇 ftmax（h（x）i|w~ t，j）），1≤j≤Kc.（六）所有班级的分数因此，我们使用一个统一的对抗loss（UAD loss）来约束预测得分d，其中yi|J在这里， 是xi的预测使用局部模型Wt，j.Kwwt，j是全局模型对第j个数据的适应j=1跨客户端我|J，我们合并所有的y考虑其中dj是d的第j个元素。注意，L是St~i|J当dj=1，j∈[1，K]时最小。KC要启用鉴别器区分特征，请执行以下操作：使用不同的本地模型，所有的预测结果都是相同的。i=0（j=1pjy~i|j），结果|j和di用于优化判别式。We使用客户端索引l_k来表示第k个客户端的特征表示的类别，并且通过采用交叉熵损失，我们具有以下总分类损失：其中，是逐元素乘积，pj是组中j的每个类别相对于总类别数据数的数据比例;yi提供预期预测. 我们L=−log（dlk）− 1KClog（d~）（5）j=1，jK关于我作为对齐的优化目标，并将其用于3.3. 统一优化目标对齐非IID FL中有两种类型的优化目标不一致性：本地组不一致性和组全局不一致性。这里，局部、组和全局优化目标对应于一个客户端，组优化目标，我们将后模型yi的预测限制为具有与等式中的y i相同的类概率分布。7 .第一次会议。采用Kullback-Leibler散度作为损失函数，它可以捕获两个概率分布的差异，因此CGR损失为客户端组St和所有客户。局部群优化给出Lc gr=KLDi v（yi||y~i），（八）（七）L1=−log（dj），（4）均匀K我类别数据比例生成统一预测：在考虑St中的所有客户端数据信息限制Wt，k的预测分布。使局部优化目标逼近4424客观的不一致性将导致聚集期间的模型排除群体全局优化目标的不一致不仅会导致全局模型更新的不平滑，而且会使局部模型性能恶化3.3.2全球共识损失建议使用CGL损失来调整组和全局优化目标。组优化目标为4425˜˜ˆ ~L=KL Di v（y||y ）的情况。c glii|022LCLSLL使用客户组的总数据定义由于方法MNIST CIFAR10禁止数据聚合，不可能限制组优化目标直接。减少集中（上限）97.89±0.08 81.91±0.47组-全局目标不一致，我们限制局部模型更新相对于全局数据信息，因此组优化目标将根据全局优化目标进行调整。这可以通过使用与CGR损失中相同的策略来实现，即，从所有K个客户端模型中提取预测，并生成统一的预测分布。然而，这将导致大的计算和传输成本。相反，我们使用最后一次迭代的聚合全局模型（即，wt）来构建全局共识，这将通过连续训练来积累全局数据信息。FedAVG [20] 94.38±1.72 59.95±3.08FedMeta [31] 94.23±0.41 66.29±0.34FML [22] 93.73±1.39 51.72±4.18FedRetile [5] 95.00±0.10 63.40±0.54q-FFL [15] 87.70±1.39 46.25±4.10FedUAD（我们的）96.70±0.2065.29±2.07FedUFO（我们的）96.75± 0.07 67.45± 0.81表1.模型性能。其中λ是折衷超参数。类似地，我们首先得到预测y的x 上全局模型，i|0伊吉|0=Softmax（h（x）i|w（t）），我（九）4. 实验在本节中，我们进行了大量的实验来验证FedUFO的有效性，包括四个真实的实验。其中yi|0具有与Eq. 7，即，提供在考虑所有数据信息之后的期望预测分布。然后，我们使用后验模型的预测yi计算CGL损失，（十）动态采样策略。组优化目标和全局优化目标的对准可以减轻未包括在当前客户端组中的客户端的性能下降。为了进一步实现公平的性能分布，采用动态抽样策略连同CGL损失，其中选择具有最低本地性能的Kc客户端，并与其他随机Kc客户端形成组St与现有的随机选择Kc客户端的方法相比，该策略有助于提高性能公平性。3.4.训练过程整个培训过程包括两个阶段。第一阶段：在特征层上训练联邦模型和鉴别器在每一次迭代中，我们首先冻结CJD的参数，并使用以下损失训练联邦模型h，L总 其中cls是交叉熵损失。然后，联邦模型的参数是固定的，并且我们使用等式中的d来训练五、在此之后，可以获得对所有客户端数据有效的统一特征第二阶段：使用特征和目标一致性约束对联邦模型进行微调。在第一阶段的联邦模型和鉴别器的基础上，我们在CGR损失、CGL损失和UAD损失下对联邦模型进行了微调。具体而言，在Eq.11来吧世界重新识别和分类任务。在第节中。4.1中，我们比较了FedUFO与现有方法的模型性能和性能公平性。分段。4.2是关于所有提出的模和超参数λ的烧蚀研究。在第节中。4.3，我们在更具挑战性的现实世界场景中测试FedUFO。4.1. 性能比较4.1.1设置i.数据集。在[20]之后，MNIST [13]和CIFAR- 10 [12]用于评价方法。每个数据集被划分为100个客户端：每个类别的数据被划分为20个分片，并且每个客户端从总共200个分片（10个类）中随机分配2个分片。ii. 实施. 对于MNIST和CIFAR10，我们使用与[20]中相同的网络架构对于MNIST，批次大小B = 10，客户端分 数C = 0.1 ， 并 且局 部 训 练时 期 E = 10 ， 而 对于CIFAR-10，B = 50。对于两个数据集，使用两个fc层的鉴别器和ReLU激活，其中第一层的输出大小与输入相同（分别为200和64）。我们在客户端和服务器端都使用SGD优化器，学习率为0.01式中的λ12在两个数据集上都被设置为3。iii. 评估指标。 分类精度Pacc用于评估模型性能。与[15]类似，最佳、最差局部性能和所有局部性能的标准偏差（std）用于评估性能公平性，其被称为Pb、Pw和Pstd。iv. 比 较 方 法 。 我 们 将 FedUFO 与 Fe- dAVG [20] 、FedMeta [31]、FML [22]、FedRetile [5]和q- FFL [15]进行比较。它们采用与ii中相同的实现设置。实现公平比较。除了常规设置外，对于FedMeta，每个客户端的10%数据是4426集中（上限）比较方法我们 的FedAVG FedMeta FML FedRetileq-FFLFedUAD FedUFOPb10098.9598.8698.7510098.10100100MNISTPW91.5586.8085.0085.8882.4071.8189.6989.69P标准品1.472.812.802.843.794.992.051.87Pb92.3073.6081.3070.8083.9062.9078.6075.40CIFAR10PW66.4032.5046.0036.0030.1026.2047.8055.40P标准品5.219.237.638.0212.778.167.073.54表2.MNIST和CIFAR-10的性能公平性比较用于构建Meta数据，该元数据在每次迭代中微调聚合的对于FML，报告了全球模型的性能以进行公平比较。对于q-方法P访问基线cls59.95±3.08+cgr65.10±1.02FFL，我们测试q=1，2，5，并提供q=2的结果，这也是最好的结果。一个模块+cgl65.01±3.45+uad65.29±2.074.1.2模型性能表. 1显示了MNIST和CIFAR10数据集上不同方法的模型性能。集中式学习在表中被提供为FedUAD和Fe-dUFO分别表示在第一和第二阶段之后训练的模型从该表中，我们可以看到，仅应用对抗方案已经实现了比非数据共享方法更高的性能。这验证了所提出的对抗模块有助于联邦模型学习统一的特征表示，从而在特征层面上缓解了优化目标的发散在附加共识损失之后，模型性能进一步提高，甚至超过了两个数据集上的FedMeta提出了q-FFL算法来解决局部性能分布不公平的问题。我们可以发现q-FFL对性能公平性的强调这是因为在统一的优化目标下，模型排斥将大大减轻，并且在FedUFO中所有客户端上的性能将同时提高。4.1.3绩效公平性表. 2比较了各种方法的P_b、P_w和P_std。我们以粗体突出显示了仅次于“集中式”结果的最高Pb和Pw以及最低Pstd在两个数据集上，FedUFO在所有比较方法中产生最低的Pstd，甚至超过了CIFAR-10上的集中式学习，这意味着所提出的敌手方案和共识损失可以导致更公平的性能分布。FedUAD具有第二低的P_std，因为统一的特征表示还可以在特征级上减轻局部模型之间的相互排斥。这也可以通过Pw上的结果来验证，其中FedUFO两个模块+uad+cgr66.29±1.59+uad+cgl66.30±1.63所有模块+所有67.80±0.87表3. CIFAR10上不同FedUFO变体的模型性能比较和FedUAD分别是第一和第二高。在CIFAR-10上，FedRetile具有比FedUAD和FedUFO更高的Pb。然而，它产生了最高的P标准在同一时间。这揭示了一些FL算法的特征：通过仅提高容易学习的客户端的局部性能来增强模型性能，而不考虑其他客户端。q-FFL在非IID FL场景中表现不佳。由于q-FFL的动机是强调具有较低局部性能的客户端，因此它不能解决非IID场景中的优化发散，因此过度强调一个客户端将导致其他客户端的性能下降。4.2. 消融研究在本节中，我们通过逐个拆分和组合UAD损失、CGR损失和CGL损失来验证所提出的模块的有效性。cgr、cgl和uad分别代表应用CGR损失、CGL损失和UAD损失。所有都是用所有三个损失训练的模型。只使用分类损失的基线方法被称为cls，但它实际上等于FedAVG方法，我们只是从表中复制结果。1.一、为了进行公平比较，所有消融方法的实施设置均相同（第节）。4.1.1）。4.2.1模型性能表. 3显示了不同版本的FedUFO的模型性能。表中CGR和CGL产生比UAD更低的性能。这表明仅应用一致性损失而没有统一的特征表示不能跨客户端对齐优化目标后4427cls一个模块两个模块+全部表4.MNIST和CIFAR-10上不同版本的FedUFO的性能公平性比较方法Paccc Pstdcgl（w/）63.07±2.93 3.65cgl（w/o）65.01±3.45 8.56uad+cgl（w/）66.56±0.81 3.53uad+cgl（w/o）66.30±1.63 4.21所有（w/）67.45±0.81 3.54所有（w/o）67.80±0.87 7.42表5.在CIFAR 10上使用（w/）和不使用（w/o）动态采样策略的性能和公平性比较鉴别器的训练、uad+cgr和uad+cgl的性能优于cgr和cgl，它们也提高了uad的性能。此外，我们注意到，增加任何UAD，CGR和CGL损失将导致性能改善。具有CGL损失和CGR损失的FedUFO总是实现表中的可比性能3，而CGR损耗比CGL损耗和FedAVG算法带来额外的传输成本在实践中，如果网络带宽有限，仅使用CGL损耗也可以产生像样的模型。4.2.2绩效公平性表. 4比较了FedUFO的不同变体之间的性能公平性。从这个表中，我们可以得出以下结论。1) 性能公平性可以通过每个模块及其组合来提高。2) 在三个建议的损失，UAD损失实现了最公平的性能分布 。此外，在结 合UAD 损失后 ，uad+cgr和uad+cgl产生比之前（cgr和cgl）更低的P标准这些验证了跨客户端的特性级对齐的重要性3) uad+cgl实现了最好的Pstd和Pw。这验证了CGL损失在不牺牲其他客户的情况下提高了组中客户的性能。4) 附加cgr可能会损害公平性，因为在两个数据集上都产生比uad+cgl更高的Pstd4.2.3动态抽样策略表. 5在CIFAR10上比较了采用动态采样策略和不采用动态采样策略的性能和公平性。在表中。5、动态采样策略的性能较低但它反过来提高了公平性。这表明对公平性的强调将损害模型性能，因为训练将更多地放在具有低局部性能的局部模型训练上。在实践中，一个公平的FL模型，在所有客户端上实现类似的性能将激励更多的数据提供者加入联邦，这进一步促进FL的发展。4.2.4收敛速度图3说明了MNIST上前100次迭代期间的模型性能变化我们可以发现具有CGL损失的方法（cgl、uad+cgl和all）比其他方法收敛得cgr、uad和uad+cgr与FedAVG具有相似的性能趋势，这意味着应用UAD损失和CGR损失不会影响原始收敛率。图4显示了λ对收敛速率的影响。当λ>3时，模型的收敛速度很慢，甚至是常数。λ=1、2和3产生类似的收敛速率。在我们的实验中，λ=3实现了最佳性能。请注意，图中的学习曲线3和图4是为了更好地说明。并将cgl与动态采样策略结合使用。4.3. 在更具挑战性的场景在本节中，我们在更具挑战性的现实世界任务中测试 FedUFO- 车 辆 reID （ VeRI 776 [17] ） ， 人 员 reID（MSMT 17 [33]和Market 1501 [27]）和细粒度分类（CUB 200 [25]），这些也是FL的重要应用与第节类似4.1.1中，每个数据集被分成100个客户端。我们采用Resnet50作为网络架构，三个带有ReLU激活的fc层作为识别器。其他设置与第节中的CIFAR10相同。4.1.1.请 注 意 ， 对 于 数 据 集 VeRI776 、 MSMT17 和Market1501，模型性能使用平均精度（mAP，表示为Pmap）进行评估，并且在检索之前对特征进行L2归一化。实验结果示于表1中。六、从表中，我们发现，FedUAD和FedUFO一致优于其他方法的模型性能（P地图或Pacc），这验证了所提出的方法在现实世界的FL应用的效果。FedRetile是+cgr+cgl+uad+uad+cgr+uad+cglPb98.9598.7999.52100100100100MNISTPw86.8087.0188.8789.6989.2889.7989.18P标准品2.812.392.062.051.951.901.98Pb73.6078.5083.1078.6081.1075.0080.60CIFAR10Pw32.5043.8043.3047.8045.5055.8049.30P标准品9.237.878.567.077.634.217.424428∼VeRI776 [17] MSMT17 [27] Market1501 [33] CUB200 [25]58.51±0.8958.85±1.9425.83±1.4526.56±0.6849.82±1.8049.90±1.5155.12±1.4146.65±2.42FedUAD（我们的）60.29±0.15 1.95e-3 29.98±0.78 1.87e-3 51.05±0.58 5.97e-2 59.20±1.33 1.61e-1FedUFO（我们的）60.91±0.20 1.92e-3 30.22±0.16 1.77e-3 51.68±0.42 4.65e-2 60.57±0.53 1.36e-1表6. VeRI776、MSMT17、Market1501、CUB200上的性能（Pmap或Pacc）和公平性（Pstd1.00.80.60.40.20.0FedAVGcglcgr uad+cgl uad+cgr allUAD0 20 40 60 80 100更适用于跨筒仓FL，其中客户端是2 100个具有足够通信和存储资源的组织。对于跨设备FL，客户端是大型移动或物联网设备，因此通信和存储通常是瓶颈。在这种情况下，建议的CGL损失可以单独采用，没有额外的通信成本和很少的额外存储。比较表。3图3.模型性能变化的不同方法MNIST上的前100次迭代1.00.80.60.40.20.00 20 40 60 80 100图4.在MNIST上的前100次迭代中，对具有不同λ的cgl在所有情况下都劣于FedUAD和FedUFO，因为它仅在聚合期间改变模型的权重，但不减轻源自不同数据分布的模型发散此外，FedUFO在四个数据集上产生最低的Pstd，这意味着所建立的模型在不同数据集上实现了最公平的性能。FedUAD的Pstd超过某些数据集中的对应值这是因为UAD损失不直接作用于优化目标，而是作用于特征表示，因此其对减少性能不公平性的作用是有限的。将集中培训（“集中”）与表中的其他方法进行比较1、桌子6，我们注意到数据的异质性似乎对分类任务的影响比再识别任务更大。这可能是由于re-ID中训练目标（分类错误）和测试目标（检索性能）此外，分类任务中的FedUFO比re-ID任务获得了更大的性能提升，目前还不清楚原因。5. 讨论适用范围。建议的FedUFO包含三个模块- UAD损失，CGR损失，CGL损失。其中，UAD丢失和CGR丢失是通过额外的通信成本和/或存储来完成的。考虑到两个FL应用提出的Kariouz等人。美国[10]桌子。4、我们可以发现CGL的损失已经超过了基准线。模型扩展。建议的FedUFO探索了一种新的FL模型训练方案，该方案在非IID FL场景中特别有效。除了模型训练，建立一个完整的FL框架还需要一系列的辅助机制，如激励机制[28]、模型压缩[11，2]、后门防御[24，30，23]、通信协议[1，8]等。从而保证FL生态系统的健康发展。我们发现FedUFO可以无缝地嵌入到这些主题的大多数现有方法中，因为FedUFO只改变了局部模型训练过程并维护了整体训练管道。6. 结论本文分析了非IID联邦学习（FL）场景下模型性能低下和性能分布不公平的原因，提出了一种新的FedUFO算法，该算法在数据保持约束下，跨客户端同时对齐特征表示和优化目标对于特征表示，设计了统一的对抗性损失以使模型能够学习跨客户端特征。在优化目标方面，设计了两个共识损失，以减轻局部、群体和全局层面上的优化不一致。各种计算和灰视觉任务上的广泛实验证明了建议FedUFO的有效性相比，国家的最先进的FL方法。未来，我们打算设计更复杂的策略，以配合集团和全球优化目标。鸣谢：这项工作得到了国家自然科学基金62088102的支持，部分由Ng Teng Fong慈善基金会捐赠的PKU-NTU联合研究所（JRI）资助。= 1= 2= 3= 4= 5测试精度测试精度P图P标准品P图P标准品P图P标准品PaccP标准品集中[20]第二十话FedRetile [5]FML [22]65.34± 0.1259.69±0.141.75e-36.13e-34.36e-35.72e-334.20± 0.2629.07±0.131.23e-31.93e-31.87e-31.96e-357.91± 1.9350.16±0.132.72e-31.31e-11.26e-15.00e-289.49± 0.2155.74±0.341.22e-11.58e-11.43e-11.85e-14429引用[1] Keith Bonawitz，Hubert Eichner，et al.大规模联合学习 ： 系 统 设 计 Proceedings of Machine Learning andSystems，1：374-388，2019。8[2] SebastianCaldas，JakubKonecn y´，H. 布兰登·麦克马汉和阿梅特·塔尔沃卡。通过减少客户资源需求来扩大联合学习的范围。arXiv预印本arXiv：1812.07210，2018。8[3] 高大山，策菊，等.Hhhfl：用于脑电图的分层在高级神经信息。过程系统，2019年。1[4] Andrew Hard，Kanishka Rao，等.联合学习-ING移动键盘预测。arXiv预印本arXiv：1811.03604，2018。1[5] FlorianHartmann，SunahSuh，ArkadiuszKomarzewski，Tim D Smith，and Ilana Segall.联邦学习排名浏览器历史记录的建议。在高级神经信息。过程。系统，2019年。一、五、八[6] 何朝阳，叶海山，等. Milenas：通过混合级重构进行高效神经架构搜索。在IEEE Conf. Comput.目视模式识别，2020年。2[7] Tzu-Ming Harry Hsu，Hang Qi，and Matthew Brown.测量不相同数据分布对馈送视觉分类的影响。在高级神经信息。过程系统，2019年。 二、四[8] Martin Isaksson和Karl Norrman。5G移动网络中的安全联合学习。2020年IEEE全球通信会议，第1-6页，2020年。8[9] Eunjeong Jeong，Seungeun Oh，Hyesung Kim，JihongPark，et al.高效通信的设备上机器学习：非独立数据下的联合蒸馏和扩充。arXiv预印本arXiv：1811.11479，2018。一、二[10] Peter Kairouz，H. Brendan McMahan，Brendan Avent，等 . 联 邦 学 习 的 进 展 和 开 放 问 题 。 Founda-tions andTrends® in Machine Learning，14（1），2021。8[11] JakubKone cˇ n y´ ， H. 主 演 ： BrendanMcMahanYu，etal.FederatedLearning ： StrategiesforImprovingCommunicationEfficiency.arXiv 预 印 本 arXiv ：1610.05492，2016。8[12] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。2009. 5[13] YannLeCun，Le'onBottou，etal. 基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278-2324，1998. 5[14] 李大良和王俊璞。Fedmd：通过模型蒸馏的异构联邦学习。arXiv预印本arXiv：1910.03581，2019。2[15] Tian Li，Maziar Sanjabi，Ahmad Beirami，and VirginiaSmith.联邦学习中的公平资源分配。在Int.会议学习。代表。，2019年。二、四、五[16] 刘鲁民，张军，S. H. Song，and Khaled Ben Letaief.基于 非 iid 数 据 的 边 辅 助 分 层 联 邦 学 习 。 CoRR ，abs/1905.06641，2019。一、二[17] Xinchen Liu，Wu Liu，Tao Mei，and Huadong Ma.提供：用于大规模城市监控的渐进和多模式车辆重新识别 。 IEEE Trans. Multimedia ， 20 （ 3 ） ： 645-658 ，2018。七、八4430[18] 卢松涛，张亚文，等.通过完全分散的联邦学习来学习电 子 健 康 记 录 。 arXiv 预 印 本 arXiv ： 1912.01792 ，2019。1[19] GrigoryMalinovsky 、 DmitryKovalev 、 ElnurGasanov、Lau- rent Condat和Peter Richtarik。从局部SGD到局部不动点联邦学习方法。arXiv预印本ar