随机共识联邦半监督学习

10154随机抽样共识联合半监督学习梁晓晓1，林益群1，付华珠2，朱磊3，1，李晓梦11香港科技大学，2IHPC，A*STAR3香港科技大学（广州）{xliangak，ylindw}@ connect.ust.hk，hzfu@ieee.org，{leizhu，eexmli}@ ust.hk摘要联邦半监督学习（FSSL）的目标是通过训练完全标记和完全未标记的客户端或训练部分标记的客户端来获得全局模型。当本地客户端具有独立同分布（IID）数据时，现有方法工作良好，但失败为了推广到更实际的FSSL设置，即，非IID设置。本文考虑了完全标记、完全未标记和部分标记客户模型之间的不均匀可靠性，提出了一种随机 S-C-onsensus-Federated学习（RSCFed我们的主要动机是，给定的模型与标记客户端或未标记客户端的大偏差，可以通过执行随机子采样客户端来达成共识。为了实现它，而不是直接聚合本地模型，我们首先通过对客户端进行随机子采样来提取几个子共识模型，然后将子共识模型聚合到全局模型。为了提高亚一致性模型的鲁棒性实验结果表明，我们的方法优于国家的最先进的方法三个基准数据 集 ， 包 括 自 然 和 医 学 图 像 。 该 代 码 可 在https://github.com/XMed-Lab/RSCFed上获得。1. 介绍联邦学习（FL）的核心思想是在分布在不同地点或设备上的独立数据集上训练机器学习模型，从而在一定程度上保护本地数据隐私。在过去的几年里，FL已经成为一个重要的研究领域，并吸引了许多研究人员大量的工作致力于设计各种FL方法，如FedAvg[23]，SCAFFOLD [12]项目负责人和通讯作者。图1. 现有FSSL方法的说明，即[28]我们的RSCFed。现有方法简单地在FedAvg [23]中执行标准模型聚合，而我们的RSCFed从局部模型中提取多个子共识模型，并通过聚合子共识模型更新全局模型。月，月。虽然结果很有希望，但这些方法需要在每个本地客户端上完全标记图像，限制了其在实际中的应用。最近，联邦半监督学习（FSSL）[8，19，21，28]正在成为一个新的研究课题，旨在利用未标记的图像来增强全局模型的识别。其中一项研究是通过考虑每个客户端都有部分标记和未标记的图像来研究FSSL。例如，Jeonget al. [8]引入了客户端间一致性损失，通过对多个客户端的一致输出进行分析来改进全局模型。FSSL [21，28]的另一行假设一些本地客户端具有完全标记的图像，而一些客户端包含未标记的图像，我们分别将其表示为标记的客户端和未标记的客户端。然而，现有方法具有两个主要限制。首先，他们没有考虑本地客户端之间的非独立和同分布数据（非IID），这是FL的一个关键问题，可能导致准确性下降[9，15]。其次，一些解决方案[21]在本地客户端之间共享相关矩阵，这可能导致信息泄漏。本文研究了FSSL在两种情况下的应用：（1）联合训练完全标记和完全未标记的客户端;（2）联合训练部分标记的客户端。一个简单的解决方案是扩展现有的FSSL方法，10155图 2.在 原始设置下，我们 的RSCFed与Federix [21]和 Fed-Consists [28]的测试准确度曲线的比较（origi. ），并在我们的重量调整设置（重量调整。）.[21]第28话：不求回报，只求回报。然而，Federator[21]和Fed-Consists [28]都未能推广到非IID设置。这是因为Fedora [21]提出了基于每个客户端具有相同类关系的假设在客户端之间共享类间相关矩阵。然而，由于本地数据的异构性，不能正确地学习类关系。在非IID设置中调用客户端，从而损害模型性能。Fed-Consists [28]建议对来自标记和未标记客户端的模型权重进行平均。然而，当未标记的客户端增加时，性能显著降低，调整标记和未标记客户端的聚合权重是一种解决方案，即，增加标记的客户端的权重，而减小未标记的客户端的权重然而，这种结果实现有限的性能;参见（重量调整）。图二、为 此 ， 我 们 提 出 了 RandomSSCNC onsensusFederated learning，即RSCFed，通过考虑来自完全标记和完全未标记客户端或来自非IID设置下的几个部分标记客户端的模型之间的不均匀可靠性，而没有任何客户端之间的信息泄漏。例如，标记的客户端很容易偏向本地数据，而未标记的客户端很难达到高精度，导致客户端之间的模型可靠性不均匀。另一方面，使用几个部分标记的客户端进行训练也可能导致不均匀的模型可靠性，因为每个客户端中的图像在数量偏斜和标签偏斜方面分布不均匀。为了实现鲁棒的全局模型，我们的关键思想是将局部模型视为噪声模型，并在聚合到全局模型之前通过随机采样提取几，如图1所示。具体来说，在每一轮同步中，我们随机对客户端进行子采样，并将子采样模型的平均权重记录为子共识模型。通过多次执行操作，我们通过聚合多个子共识模型来更新全局模型。为了从随机采样的本地客户端提取鲁棒的亚共识模型，我们引入了距离重新加权的模型聚合（DMA）模块，其动态地增加接近亚共识模型的模型的权重，反之亦然。这个想法与随机样本欺诈有着相似的精神sensus（RANSAC）[5]，如果点远离模型，则将其识别为离群值我们对自然图像分类数据集进行了广泛的实验（ 例如，SVHN 和CIFAR-100 ）和医 疗数据集（即，ISIC 2018 Skin），以证明RSCFed的有效性。总的来说，我们的主要贡献可归纳如下：• 在本文中，我们提出了一种新的FSSL方法，命名为RSCFed，以解决非IID本地客户端的不均匀的可靠性。与现有的直接聚合本地客户端的FSSL框架不同，RSCFed提出了通过聚合多个子共识模型来更新全局模型的概念。• 为了改进亚共识模型，我们引入了一种新的距离重新加权模型聚合（DMA）模块，它动态地调整每个采样的本地客户端的权重的亚共识模型。• 在三个公共数据集上的实验表明，我们的RSCFed显着优于其他国家的最先进的FSSL方法。我们进一步表明，当涉及的未标记数据比例较大时，RSCFed可以实现更好的改进。2. 相关工作2.1. 非IID的联合学习联邦学习为数据分散方案下的模型训练提供了多机构数据集群解决方案[13，29]。系统异构和统计异构是这一领域的两个常见问题，它们是指客户端之间计算能力和数据分布的不一致性。一项开创性的工作提供了最广泛认可的FL基线FedAvg [23]，其次是许多异构FL解决方案，这些解决方案可分为两个分支：面向局部训练的方法[16]和面向模型聚合的方法。本地培训为导向的方法至于本地培训为导向的方法，李等。[17]在局部目标中添加额外的正则化项，表示全局模型和局部模型之间的距离，从而对模型漂移进行约束。此外，Karimireddy等人[12]证明控制变量以纠正局部模型更新，Li等。[16]引入对比损失项以防止局部模型的局部最小值。其他几种方法执行客户端间隐私不变的信息交换[20，30]。然而，大多数现有的非IID数据的方法在FSSL设置下失败，这是由于来自标记和未标记客户端的不均匀模型可靠性。此外，一些方法在客户端之间交换信息[20，30]，这可能存在信息泄漏的可能性。与这些方法不同，我们不会在客户之间共享任何信息。10156globXi，yii=1。 同样，有n个未标记的客户端去-我 i=1面向模型聚合的方法对于模型聚合的改进，Wanget al.[27]在求平均值之前对接收到的局部梯度进行归一化;Wang等人。[26]使用贝叶斯非参数方法进行分层平均;Chen等人。[2]将已知的全局和局部模型视为来自假设分布的样本，其中另一组模型被采样为教师模型，并且稍后在未标记数据可以保存在服务器处的假设下用于服务器端知识蒸馏。Zhang等人[33]进一步将单个全局模型扩展到多个全局模型，其中在每个客户端计算对所有全局模型候选的最后，全局模型根据每个客户端以个性化的方式通过亲和力加权平均。然而，这些方法是为监督式联邦学习开发的，而我们的工作重点是FSSL，来自标记和未标记客户端的模型可靠性不均匀。2.2. 半监督学习标准的半监督学习旨在以中心化的方式优化具有标记和未标记数据的模型。学习范式通常涉及基于平滑的一致性正则化[4，18，25，31]，基于熵最小化的自训练方法[3，35]及其组合[1，7，24]。 例如，Zouet al. [35]将弱增强图像的解码器预测和自注意基于自我训练和协同训练的方法也在数据中得到了普及集中式数据方案。 然而，这些方法需要在非IID设置下失败，因为由于数据异构，客户端之间的类间相关性不再相似。此外，Yanget al. [28]介绍了一种基于一致性的方法，在该方法中，将不同的增强应用于未标记的图像，使其预测相似性最大化。虽然一致性损失仍然适用于异构数据，但在他们的方法中只涉及一个未标记的客户端。然而，我们发现，这些方法未能推广到非IID设置。我们提出的RSCFed显示其对FSSL下不均匀的模型可靠性的鲁棒性3. 方法图3显示了我们的RSCFed的概述对于一些有标签和无标签的本地客户端，我们的RSCFed在每轮中分别执行以下步骤：（1）随机采样本地客户端;（2）将当前全局模型分配给选定的客户端作为初始化，并对选定的客户端进行本地训练;（3）从选定的客户端收集模型，执行距离重新加权模型聚合（DMA）以获得子共识模型;（4）重复步骤（1）-（3）多次以获得子共识模型集合;（5）从子共识模型集合中聚合一个新模型作为下一个全局模型。3.1. FSSL设置在该方法中，我们考虑了完全标记和完全未标记客户端的FSSL。 假设有m个标记客户端表示作为{C1，...，Cm}， 并且每个有一个本地数据集， Dl， 定义为Dl=N..ll l过程 而在FSSL设置中，图像被分散到标记和未标记的客户端，记为{Cm+1，...， C m+n}，每个都有一个数据集Du包含N u个未标记数据Du ={（X u）}Nu。我们的目标分别本文没有研究如何在有标签和无标签的图像中获得一个好的模型，而是提出了一种新的模型聚合方法，该方法可以解决有标签和无标签的客户端的模型可靠性不均匀的问题。2.3.联邦半监督学习FSSL大致可分为两类。一个类别假设每个本地客户端包含部分标记的图像。例如，Jeonget al. [8]和Linetal. [19]让每个客户端保持标记和未标记的数据同步。此外，Jeong等人[8] Zhanget al.[34]假设标记数据仅在服务器上可用，Kang等人。[11]假设标记和未标记的数据被隔离，但是存在客户端间样本重叠。另一类认为一些客户端是完全标记的，而一些客户端包含未标记的图像。例如，Liuet al. [21]建议学习类间关系，这是从标记的客户端学习，并在标记和未标记的客户端之间共享。但这种方法是通过利用la-分散方案中的未标记和未标记数据。3.2. 当地培训所有局部模型在第t个同步循环开始时用当前全局模型θt初始化。我们提出的RSCFed分别在标记和未标记的客户端上采用标准的监督和非监督训练。为了简化，我们默认此部分中的所有表示都发生在第t个同步轮中。标记客户端对于标记客户端的本地训练，我们采用交叉熵损失LCE作为主要目标：LCE=−yilog（yi），（1）其中，是来自局部模型的局部数据的预测。然后，客户端在训练后将θl未标记客户端采用基于均值-教师的一致性正则化框架，将学生模型视为局部模型。教师模型θtea是在训练过程中标记图像和未标记图像10157LLglob，n=pJglob2KK总我N个总我我图3.我们建议的RSCFed的概述。标记和未标记的客户端分别通过监督交叉熵损失CE和基于平均教师的一致性损失MSE进行优化。我们的RSCFed使用距离重新加权模型聚合（DMA）在所有客户端之间执行多个随机子采样，以增加接近子共识模型的客户端的权重，反之亦然。该模块可以避免局部模型偏差对全局模型的影响。初始化为θ0当这个客户端是第一次，挖掘他们的潜在共识 然后，我们得到一个子-选。在未标记客户端的每次本地迭代中，一批输入图像被增强两次，并分别输入到学生和教师模型中。在他们的预测pstu和ptea生成之后，我们利用共识模型，通过聚集收集的模型，其中距离重新加权模型聚合（DMA）策略，引入动态调整其权重。我们重复这两个步骤M次，以获得一组亚共识模型。最后，我们聚集子共识模型集pi =锐化（p茶1，τ）iτ1p τ，J（二）以在每一轮中获得全局模型。多重随机子采样。 随机二次抽样其中pi和pi分别是指锐化之前和之后的pi中的每个元素，τ是温度参数。因此，p_tea被对于不同增强输入的两个预测，均方误差损失被用作未标记客户端的局部目标：LMSE=Ptea−Pstu2。（3）注意，只有学生模型通过方程更新。 （3），教师模型在每次局部迭代后通过指数移动平均接收学生模型参数：θtea=αθstu+ （ 1 −α ） θtea ，（4）其中α是动量参数。未标记的客户端最终返回学生模型作为其本地模型θu。3.3. 随机抽样共识FL我们提出了RSCFed，一个新的FSSL框架与随机子集采样和距离重新加权模型aggrega。提出了一种亚共识模型。我们建议执行多重随机子采样以获得多个亚一致性模型。为了实现这一点，在同步轮t开始时，我们执行M次独立随机子采样以对K个客户端进行采样。然后，服务器将全局模型θt发送给采样的客户端，然后在采样的客户端上执行本地训练。请注意，如果客户端在一轮中被多次采样，我们不需要再次发送全局模型进行初始化，以节省通信成本。距离重新加权的模型聚合。 为了增强子共识模型的鲁棒性，我们提出了一种新的距离重新加权模型聚合（DMA），而不是像FedAvg [ 23 ]那样聚合多个选定的客户端。我们的关键思想是动态地增加接近平均模型的模型的权重，反之亦然。对于样本客户的局部模型，我们设计了一种基于模型距离的重加权策略来进行模型聚合。对于每个子集，我们首先计算一个子集内平均模型θavg：从严重偏置的局部模型中获得更鲁棒的全局模型。更具体地说，我们随机分-对所有客户端进行采样并收集他们上传的模型N=N，θi=1=<$Niθ，（5）i=1avg10158globglobΣθ←K××∥ −∥glob子MKΣ−←−glob算法1：RSCFed框架输入：θt：第t轮的全局模型;N：客户端数量;M：子集数量;K：每个子集输出：第t轮的θt+11 form←0toMdo2从N个客户端中随机选择{Ci}4.1. 数据集和实验装置基准数据集。我们评估了我们提出的方法在两个自然图像分类数据集上的有效性，即，SVHN和CIFAR-100。此外，为了模拟现实的隐私数据分散分布的场景，我们在ISIC 2018（皮肤病变分析对黑色素瘤检测）上评估了我们的方法，包括对于k←0到K，i=110，015张皮肤镜图像，包括七种皮肤类型，3将全局模型θglob发送给Ck;4θk←LocalTraining（k，θglob）5θ<$ Avg（θk，k=0toK 1）方程（5）;嗯Ssions。对于所有三个基准数据集，每个数据集的80%图像被随机选择用于训练，其余图像用于测试。对于SVNH和CIFAR-100，我们调整这两个数据集的原始32×32图像的大小，6w<$k←Re W eight（θk，θ）方程（6）;到40×40像素，随机裁剪32×32区域，然后m个子K−1k=0wkθmM −1利用对裁剪区域的归一化操作来生成我们网络的输入。关于ISIC 2018，我们调整了原始图像的空间分辨率，8 返回θt+1←1θmm=0600×450到240×240，随机裁剪224×224区域，其中，θi表示子集的第i个局部模型，Ni表示其局部数据量，K表示子集中的客户端的数量我们的DMA不是简单地对本地客户端进行平均，而是针对每个子集中的第i个客户端动态地缩放wi，如下所示：特征提取主干。当在SVHN和CIFAR-100上训练时，我们遵循[16]采用简单的CNN作为特征提取骨干，它包含两个5 5卷积层，一个2 2最大池化层和两个全连接层。对于ISIC 2018数据集，我们使用ResNet-18 [6]作为特征提取主干。在此之后，我们采用了一个两层MLP和一个全连接Niθi−θavg我而Wwi=，则在每个客户端制定分类网络，wi=N总exp−β·N得双曲余切值.JWJ（六）所有数据集。 此外，同样的分类网络还在所比较的方法的每个客户端处用于其中β是超参数， θiθ avg2指的是第i个局部模型之间的模型梯度的L2以及子集内的时间平均模型。将模型距离除以局部数据量ni，以减少局部迭代对模型漂移的影响。然后，我们将子集内模型权重归一化为[0，1]。在获得一组亚共识模型之后，我们将它们的等权重平均值定义为最终的全局模型θglob：M−1公平的比较。联合学习设置。我们遵循现有的方法[16，26，32]来使用Dirichlet分布Dir（γ）（对于所有三个基准数据集，γ=0.8）来生成客户端中的非IID数据分区在这样的非IID数据划分策略之后，每个客户端处的类和样本的数量彼此不同，因此并非所有客户端都包含来自所有类的样本。实施详情。 我们利用SGD优化器，θt+1=1θm、（7）并使用PyTorch实现我们的方法 学习globMm=0子对于SVHN上的所有方法，已标记客户端和未标记客户端中的速率被经验地设置为0.03和0.021其中θm表示第m个亚共识模型。然后以θt+1作为初始化，执行第t+1个算法1给出了RSCFed在第t个同步轮中的整个更新。4. 实验为了证明我们提出的RSCFed的有效性和鲁棒性，我们在3个基准数据集上进行实验，并进一步评估RSCFed在不同的未标记数据比率，有限的通信成本等密集设置。子并将裁剪区域归一化为网络输入。710159和CIFAR-100，以及ISIC 2018的0.002和0.001。SVHN和CIFAR-100的批量大小设置为64，ISIC 2018的批量大小设置为12。我们为所有数据集训练1000个同步轮，以使全局模型稳定收敛，局部训练历元设置为1。子采样操作的数量M和在每个子采样操作中使用的本地客户端的数量K被设置为：M=3，并且K=5。我们的方法有三个参数：方程的动量参数α（4）方程的温度参数τ。（2）的比例因子β。（六）、对于所有三个基准数据集，我们根据经验设置α=0.001，τ=0.5。SVHN和CIFAR-100的比例因子β设置为10，00010160--方法度量表1. SVHN，CIFAR-100和ISIC 2018数据集在异构数据分区下的结果。请注意，Federator [21]和Fed-Consistt [28]在非IID设置中无法泛化本表中报告的结果是在进行重量调整的情况下进行的;见图。2标记策略方法客户端编号度量标记未标记Acc.（%）AUC。（%）精密度（%）召回率（%）数据集1：SVHN完全监督FedAvg [23]（上限）10082.0597.8281.5977.90FedAvg [23]（下限）1060.5491.2364.3857.34[21]第二十一话1955.6991.1966.7856.40半监督[28]第二十八话1966.9494.1968.9266.75RSCFed（我们的）1970.2695.5473.3668.46数据集2：CIFAR-100完全监督FedAvg [23]（上限）10025.8790.4429.9726.01FedAvg [23]（下限）1012.0276.0310.7611.58[21]第二十一话1914.1179.2214.6414.03半监督[28]第二十八话1913.8978.3115.1212.95RSCFed（我们的）1915.8281.4115.8516.37数据集3：ISIC 2018：皮肤病变分类完全监督FedAvg [23]（上限）10 084.0795.6476.6862.97FedAvg [23]（下限）1 068.1484.1241.9138.61[21]第二十一话1968.1084.1141.9638.94半监督[28]第二十八话1968.7484.7141.9138.63RSCFed（我们的）1970.2686.0145.6537.91表2.我们的方法和骨干模型的定量结果[28]在三个基准数据集上没有多重子采样操作和距离加权聚合机制“SSO” denotesthe multiple sub-sampling operation with model aggregation,while“DMA”representsthedistance-weightedmodelaggregationSSODMA质量 保证（%）AUC（%）数据集1：SVHN基本××66.9494.19基本+SSO✓×69.1595.2RSCFed（我们的）✓✓70.2695.54数据集2：CIFAR-100基本××13.8978.3基本+SSO✓×14.9281.8RSCFed（我们的）✓✓15.8281.4数据集3：ISIC 2018基本××68.7484.7基本+SSO✓×69.8585.5RSCFed（我们的）✓✓70.2686.0ISIC 2018为0.01。4.2. 有标记和无标记客户端FSSL设置。在此设置中，训练数据集包含10个客户端：一个带有标记图像的标记客户端和九个只带有未标记样本的未标记客户端。此外，使用相同的FSSL训练数据集来训练我们的网络和最先进的方法进行公平的比较。实作详细数据。 请注意，当所有局部模型通过Fe- dAvg [23]聚合时，[21，28]中的原始工作在足够的标记数据下达到非常有限的结果，参见图2。因此，我们重新实现[28]，尝试从集合20%，30%，50%，70%中增加标记客户端的聚合权重。我们的实验表明，达到最佳的分类精度。 因此，我们-表3.我们的方法（RSCFed）与Federator [21]和Fed-Consists[28]的比较，标记和未标记的客户端数量设置为2和8。Acc.（%）AUC（%）精密度（%）召回率（%）Federico（origi.）[21日]59.7587.467.5555.26重量调整（weight adju.）[21日]74.1094.876.4970.45[28]第二十八话75.5296.477.7570.30RSCFed（我们的）76.6596.778.6173.16在每一轮FSSL同步中，将标记客户端的权重螺旋式放大到50%左右，其余9个未标记客户端共享剩余的50%权重。当我们重新实现FedEx [21]和我们的RSCFed时，这种aggre- gating权重也被应用于保证深度模型的性能。比较方法。我们将我们的网络与最先进的FSSL方法进行了比较，包括（1）FedSSL [21]，它计算标记客户端的类间关系，并将其用作未标记客户端的额外监督(2)Fed-Consists [28]，它计算了平均教师框架中未标记数据的多个增强输入的预测的一致性损失[25]。我们还将我们的网络与FedAvg [23]进行了比较，其中所有10个标记的客户端作为上限分类结果进行了训练，FedAvg [23]使用所有1个标记的客户端作为下限分类结果进行了训练;请参见表1。此外，本文还介绍了四个常用的指标，即准确度、ROC曲线下面积(AUC)精确度和召回率。定量比较。表1报告了我们的网络和最先进的方法在三个基准数据集上的四个指标的定量结果。从根本上说，我们可以发现，两者的结果相比，10161表4.根据不同的未标记客户端编号对我们的方法（RSCFed）进行消融研究，并与SOTA FSSL方法进行比较（即，Fed-Consists[28]）。客户总数客户端拆分[28]第二十八话我们的RSCFed改进标记未标记Acc.（%）AUC。（%）Acc.（%）AUC。（%）Acc.（%）AUC。（%）51467.8295.369.3395.81.510.5101966.9494.270.2695.53.321.31511469.6594.373.1995.63.541.32512460.2889.363.7990.93.511.63513456.0890.659.8292.83.742.25014956.2088.060.1891.53.983.5FSSL方法（即，FedEng [21]和Fed-Consistt [28]）和我们的网络在FedAvg [23]为所有三个基准数据集获得的上限结果和下限结果从这些定量结果中，我们可以观察到，我们提出的RSCFed在三个基准数据集上具有优于所有竞争对手的度量性能。我们优于Fed-Consistt的性能表明，我们的网络中的聚合策略此外，我们的网络在三个数据集的四个指标方面也优于Federico。其原因是在我们的工作中，由于所有客户端上的非IID数据分布，客户端之间类间关系的一致性描述不正确。对SVHN的评价。关于两种比较的方法，Fed-Consists具有 最佳的 准确率 性能66.94% ，最 佳的AUC 性能94.19%，最佳的精度性能68.92%，以及最佳的召回性能 66.75% 。 更 重 要 的 是 ， 我 们 的 方 法 具 有 比 Fed-Consists更大的度量分数，并且实现了70.29%的准确度（3.32%的改进），95.54%的AUC（1.35%的改进），73.36%的精确度（4.44%的改进）和68.46%的召回率（1.71%的改进）。对CIFAR-100的评价。关于CIFAR-100，Federisk具有更大 的准确 性评分 （14.11%）、 更大的 AUC 评分（79.22%）和更大的召回评分（14.03%），而Fed-Consists具有更大的精确度评分（15.12%）。与这两种最先进的方法相比，我们的网络将准确率分数从14.11% 提 高 到 15.82% ， AUC 分 数 从 79.22% 提 高 到81.41%，精度分数从15.12%提高到15.85%，召回分数从14.03%提高到16.37%。ISIC 2018的评价。 虽然Fed-Consists的Recall分数比我们的方法大，但我们的方法在所有三种比较方法中也达到了最好的准确性分数70.26%，最好的AUC分数86.01%，最好的精度分数45.65%。这表明我们的联邦半监督学习方法对ISIC 2018具有更高的分类准确率。4.3. 部分标记客户端FSSL设置。为了更好地阐述RSCFed解决模型可靠性不均匀的能力，我们进一步将RSCFed扩展到另一行FSSL，其中所有本地客户端都部分地表5. SVHN数据集上部分标记客户端的结果。方法度量Acc.（%）AUC（%）精密度（%）召回率（%）[28]第28话我爱你77.5496.6397.0577.9079.1974.1175.4979.01标记，即，只有10%的图像被标记。对于此设置，我们采用与上一个设置相同的网络主干由于所有客户端都是部分标记的，因此不执行权重缩放操作。结果表5显示了我们的方法和基线，SVHN数据集上的Fed-Consistt [28]。请注意，由于[21]中的方法需要来自完全标记客户端的额外监督，并且无法推广到此设置，因此我们不在这里列出他们的结果从表5中我们可以看到，我们的RSCFed在大多数指标上仍然优于Fed-Const [28]超过1%更具体地说，我们的工作使准确率提高了 1.47%，精 确率 提高 了1.29%，召 回率 提高 了1.38%，AUC提高了0.42%。4.4. 消融研究我们进一步进行烧蚀实验，以评估我们的RSCFed的主要组件（子采样和聚合策略）的有效性，并进一步讨论其性能方面的不同未标记的比率，不同的通信成本限制，和不同的超参数。除非单独说明，否则本节中的所有实验结果均在SVHN数据集上进行SSO和DMA的有效性。为了评估多重子采样操作（SSO）和距离加权模型聚合（DMA）的有效性，我们在三个基准数据集上进行了消融研究表2比较了我们的方法和两个基线网络（即，“Ba- sic+SSO”从这些定量的结果中，我们可以发现，SSO和DMA有显着的贡献，我们的方法在FSSL场景中的成功。通过对比“Basic+SSO”和“Basic”的定量结果此外，我们的方法10162表6.消融研究我们的方法（RSCFed）在不同的通信成本和比较，他们对美联储组成。“Com. “成本”（代表通信成本）表示是现有技术方法的多少倍（即，Fed-Consists [28]）。方法客户端编号Com. 成本度量Acc.（%）AUC（%）[28]第二十八话10 1.0×66.94 94.2我们的RSCFed8 0.8×9 0.9×10 1.0×15 1.5×68.23 94.469.25 95.069.54 95.270.26 95.5表7.不同超参数值的消融研究结果。M表示子采样的数量，K表示每个子采样中的客户端数量。超参数M×KAcc.（%）AUC（%）3×570.2695.55×370.2895.12×770.1395.44×470.1895.2也有助于提高SVHN上1.11%的准确度评分和0.34%的AUC评分，CIFAR-100上0.9%的准确度评分和-0.4%的标签客户比率。请注意，FedSSL [21]关注10个客户端，其中2个标记客户端和8个未标记客户端作为FSSL的设置，其中涉及更多标记数据。为了评估RSCFed在增加标记客户比率的情况下的性能，我们在固定客户数下将我们的工作与以前的艺术进行了比较。在Federico [21]之后，我们根据经验将整个训练数据分为10个客户端，其中包括2个标记客户端和8个未标记客户端。表。3列出了我们方法的广泛指标，Federator[21]和Fed-Consistt [28]。RSCFed的持续改进可以在四个指标中观察到准确率提高了1.13%，AUC提高了0.3%，精确率提高了0.86%，召回率提高了2.86%。未标记的客户比率。为了评估我们在不同的未标记客户端比率下的性能，我们进行了一项消融研究，以比较不同的联邦半监督学习方法在不同数量的客户端方面，其中所有方法中标记客户端的数量设置为1在这里，我们认为整个客户端数量为5，10，15，25，35和50，表4报告了我们的方法和Fed-Consists [28]的结果。可以看出，当未标记的客户端的数量增加时，我们相对于Fed-Const的准确性和AUC分数的改进准确度改善从1.51%逐渐增加至3.98%，AUC改善从0.5%增加至3.5%，未标记的客户端的数量从4增长到49。通信成本限制。请注意，com-browser两种方法在每个同步轮中传递了10个本地客户端模型，而我们的方法考虑了15个本地模型，因为我们使用了3个子采样操作，并且在每个子采样操作中选择了5个本地客户端。因此，我们的方法的通信成本是1。5倍于Fed-Consists[28]。我们进行了消融研究实验，以评估我们的方法在不同的通信成本限制。具体地，我们考虑另外三种情况，8个客户端，9个客户端和10个客户端，因此通信成本为0。八比零。9和1。0倍于基线的通信成本。表6列出了我们的方法在不同通信成本和联邦组成下的准确度和AUC评分[28]。这表明，我们的网络与0。在准确性和AUC评分方面，8倍的通信成本也优于最先进的方法（Fed-Consistt [28超参数。注意，我们的网络有两个主要的超参数，它们是子采样操作的数量（M）和每个子采样操作中使用的本地客户端的数量（K显然，我们经验地设置M=3，K=5。在此，我们进行了一项消融研究，以研究M和K的不同选择，并在表7中报告了准确度和AUC评分。从结果中，我们可以发现，在不同的M和K值下，准确度和AUC评分仅略有不同。5. 结论本文提出了一个重要的、实用的但被忽视的联邦学习问题：非IID本地客户的联邦半监督学习考虑到标记和未标记客户端之间的不均匀可靠性，我们的核心思想是通过对客户端进行多次子采样与简单的局部模型聚合不同，我们通过在客户端上随机子采样设计了一个子共识模型，并引入了一个距离重新加权的模型聚合模块，在每个同步轮中对子采样模型进行聚合。在三个基准数据集上的实验结果表明，我们的网络始终优于最先进的方法，这证明了我们的方法的有效性。确认本 研 究 得 到 了 香 港 科 技 大 学 桥 梁 缺 口 基 金（BGF.027.2021）、深圳市中央政府引导地方科技发展专项基金（2021Szvup139）、国家自然科学基金（ 61902275 ） 和 A*STAR AI3 HTPO 种 子 基 金（C211118012）的支持。10163引用[1] DavidBerthelot、NicholasCarlini、IanGoodfellow 、 Nicolas Papernot 、 Avital Oliver 和Colin Raffel。Mixmatch：半监督学习的整体方法。arXiv预印本arXiv：1905.02249，2019。三、四[2] 陈洪友，赵伟伦。Fedbe：Mak- ing baidu modelensemble applied to federated learning. 2021年，在国际学术会议上发表。3[3] 陈小康，袁玉辉，曾刚，王敬东.交叉伪监督的半监督语义分割。在IEEE/CVF计算机视觉和模式识别会议论文集，第2613-2622页，2021年。3[4] Wenhui Cui ， Yanlin Liu ， Yuxing Li ，MenghaoGuo ， Yiming Li ， Xiuli Li ， Tianle Wang ，Xiangzhu Zeng，and Chuyang Ye.半监督脑病变分割与适应平均教师模型。医学成像信息处理国际会议，第554-565页。Springer，2019年。3[5] Martin A Fischler和Robert C Bolles。随机样本一致性：模型拟合的范例，应用于图像分析和自动制图。Communications of the ACM，24（6）：381-395，1981. 2[6] Kaiming He，Xiangyu Zhang，Shaoying Ren，andJian Sun.用于图像识别的深度残差学习。 在IEEE计算机视觉和模式识别会议论文集，第770-778页，2016年。5[7] Zijian Hu，Zhengyu Yang，Xuefeng Hu，and RamNevatia.简单：半监督分类的类似伪标签利用在IEEE/CVF计算机视觉和模式识别会议论文集，第15099-15108页，2021年。3[8] Wonyong Jeong ， Jaehong Yoon ，Eunho Yang ，and Sung Ju Hwang.联邦半监督学习与客户端间一致性不相交学习。2021年国际学习表征会议。第1、3条[9] Peter Kairouz ， H Brendan McMahan ， BrendanAvent，Aure'lienBellet，MehdiBennis，ArjunNitinBhagoji ， Kallista Bonawitz ， ZacharyCharles，Graham Cor- mode，Rachel Cummings，et al. Advances and open problems in federallearning.arXiv预印本arXiv：1912.04977，2019。1[10] Georgios A Kaissis，Marcus R Makowski，DanielR ück ert和RickmerFBraren。医疗领域的安全、保生存显像Nature Machine Intelligence，2（6）：305-311，2020。1[11] 严康，杨柳，陈天剑。Fedmvt：半监督垂直联邦学 习 与 多 视 图 训 练 。 arXiv 预 印 本 arXiv ：2008.10838，2020。3[12]