没有合适的资源?快使用搜索试试~ 我知道了~
361基于跨客户端风格转换4* 广州白云国际机场酒店2*广州白云国际机场酒店2* 广州白云国际机场酒店2 * 广州白云国际机场酒店香港中文大学{jchenfo,cqf} @ ust.hk{ mrjiang,qdou} @ cse.cuhk.edu.hk摘要领域泛化(DG)是图像识别领域的一个研究热点,其目标是训练一个通用的模型,该模型可以在未知的领域中表现良好。最近,联邦学习(FL),一种新兴的机器学习范式,从多个分散的客户端训练一个全局模型,而不损害数据隐私,给DG带来了新的挑战和可能性。在FL场景中,许多现有的最先进的(SOTA)DG方法变得无效,因为它们需要在训练期间集中来自不同域的数据。在本文中,我们提出了一种新的领域泛化方法,通过跨客户端的风格转移(CCST),无需交换数据样本的联邦学习下的图像识别。我们的CCST方法可以使源客户端分布更加均匀,并使每个局部模型学习适合所有客户的形象风格,以避免不同的-ent模型偏差。提出了两种风格(单图像风格和全局域风格),并根据不同的场景选择相应的机制。我们的风格表示是非常轻量级的,几乎不能用于重建数据集。多样性的水平也是灵活的,可以用超参数来控制。我们的方法优于最近的SOTA DG方法上的两个DG基准(PACS,CAMEHome)和大规模的医学图像数据集(Camelyon17)在FL设置。最后,我们的方法是正交的许多经典的DG方法,通过联合利用实现附加我们的代码可从以下网址获得:https://chenjunming.ml/proj/CCST。1. 介绍联邦学习(FL)旨在在多个分散的本地客户端上训练机器这种新兴技术近年来引发了越来越多的研究兴趣*联合第一作者。由于其在许多现实世界中的重要应用,例如金融,医疗保健和边缘计算[22]。该范例以每个本地客户端(例如,医院)从它们的本地数据中学习,并且仅在中央服务器上以特定频率聚集模型参数以产生全局模型。FL中最大的挑战之一是处理跨不同客户端的非相同和独立分布(非IID)数据。虽然在解决FL中的非IID问题方面取得了很大进展[29,28],但大多数都只关注于改善内部客户的性能。很少有文献关注FL中的领域泛化,这是一个关键的场景,考虑到模型的泛化能力,在一个新的客户端与未知的数据分布。例如,重要的是,由多个医院联合训练的疾病诊断模型可以被其他新医院以高准确度直接利用,特别是当它们具有很少的注释数据来训练好的模型时。DG的目标是通过在多源数据上训练模型来提高未知目标域现有工作FedDG [33]提出在频域跨客户端交换幅度信息,并利用情景学习来进一步提高性能。然而,它们是特定于医学图像分割任务的,并且考虑了跨医学成像协议的分布变化,这对于野外的较大域差距仍然是未探索的。相比之下,我们的目标是提高图像识别任务的模型泛化能力,我们的方法能够处理从小(跨站点医学图像)到PACS数据集中的照片和草图等更重要的领域转移。FL场景对DG提出了特殊的新挑战:将每个客户端视为具有特定风格的域,在训练期间无法将来自每个域的数据放在一起,这违反了例如,元学习[26]和对抗域不变特征学习[27]都需要同时访问所有源域,这在联邦学习中并不直接适用。此外,直接聚合局部模型362花柱提取使用共享样式库生成示例模型服务器µ1σ1µ2σ2µ3σ3起源数据µ1σ1风格统计起源数据µ2σ2风格统计起源数据µ3σ3风格统计数据生成客户端1客户端2客户端3图1:我们的框架概述,在PACS数据集上使用三种不同的源样式跨源客户端进行样式传输我们用其他两个源客户端的样式来增加每个源客户端的数据。可能导致次优全局模型,因为局部模型偏向于不同的客户端风格。为了解决这些问题,我们提出了一种数据级跨域样式转换(CCST)方法,该方法通过样式转换技术使用其他源域样式来扩充数据。以这种方式,每个客户端将具有所有其他源客户端的样式,并且因此所有本地模型将具有相同的目标以使图像与所有源样式匹配,这避免了可能损害全局模型性能的不同本地模型偏差。此外,CCST与其他DG方法正交,因此集中式DG上的现有方法也可以受益于进一步的精度提升。我们用于联邦域泛化的CCST方法是通用的,并且与满足以下两个要求的任何样式转换方法兼容:首先,样式转换算法中的样式信息不能用于重构数据集;其次,该样式转换方法应该是每个模型的任意样式转换方法,这意味着样式转换模型应该准备好将内容图像转换为任意样式。由于联邦学习中可能有许多客户端,因此风格迁移模型应该更好地具有迁移所有这些风格的能力,而无需重新训练。否则,部署成本将显著增加,因为每个客户端必须在本地存储不同样式的各种模型在我们的论文中,我们选择了AdaIN [15],一个有效的实时任意风格传输模型来证明我们的CCST框架的有效性。AdaIN中使用的样式信息是时刻(即,平均值和方差),它们是非常轻量级的(两个512维矢量),并且不包含关于以下内容的空间结构信息图像内容。因此,这样的风格信息在客户端之间共享是有效的,并且几乎不会导致数据集的重构。进一步分析见第4.4节。我们的方法的总体框架如图1所示。每个客户端都被视为一个域,具有特定于域的样式.在训练图像识别模型之前,我们首先计算每个源客户端图像的风格信息。我们设计了两种可以共享的样式:单个图像样式和整体域样式,这将在第3节中详细说明。然后,源客户端将其样式信息上传到全局服务器,并与所有源客户端共享,我们称之为样式库。每个源客户端利用共享样式库对本地数据进行样式转换,在转换过程中引入超参数K来控制CCST过程的多样性程度。联邦训练将在每个源客户端完成数据增强后开始,然后训练好的模型将直接在未看到的目标客户端上进行测试我们的贡献概述如下:(a) 我们提出了一个简单而有效的框架跨客户端风格转 移 (CCST ) 。 我们 的 方 法 在两 个 标 准 DG 基 准(PACS [24],Office- Home [39])和大规模医学图像数据集(Came-lyon 17 [3])的FL设置中实现了新的最先进的泛化性能。(2)提出了两种风格,即整体域风格和单一图像风格,并给出了相应的共享机制,可根据不同的情况进行选择。我们的方法的多样性水平也是灵活的可调整的。(c)所提出的方法与许多其他SOTA DG方法正交。因此,我们的方法可以很容易地应用于那些DGµ 1 σ 1 µ2σ2µ3σ3共享样式库363方法以进一步提高性能我们还研究了几种SOTA DG方法的有效性,当它们被应用于FL设置的图像识别。(d)我们对我们的风格向量的隐私保护性能进行了直观(第4.4节)和实验分析(第A节),以证明人们很难使用FL设置中的SOTA GAN [32]生成器仅从风格向量重建原始图像。2. 相关工作领域泛化。领域泛化是一个热门的研究领域,其目的是从多个源领域学习模型,使得模型可以在未知的目标领域上泛化。针对集中式数据环境下不同方向的域转移问题,提出了许多解决方案.这些方法可以分为三类[42],包括操纵数据以丰富数据多样性[18,44,37,47],学习域不变表示或解开域共享和特定特征以增强模型的泛化能力[1,36,4,46],以及利用通用学习策略以提高泛化能力[26,17,7,8]。然而,这些方法中的许多方法需要集中不同域的数据,违反了联邦学习中的局部数据保存。具体而言,需要访问多于一个域来增强数据或生成新数据[37,18],在跨域比较下执行域不变表示学习或分解特征[1,36,46],并且一些基于学习策略的方法利用额外的一个域进行元更新[26,7,8]。尽管如此,有些方法并不明确要求集中化的域,或者可以通过微小的变化适应联邦学习。例如,MixStyle [47]可以在单个域中可选地进行样式随机化以增加数据;[44]采用傅立叶变换进行增强,不需要共享数据; JiGen [4]提出了一种自我监督的任务来增强表征能力; RSC [17]设计了一种基于梯度运算的学习策略,没有明确的多域要求。联邦/分散域泛化。尽管有许多集中式领域泛化和处理FL中的非IID问题的工作,但很少有工作解决FL中的DG问题。FedDG [33]在来自不同客户端的图像之间交换幅度信息,并利用情景学习进一步提高性能。然而,它只专注于分割任务的表面域移动的数据,其性能的图像识别具有较大的域移动尚未探索。COPA [43]建议仅聚合域不变特征提取器的权重,并维护域特定分类器头的集合以解决分散的DG。然而,由于COPA必须共享类-在本地和全局上所有客户端的更小的头部,这可能导致隐私问题,更重的通信和更高的测试时间推断成本。神经风格转移。神经风格迁移(NST)的目的是在保留图像语义结构的前提下,将图像的风格迁移到另一幅内容图像上。NST的发展大致经历了三个阶段:每模型每样式(PSPM)、每模型多样式(MSPM)和每模型任意样式(ASPM)方法[20]。PSPM方法[11,21,38]只能为每个训练模型传输单一样式MSPM方法[9,5,45,31]能够用单个训练模型转移多种样式。然而,在我们的设置中,当需要传输太多的样式时,PSPM和MSPM的部署成本很高。ASPM [6,16,12,30]可以将任意样式传输到任何内容图像,并且通常比PSPM和MSPM更快,这更适合我们的场景。第一种ASPM方法由Chen和Schmidt [6]提出,但它不能实现实时性。AdaIN [16]是第一个实时任意风格传输方法,它利用通道平均值和方差作为风格信息。它通过使用自己的样式规范化VGG功能来执行去样式化,然后对自身进行样式化通过仿射变换得到风格图像特征的均值和方差。另一种实时ASPM方法[12]是CIN [10]的后续工作。他们通过另一个风格预测网络预测每个风格图像的仿射变换参数,将MSPM方法CIN变为ASPM方法。然而,预测的样式向量的样式-内容解纠缠后来,Li et al.[30]提出了一种通用的风格学习自由ASPM方法,该方法利用ZCA白化变换进行去风格化,利用着色变换进行风格转换。然而,这种方法在实践中比传统方法慢得多。因此,我们选择了最整洁,高效的实时ASPM方法AdaIN作为我们的风格转移模型在我们的框架。3. 方法该方法的核心思想是通过跨客户端的风格传递将其他客户端的风格引入到每个客户端中,使分布式客户端具有尽可能相似的数据分布,而不会泄漏数据集图3显示了CCST方法前后的数据分布。通过这种方式,我们可以使训练过的本地模型学习适应所有的源客户端风格,并避免聚合偏向不同风格的本地模型。因此,每个客户端都可以被视为一个deep-all [4]设置,并且本地模型将具有相同的目标来适应所有源客户端的样式。我们提出了两种类型的样式,可供选择进行传输:一种是整体域风格,另一种是单一图像风格。在接下来的章节中,我们将介绍364风格化图像内容图像样式图像--··我单(i)CSSσ(Fc)S单(i)我我我们重组的风格转换框架和跨客户风格转换的过程我们用于联邦域泛化的CCST方法是通用的,并且与满足以下两个要求的任何样式转换方法兼容:对于要在我们的通用CCST框架中使用的样式转移模型,至少应该满足两个要求:1)客户端之间共享的样式信息不能用于重构数据集; 2)风格转移方法应该是实时任意风格转移模型,以允许高效和直接的风格转移。AdaIN [16]是第一个实时任意样式传输模型,它完美地满足了这两个要求。此外,仅从AdaIN中使用的样式信息恢复数据集是极其我们在4.4节中对隐私问题进行了直观的分析因此,我们选择AdaIN作为我们的风格转移模型来证明我们的CCST框架的有效性。形式上,对于内容图像Ic和样式图像Is,对应的VGG特征Fc和Fs为:Fc= Φ(Ic),Fs= Φ(Is),(1)其中Φ是VGG编码器。AdaIN模块将VGG特征Fc和Fs取为内容和样式图像作为输入,其首先用Fc的矩进行归一化(去样式化),然后用Fs的矩执行仿射变换(样式化)。从形式上讲,AdaIN(F,F)= σ(F). Fc − µ(Fc)+ µ(F),(2)其中,µ()和σ()计算图像特征的通道平均值和标准方差假设Fc的形状为x×h×w,给定通道维度x和特征图分辨率h×w,则μ(Fc)和σ(Fc)的形状相同,为x ×1。通常情况下,x=512。然后,的 转移 特征 Fc←s衍生自AdaIN(Fc,Fs)被传递到解码器ADC以生成图2:重新组织的AdaIN [16]框架用于联邦学习中的跨客户端风格迁移。VGG编码器在风格提取和图像生成阶段之间共享 虚线将我们方法的三个阶段分开:1.局部风格计算; 2.服务器端风格的银行广播; 3.当地风格的转移。3.2. 跨客户端风格传输我们将联邦学习中的每个客户端视为一个域。数据扩充过程的工作流程如算法1所示。假设存在N个客户端C1,C2,...,CN,有一个中央服务器。请注意,我们将在下图中并行介绍两种类型的样式和相应的机制如图2所示,我们的方法有三个阶段:3.2.1本地风格的计算和共享。开始时,每个客户端需要计算它们的样式并将其上传到全局服务器。可以选择两种类型的样式在客户端之间共享:单一图像样式。图像风格被计算为图像的VGG特征的像素级通道平均值和标准方差。形式上,对于在客户端Cn处具有索引i和VGG特征FCn的随机选择的图像,最终风格化图像Ic←s:单图像样式SCn将是:Ic←s= I(AdaIN(Fc,Fs)).(三)SCn=(μ(F Cn),σ(F Cn))。(六)3.1. 预赛如图2所示,我们将AdaIN的工作流第一部分是样式提取器SE,如果使用单一的图像样式进行样式传输,则需要将不同图像的多个样式上传到该客户端的服务器,以避免单一图像的偏见,增加多样性,从而形成本地图像样式库SCn。为了-样式图像作为输入。将样式表示为S,然后:S= SE(Is)=(Sµ,Sσ)=(µ(Φ(Is)),σ(Φ(Is)。(四)mally,表示随机选择的J由Cn加载为银行图像风格要向上-第二部分是具有内容的图像生成器G中信银行Cnsingle(i1)Cnsingle(iJ)},(7)图像和样式向量作为输入:其中{i1,. . . ,iJ服务器端风格银行广播服务器上的样式库局部样式计算本地风格转移1 23风格转移μ,σ解码器VGG编码器VGG编码器={SS,的。. . ,S365.Σ}是随机采样的图像索引Ic←s =G(Ic,S)=(SσΦ(Ic)−µ(Φ(Ic))+Sσ(Φ(Ic))µ)的情况。(五)客户Cn。共享单个图像样式消耗相对较低的计算,但可能导致上传多个样式的高366银行银行整体×联系我们整体风格域。 域风格是域级别的通道平均值和标准方差,它考虑了客户端中的所有图像(像素)。形式上,假设客户端Cn具有M个训练图像,其具有对应的VGG特征{F Cn,F Cn,...,F Cn},整体风格SCn,算法1在客户端Cn处的本地跨客户端样式传输输入:训练图像集ICn,全局样式库B。参数:增强级别K,样式类型T。输出:增强数据集DCn一曰: DC=[]增强数据集1这个客户是:SCn2M=(μ(FCn),σ(FCn)),整体n2:对于i= 1,2,...,mdom = size(I)3:S=随机选择(B,K)整体所有所有(八)4:对于S中的SCn,FCn= Stack( FCn,FCn,.,FCn)。所有1 2M5:如果Cn是当前客户端,则与仅计算几个单个图像样式相比,整个域样式的计算成本相对较高但是,由于每个域只有一个域,6:DCn.append(Ii)7:否则,如果T是单模,则8:DCn.append(G(Ii,random.choice(SCn,1)Cn总体,选择上传整体域名风格▷公式59:否则,如果T是整体模式,则与服务器的通信效率更此外,整体领域风格能更好地代表领域风格,而单个图像风格则能赋予风格库更多的多样性和随机性。3.2.2服务器端风格的银行广播。当服务器接收到每个客户端的所有样式时,它会将所有样式连接为样式库B,并将其广播回所有客户端。在两种不同的风格分享模式下,风格银行也会有所不同:• 样式库B单个用于单个图像样式:10:DCn.append(G(Ii,SCn))11:返回DCn否则,如果转移单个图像样式,则将从SCn中随机选择一个样式Ssingle作为Bsingle中所选域的样式。在这两种风格模式中,如果选择了域本身,则该图像将直接放入增强数据集中。4. 实验4.1. 数据集B单={SCn|n = 1, 2,... N}个。(九)我们在两个标准的域生成数据集(PACS [25],E-Home [40])上评估了我们的方法,• 总体域样式的样式库B将各种图像风格作为域和真实世界医学图像数据集(Camelyon 17 [3])。具体地说,B总体={SCn|n = 1, 2,..., N}个。(十)PACS是一个7级图像识别基准,包括9,991张图像,具有四种不同的图像风格域,类似地,这里单个B比整体B消耗更多的内存。因此,后者更有利于沟通。3.2.3当地风格的转移。当客户端Cn接收到样式库B时,可以通过将B中的样式传输到现有图像来扩充本地数据,这将其他域的样式引入到该客户端中。一个超参数K1,2,...,N称为增强水平,被设置为从样式库B中选择K个样式用于对每幅图像进行增强,指示最终增强数据集的多样性。假设原始数据集的大小为d,那么在跨客户端风格传输之后,增强数据集的大小将变为d K。在算法1中示出了具有两个样式选择的本地样式传输的工作流程。首先,对于客户端Cn中的每个图像I,选择K个随机域,并且每个所选择的域应该具有一个要输入到图像生成器G中的风格向量S。如果要调用整体的do- main样式,只需选择对应的样式S整体即可S型367包括照片、艺术、卡通和素描。Anto-Home是一个其他图像识别数据集,包括来自四个不同领域(艺术,剪贴画,产品和现实世界)的65类15,588张Camelyon17是一个公开的肿瘤分类数据集,它有来自5家医院的组织学图像4.2. 实验设置实验设置。我们把每个域作为一个单一的客户端,并进行了留一个域的PACS和家庭数据集的实验。具体来说,我们选择一个客户端作为目标测试域,并在其他客户端上训练我们的模型。对于医疗数据集,遵循文献[3,23]中的源/目标域设置,我们将留一域设置应用于医院4和医院5。对于PACS数据集,我们遵循JiGen [4]将每个客户端的90%数据作为训练集,10%作为源客户端的验证集,而对于看不见的目标客户端,整个数据用于测试。对于拥有更多数据样本的Camelyon Home和Camelyon 17,每个源客户端的训练集和验证集之间的比例为4:1368⌈⌉表1:PACS和P2P-Home数据集上图像识别的准确性比较,每个字母列代表一个未见过的目标客户端。我们的CCST与整体域风格(K=3)优于其他方法。我们使用FedAvg作为基础FL框架。Jigen、RSC和Mixstyle应用于每个客户端。PACS和P2P Home中使用的骨干网络分别是ImageNet预训练的ResNet50和ResNet18(†:由于COPA没有发布他们的代码,我们在这里复制他们论文的结果。但由于设置差异,无法直接与我们的结果进行比较。)PACs办公室-家庭方法P一CSAvg.一CPRAvg.Avg.[ 34 ]第34话最后一句话95.5182.2378.2073.5682.3760.0845.5969.4872.8261.9972.18Jigen(CVPR95.9984.7277.0972.1682.4960.2946.1669.2672.5962.0772.28[ 17 ]第17届中国国际汽车工业展览会95.2183.1578.2474.6282.8158.2346.0570.2773.3961.9972.40MixStyle(ICLR95.9385.9980.0375.4684.3558.4450.2970.6170.6462.4973.42[ 33 ]第三十三话96.2383.9479.2773.3083.1960.7045.8271.5173.0562.7772.98COPA-Res18†(ICCV94.6083.3079.8082.5085.1059.4055.1074.8075.0066.1075.60CCST(总体,K=3)96.6588.3378.2082.9086.5259.0550.0672.9771.6763.5675.04并且20%的数据被用作在看不见的目标客户端上的测试集。我们将我们的方法与FedDG[33]进行了比较,FedDG [ 33]旨在解决医学图像分割联邦学习中的DG问题。我们还测试了FL设置(FedAvg)下三种集中式DG 方 法 的 性 能 , 包 括 JiGen[4] , RSC[17] 和MixStyle[47]。对于COPA,由于其重新设计的ResNet18层和未知的train-validate-test拆分,我们复制结果仅供参考。我们将每个客户端视为一个集中式数据集,并在FL中本地应用这些方法。我们通过选择最佳验证模型来报告每个未见过的客户端上的测试准确性。实作详细数据。我们利用预训练的AdaIN [16]来执行风格转移。在[17]之后,我们选择在ImageNet上预训练的ResNet [13]作为我们PACS和P2P-Home数据集的骨干。对 于Came-lyon 17数据集 ,我们遵循 [19]使用DenseNet 121 [14]。我们使用FedAvg [34]作为我们的FL框架,并使用SGD优化器以1e-3的学习率训练模型,500次通信循环,一次本地更新在PACS和家庭数据集上对于Camelyon17,考虑到它的大数据量,我们训练了100个通信轮。JiGen和RSC可以直接集成到FedAvg中,无需进一步修改。我们将MixStyle调整为内部客户端版本,该版本将每批数据中的样式打乱,以适应联邦设置。所有的超参数的选择比较方法的基础上,相应的文件。我们遵循FedAvg[34]的标准训练过程进行联邦训练。在我们的实验中,M的值是数据集大小/32。该框架使用PyTorch实现,并在单个NVIDIA RTX 2080 Ti GPU上进行训练。4.3. 结果与最新技术水平的比较。我们比较我们的方法与三个集中DG方法和一个联邦-在标准DG基准PACS和PACS Home以及真实世界的医学图像数据集Camelyon17上的标准DG方法表1显示了PACS和ECO-Home数据集上不同目标客户端的图像识别任务的定量结果。每个单字母列显示全局模型的测试准确性,在未见过的客户端上具有最佳验证准确性。虽然所有的DG方法可以有更好的性能的基础上的Fe- dAvg,我们的方法证明了一个显着的提升比其他两个数据集。在PACS基准测试中,我们的方法达到了86.52%的平均准确率,比第二好的方法FedDG高出3.47%。特别是对于看不见的客户端S(Sketch),CCST比其他方法高出7%以上。 当照片是目标域时,所有方法的性能都是相似的,因为我们开始基于ImageNet预训练模型进行训练,该模型在照片图像上已经具有非常高的性能。除了PACS基准,我们的方法的性能上的ECONO-HOME数据集也有一致的结果。具体而言,CCST优于其他方法的平均测试准确率为63.56%。由于领域风格的差异很小,所有这些领域生成方法带来的改进都比PACS小(不到1%)。总体而言,CCST优于其他DG方法的大幅度。图4a显示了Camelyon17数据集上的结果,当医院4和医院5作为目标客户端时,我们的方法优于其他DG方法一些DG方法,如JiGen,在Camelyon17数据集上应用于FL设置时甚至是我们的CCST使每一个本地客户端模型,以更新下,更多样化的图像,从而提供了广泛的图像风格。更多样化的客户端内分布有助于减少对拟合特定分布的偏见,并以更大的方向更新模型。如图3所示,应用我们的CCST方法后,源客户端的分布变得更加均匀在36912510075502500.0 0.2 0.4 0.6 0.8 1.0像素强度(灰度)(a) CCST之前的Camelyon17分布8060402000.0 0.2 0.4 0.6 0.8 1.0像素强度(灰度)(b) CCST后Camelyon17分布图3:当目标客户为医院5. y轴是每个图像的平均像素计数,x轴是灰度值。请注意,我们将RGB转换为灰色图像以进行分布可视化。(a)在CCST之前,源客户端的分布是不均匀的。(2)无论是单一图像风格还是整体风格的CCST后,源客户端的分布变得更加均匀。相反,对于域泛化方法,其目的在于学习更一般的特征(例如,Jigen,RSC),它们受到有限的客户端内分布和不同的客户端间分布的影响,仅实现了边际改进。与CCST类似,MixStyle和FedDG也旨在通过多样化特征分布来提高模型的泛化能力而在联邦设置中,MixStyle只能通过假设每个图像都具有唯一的风格来执行客户端内的功能多样化,这对其多样性水平设置了限制。FedDG利用图像频率空间的幅度信息作为一种风格信息,并进行幅度交换,以使数据在客户端之间的分布然而,幅度交换导致较小的外观变化,这对于具有大域间隙的图像可能不够,而CCST利用风格转移来提供跨客户端的更彻底的风格交换我们在补充材料的F节中给出了风格转换后的可视化结果。整体域名风格通常代表更一般和准确的客户风格,而单一图像风格带来更多的随机性。CCST的对照实验 我们进行控制实验,调查两种类型的图像风格与不同的增强水平。在表2a中,Single和Over-all分别表示第3节中提到的单个图像风格和整体域不同的增强水平K表示增强的强度。我们使用ResNet50对PACS基准测试的四个设置进行了评估。对于每种风格,较大的增强水平K导致更好的性能。值得一提的是,K=2所达到的性能与K=3相似,这表明我们的方法已经可以在相对较大的K下获得良好的性能对于不同类型的风格,整体风格比单一风格表现出更大的改善,因为整体风格能够代表更全面和准确的领域统计数据,而单一风格可能由于随机性而差异很大正交性 我们的方法是正交的许多其他DG方法,并可以通过组合利用导致添加剂的性能。由于许多传统的领域概化方法需要集中的数据,并且需要利用各种风格来实现领域鲁棒模型,CCST可以作为受益于具有多样化风格的传统DG方法的第一步。如图4b所示,我们绘制了FedDG和三种集中DG方法在应用CCST之前和之后在PACS基准上的平均测试准确度。从平均准确率来看,我们可以看到所有DG方法在跨客户端风格传输(CCST)的帮助下都有进一步的提高。有趣的是,我们发现在sketch客户端(S)上测试时,CCST的性能得到了最大的改善。此外,我们还使用Tent [41]扩展了我们的方法,该方法使用熵在测试时更新批归一化层中的参数。如表2b所示,通过将该方法与联邦设置相结合,我们的方法在集中设置的PACS基准上超过了最 先 进 的 DG 方 法 EoA [2] , 平 均 测 试 准 确 率 为90.47%。4.4. 讨论计算和通信权衡。为了减少通常被称为FL瓶颈的通信成本,我们在整体风格计算阶段使用额外的局部计算成本。具体来说,对于整体样式,它需要大量的局部计算。一个可能的解决方案是只从每个类中选择相对较大的一部分图像,以近似整体域风格。在本地风格计算之后,只有轻量级风格向量(每个客户端两个512维向量)将在本地客户端和中央服务器之间传递一次。本文提出的CCST法的额外计算成本很低,在附录B中作了定量分析共享样式向量的隐私问题分析。与所有联邦学习方法一样,我们的方法医院1医院2医院3医院4医院1医院2医院3医院4CCST-整体CCST-单个像素计数像素计数370P A C S阿、中、西表2:(a)我们的方法使用ResNet50作为主干,具有四种不同的图像风格传输设置,与PACS基准上的FedAvg基线相比的性能。每一列代表一个看不见的目标客户端。(b)我们的方法在使用ResNet50的 PACS基准上的测试时间自适应(Tent)[41]的性能设置不可见客户端平均值设置平均数总体(K=3)96.65 88.3378.20 82.90 86.52(a) CCST的对照实验医院5医院4总体(K=3)98.14 90.8786.77 86.10 90.47(b) [41]第四十一话.源客户端目标客户端(a)Camelyon17的结果(b)PACS的可操作性图4:(a)Camelyon17数据集上的结果。我们的方法优于其他DG方法在医院4和5进行测试时。(b)通过我们的跨域风格转移(CCST)对PACS数据集的整体风格进行其他域泛化方法的额外性能提升。每个x-tick代表一个看不见的客户端在一个留一个客户端的实验,和平均。缩写为平均精度。也可能受到隐私问题的困扰。然而,仅共享1024维样式向量的原始数据集的重建是困难的。首先,不同的数据集可以具有相同的样式向量。第二,风格向量是像素特征集的统计量,没有顺序。即使我们假设原始像素特征集可以被重构,也很难将这些像素重新排列成适当的顺序。这对于整体样式向量来说更加困难因此,仅使用我们共享的样式向量很难恢复整个数据集。我们进一步实验了使用最先进的GAN生成器从样式向量重建原始图像[32]。实验表明,恶意源客户端既不能仅从样式向量恢复其他客户端详情请参阅补充资料A5. 结论本文提出了一种新的基于模糊集的图像识别DG方法.我们的方法利用跨客户端的风格转移,将所有的源客户端风格引入到每个客户端,同时不违反FL的原始数据共享限制。两种类型的风格和相应的共享机制,提出了相应的使用。在两个标准DG数据集和一个真实世界的医学图像数据集上进行了综合实验,证明了我们的方法在FL设置下的最先进的推广性能。数据风格转换策略为异构客户端访问不同分布的数据而不共享原始数据开辟了新的途径,有助于全局模型在FL中更好地通用化。此外,我们的方法是正交的许多其他SOTADG方法,可以结合到一起,有进一步的性能提升。联邦平均[34] 95.51 82.23 78.20 73.56 82.37EoA [2]98.0090.5083.4082.5088.60单人(K=1)95.75 87.5 74.66 76.56 83.62单人(K=1)97.7889.5584.5182.7988.66单次(K=2)96.7786.23 75.73 80.1284.71单个(K=2)97.5489.4084.4385.4289.20单一(K=3)96.6586.63 74.53 81.8584.84单个(K=3)98.0889.7586.0586.0389.98总体(K=1)95.6986.67 75.85 77.3783.90总体(K=1)97.7890.9286.0183.6689.59总体(K=2)96.4188.7278.03 80.9186.02总体(K=2)98.3890.7286.4785.6290.30371引用[1] 马 丁 · 阿 吉 奥 vsky, Le'onBottou , IshaanGulrajani 和 DavidLopez Paz。不变风险最小化。arXiv预印本arXiv:1907.02893,2019。3[2] Devansh Arpit , Huan Wang , Yingbo Zhou , andCaiming Xiong.平均值的范围:改进模型选择并提高领域泛化性能。arXiv预印本arXiv:2110.10832,2021。七、八[3] Pe'terBa'ndi , OscarGeessink , QuirineManson,MarcoryVan Dijk , Maschenka Mengenhol , MeykeHermsen,Babak Ehteshami Bejnordi,Byungjae Lee,Kyunghyun Paeng , Aoxiao Zhong , Quanzheng Li ,Farhad Ghazvinian Zanjani , Svitlana Zinger , KeisukeFukuta,Daisuke Komura,Vlado Ovtcharov,ShenghuaCheng , Shaoqun Zeng , Jeppe Tha- gaard , AndersB.Dahl ,HuangjingLin, HaoChen , Lud-wigJacobsson,MartinHedlund,MelihC.P.,ErenHalıccket,HunterJackson,RichardChen,FabianBoth , Jo? r gFrank e , HeidiK ?sters-Vandevelde , WillemVreuls , PeterBult , Bramvan Ginneken ,Jeroen van der Laak,and Geert Litjens.从单个转移灶的检测到患者水平的淋巴结状态分类:Camelyon17挑战。IEEE Transactions on Medical Imaging,38(2):550- 560,2019。二、五[4] 法比奥·M·卡卢奇、安东尼奥·德诺森特、西尔维亚·布奇、巴尔巴拉·卡普托和塔蒂亚娜·托马西。解决拼图游戏的领域泛化。在CVPR,2019年。三五六十一[5] 陈冬冬、卢远、廖静、余能海、华刚。Stylebank:神经图像风格传递的显式表示。在CVPR,2017年。3[6] 田启晨和马克施密特。快速的基于补丁的任意风格转移。arXiv预印本arXiv:1612.04337,2016。3[7] Qi Dou , Daniel Coelho de Castro , KonstantinosKamnitsas,and Ben Glocker.通过语义特征的模型不可知学习的领域泛化NeurIPS,2019。3[8] 杜 英 俊 , 徐 军 , 熊 欢 , 邱 强 , 郑 贤 通 , Cees GMSnoek,Ling Shao。变信息瓶颈下的领域泛化学习。在ECCV,2020年。3[9] Vincent Dumoulin , Jonathon Shlens , and ManjunathKud-lur. 对艺术风格的博学的表现arXiv预印本arXiv:1610.07629,2016。3[10] VincentDumoulin 、 JonathonShlens 和 ManjunathKudlur。对艺术风格的博学的表现。在ICLR,2017。3[11] 利昂·A Gatys,Alexander S. Ecker,and Matthias Bethge.使用卷积神经网络的图像风格转换。在CVPR,2016年。3[12] Golnaz Ghiasi , Honglak Lee , Manjunath Kudlur ,Vincent Dumoulin,and Jonathon Shlens.探索实时、任意神经艺术风格化网络的结构。在BMVC,2017年。3[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。六、十三[14] Gao Huang,Zhuang Liu,Laurens Van Der Maaten,andKilian Q Weinberger.密集连接的卷积网络。在CVPR,2017年。6372[15] Xun Huang和Serge Belongie。实时任意样式传输,具有自适应实例规范化。InICCV,2017. 2[16] Xun Huang和Serge Belongie。实时任意样式传输,具有自适应实例规范化。InICCV,2017. 三、四、六、十三[17] Zeyi Huang , Haohan Wang , Eric P Xing , andDong Huang.自我挑战改进了跨域泛化。在ECCV,2020年。三、六、十一[18] Philip TG Jackson , Amir Atapour Abarghouei ,Stephen Bonn
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC关键绩效财务与客户指标详解
- 绘制企业战略地图:从财务到客户价值的六步法
- BSC关键绩效指标详解:财务与运营效率评估
- 手持移动数据终端:常见问题与WIFI设置指南
- 平衡计分卡(BSC):绩效管理与战略实施工具
- ESP8266智能家居控制系统设计与实现
- ESP8266在智能家居中的应用——网络家电控制系统
- BSC:平衡计分卡在绩效管理与信息技术中的应用
- 手持移动数据终端:常见问题与解决办法
- BSC模板:四大领域关键绩效指标详解(财务、客户、运营与成长)
- BSC:从绩效考核到计算机网络的关键概念
- BSC模板:四大维度关键绩效指标详解与预算达成分析
- 平衡计分卡(BSC):绩效考核与战略实施工具
- K-means聚类算法详解及其优缺点
- 平衡计分卡(BSC):从绩效考核到战略实施
- BSC:平衡计分卡与计算机网络中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)