没有合适的资源?快使用搜索试试~ 我知道了~
9010无源域自适应对抗网络夏海峰†、赵汉东‡、丁正明††美国杜兰大学计算机科学系‡Adobe Research,San Jose,美国网址:hxia@tulane.edu,hazhao@adobe.com,网址:www.example.com,zding1@tulane.edu摘要无监督域自适应解决了知识转移以及注释良好的源域和未标记的目标实例的共存然而,在许多实际应用中,由于数据隐私或小型设备的存储器存储不足,源域并不总是可访问的这种被定义为无源域自适应的场景仅允许访问经过良好训练的源模型以进行目标学习。为了解决源数据不可用的挑战,我们开发了一个自适应对抗网络(A2Net),包括三个组件。具体地,第一种称为自适应广告推理的方法寻求特定于目标的分类器,以促进所提供的特定于源的分类器难以识别的样本的识别然后,对比类别匹配模块利用每两个目标图像的正相关性来加强每个类别的子空间第三,自监督旋转使模型能够自己从目标图像中学习额外的语义。在流行的跨领域基准测试上的大量实验验证了我们提出的模型在没有任何源数据的情况下解决适应任务的有效性。1. 介绍近年来,深度神经网络(DNN)在实践场景中的探索取得了巨大的有前途的成就图像分类、分割和检测[20,47,24,48]。然而,DNN模型很容易遭受严重的性能下降时,测试数据(目标域)躺在不同的分布从训练实例(源域)。这种差异被称为域偏移[9,36],由不同的环境或设备[28]和各种图像风格[49]引起。为了应对这一挑战,无监督域自适应(UDA)越来越受到关注,并通过使用深度学习架构取得了令人鼓舞的结果。传统的UDA假设跨域数据是源相似集冷冻分类器C(#)可学习的分类器Ct(#)源子空间目标子空间图1.来自训练源模型的高级源(黑色)和目标(红色)特征分布的示意图。目标样本可以分为两个子集:源相似集和源不相似集。正方形和圆形代表两种不同的类别。A2Net基于在源域中训练的冻结分类器(实线)自适应地学习新分类器(虚线)。在模型训练期间可用,因此它有效地测量并消除了域差异[7,39,42]。基于这一假设,UDA的主流解决方案一个分支尝试将源数据和目标数据转换到具有一致统计矩的高级特征空间中,以实现其特征分布的对齐[14,26,41,3,16]。对于代表性的工作最大平均差异(MMD),学习的跨域特征被强制共享相同的一阶矩。另一个分支致力于对抗框架的部署[27,33,2]。其核心策略是利用特征生成器欺骗领域识别器,使其无法识别特征来自哪个领域。尽管这些方法取得了成功,但不难看出,它们严重依赖于源数据和目标数据的共存。然而,由于数据隐私和小型设备的内存限制,丰富的应用场景并不总是满足UDA的基本例如,ImageNet [6]的训练基准包含占用数百GB存储的1400万张图像,这对于小型存储设备来说是一个巨大的负担而且,医院等很多行业都是9011限制与外部网站共享其敏感数据。实际需求与UDA设置之间的冲突激发了新的研究方向 -- 无 源 领 域 自 适 应 ( Source-free DomainAdaptation),即我们只提供经过良好训练的源模型而不是经过良好注释的源数据来实现对目标数据的自适应。最近,一些研究工作[21,19]通过假设源分类器包含足够的知识,开始探索跨域分类任务的新方法。因此,它们都试图直接调整目标特征以适应源分类器。其中,SHOT [21]作为一种简单而有效的方法,冻结了源分类器,并集成了伪标签监督和熵最小化[46],以缩短目标特征与源分类边界之间的距离。类似地,MA [19]首先将源分类器视为锚点,以引导更接近源域的新目标样本的生成,然后采用对抗策略来实现域对齐。此外,SoFA [43]采用自监督重构,从目标图像本身提取更多的判别知识,以提高模型的分类然而,当源域中的数据不平衡或不足时,由于源分类器的泛化能力较低,上述具有冻结分类器的方法变得脆弱。这些方法很难将大量的具有大方差的目标特征移动到小的源分类边界中。例如,如图1所示,源分类器(实线)在不平衡数据上训练,其中圆类只有几个数据点。由于受冻结分类器的限制,这种方法在源不相似集上的分类性能很差.从另一个角度来看,我们提出一个问题:“我们能否在模型优化过程中寻找一种新的目标特定分类器,并使其适应目标特征?”。随着这样的问题,我们提出了一种新的自适应对抗网络(A2网),以解决无源域适应。为了实现分类器的灵活调整并保留原始源知识,本文首先引入一种新的目标分类器,然后利用双分类器设计实现了对向领域级对齐和对比类间匹配(CCM)。具体地,根据源分类器和目标分类器的预测,我们自适应地将目标样本分为两类:源相似集和源不相似集。通过在双分类器和特征生成器之间建立这种对抗关系,A2网逐步消除源相似集和源不相似集之间的显著差异,并通过更新目标分类器来弥补冻结源分类器的缺陷为了进一步学习判别特征,我们的工作将由两个任意目标图像组成的成对样本的关系考虑为三个级别:积极的,不确定的和消极的对,并制定对比类别的匹配在所有积极的对加强他们的协会。我们工作的主要贡献总结为三个方面:• 首先,建议的A2网集成了一个新的灵活的分类器,可用于优化和冻结源分类器,形成双分类器架构,我们用它来自适应区分源相似的目标样本从源不相似的,并实现跨它们对齐。• 其次,A2Net以自监督学习方式学习鲁棒和有区别的特征。具体地,对比分类匹配模块依赖于源知识来探索配对的目标特征的关联并强制正相关以实现分类对齐。• 最后,我们进一步增强了模型,通过自监督旋转来学习附加语义。在三个基准上的实验结果充分验证了A2Net在无源场景下的有效性.2. 相关作品无监督域自适应(UDA)旨在转移源域的知识以实现无监督目标域的分类[12]。这两个域共享相同的标签空间,但由于不同的条件而具有不同的分布[13,35]。在训练阶段,模型可以访问注释良好的源数据和未标记的目标数据。因此,直觉是利用所有可用数据学习域不变表示,使得良好训练的源模型直接应用于目标数据。最近,许多努力[46,38]通过设计各种分布对齐标准在这方面取得了重大进展。从域级对齐,一些作品[26,31]试图在源和目标分布上匹配各种阶矩,而其他作品[33,46]则引入鉴别器以实现特征生成器和鉴别器之间的对抗游戏。至于类别对齐,CAN[14]利用目标样本的伪标签来减少类内距离并学习更紧凑的类别子空间。在逐样品比对方面,一些工作[18,5]通过光传输提取和优化样品间缔合虽然这些方法实际上具有灵活的模型和强大的自适应能力,但它们严重依赖于两个域的数据可用性为了克服UDA的瓶颈,我们考虑了无源域自适应,并开发了一个自适应对抗网络。无源域自适应提供了经过良好训练的源模型和目标数据,而无需在训练阶段访问源数据。在此条件下9012·······我··我我联系我们图2.我们的自适应对抗网络(A2Net)解决无源域适应的概述。给定训练好的源模型,包括特征提取器F()和源分类器Cs(),我们将其转移到识别没有源数据的目标图像。为了解决这一问题,A2Net首先自适应地区分源相似目标样本和源不相似目标样本,并采用软对抗的方式引入目标分类器来消除它们之间的差异。第二,我们的方法探索了对比的类别明智的匹配(CCM),以加强积极的配对样本的关系。第三,A2Net利用自监督旋转来学习更鲁棒和更有鉴别力的特征。传统的UDA方法变得无效,因为它们不能将源特征与目标特征匹配。最近,[19,17,21]发现原始训练模型隐藏了大量源特征分布的知识因此,在源分类器的监督下,[19,17]试图产生更接近源域的新目标样本,然后通过对抗方式在高级特征中对齐新目标实例和原始目标实例。类似地,[21]冻结源分类器并应用伪标签来优化特征生成器,其目的是将目标特征移动到看不见的源特征域中。然而,源域的显著差异或分布不均衡会对源模型的泛化产生负面影响,增加了目标特征适应源分类器的难度。不同的是,我们的工作介绍了一种新的灵活的目标分类器下的双分类器架构与冻结源分类器。双分类器首先帮助自适应地发现源相似和源不相似的目标集,并与特征生成器进行斗争此外,我们采取自我监督的方式,即,分类匹配和旋转识别,以学习更多的判别表示。3. 该方法3.1. 预赛鉴于注释良好的来源域Ds=(xs,ys)和未标记的目标实例Dt=xt,传统的UDA方法[40,23,45,34]试图通过用可用的跨域数据训练模型来消除域差异然而,由于数据隐私和/或小型设备的存储器约束,实际应用有时被限制为访问原始源原始数据,这激发了更具挑战性的无源域自适应。当适应目标域时在新的场景中,我们仅部署包括特征提取器F()和分类器Cs()的良好训练的源模型来重新识别目标样本,而没有任何用于显式跨域对齐的源实例。主要探索如何使模型适应目标分类任务,我们的工作遵循协议[21],通过使用源注释的监督器优化F()和Cs()来训练源模型,忽略了这部分的具体描述。3.2. A2Net:自适应对抗网络从图1的调查中,相当大的域差异导致了源域和目标域之间特征分布的不匹配。幸运的是,对于每个类别,存在一些与源域分布类似的易于识别的目标实例。因此,目标高级特征可以分为两种类型:源相似特征和源不相似特征。源分类器Cs()自信地识别源相似样本。然而,它很难为其余的提供准确的标签在这种情况下,SHOT [21]中的冻结源分类器对于源不相似特征的分类变得无效,因为难以使具有大方差的丰富目标特征适应泛化能力较低的Cs()。为了避免这一缺陷,我们提出了一种新的方法,称为自适应对抗网络(A2Net),在图2中,它替代地开发了一个可学习的分类器Ct(),以适应目标特征分布。引入的目标分类器不仅能准确识别源相似目标特征Cs,而且能提高对源相异目标特征的识别能力。连同所提及的期望,第一个挑战是将源相似特征与源不相似特征区分开。然而,由于在高维特征空间中测量数据点与类边界之间的距离的困难,因此做出决策是不平凡的源图像缺席源分类器相似性CCM伊伊旋转陀螺仪分类器目标图像阿勒特对抗性机制旋转目标分类器正对负对不确定对特征提取器9013我·≈·我··0升---ijΣKΣΣKΣ我k=1(i)k我k=K+1(i)k我我F、Ct我我我我我我我我C我我我我我我ΣΣ投票分数当αs大于αt时,相应的3.2.1软对抗推理出于投票策略,我们比较分类器的输出,以自适应地确定特征的类型。具体地,每个目标样本通过图2中的两个分类器实现其类别的概率分布前Softmax运算ps=C(F(xt))∈RK且pt=αs1,Lc′的优化进一步降低了目标分类器Ct()对xi的可区分性。然而,特征生成器通过最小化Lc′′来进行逆操作,将xi映射到与源不相似部分相似的高级表示。利用特征生成器和分类器之间的自适应方式我是我t Ki源更接近和源不相似集合,并消除Ct(F(xi))∈R ,其中K是类的数量。亚分类器的区别,我们激活ps和pt的串联,其中我我Softmax函数σ(·)访问pst=σ([pspt])∈R2K,(i)我我3.2.2对比类别匹配考虑α s=αKpst和αt=Σ2Kpst为一个要素属于源相似集,否则将被划分到另一个子集。该定义为我们提供了一种利用以下公式优化目标分类器和特征提取器的方式:发现源相似的目标样本并实现域-跨源相似集和源不相似集的级别对齐然而,用对抗学习学习的域不变特征不能表示类别级匹配。另外,在没有对靶结构域进行注释的情况下min-ΣntI(αs> αt)σ(ps)log(σ(ps))识别类别关系变得困难在样品之间。这个挑战的直观解决方案是-Σnt I(αs≤αt)σ(pt)log(σ(pt)),(1)其中I()是指示符函数。然而,这样的约束很容易引起必要的关注当αs≤时,如果Ct(·)生成错误预测,则由于伪标记的不确定性,容易对模型训练产生负面影响,特别是在初始化阶段。受对比学习的ti[1],我们设计了一种新的判别式双分类器探索器-αi?”在这种情况下,预测往往远离地面真相。因此,在接受新的目标知识和保存好-学习的源知识变得重要,我们进一步重写Eq。(1)此说:使用配对样本的关联以无监督方式实现类式对齐。具体地说,一批中的每个视觉实例通过源分类器Ii=σ(ps)∈RK转换到标签空间中,我们使用该源分类器来捕获% nt到%s的任何配对样本=II在图2中的L= − Σ。α s σ(p s)log. σ(ps)log + α t σ(pt)log。σ(pt)ΣΣ,i=1其中αs和αt在优化期间被冻结。i jij我们无法自信地判断几个人之间的关系i i配对,当si j位于中间区间时。因此,所有对从另一个角度,我们还考虑了源相似和源不相似的高层次特征分布在两个独立的域。它们的对齐进一步减少了它们的差异,以学习更多的辨别力。通过将sij与上限μ(t)和下限l(t)进行比较,将每个小批量的样本分为三个子集:正集、不确定集和负集,定义为:本地特色此外,引入的目标分类器Ct()最终具有与源相似分类器等价的分类能力。根据双分类器的设计,我们提出了一种软对抗机制来解决µ(t)=µ0λµ tl(t)=l+λ t0≤l(t)≤µ(t)≤1γij=1,s ij> µ(t)1,sµ(t)且Fii=1k=1(i)k我k=K+1(i)k斯伊季< l(t)。 对于其他情况,我们暂时自适应对抗性推理的核心动机是i=1i=1直接为每个样本提供伪标签,较大的Sij表示第i个和第j个样本属于具有较高概率的相同类别,反之亦然。怎么-9014我为了明确地理解软对抗损失,我们首先说明αs/t表示样本xi属于源相似或源不相似子节点的概率集合,αs+αt=1。 对于极端条件,如忽略与l(t) l(λ)]I(γ ij= 1)ξ(i,j). (三)Fi=1j =1,j=i请注意,方程式 (3)在μ(λ)l(λ)因为我们无法找到新的正对来优化它。3.2.3自监督旋转到目前为止,我们主要考虑的是如何在训练好的源模型的指导下将知识转移到目标领域然而,纯分类模型严重依赖于给定的源数据,而源数据往往分布不均衡,进一步限制了目标分类器的泛化能力针对这一问题,本文提出了一种基于目标域的自监督旋转方法,以扩展样本空间,增强特征提取和目标分类器的学习能力换句话说,模型能够容易地看到每个高置信度预测目标样本的更多方差。在[44]之后,我们设置四个旋转度θ0o,90o,180o,270o,并相应地设置四类旋转标号γr。在一个批次中,我们随机选择旋转标签y r,然后通过将原始图像xt旋转90oyr来访 问新 处理 的图像x t。在容易注意到模型的训练主要涉及三个模块的更新(即,特征生成器F()、旋转分类器Cr()和目标分类器Ct()),具有以下总体目标:minLc+Lc′′+Lp+ηLr,(5)F、CrminLc+Lc′,(6)Ct其中η是权衡参数。为了实现自适应对抗操作,我们采用迭代的方式交替优化三个模块。首先,源分类器和目标分类器将来自生成器的特征作为输入来访问类预测,我们使用该类预测来更新特征生成器和旋转分类器,通过等式(1)。(5)冻结目标多类分类器Ct()。第二,我们仅在用等式F()和Cr()固定F()和Cr()时优化目标分类器(六)、第三,对抗训练重复上述两个步骤,直到我们达到收敛或最大时期。4. 实验4.1. 实验细节数据集。Office-31 [30]作为一个流行的基准包含三个领域:亚马逊(A),网络摄像头(W)和数码单反相机 (D)。 每个 域的 图像 的具 体数 量为 2, 817(A)、795(W)和498(D),并且三个域与31个类别共享同一标签空间。在Office-31上将模型从源域调整到目标域不仅消除了域转移,而且克服了由数据规模不平衡(例如任务A D)导致的额外挑战。Office-Home[34] 由 从 四 个 域 Realworld ( Rw ) 、 Clipart(Cl)、Art(Ar)、Prod-uct(Pr)收集的15,500个图像组成,每个域有65个类别。Chal-12个领域适应任务的长度主要由以下因素引起此外,我们还在图2中引入旋转分类器Cr(),以F(x(t)作为输入并预测旋转标签。最后采用交叉熵损失进行度量预测和地面实况旋转之间的差异如下:minLr=−Σyrlo g(F(xt)).(四)i=1更多的对象类别和相当大的域差异。VisDA[29]是一个具有挑战性的大规模基准测试,具有12个类,通常用于评估从合成域到真实域的模型适应性。源域涉及3D渲染模型在各种条件下产生的15.2万幅合成图像价值观-数据集被认为是包含来自MS-COCO [22]的5.5万个真实对象图像的目标域。1当变量x∈[0,1]时,目标函数f(x)=-logexp(x)在x= 1时达到最小值,因为f′(x)<0表示当x∈[0,1]时f(x)单调递减。9016实施. 根据[21],对于源模型,我们分别考虑Resnet-50和Resnet-101作为主干,从两个对象9017所需来源无源§§表1. Office-31上无源域适配的对象分类准确率(%)的比较。无源任务的最佳准确性用粗体突出显示,而我们使用下划线来强调需要源任务的最高结果。方法A→ D A→ W D→ A D→ W W→ A W→ D平均ResNet[10] 68.9 68.4 62.5 96.7 60.7 99.3 76.1DANN [8] 79.7 82.0 68.2 96.9 67.4 99.1 82.2SAFN [38] 90.7 90.1 73.0 98.6 70.2 99.8 87.1电话:021 - 88888888传真:021 - 8888888新加坡央行[4] 90.3 91.5 70.9 98.5 71.6 100.0 87.1[11] 95.6 95.4 72.6 98.6 73.9 100.0 89.4[32] 95.895.7 76.7 99.2 77.1 100.090.8国家食品药品监督管理局[15] 92.2 91.1 71.0 98.2 71.2 99.5 87.2SDDA [17] 85.3 82.5 66.4 99.0 67.7 99.8 83.5总建筑面积[43] 73.9 71.7 53.7 96.7 54.6 98.2 74.8射击[21] 94.0 90.1 74.7 98.4 74.3 99.9 88.6我们的94.5 94.0 76.7 99.2 76.1 100.0 90.1数据集和VisDA,并用新的瓶颈层替换原始的最后一个FC层,然后进行批量归一化(BN)。源分类器C_s由一个FC层和权重归一化层组成在自适应期间,我们引入具有与CS相同的架构的目标分类器Ct和包括两个FC层的旋转分类器Cr此外,我们通过从N(0,I)中附加高斯噪声,用Cs的参数初始化Ct。对于优化器,我们采用了动量为0.9的SDG和权重衰变1e−3。Office-31/Office-Home上预训练骨干和新添加组件的初始学习率分别为1e−3和1e−2,但VisDA将其设置为1e−4和1e−2此外,我们将所有实验的上限和下限设置为µ0= 0。95,10=0。45,λ μ=9。9e−3且λl=9。9e-4。本作品的源代码可在线获取2。基线。 比较包括两个类别的域自适应算法。一种是vanilla domain adapta- tion,它需要同时使用源和目标数据来解决域转移,例如Resnet [10],DANN [8],SAFN [38] , CDAN [25] , SRDC [32] , BNM [4] 和MCC[11 ]第10段。此外,我们还比较了最近的最先进的无源域自适应模型,即,[15][17][18][19][1注意,由于MA[19]在解决无源任务时需要生成额外的目标样本,我们没有与之进行比较。4.2. 比较结果表1-3分别报告了Office-31、Office-Home和VisDA上的对象分类结果。从他们的调查,我们提出的自适应对抗网络(A2Net)实现了最高的平均精度在三个基准相比,与其他人2https://github.com/HaifengXia/SFDA无源领域自适应,说明A2网的设计有效地传递了源模型的知识,以辅助目标数据的识别。此外,通过对这些竞争对手进行细致的比较,我们可以很容易地得出三个重要结论。首先,A2网提供了良好的训练源模型具有更强大的自适应能力,当评估无监督的目标域,特别是小规模的源域。例如,以D和W作为Office-31上的源域,当适应目标域A时,我们的方法比SHOT的第二高精度高出2.0%和1.8%。众所周知,在源域和目标域之间存在严重的不平衡的数据规模挑战,即,D(498)对A(2,817)和W(795)对A。首先在小规模源域上训练的分类器泛化能力不足,不能有效地应用于大规模目标域。因此,使用冻结分类器的SHOT难以将丰富的目标特征准确地移动到源分类边界中。然而,我们的A2网采用灵活的目标分类器与对抗训练,以适应目标特征。这是我们在这两项任务上取得成功的主要原因。A2Net比SAFN和BNM等几种基于UDA的方法有很大的优势,这意味着即使我们无法访问源数据,我们的方法仍然可以利用有限的源知识来实现更好的自适应。其次,我们提出的方法也有效地克服了显着的域差异的负面影响。据我们所知,由于图像风格的显著差异,Ar和Cl之间存在显著的区域偏移。然而,A2网超过SFDA的10%,因为我们提出的方法自适应区分源相似的目标样本从源不相似的,并探索对抗的方式,逐步消除域的差异。此外,随着对象类别的增加,我们注意 到所有 方法 在Office-Home上的 性能与 它们 在Office-Home上的结果相比都有所下降。31.但对比分类匹配依赖于对正配对样本的约束来学习如此明确的分类边界,使得A2Net仍然在基线中达到最佳分类精度。第三,表3中的实验结果充分证明了我们设计的算法对于解决具有大规模基准的无源域自适应是有意义的。具体来说,A2Net在VisDA上的大多数自适应任务中获得了比其他先进方法更高的分类准确率,并对公共汽车和小汽车等易混淆对象进行了更准确的识别4.3. 实证分析特征可视化混淆矩阵。根据表1中的实验结果和工作原理9018无需源代码→→§→→表2. Office-Home上无源域适配的对象分类准确率(%)的比较。无源任务的最佳准确性用粗体突出显示,而我们使用下划线来强调需要源任务的最高结果。方法Ar→ Cl Ar→ Pr Ar→ Rw Cl→ Ar Cl→ Pr Cl→ Rw Pr→ Ar Pr→ Cl Pr→ Rw Rw→ Ar Rw→ Cl Rw→ Pr平均Resnet[10]46.3 67.5 75.9 59.1 59.9 62.7 58.2 41.8 74.9 67.4 48.2 74.261.3DANN [8] 45.6 59.3 70.1 47.0 58.5 60.9 46.1 43.7 68.5 63.2 51.8 76.8 57.6南非国家足球队[37] 52.0 71.7 76.3 64.2 69.9 71.9 63.7 51.4 77.1 70.9 57.1 81.5 67.3粤ICP备16036666号-1泰国央行[4]52.3 73.9 80.0 63.3 72.9 74.9 61.7 49.5 79.7 70.5 53.6 82.2 67.9电话:+86-021 - 88888888传真:+86-021 -888888882019 - 05 - 22 00:00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 0000:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00:00 00 00:00 00:00 00:00 0000:00 00:00 00 00:00 00 00:00 00:00 00:00 00 00:00 00:00 00:00:00 00:00:00 00:00:002019 - 01 - 2810:00:00我们的58.4 79.0 82.467.579.3 78.9 68.0 56.2 82.9 74.1 60.5 85.0 72.8表3.VisDA上无源域适应的对象分类准确率(%)比较无来源任务的最佳准确性用粗体突出显示,而我们使用下划线强调需要来源任务的最高结果。方法飞机bcycl公共汽车汽车马刀子mycl人工厂sktbrd火车卡车每班Resnet [10] 55.1 53.3 61.9 59.1 80.6 17.9 79.7 31.2 81.0 26.5 73.5 8.5 52.4DANN [8] 81.9 77.7 82.8 44.3 81.2 29.5 65.1 28.6 51.9 54.6 82.8 7.8 57.4粤ICP备16036888号-1SAFN [38]93.6 61.384.1 70.694.1 79.091.8 79.6 89.9 55.689.0 24.4 76.1管理中心[11] 88.780.3 80.571.5 90.193.2 85.0 71.6 89.473.8 85.036.9 78.8国家食品药品监督管理局[15] 86.9 81.7 84.6 63.9 93.1 91.486.671.9 84.5 58.2 74.5 42.7 76.7SoFA [43]-64.6射击[21]94.3 88.580.1 57.3 93.1 94.9 80.7 80.3 91.589.186.358.2 82.9我们的94.0 87.885.6 66.8 93.7 95.1 85.881.2 91.688.286.556.084.3由于A2Net的模型机制,与其他最先进的基线相比,很容易注意到A2Net对跨域数据规模的不匹配不敏感,其中源域包含的实例比目标域少得多。为了进一步探索我们的工作是如何实现的,我们在图3中提供了嵌入特征和混淆矩阵的可视化,以及大规模或小规模的源代码。具体地说,在分类器之前,将训练好的A2Net目标模型和仅源的ResNet冻结,从未标记的源区域和目标区域中提取我们在Office-31上进行了实验,因为它存在不平衡的数据规模挑战,即,A(2,817)对D(498),A(2,817)对W(795)。比较图图3(a)和(b)说明了在大规模源域上训练的模型比在小规模源域上训练的模型具有更强的泛化能力。A2网以A为源域,利用软对抗机制,很容易区分源相似目标特征和这样,自适应后,A2Net产生的每个类别的目标特征几乎都分布在源域的边界上在这种情况下,我们的目标分类器与原始源分类器相似,然而,对于在D上训练的源模型,即使模型已经完成了适应,也存在远离相应的目标的丰富目标特征。响应源类别,使得原始源分类器难以对它们做出准确的判定。因此,我们的方法的灵活目标分类器充分显示了其优化的重要性,这有助于模型自适应目标特征,而不是像SHOT [21]那样只调整特征学习。受益于双分类器设计,我们的工作在表1中的任务DA上实现了最高的分类准确度。此外,从任务W A导出的混淆矩阵表明,我们的方法通过加强正对与对比损失的关联来学习更紧凑的类别子空间,以实现跨源相似集和源不相似集的类别匹配。消融研究,参数分析培训稳定性。我们的A2Net主要由三个模块组成:软对抗推理、对比类别匹配和自监督旋转,其从各种角度支持模型自适应。因此,我们试图分别从它们中移除每个模块,以研究两个任务DA和WA上的分类准确率的变化。根据实验结果,在Fig.4(b),得出了软对抗机制对提高模型的泛化能力有重要的积极影响的结论。如果没有对抗操作,则很难有效地促进目标分类器的自适应,使得模型严重依赖于无需源代码9019010预测2030地面实况787776>.75e14<72717069873-D A-W A2468101214161820 22 24 26 28 30时代(a)ResNet(A→W)(b)A2Net(A→W)(c)ResNet(D→A)(d)A2Net(D→A)0 01010202030预测(e) ResNet(W→A)30预测(f) A2净(W→A)图3.特征可视化和混淆矩阵的结果。(a)-(d)显示了由仅源模型(Resnet-50)和我们的A2Net生成的高级源(红色)和目标(蓝色)特征。注意,我们仅利用源数据来绘制t-SNE,而在适应阶段期间不使用它。(e)和(f)是混淆矩阵,分别比较ResNet和我们的模型的地面实况和类别预测。(a) 参数分析(b)消融研究。(三)训练稳定性。图4. (a)参数分析记录了对象识别精度随η的变化。(b)消融研究显示了去除每个约束对模型性能的影响。(c)训练稳定性反映了目标分类器的目标识别能力随着历元数的增加而增加。冷冻源分类器的性能。类似地,取消对比类别匹配也会导致性能下降,因为该模块主要利用源模型的现有知识来探索任何两个目标样本之间的关系,并通过使用所有正对上的对比损失来控制每个目标类子空间的在旋转设计方面,它实际上通过自监督的方式从目标图像中学习额外的语义来对性能的提高做出了很小的贡献。但是,我们仍然通过调整参数η来平衡旋转约束和其他约束,从而提高模型的自适应能力。例如图图4(a)报告了变化的η与目标分类精度之间的关系在η =0时,Office-Home的这两个任务都实现了最高性能。3 .第三章。最后,考虑到特征生成器和双分类器之间的对抗性博弈,我们在图中显示了对象识别准确率随着历元的增加而变化。第4(c)段。采用对抗训练方式,目标分类器的分类能力以稳定的节奏逐步提高。5. 结论无监督域自适应(UDA)假设良好注释的源域和未标记的目标图像都可用于模型训练。然而,许多实际应用程序在自适应阶段只访问经过良好训练的源模型而不是源数据,这被定义为无源域自适应。为了克服这 种 新 的 情 况 , 本 文 提 出 了 自 适 应 对 抗 网 络(A2Net),它包括三个操作.首先,A2Net开发了一种软对抗机制来学习灵活的目标分类器,以促进对冻结源分类器难以识别的其次,它探讨了所有正对目标样本的对比损失,以加强每个类别子空间的紧凑性。最后,采用自监督旋转从目标图像中学习额外的语义,以学习更多的区分特征。此外,三个流行的基准测试的实验表明,我们的方法有效地实现了领域自适应没有源数据。010预测2030地面实况地面实况地面实况9020引用[1] 陈婷,西蒙·科恩布里斯,穆罕默德·诺鲁齐,和葛offrey Hinton.视觉表征对比学习的一个简单框架国际机器学习会议,第1597-1607页。PMLR,2020年。四、五[2] Xinyang Chen , Sinan Wang , Mingsheng Long , andJianmin Wang.可转让性与可辨别性:对抗域适应的批量频谱惩罚。在机器学习国际会议上,第1081PMLR,2019年。1[3] 陈一鸣,宋世基,李爽,吴成。 基于最大均值差异域自适应算法的图嵌入框架。IEEE Transactions on ImageProcessing,29:199-213,2019。1[4] 崔树豪,王树辉,卓俊宝,李亮,黄庆明,田琦.区分性和多样性:标签不足情况下的批核范数最大化。在IEEE/CVF计算机视觉和模式识别会议论文集,第3941-3950页六、七[5] BharathBhushanDamodaran , BenjaminKellenber ger ,Re'miFlamary,Devis Tuia和Nicolas Courty。Deepjdot:用于无监督域自适应的深度联合分布优化传输。在欧洲计算机视觉会议(ECCV)的会议记录中,第447-463页,2018年。2[6] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议,第248-255页。Ieee,2009年。1[7] 董家华,杨聪,孙甘,刘玉阳,徐晓伟. Cscl:无监督领域自适应的关键语义一致性学习。欧洲计算机视觉会议,第745-762页。Springer,2020年。1[8] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志,17(1):2096-2030,2016。六、七[9] 项谷、孙坚、徐宗本。球形空间做-主要适应与鲁棒的伪标签损失。在IEEE/CVF计算机视觉和模式识别会议论文集,第9101-9110页,2020年。1[10] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。六、七[11] Ying Jin,Ximei Wang,Mingsheng Long,and JianminWang.最小的类混淆多功能域适应。欧洲计算机视觉会议,第464Springer,2020年。六、七[12] 景涛涛和丁正明。用于无监督域自适应的对抗性双不同分类器。在IEEE/CVF计算机视觉应用冬季会议上,第605-614页,2021年。2[13] 景涛涛,夏海峰,丁正明。部分领域自适应累积知识转移第第28届ACM国际多媒体会议论文集,第1606-1614页,2020年。2[14] 康国梁,姜璐,杨毅,和亚历山大·G·豪普特曼.用于无监督域自适应的对比自适应网络。在IEEE/CVF计算机视觉和模式识别会议论文集,第4893-4902页,2019年。一、二[15] Youngeun Kim,Sungeun Hong,Donghyeon Cho,Hy-oungseob Park,and Priyadarshini Panda.无需源数据的域arXiv预印本arXiv:2007.01524,2020。六、七[16] 熊谷敦敏和岩田友治。基于单边变换的最大平均差异匹配分布的无监督局部自适应在AAAI
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)