无监督领域自适应的20字中文标题：图自适应知识转移模型的跨领域学习方法

无监督领域自适应的丁正明†、李盛、邵明、傅云†‡†美国东北大学电子计算机工程系美国印第安纳大学-普渡大学印第安纳波利斯分校计算机信息技术系美国乔治亚大学计算机科学系美国马萨诸塞大学达特茅斯分校CIS系‡美国东北大学计算机信息科学学院@gmail.com，，yunfu@ece.neu.edu mshao@umassd.edu抽象。 无监督域自适应已经引起了人们的关注，它通过借用现有的良好建立的源领域知识来促进未标记的目标学习。最近的实践领域适应管理提取有效的功能，结合伪标签的目标域，以更好地解决跨域分布的分歧。然而，现有的方法将目标标签优化和域不变特征学习分离为不同的步骤。为了解决这个问题，我们开发了一种新的图自适应知识转移（GAKT）模型，在一个统一的框架中联合优化目标标签和无域具体地说，半监督知识适应和目标数据上的标签传播耦合到彼此受益，因此跨不同领域的边际和条件差异将得到更好的缓解。在两个跨领域视觉数据集上的实验结果表明，与现有的领域自适应方法相比，本文设计的方法能够有效地促进未标记目标任务的学习.关键词：领域自适应·自适应图·半监督学习1介绍在实际应用中，常常存在一个挑战，即我们可以访问大量的目标数据，但只有有限的标签，甚至没有标签[1，2]。但是，手动注释数据将非常耗时且昂贵通过从外部完善的源域（与目标域分布不同）转移知识，域领域自适应的机制是发现源领域和目标领域之间的共同潜在因素，并采用它们来减少领域之间在特征空间方面的边缘和条件失配。在此之后，已经开发了不同的域自适应技术，包括特征对齐和分类器自适应。最近关于域自适应的研究工作已经通过从两个不同的域学习有效的域不变特征而见证了吸引人的性能2Z. Ding和S.Li和M.Shao和Y.傅目标PtPs几Fig. 1. 说明我们提出的算法，其中源和目标域是躺在不同的分布下的原始特征空间。我们共同寻求两个耦合的投影Ps/t映射到域不变空间的原始数据（a）半监督类自适应通过给每个目标数据点分配一个概率标签，提出了一种策略。(b)当源数据和目标数据具有较小的域不匹配时，基于图的标签传播策略可以更准确地分配目标标签。使得源知识可以被调整以促进目标域中的识别任务[3，5，7，8，13，10，14其中，最大平均差异（MMD）[20]是测量源域和目标域之间分布差异的最广泛使用的策略之一[3，16，7，10，21]。后来，许多领域的适应方法被提出来设计一个修订的类明智的MMD，将目标数据的伪标签这些算法的目标在于迭代地为目标样本签署时间标签，然后进一步细化逐类域自适应正则化器。然而，所有现有的方法优化的目标标签在一个单独的步骤，随着域不变的特征学习。因此，它们可能无法以有效的方式使彼此受益。在本文中，我们开发了一个有效的图自适应知识转移（GAKT）框架，统一域不变特征学习和目标标签优化到一个联合学习框架。其关键思想是联合优化的概率类明智的适应项和基于图形的标签传播的半监督计划。因此，两个程序可以相互受益，有前途的知识转移。据我们所知，这将是第一个在统一框架中联合建模知识转移和标签传播的工作。综上所述，我们有以下两方面的贡献：– 我们试图寻求一个域不变的特征空间，通过设计一个域/类明智的适应策略，其中源和目标域之间的边际/条件分布差距具体来说，我们开发了一个迭代的细化方案，以优化概率类明智的适应项，在-联合(a)适应(b)标签传播源无监督领域自适应的图自适应知识转移3从基于图的标签传播的角度来演化目标样本的软标签。– 同时，基于图的标签传播设法在无域特征空间中跨源和目标域捕获更多的内在结构，因此，标记的源数据可以通过有效的跨域图更好地预测未标记的目标。因此，良好的源知识可以可以很好地重用于识别未标记的目标样本。2相关工作在这一部分中，我们介绍了领域自适应的相关研究，并讨论了我们的方法与其他方法的区别。当目标域的标签信息稀疏或没有标签信息时，域自适应在许多现实世界的应用中已被证明是一种有吸引力的方法[2]。具体地说，领域自适应试图通过借用与目标领域不同分布的标记源知识例如，我们倾向于用手机拍照，然后在亚马逊的游泳池中搜索一般来说，手机图片（低分辨率和复杂背景）和亚马逊画廊图片（清晰背景）之间存在分布差距。因此，核心挑战转向适配任何一个域或两个域以减少分布失配。通常，基于目标域中标记信息的可访问性，域自适应技术可以分为两种不同的线，一种是半监督域自适应，另一种是无监督域自适应。对于半监督场景[22，23]，我们可以访问少量标记的目标数据，这使得域适应更容易。一个更具挑战性的情况是无监督域自适应[3，24]，其中我们的目标是处理完全未标记的目标域。因此，无监督域自适应吸引了更多的关注。沿着这条线，域不变特征学习和分类器自适应是对抗无监督域自适应的两种策略。具体来说，域不变特征学习包括传统的子空间学习[25，26，8，13，7，21，27]和深度学习方法[5，28，19，29]。其中，基于子空间的域自适应方法已通过将两个不同的域对齐到域不变的低维特征空间中来验证，具有良好的效果深度领域适配方法旨在寻求端到端的深度架构，真正的联合减轻域转移，并寻求一个通用的分类器。此外，基于子空间的域自适应仍然可以利用有效的深度特征（例如，DeCAF功能。因此，我们配备子空间学习技术来解决两个不同领域的边际/条件分歧。同时，建立在源和目标上的跨域图通过捕获共享空间中的内在结构来更好地传递标签信息。具体来说，标签传播[30，31]将被联合统一到域不变特征学习框架中，以细化类自适应项，这将有利于有效的特征学习。也就是说，软标签及其概率不仅是必要的，而且是有效的。这是与现有工程相比最大的区别更有趣的是，我们可以4Z. Ding和S.Li和M.Shao和Y.傅使新设计的损失函数适应深度架构，以在统一的深度域自适应框架中微调网络参数[18，32]。3该算法给定一个有标记的源域，其中有n个数据点，特征维数d来自C类别：{Xs，Ys}={（xs，1，y），···，（xs，n，y其中xs，i∈Rd是fea-s，1ss ，n s而ys，i∈RC是其对应的独热标签向量。将Xt定义为具有nt个数据点的未标记目标域，即，Xt={xt，1，···，xt，nt}，其中xt，i∈Rd.在域自适应问题中，源域和目标域必须具有一致的标签信息，目标是识别未标记的目标样本。由于源样本和目标样本分布在不同的特征空间中，即，Xsξ span（Xt），通过两个耦合投影Ps/t∈Rd×p，寻找源域和目标域共享的潜在公共空间.p是低维空间的维数（pd）。以这种方式，可以很好地解决源和目标之间的域转移，并且因此，可以很好地解决源和目标内的区分性知识已建立的源可以被重新使用，以促进未标记的目标分类。3.1动机现有的转移子空间学习方法[3，13，10]通过分类器迭代地预测目标数据的伪支持向量机。最近，Hou等人。通过在来自分类器的初始标签之后使用标签传播进一步细化伪标签来改进性能[7]。此外，Yan et al.探索了加权MMD以考虑类权重偏差并增强域自适应性能[12]。然而，他们通过仅为每个目标数据点分配单个特定标签来构建修订的MMD。这可能会损害知识转移，因为目标样本可能在开始时被错误地预测。此外，当来自两个类别的目标样本具有重叠分布时，通过仅向这些样本分配一个硬标签，很容易破坏数据内的内在结构另一个现象是，我们可以获得更好的目标标签预测性能与更多的迭代在模型优化。因此，未标记的目标样本的真实类别的标记概率将被触发到更高的水平。当我们用不准确的标签预测目标数据时，它们无法在设计的类适应项期间做出贡献。出于这些原因，我们认为每个目标样本可以被分配给整个标签池，但具有不同的概率，我们将其称为换句话说，虽然在早期阶段标签到真类的概率稍低，但它仍然可以有利于标签传播阶段。为了进一步提取有效的特征，我们设计了一个有效的概率类自适应正则化器，通过捕获目标域的内在结构来传达知识转移。另一方面，标签传播证明是更有效的更具歧视性的域不变的功能。最后，在模型优化过程中，这两种策略往往会相互触发和受益，这也可能是形成多视图表示的统一视角[2]。无监督领域自适应的图自适应知识转移5¨1nc不nS不nc3.2概率类域自适应我们首先回顾经验最大平均差异（MMD）[3]，这是一种广泛使用的缓解边际分布差距的方法。MMD实际上通过投影特征空间下的两个域上的样本平均距离来对比各种分布，即ns1Σnt2.2英寸X1PX1¨2M（Ps，Pt）=¨Pxs，i−Pxt，j=<$ss ns−tt nt <$$>，¨snsi=1ntj=1t2英寸¨nt2（一）其中Xs/t，i/j表示Xs/t的第i/j个样本，而Ins/t是大小为ns/t的全一列向量。在Eq.（1）能够减小边际分布的差异，但不能逼近两域的条件分布散度。在分类问题中，减少两个不同域之间的条件分布失配是至关重要的。当目标样本完全不被注释时，条件分布的对齐变得不平凡，即使通过探索分布的足够统计为此，我们开发了一个概率的类明智的适应公式，以有效地指导内在的知识转移。以这种方式，目标样本的预测的软标签也可以有益于区域比对，即使在开始时可以访问它们的很少知识。假设Fj∈Rc作为第j个目标数据点的概率标签，其中不（c，j）（c，j）ΣC（c，j）每个元素ft（ft≥0且c=1ft =1）表示属于第c个类别的第j个未标记目标数据点换句话说，每个目标样本在标签预测期间部分地贡献于各种类别。例如，“计算机”将最有可能链接到“监视器”，而不是“马克杯”，因为计算机和监视器在视觉上看起来更相似。因此，不同概念之间的这种概率和联系将为标签传播铺平道路为了促进软标签在多个类别中的使用，从而解决跨两个域的条件分布差异，我们将概率标签引入MMD建模，并设计了一种新的加权类自适应损失函数，如下所示：ΣCC（P，P，F）=¨ΣsPxc1Σn−¨2tf（c，j）Px ¨，s t tc=1 -ssi=1年代我ncj=1ttt，j¨2（二）=PXsYsNs−PXtFtNt2，s tF其中·F表示Frobenius范数，nc表示源样本大小C级。nc表示第c个类别的目标样本量，它既不是一个内部样本，也不是一个内部样本。teger也没有直接提供（我们无法获得每个类别的真实目标样本量因此，我们近似地计算nc通过nc= nt f（c，j）。注，N∈RC×Ct tj=1tS/t是第c个对角元素为1的对角矩阵 。事实上，我们的概率S/t类式适应项（Eq. (2))能够消除类别权重偏差的影响，通过考虑先前的类别分布。S6Z. Ding和S.Li和M.Shao和Y.傅FFnts上述等式(1)以及（2）分别学习两个特定于域的投影，并且我们还希望通过约束源投影和目标投影相似来减轻不同域之间的差异。与这条线一起，探索辅助映射函数M以将源投影与目标投影联系起来，即，Ps−MPt[33，34]，而Zhang et al.联合优化了它们，并采用了Ps−Pt2，源判别信息和目标方差[35]。然而，他们--去掉了特定领域的部分，并将重点放在共享领域的投影基础上。在本文中，我们既考虑发现更多的共享基地跨源和目标域，并保留域特异性碱基，因此，我们探索L2，1-范数来约束两个投影，即，Ps−Pt通过整合Eq.（1），Eq.（2）、亲在投影对齐中，我们的目标具有约束PXsHsXPs=Ip和S sPXtHtXPt= Ip：t tD（Ps，Pt，F）=PXsY¯sN¯s−PXtF¯tN¯t2+αPs−Pt2，1，（3）s tF其中Y¯s=[1n，Ys]，F¯t=[1n，Ft]，N¯s/t=diag（1，Ns/t），Hs/t=In−s tns/tS/t1InS/tS/t表示中心矩阵，而S/t表示n×n的s/t矩阵作为在[3，7]中讨论的，这样的约束将有助于在自适应之后保持数据方差这进一步在学习期间带来附加的数据辨别能力P s/t。3.3联合知识转移和标签传播假设G是定义在具有n=ns+nt个样本的源和目标的混合上的无向图，W是其对应的权重矩阵。我们可以通过图拉普拉斯正则化[30，36，31]来建模平滑的标签传播min tr（F），s. t. Fs=Ys，F ≥ 0。（四）F其中F=[Fs;Ft]∈Rn×C和L=W−D∈Rn×n表示图的拉普拉斯算子[36同时，D表示对角矩阵，其中对角项作为W的列和。具体地说，Σ ΣL=Lss，L st=Lts，L ttΣ ΣWss−D ss，W st，Wts，W tt−D tt其中Wst= W ∈ Rns×nt是源样本和目标样本之间的权重矩阵。注意，上图拉普拉斯算子共享相同的学习目标Ft，并且我们可以合并两个学习问题并制定联合学习的最终学习目标。知识适应：minPXsY¯sN¯s−PXtF¯tN¯t2+αPs−Pt2，1+λtr（FLF），Ps，Pt，Fs tF（五）S. t. PXs/tHs/tXPs/t= I p，F≥ 0，F 1 C= 1 n，Fs= Ys.s/t s/t为了有效地处理约束Ft1C=1nt，我们放宽了等式条件通过将惩罚正则化子γFt1C−1n2合并到目标公式（等式2）中t2(5))其中γ是正惩罚参数。无监督领域自适应的图自适应知识转移7注：我们提出的方法联合有效的无域特征学习和目标标签传播在一个统一的知识适应框架。因此，它可以彼此有益，以提高对靶结构域的识别通过域/类自适应，良好建立的源信息能够提高目标识别。在域移位减轻的情况下，可以构建跨源和目标的有效图，使得源标签能够传播未标记的目标数据。同时，当更准确的标签分配给目标数据，概率类适应项可以传递更有效的知识在两个领域。这种类似EM的细化将促进知识转移。3.4优化解决方案很容易检查等式中的Ps、Pt和Ft(5)不能联合优化。为了解决这个优化问题，我们首先通过放松非负约束将其转换为增广拉格朗日函数：J=PXsY¯sN¯s−PXtF¯tN¯t2+αPs−Pt2，1+λtr（FLF）s tF+γFt 1C− 1n2 + tr（ΦF），（六）t2tS. t. PXs/tHs/tXPs/t= I p，Fs= Ys，s/t s/t其中Φ是约束Ft≥0的拉格朗日乘子。虽然很难联合优化Ft、Ps和Pt，但可以以留一法的方式对它们中的每一个进行求解。具体来说，我们探索EM样的优化方案来更新变量。对于E步，我们固定Ps，Pt并更新Ft和Nt;而对于M步，我们使用更新的Ft，Nt更新子空间投影Ps，Pt。因此，我们迭代地优化两个子问题。E步骤：标签传播给定两个子空间投影Ps和Pt，我们可以将Fs=YS插入tr（FLF）并得到tr（FLttFt+2YLstFt）。因此，我们得到的偏导数Jw.r.t.t sFt，通过将其设置为零：J= 2（Z - Z）+2γ（F1-1）1+2λQ+Φ=0，FttstCntCQ=L F+LY，斯考特 特Sts哪里Zs=XPs（PXsYsNs）Nt，（七）s sZt= XPt（P XtFtNt）Nt。t t使用KKT条件Φ<$Ft=0[39]（<$表示两个矩阵的点积），我们得到Ft的以下方程：ΣΣ（Zt−Zs）+γ（Ft1C− 1n）1<$ +λQ⊙Ft= −Ψ ⊙ Ft= 0.不C在[37]之后，我们得到更新规则：.[Zt]++[Zs]−+FWFt=Ft⊙[Z]−+[Z]++F、（8）t s D8Z. Ding和S.Li和M.Shao和Y.傅piX不不s tF其中FW=γFt1+λ（WttFt+WYs）和FD=γ1n1+λDttFt。具体地说，C stt C[A]+表示矩阵A的n个元素被0替换。类似地，[A]-表示矩阵A的正元素被0替换。当我们达到Ft时，可以相应地更新NtM-step：学习子空间投影当Ft和Nt被优化时，我们可以用细化的类式自适应项来更新子空间投影P=[Ps，Pt]因此，在本发明中，P=argminPXsY¯sN¯s−PXtF¯tN¯t2+αPs−Pt2，1PSP=I2p（九）哪里= arg min tr（P<$TP）+αtr（P<$GP），PSP=I2pΣX HX，0ΣΣXY¯N¯N¯Y¯X，XY¯N¯N¯F¯XΣΣ ΣG，−GS=sSsT =s ss ss sSSStttG =0，XtHXtXtF¯tN¯tN¯sY¯X，XtF¯tN¯tN¯tF¯Xt−G，Gt s s tG是一个p×p对角矩阵，其第i个对角元素为Gii=1，如果pii= 0，否则Gi i=0。pi是Ps−Pt的第i行向量。当量(9)可以通过一个广义特征分解问题：（T+αG）ρ=ηSρ来解决。 根据向量ρi（i ∈ [0，p - 1]）的最小特征值得到ρ i（i ∈ [0，p-1]）。因此，我们实现更新的子空间投影P=[ρ0，···，ρp−1]。在我们得到Ps和Pt之后，我们可以优化G。通过交替上述E和M步骤，我们将迭代优化问题，直到目标函数收敛。值得注意的是，我们通常可以获得一个概率标记的未标记的目标样本与两个有效的耦合投影。因此，如果我们利用这样的标签分配策略（Eq. （8））以改善投影辨别能力（等式（8））。以迭代的方式，我们能够交替地增强标记质量和特征学习。姓名首字母缩写-化，我们采用标签传播（等式1）。(4))从L建立在源域和目标域的原始特征上。此外，我们可以进一步获得关于X的偏导数，即，然后进行标准的反向传播策略来优化卷积神经网络的权重。3.5时间复杂度在本节中，我们分析了我们的方法的模型复杂性 有两个主要的耗时部分：1）非负Ft优化（步骤1）; 2）子空间投影学习（步骤2）。详细地，在非负Ft优化中的主要耗时项是步骤1中的乘法。一般来说，矩阵的乘法与大小nt×nt的时间复杂度为O（n3）。假设有l个乘法运算，因此，步骤1将花费O（ln3）。 步骤2可以花费O（d3）的广义特征分解方程。（9）对于Rd×d 的 矩 阵，可以简化为O（d2. 376）通过Coppersmith-Winograd方法[40]。此外，我们可以加快行动的大型矩阵通过稀疏矩阵，和国家的最先进的分而治之的方法。同时，我们还可以存储一些中间的计算结果，可以在每个阶段重用。无监督领域自适应的图自适应知识转移94实验在这一部分中，我们首先介绍了基准测试以及实验设置，然后提出了与现有的领域适应方法的比较评估，进一步与一些属性分析。4.1数据集实验设置Office-31+ Caltech 2561由Office-31和Caltech- 256基准测试中的10个常见类别组成，其中3个子集（Amazon，Webcam和DSLR）分别来自Office-31和Caltech-256。请注意，Amazon和Caltech-256图像是在线收集的，具有清晰的背景，而Webcam和DSLR图像是从不同设备的办公环境中拍摄的。为了公平比较，我们利用4096-dim DeCAF6功能，并在无监督域自适应中采用[24]提供的全样本协议。Office+Home2包含4个域，每个域有65个类别的日常对象。具体地，Art表示对象图像的艺术描绘; Clipart表示剪贴画的图片集合; Product显示具有清晰背景的对象图像，类似于Office-31中的Amazon类别; Real-World表示用常规相机收集的对象图像。我们采用VGG-F模型中fc7层的深度特征，使用ImageNet 2012[18]进行预训练我们主要比较了六种最先进的浅域自适应方法来评估我们算法的有效性，如下：测地线流核（GFK）[24]，联合分布自适应（JDA）[3]，最近公共空间学习（CCSL）[16]，标签结构一致性（LSC）[7]，联合几何和统计对齐（JGSA）[35]和概率无监督域自适应（PUNDA）[11]。此外，采用标签传播（LP）[30]作为基线，其直接在源和目标域的原始特征上构建图。对于LP和我们的模型，我们都采用具有热核权重的k-最近邻图（在我们的实验中k=5）[30]。我们进一步比较了几种深域自适应模型，即，DAN [32]，DHN [18]和WDAN [12]，以显示我们模型的优越性具体而言，我们采用VGG-F结构，这三种方法的公平比较。此外，我们引用其他出版物报告的结果时，实验设置是完全相同的，或在其他设置下运行可用的源代码。在我们所有的实验中，我们采用具有热核权重的k-最近邻图（在我们的实验中k=5设λ=10，α=0。1，并且γ=104，以保证每个软标签的总和为1。我们采用了顶级1类-作为评估度量，使用未标记的目标样品的鉴定准确度4.2对比实验首先，我们评估我们的算法和其他竞争对手的源和目标作为一个单一的子集。表1和表2列出了12种不同情况下的比较结果1 网址http://www-scf.usc.edu/2 https://hemanthdv.github.io/officehome-dataset/10Z. Ding和S.Li和M.Shao和Y.傅表1. Office-31+Caltech-256上11种算法的识别率（%），其中A = Amazon，C = Caltech-256，D = DSLR，W = Webcam。方法S→TC→WC→DC→AW→CW→AW→DA→CA→WA→DD→CD→WD→ALP [30]80.3493.63 92.07 78.6380.8297.38 86.6280.3693.63 85.49 100.00 91.23[24]第二十四话75.0883.06 87.65 77.3884.2599.30 79.0776.6879.43 80.4179.7084.96JDA [3]85.0890.36 87.65 83.6487.02100.0086.3383.7888.54 83.8897.9890.28CCSL [16]82.3787.90 93.32 82.9089.9896.18 87.1883.0587.26 84.0696.2790.92LSC [7]91.1895.26 94.28 87.9793.31100.0087.8888.8194.90 86.1999.3292.37RTML [10]92.4692.36 90.26 84.6587.92100.0086.8684.6890.26 84.6298.2690.82JGSA [35]85.0892.36 91.75 84.6891.44100.0085.0484.7585.35 85.7598.6492.28PUNDA [11]86.7690.98 93.12 83.2889.0699.16 86.6482.8685.86 83.4898.2489.24DAN [32]92.6490.52 92.03 81.5392.13100.0086.0591.8291.74 82.0498.5590.02WDAN [12]93.6793.48 93.11 84.1292.87100.0086.9392.2692.87 83.9299.2891.87我们95.3696.42 95.1288.8493.84100.00 88.4690.1895.48 86.82 100.00 93.98表2. Office+Home上跨领域实验的识别准确率（%），其中Art（Ar）、Product（Pr）、Real-World（Rw）和Clipart（Cl）。构型Ar→Cl Ar→Pr Ar→Rw Cl→Ar Cl→Pr Cl→Rw Pr→Ar Pr→Cl Pr→Rw Rw→Ar Rw→Cl Rw→PrLP [30]20.3636.3230.2428.3736.3232.2823.3228.2543.2330.2830.2452.38[24]第二十四话21.6031.7238.8321.6334.9434.2024.5225.7342.9232.8828.9650.89JDA [3]25.3435.9842.9424.5240.1940.9025.9632.7249.2535.1035.3555.35CCSL [16]23.5134.1240.0222.5435.6936.0424.8427.0946.3634.6131.7552.89LSC [7]31.8139.4250.2535.4651.1951.4330.4639.5459.7443.9842.8862.25RTML [10]27.5736.2046.0929.4944.6944.6628.2136.1252.9938.5440.6257.80JGSA [35]28.8137.5748.9231.6746.3046.7628.7235.9054.47340.6140.8359.16PUNDA[11]29.9937.7650.1733.9048.9148.7130.3138.6956.9142.2544.5161.05DAN [32]30.6642.1754.1332.8347.5949.7829.0734.0556.7043.5838.2562.73DHN [18]31.6440.7551.7334.6951.9352.7929.9139.6360.7144.9945.1362.54WDAN [12]32.2643.1654.9834.2849.9250.2630.8238.2756.8744.3239.3563.34我们34.4943.6355.2836.1452.7453.1631.5940.5561.4345.6444.5864.92Office-31+Caltech-256和Office+Home。从性能来看，我们注意到我们提出的方法在几乎所有情况下都比其他基线更好。特别是在两种情况下，我们的模型达到了100%的准确率。此外，在一些任务中，例如，C→W，我们提出的算法的性能比最先进的方法高3%。其次，探讨了多领域知识转移的评价问题图2列出了不同方法对各种不平衡跨域组合的比较结果。对于图2中的X轴，任一域由多个子域数据组成，并且列出了不同方法的完整结果。从这些结果中，我们看到我们的方法对最先进的无监督主适应算法有利。讨论：当两个域的分布差异不大时，LP在某些情况下可以很好地工作，例如，D→W、W→D、A→C和C→A。然而，它在一些具有挑战性的任务中无法实现吸引人的性能，例如，C→W。而无监督领域自适应的图自适应知识转移11100959085807570图二. Office-31+Caltech-256上6种方法的识别率，其中A = Amazon，C = Caltech-256，D= DSLR和W = Webcam。1009080100A->CW->CD->CC->AC->WC->D9080A->CW->CD->CC->AC->WC->D图三. 3种方法对两个深度特征的识别率（a）GoogLeNet和（b）来自Office-31+Caltech-256的VGGnet- 16，其中A = Amazon，C = Caltech-256，D = DSLR，W = Webcam。我们的方法甚至可以提高18.9%的C→W，这验证了我们的方法的有效性。另一件事是，在大规模数据集上预训练的深度特征可以在某种程度上减轻域偏移，特别是对于不同的分辨率。CCSL是专为不平衡的域转移，通过关联这样的数据保持歧视性和结构信息的能力内和跨域。但是，它太具体，不是一般的。从性能来看，我们见证了我们的算法能够始终优于CCSL。JDA和RTML都采用来自特定分类器的目标样本的伪标签来细化类自适应项。以这种方式，每个目标样本被分配给单个标签，这可能在它们被分配错误的标签时带来问题。RTML进一步探索了边缘去噪重建，从而取得了比JDA更好的结果。此外，LSC采用一个特定的分类器来初始化目标的伪标签然而，它仍然考虑目标数据的硬标签来构建类适应。最重要的是，这种标签预测和特征学习是针对JDA、RTML和LSC单独学习的。与这些方法相比，我们设法进行联合特征学习和标签传播，使彼此受益，更有效的知识转移。与文献[7]相比，虽然这两种模型有一定的共性，但我们的方法侧重于建立一个联合UDA学习模型。然而，[7]中的模型设计LPGFKJDACCSLLSC我们(a)GoogLeNet认可结果（%）(b)VGGnet-16丹舞我们认可结果（%）12Z. Ding和S.Li和M.Shao和Y.傅在特征对准之后的单独标签传播，这可能阻碍知识传递。此外，[7]仍然反馈硬标签以优化特征自适应，这严格遵循传统的半监督学习。然而，我们介绍了软标签以及类明智的适应策略，这是很好地集成了标签传播框架。也就是说，软标签及其概率不仅是必要的，而且是有效的。这是与现有工程相比最大的区别从结果中，我们注意到我们的模型在所有情况下都表现得更好。此外，JGSA还寻求将源数据和目标数据变换到低维域不变空间中的两个线性投影，在该低维域不变空间中，几何和分布移位被联合减轻。然而，它没有考虑类的适应，以减轻条件分布的差异。类似地，PUnDA还寻求每个域的线性变换以将数据投影到共享空间中，这在提高分类器的可辨别性的同时共同减少了域失配深度领域自适应方法能够同时构建深度架构和进行知识转移。从我们的结果中，我们注意到，这样的联合学习策略可以受益于性能时，比较几个传统的线性迁移学习模型。然而，我们的模型可以进一步优于那些深度域自适应模型，即，DAN，DHN，WDAN，这表明我们管道中的两个单独步骤也可以跨不同领域调整知识。具体而言，在高级深度特征上，我们的模型能够进一步提高性能，这主要源于我们的概率类自适应方案，以在知识转移期间探索数据的内在结构此外，传统的深度域自适应方法通常采用预先训练的模型，这类似于我们直接处理深度特征的情况不同的是，我们只微调最后一层。从我们的实验结果中，我们发现知识转移部分起着关键作用，在成功的领域适应，而微调的深层结构参数的最终性能影响不大。为了验证这一点，我们进一步评估了我们的模型在不同架构中的深度域适应，即，GoogLeNet [41]和VGGnet-16 [42]。我们的模型采用GoogLeNet和VGG-16生成的特征，它们的维数分别为1024和4096。实验结果如图3所示，我们发现所提出的方法仍然比深度域自适应模型获得更好的性能。最后，我们注意到Office+Home上的所有算法的性能都远远低于Office-31+Caltech 256，这是由于Office+Home中有更多的类别和更多的样本。4.3实证评价在这一部分中，我们给出了两个耦合投影的收敛性分析，参数的影响和维数。首先，我们证明了我们提出的模型的收敛性。采用Office-31+ Caltech 256上的跨领域任务C→A进行评价。收敛曲线如图4（a）所示，我们可以观察到我们的方法收敛得非常好。其次，我们评估了参数λ的影响，并在图4（b）中显示了不同值的识别结果，其中我们注意到我们的模型生成更好的识别结果。无监督领域自适应的图自适应知识转移13识别率（%）识别率（%）x10314100100129010880670460205095908580C DW C75D A70C DWCD A010203040506070迭代（一）−5−4−3−2−1012345（b）第（1）款50100150200250300350400450 500尺寸（c）第（1）款图4.第一章（a）我们提出的方法的收敛曲线。（b）λ的参数分析，其中x轴的值使用log（）来重新缩放长度。（c）不同量纲对Ps/t的影响。7060504030201 2 3 4 5 6 7 8 9 10 11 12图五. 在Office+Home数据集上的域适应实验12个跨域任务（表2中列出）的识别准确度（%）。当λ∈[1，10]时，在三种不同情况下的性能。通常，我们在实验期间将λ=10此外，我们还证明了Ps和Pt的维数性质.在图4（c）中，我们获得了最初的显着增加，随后是稳定的识别性能，这说明我们的模型即使在数据处于低维时也能很好地工作。空间因此，我们可以验证，有效的投影进一步提高知识的可转移性的基础上的深功能。最后，我们的目的是表明，建议的软标签MMD是显着优于硬标签MMD。具体来说，我们做了一个后处理，每个Ft更新，将其转换为一个0 - 1矩阵。我们在图5中显示了这个变体的结果和我们提出的12个跨域任务（Office+Home数据集）的模型，其中我们注意到软标签版本通常可以提高硬标签版本的性能。标签版本1- 2%。另一方面，我们也可以大致了解软标签相对于“硬”标签的优势例如，我们的模型和LSC [7]分别使用从结果中，我们已经注意到我们的模型比LSC更好。此外，我们将软标签Ft可视化以显示我们的模型可以通过模型优化来改善标签预测（图6中示出了示例）。从结果中，我们注意到，我们的方法可以增强基于标签的预测在原始的LP上。这意味着我们的“软标签”将在模型训练期间进行优化。我们还提供了统计数据，总结了LP [30]错误分类但所提出的方法正确分类的图像数量，反之亦然。硬标签结果（%）客观价值14Z. Ding和S.Li和M.Shao和Y.傅（一）（b）第（1）款见图6。通过（a）原始LP和（b）我们提出的算法学习“背包”的预测软标签X表3. 统计汇总。案例1：有多少图像被LP [30]错误分类，但被我们正确分类;情况2：反之亦然。Ar→Cl Ar→Pr Ar→Rw Cl→Ar Cl→Pr Cl→Rw Pr→Ar Pr→Cl Pr→Rw Rw→Ar Rw→Cl Rw→Pr情况1 638347110920373990722753379537262487案例2 27303016267281112433具体来说，我们在Office+Home数据库上评估了4个集合，即， 艺术（2411个样本）;剪贴画（4325个样本）;产品（4341件样品）;真实世界（4308个样本），并且12个跨域任务的结果示于表3中。我们注意到，我们的模型会错误地分类一些图像是正确的识别LP，这可能是由于一些伤害的标签传播LP与进一步的域对齐。然而，我们的模型能够显著正确地对LP上的更多样本进行分类。这表明我们的联合自适应可以提高标签在不同标记源和未标记目标域之间的分割能力。5结论在本文中，我们开发了一种新的图形自适应知识转移框架的无监督域适应。具体来说，我们通过基于图的标签传播为目标样本分配多个标签，从而构建了一个概率类自适应项同时，通过概率类自适应策略学习两个有效的子空间投影，从而可以通过图保留源和目标的内在信息以这种方式，可以利用标签传播将准确的标签这两种策略以类似EM的方式工作，以提高未标记的目标识别。两个跨域视觉基准测试的实验验证了所设计的算法的有效性比其他国家的最先进的领域适应模型，甚至深域适应的。确认这项工作得到了NSF IIS奖1651902，NIJ研究生研究奖学金2016-R2-CX-0013，ONR青年研究者奖N 00014 -14-1-0484和美国国家科学基金会的部分支持。陆军研究办公室青年研究员奖W 911 NF-14-1-0218。无监督领域自适应的图自适应知识转移15引用1. 帕特尔，V.M.，戈帕兰河Li，R.，切拉帕河：视觉域适应：最近进展的调查IEEE信号处理杂志32（3）（2015）532. 丁Z邵，M.，Fu，Y.：鲁棒的多视图表示：统一的视角多视角学习到领域自适应。在：IJCAI.（2018）54343. Long，M.，王杰，丁，G.，孙，J.，余，P.S.：迁移特征学习与联合分布适应。In：ICCV.（2013）22004. Baktashmotlagh，M.，Harandi，M.T.不列颠哥伦比亚省洛弗尔Salzmann，M.：通过域不变投影的无监督域自适应。In：ICCV.（2013年）7695. 丁Z邵，M.，Fu，Y.：用于迁移学习的深度低秩编码。在：IJCAI.（2015）3453-34596. 邵，M.，丁Z赵，H.，Fu，Y.：用于无监督域自适应的谱二分树引导的深度自适应在：AAAI。（2016年）20237. Hou，C.A.，蔡永辉，是的Y.R.王玉芳：具有标签和结构一致性的无监督域自适应。IEEE TIP25（12）（2016）55528. 蔡永辉，Hou，C.A.，Chen，W.Y.，是的Y.R.王玉芳：域约束转移用于不平衡无监督域适应的编码。在：AAAI。（2016）35979. 魏