没有合适的资源?快使用搜索试试~ 我知道了~
基于条件不变对抗网络的深域泛化YaLi1、XinmeiTian1()、MingmingGong2、3、YajinggLiu1、TonglianggLiu4、Kun Zhang2和Dacheng Tao41中国科学技术大学中国科学院地理空间信息处理与应用系统技术重点实验室,合肥2卡内基梅隆大学哲学系3匹兹堡大学生物医学信息学系4UBTECH Sydney AI Centre,SIT,FEIT,悉尼大学,澳大利亚muziyiye@mail.ustc.edu.cn,xinmei@ustc.edu.cn,gongmingnju@gmail.com,lyj123@mail.ustc.edu.cn,tliang. gmail.com,kunz1@cmu.edu,dacheng.sydney.edu.au抽象。领域泛化的目的是从多个源领域学习一个分类模型,并将其推广到未知的目标领域。领域泛化的一个关键问题是学习领域不变表示.令X和Y分别表示特征假设条件分布P(Y|X)在域之间保持不变,早期的域泛化方法通过最小化边缘分布P(T(X))的差异来学习不变表示T(X)。然而,这种稳定P(Y)的假设|X)不一定成立在实践中此外,表示学习函数T(X)通常被约束为简单的线性变换或浅网络。为了解决上述两个缺点,我们通过利用深度神经网络进行域不变表示学习,提出了一种端到端条件不变深度域泛化方法。域不变属性通过条件不变对抗网络来保证,该网络可以学习域不变表示。联合分布P(T(X),Y),如果目标域数据不是严重的类不平衡的。我们进行了各种实验,以证明所提出的方法的有效性。关键词:领域泛化·对抗网络·领域不变表示.1介绍随着近年来深度学习的进步,计算机视觉已经取得了令人印象深刻的成功,例如,在图像分类[1,2]、面部识别[3,4]和对象检测[5]中。上述任务依赖于标准的监督学习,假设训练和测试数据遵循相同的分布。然而,由于各种原因,这种假设在许多现实情况下并不成立。2Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶改变因素,例如背景噪声、视点改变和照明变化。这些因素可能会导致所收集数据集的偏差[6]。在深度学习中,消除数据偏差的常见方法是通过在目标域上使用一定数量的标签微调预训练的网络然而,当移动到不同的新目标域时,标记数据是劳动密集型的. 域泛化[7给定多个源域的输入和相应的输出,域泛化的目的是学习一个域不变的特征表示,可以很好地推广到看不见的目标域。大多数现有的领域泛化方法基于手工特征或从预训练的深度学习模型提取的特征来学习不变特征变换。与手工特征相比,从预先训练的神经网络提取的特征更具鉴别力和描述性。 几种领域泛化方法[7 - 11]已经证明了从神经网络中提取特征的有效性。然而,所引用的方法将所提取的特征视为输入X,并且使用线性变换或多层感知器来对变换T(X)进行建模。这样的学习策略并没有充分发掘深度神经网络的优势我们认为,直接从原始图像学习不变特征变换,以端到端的方式将导致更好的性能。此外,先前的研究假设条件分布P(Y |X)在域之间保持稳定,并且域不变学习归结为保证边缘分布P(T(X))的不变性。如果违反这个假设,则即使P(T(X))在学习之后是不变的,联合分布P(T(X),Y)也将不是不变的 根据因果学习的最新结果[17,18],如果因果结构是X→Y,其中X是原因,Y是结果,则P(Y|X)可以在P(X)改变时保持稳定,因为它们是e(X)的“独立的”。 然而,计算机视觉中Y→X的计算结构是,例如,对象类别是图像特征的原因[19]。 在这种情况下,如果P(X)改变,则P(Y|X)经常与P(X)一起变化。以数字分类为例,将每个旋转角α表示为一个域,得到了一个不同的类条件分布P(X|Y,α = αi),即,数字特征分布取决于旋转角度。为简单起见,假设P(Y)不改变,根据求和规则,我们得到P(X|α = α)= ΣLP(X|Y =ij=1j,α = αi)P(Y = j),其中L是类的数量,因此P(X)的值|α=αi)是定义域中的差异项。根据Bayes规则,P(Y|X,α = αi)= P(X|Y,α = αi)P(Y)/P(X|α = αi);因此,P(Y)不太可能|X,α = αi)在域之间是相同的。在本文中,我们考虑的情况下,P(X)和P(Y |X)可以跨域改变,并在端到端深度学习框架中解决域泛化问题。这是通过学习条件不变神经网络来实现的,该网络学习最小化P(X)中的差异|Y)跨不同域。受生成对抗网络[20]和最近的深度自适应方法[21,22]的启发,我们开发了一个对抗网络来学习一个基于条件不变对抗网络的深域泛化3域不变表示,通过使不同域上的学习表示不可区分。条件不变性属性由两个对抗性损失保证,该损失考虑了由现有方法忽略的源域标签信息一个目标是直接使每个类中的表示在源域中不可区分另一个损失旨在使所有类的表示在类先验归一化的源域中不可区分。引入基于类先验的归一化的目的是减少由跨源域的可能的类先验P(Y)改变引起的负面影响如果目标域和池化源域的先验分布P(Y)相同,则我们的方法可以保证联合分布P(X,Y)的跨域不变性。2相关工作近年来,领域泛化引起了人们的广泛关注,提出了各种方法[7Muandet等人[9]提出了一种域不变分量分析,它通过最小化域之间的不相似性来学习不变变换。Ghifary等人[8]提出了一个统一的框架,用于使用分散分量分析进行域自适应和泛化。与上述方法相反,Khosla et al.[7]提出通过将特定于数据集的模型测量为特定于数据集的偏差和视觉世界模型的组合来消除数据集偏差。 考虑到自动编码器的构造能力,Ghifary等。[11]提出了一种多任务自动编码器方法来学习域不变特征。学习的特征随后可以用作分类器的输入。所有引用的方法都是浅域泛化方法,其需要手工制作的特征或从预先训练的深度学习模型提取的特征。注意,多任务自动编码器仅使用构建在预先学习的深度特征上的一个隐藏层。这种预先提取的特征极大地限制了现有领域泛化方法的学习能力。我们的方法在端到端深度学习框架中从原始图像学习域不变表示。除了浅体系结构之外,现有方法假设P(Y|X)保持跨域不变,并且仅旨在学习域不变特征变换T(X)以保证特征分布P(T(X))的不变性。最近的研究领域的适应注意到的重要性,匹配的联合分布,而不是边缘分布。[23]和[24]建议考虑一般化目标偏移场景中的域适应问题,其中因果方向是Y→X。在这种情况下,分布P(Y)和条件分布P(X)的变化都是不确定的。|Y)被认为减少了跨域的数据偏差。[25,22]提出了用于通过使用来自先前迭代的预测标签作为伪标签来匹配联合分布的迭代方法。[26]提出了一种基于最优运输的方法来匹配联合分布,并取得了可喜的成果。与领域自适应方法相比,领域泛化不需要来自目标领域的未标记数据。4Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶不C3条件不变深域推广3.1领域泛化假设特征空间和标签空间分别由X和Y表示。域由定义在上的联合分布P(X,Y)表示。X ×Y。为了简化符号,第m个域Pm(X,Y)被表示为Pm,并且第m个域Pm(X,Y)被表示为Pm。边缘分布Pm(X)记为Pm。在每个领域,我们都有一个样本MmN mmXmDm={(xi,yi)}i=1,从P(X,Y)中得出,其中N是第m个域,而(xm,ym)Pm(X,Y)表示第m个域中的第i个数据点。我我第m个域。 给定C相关的源域{P1,P2,..., P C}和它们的核心M响应数据集D={(xm,ym)}N,其中m ={1,2,…C},目标mi i i=1域泛化是学习模型f:X → Y,该模型可以很好地拟合一个看不见的,还相关的目标域Pt(X,Y)。3.2域发散我 们 首 先 介 绍 了 测 量 多 个 分 布 之 间 相 似 性 的 Jensen-Shannon 散 度(JSD)[27]。我们使用边缘分布P(X)作为例子来说明本节中的一般结果分布{P1(X),P2(X),. . . ,Pc(X)}被定义为每个分布与平均分布的KL-散度的 平 均 值 :JSD(P1,. . . ,P(C)= 1 ΣCKL(Pm||P¯),(1)X XCm=1XXwheereP =1∑CPm是这些分布的平均值(质心)。在[20]中,XCm=1X提出了一种两人极小极大方法来学习生成式对抗网络,并被证明是等效的生成分布和数据分布之间的JSD最我们将两个玩家的极大极小方法扩展到多个玩家,并证明了它与最小化多个分布之间的JS散度的等价性。去-注意特征变换T之后的分布为{P1(T(X)),P2(T(X)),T T. . . ,Pc(T(X))},或者简单地表示为{P1,P2,. . . ,P C}。假设D是有学问的T T T TDm(T(X))表示利用判别器D的预测概率,T(X)来自第m个域Pm,m ∈ {1,2,. . . ,C}。我们定义本文讨论了具有价值函数V(T,D1,. . . ,DC)=∑m=1ExPm(x)logDm (T(x)):min不MaxD1D2... DC∑CV(T,D1,. . . 、DC),S.T.m=1Dm(T(x))= 1。(二)在下文中,我们将证明上述极大极小博弈在P1= P2=时达到全局最优。. . = P C,即,多玩家极大极小游戏能够T T T学习不变特征表示。下面的命题提供了基于条件不变对抗网络的深域泛化5在固定变换T下的最优鉴别器。6Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶不不不不不不命题1设x′=T(x),对于固定变换T,最优预测概率{D1,. . . ,Dc}是T T∑CDm*(x′)=Pm(x′)/Pm(x′).(三)T Tm=1不证据 对于固定的T,Eq. (2)减少到最大化V(T,D1,. . .,DC)w.r.t.{D1,. . . ,Dc}:∑C{D1*,. . . ,DC*}= argmax∫Pm(x′)log(Dm(x′))dx′T TD1,…,DCm=1x′不S.T. ∑Cm=1Dm(x′)= 1。(四)逐点最大化值函数并应用拉格朗日乘子,我们得到以下问题:∑C{D1*,. . . ,DC*}= argmax∑C(1)A(1)B( 2)C(Dm(x′)−1)。T TD1,…,DCm=1不m=1将上述方程的导数设为w.r.t.Dm(x′)为零,我们得到Pm′Dm*(x′)= −T(x)。我们可以通过以下方式求解拉格朗日乘子λ:Pm′∑将Dm*(x′)=−T(x)代入约束CDm(x′)= 1,得到λ=∑Tλm=1Pm′-CPm(x′)。因此,我们得到最优解Dm*(x′)= ∑T(x) 。m=1不TCm=1 Pm(x′)定理1设U(T)是V(T,D1,. . . 、DC)U(T)= ∑Cm=1[ExPm(x′)log∑Cpm(x′)Pm(x′)]、(五)m=1 不多人极大极小对策的全局最小值被达到当且仅当P1= P2=。. . = P C. 此时,U(T)达到−C log C。T T T证据 如果我们把C log C加到U(T)上,我们得到U(T)+ClogC=∑Cm=1[{Ex<$P m(x′)pm(x′)]对数∑CPm(x′)+ logC}m=1不∑C[=ExP m(x′)日志pm(x′)]∑m=1T1CPm(x′)CΣ(..m=1不)C=KLPm(x′).. 1∑CPm(x′).(六)m=1T...Cm=1不λ不基于条件不变对抗网络的深域泛化7通过使用等式中的JS散度的定义(1),我们得到U(T)=−ClogC + C·JSD(P1,. . . ,P C)。 在Jensen-Shannon分歧中,T T三个分布总是非负且为零当且仅当它们相等,我们已经证明U*=−ClogC是U(T)的全局最小值,并且唯一的解为P1=P2=。. . = P C,即,所有已学习的特征表示T T T源域完全匹配。8Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶伊日JJJ3.3该方法现有的方法提出了跨域匹配边缘分布P(T(X)),然而,P(Y)的不变性|T(X))不能保证。 我们的方法校正了P(Y)的变化|X)的变化|Y)。 在理想情况下,我们期望深度网络在 Pm=i(T(X ))处学习一个条件非线性函数。|Y)=Pm=j (T(X )|Y)=P t(T(X)|Y),其中i,j ∈ {1,2,…C},并且Pt是单个靶结构域。 利用条件不变特征变换,我们可以将所有源域合并到具有联合分布P new(T(X),Y)= P(T(X))的单个新域中。|Y)P新(Y)。在对经变换和合并的源主数据进行训练时,我们校正可能的类不平衡,使得P_new(Y)对于所有类都因此,如果目标域数据是类平衡的,则可以保证源域和目标域之间的联合分布P(T(X),Y)的相等性即使目标域数据是类不平衡的,如果特征和标签高度相关,我们的方法仍然可以提供可靠的结果,因为在这种情况下,类先验分布对分类并不重要条件不变性是通过将极大极小博弈应用于源域上分布的不同方面来实现的,从而产生类条件极大极小值和类先验归一化边缘极大极小值。在下面的部分中,我们将展示这两个正则化项可以通过softmaxloss的变体轻松实现。类条件极大极小值假设有L个不同的类在每个域中,并由xm一个例子从第j类中的m-我的天。对于可用于多个数据的数据集,该数据集的所有值均为最大值1CCm作为V_con(T,D_j,. . . ,Dj)=m=1ExPm(x|y = j)log Dj(T(x)),其中Dj是第j个图像类别的鉴别器。多人极小极大博弈是minmaxVcon(T,D1,. . .、DC),不D1,…DCj jJ∑CS.T.JDm(T(x))= 1。(七)m=1j经验最小最大博弈值可以用公式表示如下:∑CV~(T,D1,. . . ,DC)=1∑NmlogDm(T(xm)), (8)孔jjm=1Nmi=1j伊日其中Nm表示第m个域的第j个类中的示例的数量该项计算P(X)之间的极小极大博弈值|(二)地方性。在实践中,我们分别计算所有类别的极大极小博弈值,然后对这些值求和。 通过优化上述极大极小值,我们可以保证类条件分布P(T(X))的不变性|Y = j)。类先验归一化边际极大极小值如果样本量不大,由于数量非常大,在深度网络中很容易发生过拟合基于条件不变对抗网络的深域泛化9NL参数。由于某些类中的示例数量有时很小,因此使用上述类条件极大极小值进行学习可能会导致过拟合。为了提高域不变特征的学习,我们提出学习一类先验归一化的边缘项,该边缘项将极大极小博弈值应用于全局的所有条件分布。注意,第m个域上的特征表示的边缘分布可以公式化为:∑LPm(T(X))=j=1 Pm(T(X)|Y=j)Pm(Y= j)。(九)上述方程表明,边际分布Pm(T(X)由条件分布Pm(T(X)决定.|Y=j)和类先验分布Pm(Y=j),其中j∈ {1,2,…L}.如[23,24]所示,我们可以通过匹配跨域的边缘分布P(T(X))来确定条件不变表示T(XP(T(X))不变性可导致P(T(X))的不变性|如果P(Y)是不变的。 如果P(Y)也变化,即使具有不变的P(T(X))|Y),P(T(X))仍然可以根据等式(1)变化。(九)、在这种情况下,最小化P(X)中的差异可能导致对于有用信息的去除,因为改变P(Y)的影响不应该通过从X学习不变表示来校正。以除去影响所造成的变化类先验分布P(Y),我们提出了正态-将类先验分布设定为Pm(T(X))= ∑LPm(T(X))|Y = j)1。的N j=1L类上先验归一化分布Pm强制每个类的先验概率相同。因此,跨域不变的类条件分布可以保证类先验归一化边缘的相等性跨域分布。假设βm(Y)是到的归一化权重确保Pm(T(X))= ∑LPm(T(X))|Y = j)Pm(Y = j)βm(Y = j)=∑Nj=1Lj=1 Pm(T(X)|Y = j)1。 我们根据类应用极大极小博弈先验归一化边缘分布如下:min不= minMaxD1,…DCMaxV范数(T,D1,. . .、DC)∑CExPm(x)logDm(T(x))不=min不D1,…DCMaxD1,…DCm=1∑Cm=1∑CNE∫xP∫m(x|y)Pm(y)βm(y) dy logDm(T(x))=min不=min不MaxD1,…DCMaxD1,…DC∑Cm=1∑C∫m=1Pm(x|y)Pm(y)βm(y)dy log Dm(T(x))dxPm(x,y)logDm(T(x))βm(y)dxdyS.T.m=1Dm(T(x))= 1。(十)一个类的先验归一化极大极小值的经验版本如下:∑CV~n或m(T,D1,. . . ,DC)=10Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶1∑NmlogDm(T(xm))βm(ym),(11)m=1Nmi =1i i基于条件不变对抗网络的深域泛化11我我我Fig. 1.我们提出的方法的网络架构。它由四个部分组成:特征学习网络,其表示不变特征变换T;图像分类网络,其对来自具有softmax损失的所有域的图像进行分类; (14),以及类条件域网络,其区分每个图像类的域,其中损失在Eq.(13)。也就是说,类先验归一化权重βm(ym)可以被视为对数似然的权重并且βm(ym)可以根据经验获得为mm1 1Nmβ(yi)=L Pm(Y=ym)=L×Nm、(十二)i j=ym其中,Nm表示第m个域中的示例的总数,并且mj=yi表示与y i具有相同标签的示例数 在第m个域中。4条件不变对抗网络我们引入条件不变深度神经网络来表示特征变换T,然后实现第3.3节中提出的方法。架构如图1所示它包含四个部分:表示学习网络、图像分类网络、类条件域网络和类先验归一化域网络。表示学习网络旨在学习类条件域不变特征表示,同时保留区分不同图像类的能力。这两个领域分类网络的目标是通过对抗训练使来自不同领域的示例的特征无法区分此外,图像分类网络用于使学习的特征12Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶D伊日D我M为分类提供信息。在本节中,我们将介绍每个网络,并描述使用各种损失函数训练此类网络的过程Letxi是一个输入,F(·|θ)是一个不具有h参数θ的函数,并且F(xi|θ)是图像xi的输出。为了简化表示法,特征表示函数k不为F(·|θf)或Ff(·),则将图像分类为不等于F(·)的两个向量或k|θc)或Fc(·),并且当s j不为Fj(·)时,作为s - c,对k进行定义|θd)或Fj(·)。另外,将两个任务划分为不同的类,它们不属于F(·|θp)或Fp(·)。4.1类-条件域分类网络根据等式(7),我们可以通过softmax损失的变体来实现类条件极大极小博弈值。对于图像类j,类条件域损失可以用公式表示如下:∑C1Lcon(θf,θj)= [∑Nj ∑CI[yd=n]logPn(Fj(Ff(xm))], (13)Dm=1MJi=1n=1伊日日其中yd∈ {1,2,…C}表示xij的域标签(类中的第i个示例j)。Pn(Fj(Ff(xij)))表示第j个类别中的图像属于第n个域的预测概率。注意,上述损失具体针对第j个图像类。如果我们有L个类,我们必须构造网络的L个子分支每个子分支对应于一个类。4.2类先验规范化领域分类网络我们根据等式引入类先验归一化域分类网络(十一)、它还使用softmax loss的变体来实现。我们得到先验归一化损失为L(θ∑C,θ)=∑Nm∑C[βm(ym)I[yd=n]logP(F(F(x))]、(14)规范fpNmm=1我我i=1n =1npfi其中ym表示域m中的第i个图像的类别标签。4.3学习程序我们将具有图像存储器的所有存储器作为图像存储器使用的存储器Lcla(θf,θc)作为k个任务的存储器。 在Lcla(θf,θc)处不能是软最大损耗。总损失可如下获得:∑LR(θf,{θj}L,θp,θc)=Lcla(θf,θc)+λ(Lcon(θf,θj)+Lnorm(θf,θp)。(十五)dj=1Dj=1N1基于条件不变对抗网络的深域泛化11联系我们DD上述损失的学习可以通过确定分为两个步骤最优值(θ*,{θ*j}L,θ*,θ*)如下:fdj=1pC(θ*,θ*)=argminR(θf,{θj}L,θp,θc),FCθf,θcdj=1({θ*j}L,θ)=arg maxR(θ),{θj}L(十六),θ,θ)。Dj=1pJLd j=1 ,θpfd j=1p C上述优化问题的鞍点可以通过迭代地执行以下梯度更新直到网络收敛来确定Li∑LLi(θf,θj)Li01-02cond+norm)],ffi+1iθfLij=1θfθfθc=θc−γcla,θc Li(θ,θj)(十七)(θj)i+1=(θj)i+γλconfd,ddθjLiθi+1=θi+γλ范数,p pθp其中γ是学习率。它非常类似于随机梯度下降(SGD)。唯 一 的 差 异是 θp和θj的增加,其中不会出现来自两个域分类损失的负梯度。这样的负梯度有助于使所学习的特征跨域相似。我们提出了一个gradient-reversallayer(GRL),以通过如下方法在eθf处进行更新[21]。 该第一反转层不做任何事情,并且仅在前向传播期间将输入转发到下一层。然而,它在反向传播期间将梯度乘以-1以从域分类中获得负梯度。5实验在本节中,我们在三个域泛化数据集上进行实验,以证明我们的条件不变深域泛化(CIDDG)的有效性我们将我们提出的方法与以下方法进行比较。– L-SVM [29]是具有线性内核的支持向量机(SVM),用于对学习的特征表示进行分类。– 核Fisher判别分析(KDA)[30]用于在所有源域中使用非线性核来找到数据– Undo-bias(UB)[7]使用特定于域的权重和用于域泛化的全局共享权重来度量每个任务的模型原始UB是为二进制域泛化分类而开发的。我们将其扩展到一个多类的方法,使用一个对所有的策略。– 域不变分量分析(DICA)[9]旨在通过匹配跨域的边缘分布来学习域不变特征表示10Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶图二.旋转MNIST数据集。每个旋转角度被视为一个域。– 散射分量分析(SCA)[8]是一个统一的领域自适应和领域泛化框架,它还通过边缘分布学习领域不变特征变换。– 多任务自动编码器(MTAE)[11]是一种基于自动编码器的域泛化方法,用于匹配跨域的边缘分布– DeepA指的是Deep-All,使用来自所有源域的数据来训练网络,只有图像分类损失。– DeepD是指Deep-Domain,使用来自所有源域的数据来训练具有图像 分 类 损 失 和 域 分 类 损 失 的 网 络 , 以 匹 配 边 缘 分 布 P ( T(X))。– DeepC指的是Deep-Conditional,使用来自所有源域的数据训练网络的图像分类损失和我们提出的类条件域分类损失在方程。(13)。– DeepN是指深度归一化,使用来自所有源域的数据来训练具有图像分类损失和我们在等式中提出的类先验归一化域分类损失的网络(14)。– CIDDG使用来自所有源域的数据来训练具有图像分类损失、类别条件域分类损失和类别先验归一化域分类损失的网络,如等式(1)所示。(15)、5.1旋转MNIST数据集旋转后的MNIST数字如图2所示,其中显示了四个不同的旋转角度:0◦、30 ◦、60 ◦和90 ◦。注意,原始MNIST数字已经由某些小角度旋转表征。四个旋转角度中的每一个被视为一个域。因此,我们有四个领域。一个域被选择为目标域,并且其他三个被用作源域。我们重复四次,因此每个域用作目标域一次。来自不同领域中每个类的训练示例的数量从均匀分布U[80 160]中随机选择,以保证每个域中P(Y)的方差。测试示例的数量为10000,并且它们是从具有相应旋转角度的MNIST测试集获得的旋转MNIST的网络体系结构与在[31]中。所有域分类网络由三个全连接层(1024- 1024- 10)组成,并且GRL层在ReLU层之后连接到ReLU层。12Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶表1.在旋转MNIST数据集上准确度(%)方面的性能比较目标SVMkDa UB DICA SCA MATE Deepa DeepD DeepC DeepN CIDDG◦Test0七十二62七十二70六十四43七十二61七十一7975. 56 75. 43七十七。07七十七。7978岁25 78岁47◦测试3092.1791.9589岁。60九十7291.8592. 84 九十三4494 1694 1194 71 94 88◦测试60九十三34九十三1589岁。3091. 77 92.69九十三6894 47 九十五2294 96 九十五49九十五64◦测试90七十七。62七十二8169岁。39七十二05七十三。4378岁34 79岁。5682岁95 八十08 83岁99 84. 00(a) DICA(b)SCA(c)MATE(d)DeepA(e)DeepD(f)CIDDG图3.第三章。旋转MNIST数据集时不同方法的特征可视化◦目标域为90。不同的颜色是指不同的领域和灰色的颜色表示目标域。不同的形状对应于不同的图像类别。最后一个卷积层。基线方法(SVM、KDA、UB、DICA、SCA、MATE)的输入特征将RBF核应用于KDA、UB、DICA和SCA。此外,线性支持向量机用于分类学习域不变的KDA,DICA,SCA和MATE的功能基于深度学习的方法,包括DeepA,DeepD,DeepC,DeepN和CIDDG,使用softmax层进行分类。实验结果总结于表1中。我们提出的条件不变对抗网络在不同的目标域上进行测试时达到了最佳性能。所有基于深度学习的方法都优于传统的领域泛化方法。我们的方法可以实现更好的改进更具挑战性的任务,例如。目标范围为0 μ m或90 μ m,这表明我们的方法更鲁棒。当目标域为30◦或60◦时,角度30◦或60◦可以从其对应的源域(0◦, 60◦, 90◦)或(0◦,30◦, 90◦)内插。在内插角度(30◦或60◦)上测试时,比在外插角度(0◦或90◦)上测试时更容易为了更好地理解不同方法的泛化能力,我们还使用图3中的t-SNE[32]投影来可视化学习的特征分布我们从目标领域的每个类别中随机选择100个示例进行视觉-基于条件不变对抗网络的深域泛化13化在可视化结果中,DeepA指的是网络学习的原始特征对于DeepA,特征已经被学习为是有区别的,但是不同的域没有很好地匹配。几乎所有的领域泛化方法都可以学习到更好的领域不变特征。SCA、MATE、DeepD等方法可以很好地匹配特征分布的源域;然而,在目标域中的几个类的分布注意,KDA的可视化性能并不令人满意,考虑到有限的页面,我们没有显示其可视化结果。对于我们的CIDDG,大约两个类的分布不匹配。总的来说,我们的CIDDG可以学习更多的判别特征,更好地匹配源域和目标域的分布5.2VLCS数据集在本节中,我们在真实世界的图像分类数据集VLCS上进行实验。它由四个不同的子数据集组成,对应于四个领域:PASCAL VOC 2007(V)[33],LabelMe(L)[34],Caltech-101(C)[35][2019 - 09 - 19][2019 - 09 - 19]根据以前的作品[9,7]中的设置,我们选择了五个共享类(鸟,车,椅子,狗和人)进行分类。四个域(V、L、C、S)中的总图像数分别为3376、2656、1415和3282。我们使用AlexNet[1]来训练所有的深度学习模型,并提取FC6特征作为传统基线方法的输入。所有域分类网络都由3个全连接层(1024 →1024 →3)组成,GRL层连接到FC 6层。来自源域的数据集分为两部分:70%用于培训,30%用于验证,遵循[11,28]。整个目标域用于测试。对于SVM,KDA,UB,DICA,SCA,MATE,我们首先直接从源域中提取AlexNet的FC6特征,然后使用这些基线域泛化方法学习域不变特征。最后,利用线性支持向量机对分类模型进行训练,并在目标领域上进行测试对于DeepA,我们直接使用所有源域来微调AlexNet并在目标域上进行测试。对于DeepD,我们使用所有域来微调AlexNet,并使用域分类网络来匹配边际分布P(X)。DeepC、DeepN和CIDDG是我们提出的具有不同损失的方法。实验结果总结于表2中。从结果中,我们可以得出结论,传统的域泛化方法的性能甚至比DeepA更差(网络只是使用所有源域进行了微调)。深度域泛化方法优于简单微调的模型DeepA。此外,我们的条件不变域泛化方法比匹配边缘分布的域泛化(DeepD)性能更好。5.3PACS数据集PACS [28]由四个子数据集组成,对应四种不同的图像风格,包括照片(P),艺术绘画(A),卡通(C)和草图(S)。每个14Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶表2. VLCS数据集上准确度(%)方面的性能比较。目标 SVM kDaUB DICA SCA MATE Deepa DeepD DeepC DeepN CIDDGV四十八1044.40四十七9051岁78五十四7151岁6662. 71 63岁71 63岁97 六十四31六十四38L50块87四十六岁。6951岁09四十五63五十三73五十三9561岁28 62. 0662. 60 62. 10 63岁06C七十0461岁48七十三。7168岁69五十八9475. 75 八十五7386岁。5887岁47 86岁。3888岁83S四十七94三十八岁。52四十六岁。77三十七66四十七6250块33五十九33六十岁。2961岁51 61岁87 62. 10表3. PACS数据集准确度(%)方面的性能比较。目标 SVM kDaUB DICA SCA MATE Deepa DeepD DeepC DeepN CIDDGP55.15五十九0455.5755. 93 五十九10五十八44七十七。98八十39 八十72七十七。4578岁65一41岁80四十七66四十二48四十七4650块05四十五95五十七55六十岁。7562. 30 五十九1762. 70C52岁30五十三29四十八93五十七00五十八7951岁1167岁04 68岁63 69岁。5867岁86 69岁。73S四十七87四十八21四十六岁。30四十7050块62四十九25五十八52六十岁。76六十四45六十岁。92六十四45图像样式可以被看作是一个域。每个域中的图像数量分别为1670、2048、2344、3929我们使用来自源域的所有图像传统的方法是从FC7层提取特征,GRL层也与FC7层相连包括网络架构在内的其他设置与VLCS数据集中使用的设置相同。结果示于表3中。在VLCS数据集上的实验也得到了类似的结论。DeepN表现不如DeepC的原因是PACS具有更大的数据偏差和P(Y)方差。类条件域分类网络不能仅利用一个特定图像类中的图像并且不考虑跨域的P(Y)的变化来很好地学习6结论本文提出了一种新的条件不变深域广义化方法。该方法通过考虑P(Y)的变化而不是边缘分布来匹配条件分布我们证明了多个源域的分布可以完美地匹配我们提出的多玩家极大极小值。此外,进行了大量的实验,结果表明,我们提出的方法的有效性谢谢。本课题得到国家重点研究发展计划项目2017 YFB 1002203、国家自然科学基金资助号:61572451号和61390514、霍英东教育基金会WF基于条件不变对抗网络的深域泛化152100060004和青年创新促进会CAS CX 2100060016,以及澳大利亚研究理事会项目FL-170100117、DP-180103424、DP-140102164、LP-150100671。16Y. Li,X.田,M.贡,Y.Liu,T.Liu,K.Zhang和D.陶引用1. Krizhevsky,A.,萨茨克弗岛Hinton,G.E.:使用深度卷积神经网络的图像网分类。在:神经信息处理系统的进展。(2012)10972. 他,K.,张,X.,Ren,S.,孙杰:用于图像识别的深度残差学习。在:IEEE计算机视觉和模式识别会议论文集。(2016)7703. Schroff,F.,Kalenichenko,D. Philbin,J.:Facenet:用于人脸识别和聚类的 统 一 嵌 入 。 在 : Proceedings of the IEEE Conference on ComputerVisionandPatternRecognition中。(2015)8154. 帕克希O.M. Vedaldi,A.,Zisserman,A.,等:深度人脸识别。在:BMVC.第1卷(2015年)65. Ren,S.,他,K.,格尔希克河孙杰:Faster r-cnn:Towards real-timeobject detec- tion with region proposal networks.神经信息处理系统进展。(2015)916. Torralba,A.,Efros,A.A.:无偏倚地看数据集偏倚。在:ComputerVision andPattern Reg nit i t ion ( CVP R) , 2011IEEEConfere nceo n,IEEE(2011)15217. Khosla,A.周,T.,Malisiewicz,T.,埃夫罗斯,匿名戒酒会Torralba,A.:消除数据集偏差的损害。参见:欧洲计算机视觉会议,Springer(2012)1588. Ghifary,M.,Balduzzi,D.,Kleijn,W.B.,张女士: 散射分量分析:一个统一的领域自适应和领域泛化框架。IEEETRANSACTIONSONPATERNALYSISANA L YS A N A L Y SI S A N AL Y SANBN A N9. Muandett,K., Balduzzi,D. ,Scchoülkopf,B. :管理虚拟化特征表示。在:第30届机械工程国际会议论文集(ICML-13)。(2013)1010. 徐志,李伟,牛湖,加-地徐德:利用潜在领域的低秩结构进行领域泛化。参见:欧洲计算机视觉会议,Springer(2014)62811. Ghifary,M.,Bastiaan Kleijn,W.,张,M.,Balduzzi,D.:用多任务自动编 码 器 进 行 对 象 识 别 的 域 泛 化 。 In : Proceedings of the IEEEiintérnationalconferenceoncommputeri sision. (2015)255112. 丁Z Fu,Y.:具有结构化低秩约束的深度域泛化。IEEETrans. 我是一个Processing。27(1)(2018)30413. Zhang,K., Gong,M., S choülkopf,B. :Multi-sour cedomanaptaton:acausalvie。 AAA岛(2015)315014. 李,Y.,Gong,M.,田,X.,Liu T.,Tao,D.: 通过条件约束约束的域泛化 AAA岛(2018)357915. 赵,H.,Zhang,S.,(1991),中国农业科学院,吴,G.,Costeira,J.P.,Moura,J.F.,Gordon,G.J.:多源域适应与神经网络的对抗训练。arXiv预印本arXiv:1705.09684(2017)16. Liu,T.,Tao,D.,宋M.,Maybank,S.J.:多任务学习的算法相关泛化边界。IEEE传输模式分析马赫内特尔39(2)(2017)22717. S cho?lkopf,B., Janzing,D. ,Peteters,J., Sgouritsa,E., Zha
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- IPQ4019 QSDK开源代码资源包发布
- 高频组电赛必备:掌握数字频率合成模块要点
- ThinkPHP开发的仿微博系统功能解析
- 掌握Objective-C并发编程:NSOperation与NSOperationQueue精讲
- Navicat160 Premium 安装教程与说明
- SpringBoot+Vue开发的休闲娱乐票务代理平台
- 数据库课程设计:实现与优化方法探讨
- 电赛高频模块攻略:掌握移相网络的关键技术
- PHP简易简历系统教程与源码分享
- Java聊天室程序设计:实现用户互动与服务器监控
- Bootstrap后台管理页面模板(纯前端实现)
- 校园订餐系统项目源码解析:深入Spring框架核心原理
- 探索Spring核心原理的JavaWeb校园管理系统源码
- ios苹果APP从开发到上架的完整流程指南
- 深入理解Spring核心原理与源码解析
- 掌握Python函数与模块使用技巧
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功