非监督开放域识别中的子集范畴分类方法

750基于语义离散最小化的卓俊宝1，2王树辉1崔树浩1，2黄清明1，21、Intell重点实验室。Info.过程.，计算机研究所技术人员：中国科学院，北京，1001902中国科学院大学，北京，100049junbao. vipl.ict.ac.cn{wangshuhui，cuishuhao18s}@ict.ac.cnqmhuang@ucas.ac.cn摘要我们解决了无监督的开放域识别（UODR）问题，其中标记源域S中的类别只是未标记目标域T中的类别的子集。该任务是正确分类T中的所有样本，包括已知和未知类别。UODR由于领域差异而具有挑战性，当T中存在大量未知类别时，这种差异变得更加难以弥合。此外，由图CNN（GCN）传播的分类规则可能被未知类别分散并且缺乏泛化能力。为了度量S和T之间的非对称标签空间的域差异，提出了语义引导匹配离散（Semantic-Guided MatchingDiscretionary，SGMD）算法，该算法首先在S和T之间进行实例匹配，然后通过加权特征距离度量匹配实例之间的差异.我们进一步设计了一个有限的平衡约束，以实现一个更平衡的分类输出放在已知和未知类别。我 们 提 出 了 一 种 非 监 督 的 开 放 域 传 输 网 络（UODTN），它通过简化SGMD、强制执行有限平衡约束和最小化S上的分类损失来联合学习骨干分类网络和GCN。UODTN更好地保留了语义结构，并加强了学习的领域不变视觉特征和语义嵌入之间的一致性。实验结果表明，我们的方法的优越性，对已知和未知类别的图像。1. 介绍本文研究了无监督开放域识别问题。在UODR中，给定一个标记的源域S和未标记的目标域T，其中S中的范畴只是T中范畴的子集。 任务是对T中的所有样本进行分类，包括已知和未知类别，这无疑是一个更复杂的问题。*通讯作者。与域自适应（DA）[2，3，4，20，21，33，40，42，34，13，5，10，25]和零-投篮学习（Shot Learning）[24，11，28，16，32，15，14，29，41]。表1概述了UODR和其他相关问题之间的主要区别。传统的无监督DA [4，20，21，33，42]过于严格，无法假设S和T具有相同的类别。研究者开始探索一个更困难的设置，S和T不共享相同的类别（非对称类别空间）。在部分对抗DA [3]和部分加权DA [40]中，作者讨论了T的范畴空间是S的子集的问题。然而，类别空间仍然被限制在由源域类别扩展的闭集中。对于更困难的设置，即，S的范畴空间是T的子集，这在DA领域中很少被考虑在开集DA [2]中，S和T中都存在未知类别，但任务是只对目标域中已知类别的样本进行分类，而忽略未知类别的样本与之相反，S中不存在未知类别，目标域中已知和未知类别的所有样本都需要在UODR中进行分类 UODR也不同于广义的CNOL [28，16，11，32，15，14]，因为在广义的CNOL中，所有数据都来自同一个领域，并且S之间没有假定的领域差异（即，，训练集在WML中）和T（即，，测试集在ZS- L中）。由于UODR问题的特殊性，现有的解决方案不能直接用于解决UODR问题。UODR之所以具有挑战性，是因为S和T在语义上存在差异，这可以从特征分布和语义两个方面来解释。首先，在S和T之间的内容和分布观点上存在很大的分歧，这在现有的DA研究中也被称为域分歧[4，20，21，33，42]。如果大量的未知类别被注入到T中，则域差异甚至更难弥合。在这种情况下，直接应用DA中使用的技术，例如，、MMD [20]和DCORAL [33]的研究结果会导致负迁移。其次，很难对未知类别的实例进行751表1：UODR、DA和ORL问题之间的主要区别领域差异T中的未知将所有样本分类为T使用T训练非对称标号空间无监督DAC×CC×部分无监督DAC×CCC无监督开集DACC×C×广义线性×CC×–直推广义广义×CCC–UODRCCCCC没有标记的训练数据或任何辅助属性信息[16，37]。利用已知和未知类别之间关系的知识，可以在UODR中使用图CNN（GC- N）[15]将已知类别的分类规则传播到未知类别[38，14]。然而，在广义范畴内，存在模式崩溃，迫使未知类别样本的预测到所看到的类别。更糟糕的是，由于S和T之间的域差异，传播的分类规则在未知类别上可能缺乏泛化能力。解决UODR的关键思想是从特征分布和语义两个方面最小化语义分歧。具体地说，在未标记域T上，存在许多未知类别，这些类别具有与S中的某个已知类别相似的图像实例。为了减少T中未知类别带来的干扰，通过减少在S和T的共享（已知）类别上测量的数据的域离散度来执行域不变特征学习。我们提出了语义引导的匹配离散化（SGMD），它首先采用S和T之间的实例匹配来产生粗略匹配的对[3]。然后通过这些对上的加权特征距离来测量差异目标域分类输出提供了广泛的类别上的语义级抽象，并且具有相同类别标签的实例对被假设为具有相似的分类输出。因此，权重反映了每对语义的一致性程度，加权距离计算进一步减少了噪声匹配与[38，14]类似，GCN用于将分类规则从已知类别传 播 到 未 知 类 别 作 为 第 一 步 ， 其 中 类 别 关 系 由WordNet描述。然后使用传播的分类规则来初始化骨干网络的分类层。在骨干分类网络的基础上，针对已知类别到未知类别的语义迁移问题，设计了一个有限的平衡约束，以防止未知类别的目标域样本被分类到已知类别中，更好地避免了分类器对未知类别的强偏见已知类别与[32]提出的平衡约束相比。将这些组件组合在一起，我们开发了无监督的开放域传输网络（UODTN），它通过减少SGMD，实现有限平衡，通过GCN加强语义结构保持，并最小化S上的分类损失来联合学习骨干分类网络和GCN。与逐步执行基于GCN的分类模型传播和视觉特征学习的多阶段学习范例[38，14]相比，联合分类网络和GCN学习可以更好地保留语义结构，并加强学习的域不变视觉特征与语义嵌入之间的一致性我们构建了两个数据集来评估我们的UODR方法。实验结果表明，该方法对T.我们在https://github.com/junbaoZHUO/UODTN上公开提供我们收集的数据和代码。2. 相关工作深度无监督域自适应。大多数深度无监督域自适应模型都是通过将S上的分类损失与其他损失（如差异减少损失）相结合来训练的[20，33，21，4，8]，ad-对抗性歧视损失[7，34，36]，对抗性基因-[19][13][14][15][16][17][19]我们只回顾了一些与我们的方法密切相关的基于差异减小的方法单个线性内核仅应用于一个全连接（FC）层，以最小化DDC中的最大 平 均 离 散 度 （ MMD ） [35] 。 深 度 自 适 应 网 络（DAN）[20]中考虑了多个FC层（包括最后一个分类层）在联合自适应网络[21]中，考虑多层激活的联合分布差异，而不是对边缘和条件分布的单独自适应，边缘和条件分布通常需要对因子分解分布的与MMD不同，DO-主要差异是通过752j=1i=1二阶统计量（即，，协方差）[33，42]。 域Domain examplesDT ={z t}NT，他们的标签j j=1卷积表示和在[42]中明确考虑了分类层PMD [4]旨在近似一阶Wasserstein距离为-LT={y j}NT，y j∈ {1，2，. . .，L T}不可用，并且LS τ）（3）我其中d（fs，ft）是距离度量，其可以是L2dis。我我和相关性之间的差异[33，42]，假设源域和目标域共享相同类别，无法处理UODR的非对称标签空间。我们提出语义引导的匹配差异，tance，在域区分中编码的差异度量，使用对抗训练时的nator等。···表示内积。τ是给定的阈值。 相似度p s，p t tn反映了语义的相似程度我我估计域差异。我们提取的特征来自源域和目标域的所有实例，每对的一致性，因为相同类别假设具有相似的分类响应。754Σ=JLMT^3.5. 有限平衡约束为了防止未知类别的目标域样本被分类到已知类别中，直接向目标域实例的分类器响应添加平衡约束。香草平衡约束[32]计算如下： LT其中Lcls是标记源域上的分类损失。λd、λb和λg分别是语义引导匹配差异最小化损失、有限平衡约束和GCN结构保持损失的权重。具体而言，最小化语义引导的匹配差异为已知和未知类别的分类器提供了域不变特征此外，已知类别的分类器重新-Lb= −logTJj=LS+1（四）既要对GCN进行失类监管，又要对GCN进行监管。另一方面，然而，由于目标领域没有标签，这种平衡约束可能会增长到意为了防止未知类别的分类器响应异常增长，我们提出了有限平衡约束：w2在有限平衡约束和GCN的指导下训练未知类别。联合训练不受阻碍地实现了目标域中已知类别和未知最小化语义引导的匹配差异实际上是从特征的角度传播语义信息，而GCN从语义的角度传播语义嵌入。Llb=Rt+不（五）侦探UODR问题实际上是一个病态的其中RtLTj=LS+1pt和w是手动设置的常数有限平衡约束防止病态解的UODTN在培训过程中的作用。控制未知所有类别中的类别。这种约束强制未知类别的分类响应在所有类别中的比率位于适当的范围内。理想情况下，w可以根据未知类在所有类别中的比例的先验来设置。3.6. 基于GCN的语义结构保持通过减少语义引导的匹配差异和施加有限的平衡约束，不能很好地保持词向量和知识图中的类别之间的语义结构。为了保持这种关系，我们将GCN整合到我们的培训中，从而形成端到端的框架。与3.3小节不同，损失项中考虑了目标域中所有类别的语义嵌入：1ΣΣ4. 实验4.1. 数据集我们在两个数据集上评估我们的方法：小规模数据集I2AwA和大规模数据集I2WebV。I2AwA的目标域是AwA2[39]，它是零触发学习的原始AwA数据集的替代品。它由50个动物类组成，共有37，322张图像，平均每个类746张图像。我们使用[39]中提出的分裂，其中40个类被视为已知类别，其余10个类为未知类别。我们通过Google图像搜索引擎收集了一个包含40个已知类别的源域数据集我们手动去除了噪声图像，总共产生了2，970张图像。源域和目标域之间存在域差异，如图2所示。至于I2 WebV，其源域是ILSVRC-Lgcn= 2Mi=1j=1（Oi，j−W^i，j）2（6）2012年，共有1，000个类，共包含1，279，847张I2WebV的目标域是验证集其中，W∈RLT×M表示通过提取目标域中所有类别的分类层的权重而获得的分类器权重。与[14]中提出的方法不同，该方法固定从GCN学习的分类器并微调特征，我们模型中的分类器可以很好地适应数据，同时所有类别的语义关系仍然通过GCN保持。3.7.联合训练在3.3小节中通过训练的GCN初始化UODTN的分类器层之后，我们利用所有提出的技术以端到端的方式训练UODTN。总损失为L= Lcls+λd Ld+λb Llb+λg Lgcn（7）WebVision [18]有5，000个类，由294，009个图像组成。I2WebV是一个非常具有挑战性的数据集，因为两个域之间存在很大的域差异，目标域中存在大量未知类别，其中一些与1，000个已知类别非常不同。我们用于I2AwA和I2WebV的知识数据库是WordNet [22]。4.2. 评估指标我们对整个目标域进行分类，类似于广义零射击学习，并报告目标域上已知类别，未知类别和所有类别的前1名准确率，以便更好地理解知识转移过程。pΣR755表3：I2WebV上的Top1精度已知未知所有zGCN [38]43.82.211.1dGCN [14]45.22.011.3AdGCN [14]45.82.211.6bGCN [32]47.42.212.0pmd-bGCN [4]47.22.211.9UODTN（Ukn.）51.93.213.8图2：第一行和第二行显示了来自I2AwA的源域和目标域，并且同一列的图像属于同一类别。目标样本取自自然场景，而源数据来自互联网，包含动物的3D模型图像，从内容和分布的角度来看，这似乎与目标域不一致。表2：I2AwA上的Top1精度已知未知所有zGCN [38]77.221.065.0dGCN [14]78.211.664.0AdGCN [14]77.315.064.1bGCN [32]84.628.072.6pmd-bGCN [4]84.727.172.5UODTN84.731.773.54.3. 基线我们将我们的方法与几个基线进行比较：zGC-N[38]，[14]中提出的包括dGCN和adGCN的两个变体，bGCN和pmd-bGCN。 zGCN是一个基于图的结构，它利用WordNet中编码的词向量和语义关系来预测未知类别的分类器。继zGCN之后，[14]中的作者利用了更密集的图结构（dGCN），并为额外的边（adGCN）分配了不同的权重。我们还构建了bGCN，GCN与最先进的转导零射击学习方法中提出的原始平衡 此外，在bGCN的基础上，我们实现了GCN的另一种变体pmd-bGCN，它进一步降低了人口匹配差异[4]，一个国家的最先进的域差异测量，显示优于MMD。4.4. 实现细节我们基于WordNet [22]分别为I2AwA和I2WebV构建了两个不同的图图节点包括目标域的所有类别及其子节点和祖先节点。准确地说，I2AwA和I2WebV的图的节点数是255和7460。词向量所有类别都是通过GloVe文本模型[27]提取的，该模型在维基百科上训练。图中节点的词向量被设置为GCN的输入我们使用在ILSVRC-2012上预训练的ResNet-50[12]作为基本模型，其中最后一个完全连接的层，即，将分类层作为GCN倾向于预测的目标。我们以词向量为输入，以预训练的ResNet-50分类器为目标，训练GC-N，以获得I2 WebV中对于I2AwA，用于训练GCN的监督信息是在I2AwA的然后，这些初始分类器被合并到预训练的ResNet-50的特征提取器中（原始分类器层被删除），以形成源和目标域的骨干分类网络我们修复了ResNet-50的一些开始卷积层，以加速训练过程。将分类层之前的全局平均池化响应作为特征，并基于这些特征构造一个二分图，每个子图分别代表源域和目标域。我们使用匈牙利算法获得最小权重匹配对来估计总体匹配差异[4]和我们提出的语义引导匹配差异。具体地，我们使用在域中编码的差异度量作为等式中的距离度量。（三）、基于大规模数据集的二部图的最小权匹配对是一个难题。我们简单地应用分而治之的策略来处理这个问题。以I2 AwA为例，我们将源/靶结构域分别随机分为5个折叠。然后对每个折叠对构造5个二部图，并利用匈牙利算法求出5个二部图的最小权匹配对。我们所有的实验都是用Pytorch实现的[26]。更多细节可以在我们发布的代码中看到。4.5. 结果和讨论I2AwA和I2WebV的分类结果如表2和表3所示。如表2和表3所示，我们的方法UODTN在相当大的幅度上优于所有基线对于更具挑战性的数据集I2 WebV，我们实现了两个变量-756表4：I2AwA的消融研究。已知未知所有zGCN [38]77.221.065.0UODTN（lb）83.932.573.0UODTN（lb+sgmd）84.631.073.3UODTN（lb+sgmd+gcn）84.731.773.5根据已知和未知类别之间的不同权衡，得到不同λd、λb和λg准确地说，旨在实现更高的平均性能，UODTN（Avg.）与bGCN相比，在已知类、未知类和所有类上分别有9.9%、0.2%和2.2%的改进。相反，UODTN（Ukn.）更加关注未知类别的bGAN，在未知类别上实现了1.0%的显着改进，而整体前1名的准确率仍然高于bGAN。注意到WebVision包含4，000个未知类别，在没有任何未知类别标签的情况下，1.0%的改进是一个很大的进步我们还得到以下观察结果：（1）由于已知类别和未知类别之间存在严重的分类混淆，由标记源域和知识图得到的zGCN、dGCN和adGCN不能很好地拟合目标数据。UODTN和bGCN显示出优于zGCN、dGCN和adGCN的改进，表明拟合目标域数据导致网络的更好然而，通过bGCN和UODTN的比较，我们可以看出，由于源域和目标域之间存在- s域差异，仅仅对分类器响应引入平衡这种领域差异导致次优分类器在向目标领域中的未知类别传播时产生分散的语义嵌入。(2)通过bGCN和pmd-bGCN之间的比较发现，仅仅减小由传统方法估计的结构域差异导致负迁移。请注意，我们为pmd-bGCN的最佳结果分配了一个非常小的权重给群体匹配差异相反，通过减少我们提出的语义引导匹配差异，可以避免这种负迁移，并且UODTN可以学习更多的域不变特征，如4.6所示4.6. 消融研究为了更深入地了解语义引导的匹配差异、有限平衡约束和GCN的join-t训练的有效性，我们通过评估几个模型对I2 AwA进行消融研究（表4）：（1）zGCN，在UODTN中不添加任何建议的技术;（2）UODT-N（lb），其仅包括有限的平衡约束;(3)UODTN（lb+sgmd+gcn）是一个具有有限平衡约束的、语义引导的匹配差异缩减模型，它进一步包含语义引导的匹配差异缩减模块。图3：UODTN和bGCN在I2AwA目标域中学习的特性的可视化从黑盒区域，我们可以看到未知类别的样本与bGCN的已知类别混合，而这两个类别被UODTN很好地分离。这验证了UODTN缓解了语义差异。图4：UODTN对各种目标输入的前三个分类器响应 绿色/红色表示类别已知/未知，GT表示地面实况。第一行和第二行是已知类别的示例，其余的是从未知类别中提取的。可以看出，UODTN对已知/未知类别样本，除了地面实况外，对相关的未知/已知类别都赋予了相当大的权重，说明UODTN的传递机制是有效的。该方法可以将标注的源域、词向量和WordNet知识合理地迁移到未知类别中。GCN的引入模块和联合训练。我们可以看到，UODTN（lb）的性能大大优于zGCN [38]，因为有限的平衡约束可以防止已知类别上的分类器顺便说一下，从表2和表4中，我们可以看到UODTN（lb）优于bGCN，这表明了有限平衡的优越性757表5：I2WebV（第一行）和I2AwA（第二行）上的域适配的结果ResNet MMD PMD SGMDI2WebV（1K）67.768.067.968.1中文（简体）84.084.284.485.1在原始平衡约束上的平衡约束[32]。进一步，我们可以观察到UODTN（lb+sgmd）比UODTN（lb）的性能提高了0.1%，这验证了减少语义引导的匹配差异不仅可以避免负迁移，而且可以提高学习特征的域不变性。通过进一步整合GCN进行联合训练，UODTN（lb+sgmd+gcn）比UODTN（lb+sgmd）有了明显的改进.这是合理的，因为所有已知和未知类别之间的关系是必要的，以转移有效的语义嵌入未标记的未知类别。与GCN的联合训练渐进地维护了词向量和知识图中编码的语义结构，以保证UODTN的提升4.7. 传统领域适应我们对传统的领域自适应进行了实验，以验证语义引导的匹配差异（SGMD）能够处理DA。我们简单地对方程采用L2距离（3）在这里。源域是ImageNet，目标域是Webvision的一个子集，与ImageNet for I2 WebV共享从表5中的第一行，我们可以看到SGMD略优于P-MD和MMD，表明加权机制有助于DA。注意，匹配是固定的，所以PMD比MMD差。但是，我们的SGMD仍然优于MMD，这验证了加权机制的有效性。I2AwA上的域自适应结果在表5的第二行I2AwA的源域和靶域之间的差异较大，源域的大小较小。此外，AwA2中的类别是相似的，因此I2AwA上的域适配非常具有挑战性。在固定匹配的情况下，SGMD的性能明显优于MMD和PMD，验证了SGMD的优越性。4.8. 可视化我们将目标域图像的t-SNE嵌入可视化，其中特征是从最佳竞争者bGCN和我们的模型UODTN中提取的，如图3所示。为了可视化质量和清晰度，我们只可视化了15个已知类别和3个未知类别这些已知类别包括与3个未知类别相关的类别，以便更好地理解已知类别和未知类别之间的影响。从图3（a）中，我们可以看到，在黑匣子区域，未知猫的样本-egory与bGCN已知类别的那些混合。相反，在图3（b）中，UODTN很好地分离了这两个类别，这定性地验证了UODTN中GCN的语义引导匹配差异、有限平衡约束和联合训练的4.9. 说明性实例我们在图4中显示了UODTN的一些定性结果我们观察到UODTN有效地将源域的语义嵌入转移到目标域的未知类别这一特性主要依赖于与GCN的联合训练，在保持已知和未知类别之间语义关系的同时，提高分类器的区分能力。图4提供了UODTN的一些正确分类结果。对于所有实例，除了实例所属的真实类别之外，正确相关的未知/已知类别的分类器也以大的置信度被激活。这表明UODTN可以有效地传递来自标记源域、词向量和知识图的知识。补充材料中有更多的说明性例子，包括不正确的结果。5. 结论本文研究了无监督开放域识别问题，其中给定一个未标记的目标域T和一个只覆盖目标域的一个子集的不一致的标记源域SUODR更具有挑战性，这是由于S和T之间的语义差异，S和T之间在内容和差异视角上都存在很大差异，并且两个领域之间的语义从已知范畴向未知范畴转移。我们提出了无监督开放域传输网络（UODTN），它通过减少SGMD，实现有限平衡，通过GCN加强语义结构保持，并最小化S上的分类损失，来联合学习骨干分类网络和GCN.我们收集了UODR问题的两个数据集，并通过大量的实验验证了UODT的有效性。N.在未来的工作中，区分已知和未知类别以缓解OUDR问题中的语义转移也是值得研究的，因为它是一个非平凡的任务，因为有区分已知和未知类别的功能。6. 确认这项工作得到了中国国家自然科学基金的部分支持 ： 61672497 、 61620106009 、 U1636214 和61836002，部分由中国国家基础研究计划（973计划）：2015 CB 351800，部分由中国科学院前沿科学重点研究计划：QYZDJ-SSW-SYS 013。758引用[1] K. Bousmalis，N.Silberman，D.Dohan，D.Erhan和D.克-伊什南。无监督像素级域适应与生成对抗网络。在CVPR，第1卷，第7页，2017年。[2] P. P. Busto和J.胆开集域自适应。在ICCV，第754-763页[3] Z. Cao，M. Long，J. Wang，and M. I.约旦.选择性对抗网 络 的 部 分 迁 移 学 习 。 arXiv 预 印 本 arXiv ：1707.07901，2017。[4] J. Chen，C.李，Y。Ru和J. Zhu。人口匹配离散化及其在深度学习中的应用在重症盖永联合V. Luxburg，S. Bengio，H.瓦拉赫河Fergus，S.Vish-wanathan和R. Garnett，编辑，NIPS，第6262-6272页。Curran Associates，Inc. 2017年。[5] N. 库尔蒂河Flamary，D.Tuia和A.拉科托马蒙吉域适应的最佳运输。IEEE transactions on pattern analysis andmachine intelligence，39（9）：1853[6] J. Deng，N.丁氏Y.Jia，中国茶条A.Frome，K.Murphy，S.本吉奥Y. Li，H. Neven和H. Adam.使用标签关系图的大规模对象分类。在ECCV中，第48-64页。Springer，2014.[7] Y. Ganin，E.乌斯蒂诺娃Ajakan山口Germain，H.拉罗谢尔F.拉维奥莱特M Marchand和V。Lempitsky神经网络的领域对抗训练。机器学习研究杂志，17（1）：2096[8] M. Ghifary，W.Bastiaan Kleijn，M.Zhang和D.Balduzzi用多任务自动编码器进行对象识别的域泛化在ICCV，第2551-2559页[9] M. Ghifary，W. B. Kleijn，M. Zhang，L. Balduzzi，还有W.李用于无监督域自适应的深度重建分类网络。参见ECCV，第597-613页。施普林格，2016年。[10] B.贡，Y. Shi，F. Sha和K.格劳曼用于无监督域适应的测地线流核。在CVPR中，第2066-2073页。IEEE，2012。[11] Y. Guo，G.叮，X。Jin和J. Wang.基于共享模型空间学习的直推式零触发识别.在AAAI，第3卷，第8页，2016年。[12] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。第770-778页[13] J. Hoffman，E.Tzeng，T.帕克，J. -Y. Zhu、P.Isola，K.萨延科，A. A. Efros和T.达雷尔。Cycada：周期一致的对抗域适应。arXiv预印本arXiv：1711.03213，2017。[14] M. Kampffmeyer，Y. Chen，X. Liang，H. Wang，Y.Zhang和E.P. 邢重新思考零触发学习的知识图传播arXiv预印本arXiv：1805.11724，2018。[15] T. N. Kipf和M。威林基于图卷积网络的半监督分类。arXiv预印本arX-iv：1609.02907，2016。[16] E. Kodirov，T. Xiang，Z. Fu和S.龚无监督域自适应零射击学习。在ICCV，第2452-2460页[17] E. Kodirov，T.Xiang和S.龚用于零触发学习的语义自动编码器arXiv预印本arXiv：1704.08345，2017。[18] W. 利湖，澳-地Wang，W.Li，E.Agustsson和L.范古尔我们- bvision数据库：从Web数据中进行可视化学习和理解。arXiv预印本arXiv：1708.02862，2017。[19] M.- Y. Liu和O.图泽尔耦合生成对抗网络。在NIPS，第469-477页[20] M.隆岛，澳-地Cao、J.Wang和M. I.约旦.使用深度适应网 络 学 习 可 转 移 特 征 。 arXiv 预 印 本 arXiv ：1502.02791，2015年。[21] M.龙，H. Zhu，J.Wang和M. I.约旦.使用联合自适应网络的深度迁移学习。arXiv预印本arXiv：1605.06636，2016.[22] G. A.米勒Wordnet：英语词汇数据库。ACM通讯，38（11）：39[23] M.诺鲁齐T.米科洛夫，S。本焦湾Singer，J. 史伦斯A. 弗罗姆，G。S. Corrado，J。Dean. 基于语义嵌入凸组合的零次学习arXiv预印本arXiv：1312.5650，2013。[24] M.帕拉图奇湾Pomerleau，G. E. Hinton和T. M.米切尔使用语义输出代码的零触发学习。在Y. Bengio、D.Schuurmans，J.D. 拉弗蒂角K. I. Williams和A.Culotta，编辑，NIPS，第1410Curran As-Sociates，Inc.2009年[25] S.潘岛W.曾俊泰Kwok和Q.杨通过传输分量分析的域自适 应 。 IEEE Transactions on Neural Networks ， 22（2）：199[26] A. Paszke，S.格罗斯，S。钦塔拉湾Chanan、E.杨，Z.De Vito，Z. Lin，L.德迈松湖Antiga和A. Lerer pytorch中的自动微分。2017年。[27] 彭宁顿河Socher和C。曼宁Glove：单词表示的自然语言处理经验方法会议，第1532-1543页，2014年[28] M. Rohrbach，S. Ebert，和B.席勒在转换环境中迁移学习。在NIPS，第46-54页[29] B. Romera-Paredes和P.乇一个令人尴尬的简单的零射击学习方法。在ICML，第2152-2161页，2015中。[30] R. Salakhutdinov，A. Torralba和J.特南鲍姆学习共享多类目标检测的视觉外观见CVPR，第1481-1488页。IEEE，2011年。[31] R. Socher，M.甘朱角D. Manning和A.Ng. 通过跨模式迁移实现零镜头学习In C.J. C. 伯吉斯L. Bottou，M.威林，Z。Ghahramani和K.Q. Weinberg-er，编辑，NIPS，第935-943页。Curran Associates，Inc.2013.[32] J. 宋角，澳-地沈，Y.Yang，Y.Liu和M.歌零次学习的无偏嵌入。在ICCV，第1024-1033页[33] B. Sun和K.萨恩科Deep Coral：Correlation Alignment forDeep Domain Adaptation.见ECCV，第443施普林格，2016年。[34] E. Tzeng，J. Hoffman，K. Saenko和T.达雷尔。对抗性判别域自适应。在CVPR，第1卷，第4页，2017年。[35] E. Tzeng，J. Hoffman，N. Zhang，K. Saenko和T.达雷尔。深度域混淆：最大化域不变性。计算机科学，2014年。759[36] R. Volpi，P.Morerio，S.Savarese和V.穆里诺用于无监督域适应的对抗特征增强在ICCV，第5495-5504页[37] S. Wang，S.江角，澳-地Huang和Q.田多特征度量学习与语义和社会标签之间的知识转移。在CVPR中，第2240-2247页。IEEE，2012。[38] X. Wang，Y.Ye和A.古普塔。通过语义嵌入和知识图进行零炮识别在CVPR中，第6857-6866页[39] Y.西安湾，澳-地Schiele和Z.赤田 零杆学习-好的，坏的和丑陋的。arXiv预印本arX- iv：1703.04394，2017年。[40] J. Zhang，Z.张军，等.丁，W. Li，and P. Ogunbona.局部域适应的重要性加权对抗网。在CVPR中，第8156-8164页[41] L. Zhang，T. Xiang，S.龚，等学习一个深度嵌入模型进行零触发学习。2017年。[42] J. Zhuo，S. Wang，W. Zh