基于渐进分离的开集域自适应

2927分离以适应：基于渐进分离的开集域自适应刘红1人，曹章杰1人，龙明生1人，王健民1人，杨强2人，KLiss，MoE; BNRist;清华大学软件学院1清华大学大数据研究中心1工业大数据系统及应用2香港科技大学h-l17@mails.tsinghua.edu.cn，{mingsheng，jimwang}@tsinghua.edu.cn，qyang@cse.ust.hk摘要领域自适应已经成为一个响亮的成功，利用标记的数据从源域学习一个准确的分类器为未标记的目标域。当部署在野外时，目标域通常包含在源域中未观察到的未知类开集域适配床橡皮擦笔记本电脑缺席这种设置被称为开放集域自适应（OSDA）。虽然已经提出了几种方法来解决OSDA，但它们都没有考虑目标域的开放性，这是通过所有目标类中未知类的比例来衡量的。开放性是开集域适应中的一个关键点，对学习成绩有重要影响。此外，当前的工作将整个目标域与源域对齐，而不排除未知样本，这可能会导致负迁移，由于未知和已知类之 间 的 不 匹 配 。 为 此 ， 本 文 提 出 了 分 离 自 适 应（STA），一个端到端的方法来开集域适应。该方法采用由粗到细的加权机制，逐步分离未知类和已知类的样本，同时加权它们对特征分布对齐的重要性。我们的方法允许开放性-鲁棒的开集域自适应，它可以适应目标域中的各种开放性我们评估STA上的几个基准数据集的各种开放水平。结果表明，STA显着优于以前的方法。1. 介绍深度神经网络的最新发展提高了各种计算机视觉任务的性能。然而，性能提升的基本前提是访问大量带注释的训练数据，这在许多实际应用中往往是禁止的。当标记数据在感兴趣的领域中稀缺时，合理的替代方案是有足够监督的相关领域。已知的未知图1.开集域自适应问题，目标域包含源域中不存在的我们将感兴趣的域称为目标域，相关域称为源域。然而，来自不同领域的数据来自不同的分布。域间隙可能导致模型在目标域中做出错误的预测，并降低性能[26，24]。一个令人信服的解决方案，以减少跨域的分布转移是域适应。现有的域自适应方法试图通过特征级[36，4，17，19，35，3]或像素级[36，4，17，19，35，3]中的水平[10，31，11，22，16]。然而，大多数先前的方法假设源域和目标域共享相同的标签，称为闭集域自适应[25]。这种闭集设置在应用程序中仍然受到限制，因为如果没有目标注释可用，我们无法决定源和目标域是否共享相同的标签空间因此，最近研究了一种更现实的设置，开放集域自适应（OSDA）[25，30，21]。在本文中，我们主要遵循Saito等人 [30]提出的设置，其中目标域具有源中的所有类目标域源域2928c=1源靶（一）未知（b）第（1）款未知源目标（c）第（1）款未知源目标（d）其他事项未知源目标图2.概述了所提出的用于开集域自适应的分离自适应（STA）方法。灰色形状是目标域的数据，彩色形状是源域的数据。不同的形状表示不同的类。(a)一个开集域自适应问题的例子，其中所有的源类都在目标类中，目标有未知的类。（b）训练多二元分类器Gc后的情况||用于导出粗权重以将未知类与目标域中的已知类区分开。|for deriving coarse weights to distinguish the unknown classes from knownclasses in the target domain.不同颜色的虚线曲线表示第c类的每个二元分类器Gc的决策边界。它强制将目标数据从源数据中删除未知类。(c)训练细粒度二元分类器Gb以获得更准确的权重后的情况。共享类中的目标数据和未知类中的目标数据偏离很远。(d)在最终的分布对齐之后的情况，其中共享类中的目标数据接近它们的源域对应物。最好用彩色观看。域，并进一步包含特定于目标的类，如图1所示。我们需要正确地对目标域中已知类的数据进行分类，并拒绝所有未知类的数据，因为我们没有关于这些类的信息。开集域自适应更实用，特别是对于我们不能约束目标域中类的边界的开集域自适应引入了两个挑战。（1）如经典的域自适应中所提出的，仍然有必要减轻域之间分布移位的影响（2）另外，如前所述对齐源域和目标域的整个分布将是危险的，因为目标域中的未知类的数据可以使域自适应模型的性能甚至不如没有自适应的这种现象被称为负迁移[24]。因此，在开集域自适应中，我们需要尽可能准确地识别已知类和未知类之间的边界我们应该进一步将适应应用于这两个领域中的已知类。只有少数方法已被提出来解决开集域适应。指派和变换迭代（ATI）[25]研究了一种基于距离的度量，以迭代地作为未知样本。开放集反向传播（OSBP）进一步尝试解决源域中没有未知类的问题。这两种方法都需要一些阈值超参数来区分已知和未知类，而设置超参数则需要目标领域类的先验知识。此外，这些方法没有考虑目标域中未知类的比例，这被称为开放性[32]。在现实世界的应用程序中，开放性可能会有很大的变化，并且在训练之前是不可访问的。因此，先前的方法可以被极端的开放性破坏，因为未知类的主导导致难以选择超参数并加剧负迁移，这通过以下实验进行了经验验证：图4.此外，依赖于预定义超参数的方法因此，只有一个开放性的鲁棒模型配备了一个所有已知/未知类分离机制，可以有效地解决开集域自适应有效。本 文 提 出 了 一 种 端 到 端 的 方 法 -- 分 离 自 适 应（STA），来解决各种开放程度下的开集域自适应问题我们采用领域对抗学习框架，并为“未知”类向源分类器添加一个类已知类与未知类的主要区别在于，已知类与源域的距离仅为分布偏移，而未知类与源域的距离远得多，存在域间隙和语义间隙。受此关键观察的启发，我们开发了一种由粗到细分离管道组成的渐进式分离机制。第一步是用源数据训练多二进制分类器，以估计目标数据与每个源类之间的相似性。在第二步中，我们选择具有极高和极低相似度的数据作为已知和未知类的数据，并用它们训练一个二元分类器我们在这两个步骤之间迭代，并使用实例级权重来拒绝对抗域自适应中未知类的样本。图2中给出了STA的概述。关于STA的不同方面的实验表明，STA在开集域自适应数据集上优于最先进的模型我们进一步证明了STA可以在不同的开放水平上有效和稳定地2. 相关工作本节简要回顾了与我们相关的工作，包括领域适应和开集识别的设置。闭集域自适应。闭集域自适应方法试图减轻域差异带来的性能下降。典型的方法是2929|C|最小化特征分布之间 的统计距离深度自适应网络（DAN）[17]将自适应层添加到深度网络，并最小化分布的内核嵌入之间的最大平均差异（MMD）中心矩离散（CMD）[38]类似地通过仅匹配一阶和二阶矩来实现域自适应剩余传输网络（RTN）[19]通过添加快捷连接和熵最小化准则来改进DAN联合自适应网络（JAN）[20]匹配源和目标域的特征和标签的联合分布。 最大分类器离散度[29] en-通过近似H H距离来进行表域自适应[1]并通过特征适配来最小化它灵感来自Gen-交互式对抗网络[6]，域对抗学习具有大范围，特别是过大。我们开发了一个单独的适应（STA）网络，以解决开集域适应。我们的方法是强大的各种开放水平，不需要手动选择已知和未知类之间的阈值参数。3. 方法在本节中，我们将概述我们提出的方法，然后详细描述训练过程。图3示出了STA的架构。3.1. 开集域适配在开集域适应（OSDA）中，我们有一个源引入了域适应。领域对抗定义域Ds={（xs，ys）}ns的n个标记的例子和一个i i i=1神经网络（DANN）[4，5]和对抗性识别目标域Dt={xt}ntnt个未标记的示例。的j j=1本机域适配（ADDA）[35]使用域在领域对抗训练范例中，特征提取器被学习以区分两个领域，而特征提取器则被学习以混淆领域。条件域对抗网络（CDAN）[18]通过匹配标签和特征的联合分布来改进DANN。不幸的是，闭集域自适应方法不能应用于开集域自适应，因为它们遭受负迁移并且不能拒绝未知类。打开集合识别。大量的开集识别文献已经被用于拒绝离群值，同时在测试期间正确地分类内点。Scheirer等人。 [32]提出了一个1-vs-set机器来从边缘距离中描绘决策空间。开集SVM分配概率分数以拒绝未知样本[13]。他们进一步改进了紧凑的衰减概率模型[33]。Bendale等人 [2]引入OpenMax层来利用深度神经网络进行开集识别。此外，开集NN [14]扩展了最近邻分类器，以识别未知类的样本。注意，在开集识别场景中，存在不属于训练数据集中的类的离群值然而，在开集域自适应中，两个域的共享类中的目标样本和源样本进一步遵循不同的分布，使得任务更具挑战性。开放集合域适配。 这是我们工作的保护伞。分配和转换迭代[25]（ATI）利用每个目标样本的特征与每个源类的中心之间的距离来决定目标样本是否属于源类之 一或 未 知类 。 开放 集 反向 传 播（Open Set Back-Propagation，OSBP）[30]训练一个特征生成器，使目标样本被分类为“未知”的概率他们在对抗训练框架中训练他们的特征提取器和分类器。然而，对于这两种方法，当领域差异显著或源类和目标类之间的开放性在一定程度上变化时源域与由目标域Dt共享的一组类Cs相关联，即CsCt，而目标域还与一组附加类Ct\s相关联，所有这些类都由“未知”表示，源域和目标域是分别从概率分布p和q采样在标准域自适应中，我们具有pi=q;并且在开集域自适应中，我们进一步具有pi=qCs，其中qCs表示属于共享标签空间Cs的目标域数据的分布。我们将开放性定义为O= 1−| Cs|. 请注意，此定义符合不在开集识别中引入了开放性[32]，因为在在我们的场景中，源域中的类包含在目标域中。针对开集域自适应问题，提出了一种端到端的分离自适应方法（Separate to Adapt，STA），该方法在目标域中逐步分离已知类和未知类，同时学习可转移的特征提取器Gf（x）和分类器y=Gy（Gf（x）），以消除共享类中的跨域差异。3.2. 分离以适应开集域自适应的主要挑战包括负迁移和已知/未知分离。这两个挑战之间存在着相互作用。负迁移是一种现象，即用域自适应算法训练的学习器比仅在源域上训练的分类器表现得更差。在开集域自适应中，闭集方法将整个目标域与源域进行匹配，因此未知类也与源数据进行匹配这种明显的错位会导致负迁移.负迁移的解决方案因此，该方法的自然逻辑是将目标域中的已知类和未知类分离，并且仅对已知类样本执行特征自适应2930Jc=1c=1c=1我1S在p1，p2，.中的最高概率p| Cs|作为每个目标样本Xt与源域之间的相似度：s j= max G c（G f（xt））。（二）c∈Csj图3.所提出的用于开集域自适应的分离自适应（STA）方法，其由虚线分成两个部分。顶部部分由多二进制分类器Gc组成||和一个二元分类器G b，它将生成权重|and a binary classifier Gb, which willgenerate the weightsw，用于拒绝未知类别Ct\Cs中的目标样本。的底部部分由特征提取器Gf、分类器Gy和域自适应，以在共享标签空间中的源数据和目标数据之间执行对抗域自适应。zs和zt是最显著的深度特征。 y*s和y*t是预测的标签。z′是由Gc选择的特征。实线表示张量流，点划线表示加权机制。我们遵循这个逻辑并设计我们的架构，如图3所示。它由两部分组成，其中顶部部分由多个二元分类器Gc组成||以及二进制分类器G b，用于生成用于拒绝未知类C t \C s中的目标样本的权重w。|and abinary clas- sifier G bto generate weights w for rejectingtarget samples in the unknown classes Ct\Cs.底部部分由特征提取器Gf、分类器Gy和域鉴别器Gd组成，用于在通过这种相似性定义，已知类别的目标数据将与其源域对应物具有高相似性相应地，未知类的目标数据将与源域中的所有类具有低相似性。因此，我们对所有目标样本的相似性进行排名，并选择具有最高/最低相似性的样本来训练二元分类器Gb。这种过滤相对粗糙，但具有高置信度，因为我们只使用具有极端相似性的样本它对不同级别的开放性也是鲁棒的，因为我们不再需要手动选择超参数或使用优化工具。另一种过滤策略是将相似性聚类为三个类，分别为最高、中等和最低概率。然后，我们使用最高概率聚类的均值sh作为已知类别其中sj≥sh的数据被选入已知类别。并且我们使用最低概率聚类的均值sl作为未知类数据的阈值，其中sj≤sl被选入未知类。将样本分为已知和未知类别通过多二进制分类器，我们进一步训练二进制分类器Gb以精细地分离已知类和未知使用X′表示由多二元分类器过滤的样本的集合，并且dj表示目标样本xj∈X′被标记为已知（dj=0）还是未知（dj=1），精细-粒度二元分类器Gc可以如下训练，共享标签空间Cs中的源数据和目标数据。3.3. 逐渐分离中的未知类和已知类的数据L=1B|X′|Σxj∈X′Lbce（G b（G f（xj）），dj）.（三）目标域，我们采用了粗到细的过滤过程。我们利用多二进制分类器，它是由|C|通过上述渐进分离过程，我们可以分离目标中已知和未知类的数据从粗糙域（G||），使（G），|) to fine (G ), thus making the|用Gc表示的二元分类器|s，以度量每个目标样本与每个源类之间的相似性。|s, to measure the similaritybetween each target sample and each source class.每个二元分类器仅使用源数据进行训练。所有分类器的损失可以定义为cc=1b分离更准确。3.4. 加权自适应对于对抗域自适应部分，我们首先定义Σ|Cs|1s源域的分类损失如下，Ls=Lbce（G c（G f（xs）），I（ys，c）），（1）.Σnsi iΣs1：|C|c=1i=1Lcls=Ly Gyx∈Ds（Gf（xi）），yi、（四）其中L公元前Is是二进制交叉熵损失，I（y，c）= 1如果ys=c，则I（ys，c）= 0，否则。每个二元分类器其中Ly是交叉熵损失，Gy是扩展分类器我我Gc输出每个目标样本的概率pc，以衡量样本属于已知类别c的可能性。因此，概率pc可以解释为目标样本与已知类别c之间的相似性。目标域中的已知类的数据我们使用开集分离对抗性领域自适应2931y为|Cs|+1类，即 的|Cs|源代码中的已知类域加上目标中的其他域G1：|Cs|表示对应于将每个样本分配给|Cs|已知类然后，我们需要将我们的模型集中在对齐分布上-共享标签空间中源数据和目标数据的分配2932c=1c=1CLSJyc=1CLSFCs. 而不是使用Gb的输出作为硬GC||.|. 最佳参数θf、θb、θy和θc||可以|can在已知类和未知类的数据之间，我们建议使用Gb的softmax输出作为软实例级权重，即wj=Gb（Gf（xj）），其中较大的wj意味着较大的c=1找到该人（θf，θy，θb，θc||）= argmin|)=argminSCLSc=1+ L s+ L b.（八）可能来自未知类。因此，我们可以利用wj来定义用于共享标签空间Cs中的特征分布的自适应的加权损失为θf，θy，θb，θc||Cs|步骤2. 在这一步中，我们实现了对抗性适应，以对齐Ld=1nΣLbce（Gd（Gf（xi）），di）目标域与源域，并用来自未知类的数据训练额外类的Gy在这一步中，我们sxi∈Ds1Σ继续用源样本训练分类器，+Σxj∈Dt（1−wj）xj∈Dt（1− wj）Lbce（Gd（Gf（xj）），dj）.（五）从已知的类的知识。用θd表示域θGd的参数、最佳参数θf、θfy和θfd可以如下实现，此外，我们需要在目标域中挑选出未知类的样本来训练Gf，以获得额外的（θy，θd）=argminLs不CLS+Ld+λLe，（9）我们知道”阶级“。基于度量分离已知和未知类，我们可以定义区分“未知”类的加权损失θy，θd（θf）=argminLsθf不CLS-Ld+λLe，（10）t11.|C|+1个其中λ是权衡熵损失的超参数。Lcls=0wjLyGYS（Gf（xj）），luk，在提出的分离适应（STA）模型中，我们|C s|xj∈Dt x∈D（六）可以有效地分离目标域中已知类和未知类的数据步骤1拒绝离群值，以避免其中luk是未知类，通过训练所有目标具有较大权重wj的 样 本 被分配给未知类。同样，G|Cs|+1（G）是分类器G y将目标样本分配给未知类的概率。我们进一步在目标域的已知类别上结合熵最小化损失Le，以强制决策边界通过目标域中的低密度区域[7，19]，通过如下权重增强，步骤2执行对抗性适应以使步骤1中的拒绝流水线由于在整个过程中没有手动选择阈值超参数，因此可以避免在实际场景中开放度O变化时的痛苦调整4. 实验我们评估STA模型，并将其与国家的，1Σ。一曰：|C|在开集域适应的背景下的最先进的方法Le=0（1−wj）x∈D （1−wj）HGyS （Gf（xj）），代码和数据将在github.com/thuml上提供。xj∈Dtjt其中H是熵损失，H（p）=-Σ（7）kpklogpk.4.1. 设置Office-31[28]是域adap的标准基准，值得注意的是，我们的目标只是最小化目标样本估计为已知类，因此我们使用作为用于条目最小化的实例级权重3.5. 训练过程我们将训练过程分为两个步骤，已知/未知分离步骤和加权对抗适应步骤。我们还可以在这两个步骤之间交替，以逐步适应来自已知类的样本，同时拒绝来自未知类的样本。步骤1. 我们首先训练特征提取器Gf和分类器Gy对源样本进行分类。同时，多二元分类器G c，c = 1，2，.， |Cs|对于每个源类，都以one-vs-rest的方式进行训练。 我们进一步选择与源具有高/低相似性的目标样本用于训练细粒度二元分 类 器 Gb 。 用 θf 、 θy 、 θb 和 θc 表 示 ||G f 、 G y 、 G b 和|theparametersofGf,Gy,Gb,andL+L不+L2933计算机视觉领域的三个领域Amazon（A）、Webcam（W）和DSLR（D）。它包含来自31个类别的4，652张图像我们遵循以前的工作[30]，在目标域中使用相同的已知类和未知类集合。这些任务表示源域和目标域具有小域间隙的性能。[37]是一个具有挑战性的领域适应数据集，通过几个搜索引擎和在线图像目录进行抓取。它由4个不同的领域组成：艺术（Ar），剪贴画（Cl），产品（Pr）和现实世界（Rw）。每个域包含来自65个对象类的图像。我们选择（按字母顺序）前25个类作为源域和目标域共享的类26我们构造开集域适应在两个方向上的每两个域之间的任务，形成12个任务，其中域差异远远大于Office-31。2934表1.Digits（LeNet）和VisDA-2017（VGGNet）上开放集域适应任务的分类准确率（%）方法数字SVHN→ MNIST USPS→ MNIST MNIST→ USPS平均值VisDA-2017合成→真实OS 操作系统*所有 UNK OS 操作系统 *所有 UNK OS 操作系统*所有 UNK OS操作系统 *所有 UNK自行车总线车摩托车火车卡车 UNK OS 操作系统 *OSVM [13]54.3 63.1 37.4 10.5 43.1 32.3 63.5 97.5 79.8 77.9 84.2 89.0 59.1 57.7 61.7 65.731.751.6 66.570.488.5 20.8 38.0 52.5 54.9MMD+OSVM 55.9 64.7 39.1 12.2 62.8 58.9 69.5 82.1 80.0 79.8 81.3 81.0 68.0 68.8 66.3 58.439.050.1 64.279.986.6 16.3 44.8 54.4 56.0DANN+OSVM 62.9 75.3 39.2 0.70 84.4 92.4 72.9 0.90 33.8 40.5 21.4 44.3 60.4 69.4 44.5 15.331.856.671.777.487.0 22.3 41.9 55.5 57.8ATI-λ67.6 66.5 69.8 73.0 82.4 81.5 84.0 86.7 86.8 89.6 82.8 73.0 78.9 79.2 78.9 77.646.257.5 56.979.181.6 32.7 65.0 59.9 59.0OSBP63.0 59.1 71.0 82.3 92.3 91.2 94.4 97.6 92.1 94.9 88.1 78.0 82.4 81.7 84.5 85.951.167.1 42.884.281.8 28.0 85.1 62.9 59.2STA76.9 75.4 80.0 84.4 92.2 91.3 93.9 96.5 93.0 94.9 90.3 83.5 87.3 87.2 88.1 88.152.469.659.987.886.5 27.2 84.1 66.8 63.9表2.Office-31（ResNet-50）上开放集域适应任务的分类准确率（%）方法A →W A→ D D→ W W→ D D→ A W→ A平均OS OS *OS OS * OS OS* OS OS * OS OS*ResNet [9]82.5±1.2 82.7±0.9 85.2±0.385.5±0.994.1±0.3 94.3±0.7 96.6±0.2 97.0±0.4 71.6±1.0 71.5 ±1.1 75.5±1.0 75.2±1.6 84.284.4RTN[19]85.6±1.2 88.1±1.0 89.5±1.4 90.1±1.696.2±0.7 97.1±0.2 98.7±0.9 72.3±0.9 72.8±1.5 73.5±0.6 73.9±1.4 85.4 86.8DANN [4]85.3±0.7 87.7±1.1 86.5±0.6 87.7±0.6 97.5±0.298.3± 0.599.5± 0.1100.0±.0 75.7±1.6 76.2±0.9 74.9±1.2 75.6±0.8 86.6 87.6[2]第二届全国人大常委会第十八次会议通过的《中华人民共和国电信与信息服务业务经营许可证》编号：鲁ICP备15000000号1±0.9 88.4±0.996.1±0.4 96.2±0.3 98.4±0.3 98.5±0.3 83.4±1.0 82.1±0.6 82.8±0.9 82.8 ±0.6 89.089.3ATI-λ [25]87.4±1.5 88.9±1.4 84.3±1.286.6±1.193.6±1.0 96.5±0.9 98.7±0.8 78.0±1.8 79.6±1.5 80.4±1.4 81.4±1.2 86.788.4OSBP [30]86.5±2.0 87.6±2.1 88.6±1.489.2±1.3 97.0±1.0 96.5±0.4 97.9±0.9 98.7±0.6 88.9±2.5 90.6±2.3 85.8±2.5 84.9±1.3 90.8 91.3STA 89.5±0.692.1± 0.593.7± 1.596.1± 0.497.5± 0.296.5± 0.599.5±0.299.6±0.189.1± 0.593.5± 0.887.9± 0.987.4± 0.692.9 94.1VisDA-2017有两个域，其中合成域由152，397个3D对象的合成2D渲染组成，真实域由55，388个真实图像组成。他们共有12个班我们遵循[30]构建开集域适应任务。该设置验证了STA在大规模合成到真实学习任务上的功效。数 字 有 三 个 标 准 的 数 字 分 类 数 据 集 ：[ 15 ][16][17][18][19][1每个数据集都包含数字，范围从0到9。与以前的工作[30]一样，我们构造了三个开集域适应任务：SVHN→MNIST，MNIST→USPS和USPS→MNIST。Caltech-ImageNet由ImageNet-1 K[27]和Caltech-256数据集。我们修正了84个普通类作为已知类，并从0-916改变未知类，我们将STA与几种开集识别、域自适应和开集域自适应方法进行了比较，如以前的工作[30]：开集SVM（OSVM）[13]、DANN[4]、RTN[19]、OpenMAX[2]、ATI-λ[25] 、 MMD+OSVM 、 DANN+OSVM 、 ATI-λ+OSVM和OSBP[30]。 OSVM是一种基于SVM的方法，对每个类使用阈值来识别样本并拒绝离 群值。MMD+OSVM和DANN+OSVM 是OSVM的两种变体，在OSVM中结合了最大均值离散[8]和域对抗网络[4]。OpenMax是一种深度开集识别方法，具有针对离群值拒绝而设计的模块。ATI-λ通过将目标域中的图像分配给已知类别，将源域的特征空间映射到目标域。在我们的设置中，没有特定于源代码的类。因此，我们通过交叉验证手动选择ATI-λ的超参数λOSBP是最新的开集域自适应方法，它通过对抗分类器来处理未知类的样本，从而实现了最先进的性能对于闭集方法，我们使用一个confi-证据阈值来决定样本是否来自未知类别。在我们的实验中，我们将每种方法运行三次，并报告平均准确率。由于篇幅所限，表1根据以前的工作[25，30]，我们采用四个评估指标：OS：所有类别的归一化精度，包括作为一个类别的未知数; OS *：仅在已知类上的标准化准确度; ALL：所有实例的准确度（不对类进行平均准确度）; UNK：未知样本的准确度。我们在Digits和VisDA-2017数据集上采用相同的实验设置，[30 ]第30章公平竞争我们还研究了STA和所有比较方法在Office-31数据集上以ResNet-50为骨干。为了进一步研究具有更大域间隙和开放性的STA的有效性，我们研究了所有方法在以ResNet-50为主干的EST-Home和Caltech-ImageNet数据集上的OS对于非数字数据集，我们使用骨干网络VGGNet [34]和在ImageNet [27]上预训练的ResNet- 50 [9]来训练所提出的STA模型。对于数字数据集，我们使用LeNet [15]并从头开始训练模型域对抗网络与DANN相同[4]。所有从头开始训练的层的学习率是预先训练的层的10倍。我们使用动量SGD，通过交叉验证在10−3到1的网格范围内搜索学习率，动量设置为0.9，权重衰减为0.0005。4.2. 结果如表1所示，STA在具有不同评估指标的Digits数据集上优于先前的开注意，在具有较大域间隙的任务SVHN→MNIST上，STA大幅提高了OSBP，这进一步证明了STA在大域间隙下的有效性我们进一步比较STA与以前的方法上，2935表3.开放集域自适应任务的分类准确率OS（%）在ESP-Home（ResNet-50）上方法Ar→ Cl Pr→ Cl Rw→ Cl Ar→ Pr Cl→ Pr Rw→ Pr Cl→ Ar Pr→ Ar Rw→ Ar Ar→ Rw Cl→ Rw Pr→ Rw 平均ResNet [9]53.4±0.452.7±0.6 51.9±0.5 69.3±0.7 61.8±0.5 74.1±0.4 61.4±0.6 64.0±0.3 70.0±0.3 78.7±0.6 71.0±0.6 74.9±0.965.3ATI-λ [25]55.2±1.2 52.6±1.6 53.5±1.4 69.1±1.1 63.5±1.5 74.1±1.5 61.7±1.2 64.5±0.9 70.7±0.5 79.2±0.7 72.9±0.7 75.8±1.6 66.1DANN [5]54.6±0.7 49.7±1.6 51.9±1.4 69.5±1.1 63.5±1.0 72.9±0.8 61.9±1.2 63.3±1.0 71.3±1.0 80.2±0.8 71.7±0.4 74.2±0.465.4OSBP [30]56.7±1.9 51.5±2.1 49.2±2.4 67.5±1.5 65.5±1.5 74.0±1.5 62.5±2.0 64.8±1.1 69.3±1.1 80.6±0.9 74.7±2.2 71.5±1.9 65.7OpenMax [2] 56.5±0.4 52.9±0.7 53.7±0.4 69.1±0.3 64.8±0.4 74.5±0.664.1±0.9 64.0±0.8 71.2±0.8 80.3±0.8 73.0±0.5 76.9±0.366.7STA 58.1±0.653.1± 0.954.4± 1.071.6± 1.269.3± 1.081.9±0.5 63.4±0.565.2± 0.874.9± 1.0 85.0±0.2 75.8±0.480.8± 0.369.5表4.STA及其三种变体在Office-31（ResNet-50）上的分类准确率（%）方法A→ W A→ D D→ W W→ D D→ A W→ A平均OS OS *OS OS * OS OS* OS OS * OS OS*不含STA w87.5±1.491.4±1.183.0±1.289.6±1.296.2±0.997.3±0.498.1±0.7100.0±.080.3±1.579.3± 1.571.2±1.274.3±1.2 86.1 88.7不带附件的STA90.4± 1.790.6±1.791.5±1.495.9±1.096.7±1.198.8±0.698.7±0.587.4±1.587.8±1.584.6±1.785.2±1.7 91.5 91.8STA w/ob 85.0±1.5 89.0±1.5 90.6±1.2 91.5±1.3 97.6±0.8 96.2±0.6 98.2±0.5 77.7±2.2 82.5±2.4 78.9±2.6 83.6±3.5 87.290.4不含STA j89.0±1.392.8± 1.294.8± 1.595.9±1.096.4±0.696.2±0.398.8±0.799.4±0.289.7± 1.493.6± 1.485.1±1.186.7±1.1 92.5 93.9STA89.5±0.692.1±0.593.7±1.596.1±0.497.5± 0.296.5± 0.599.5±0.299.6±0.189.1±0.593.5±0.887.9± 0.987.4± 0.692.9 94.1挑战VisDA-2017数据集。STA在大多数类上都取得了较好的性能，验证了STA在大规模数据集和合成数据与真实图像之间存在很大的域间隙的情况下也能很Office-31数据集的六个任务的结果如表2所示。STA在大多数任务上优于所有比较方法。特别是，我们观察到闭集域自适应方法在某些任务上的表现甚至比ResNet更差。即使使用置信度阈值，这些方法也不能很好地用于开集域自适应场景。性能牺牲来自于错误地将目标域中的未知类匹配到源域中的已知类所导致的负在源域和目标域之间存在较大的域间隙和不相交的标签空间时，搜索-归属从表3中，我们观察到STA在大多数任务上都大大超过了现有方法此外，我们观察到以前的开集域自适应方法在某些任务上的性能甚至比ResNet骨干更差，因为它们都受到未知类对域自适应的负面影响。跨域和标签空间的巨大差距加剧了未知类带来的负迁移，进一步严重降低了性能STA在分布匹配之前分离未知类的样本，因此对大的域间隙和标签空间差异具有鲁棒性。4.3. 分析消融研究。我们在Office-31数据集上将STA与表4中的STA变体进行了比较。（1）STA优于STA w/o w，即在领域对抗学习中不对目标样本进行加权的变体，这表明将未知类的样本与源样本对齐会导致负迁移和性能下降。因此，采用加权法分离已知类和未知类的样本是必要的.（2）与用softmax分类器代替多二进制分类器的STA w/o cSTA取得了显着的性能增益，表明多二进制分类器可以产生更好的相似性，以确定一个目标样本的关系，每个源类独立。（3）STA比没有二元分类器Gb的STA（STA w/o b）有改进，表明二元分类器可以根据多二元分类器的分类结果来细化未知类和已知类样本之间的分离。（4）STA w/o j是两个步骤之间没有交替的变体。STA比STA w/o j提高，验证了联合分离和自适应的有效性。开放尺度的 为了验证STA对不同开放程度的鲁棒性，我们在Office-31数据集上进行了实验，开放度O的范围从0到接近1（1是微不足道的，没有目标已知类）。如图4所示，先前的开集域自适应方法仅在开放度O约为0时表现良好。五、当开放性接近0或1时，性能会急剧下降，因为这些方法容易混淆已知类和未知类。ATI-λ和OSBP能够通过改变阈值超参数λ和t在一定程度上减轻开放性的影响，但这依赖于训练前对开放性的先验知识，这在现实应用中通常是不现实的。通过排序机制配置多分类器，STA对开放性变化具有鲁棒性，而不需要对目标领域类别进行任何先验，因此在开放性变化时性能稳定此外，我们注意 到 ， 当 开 放 度 接 近 0 时 ， STA 的 性 能 仍 然 优 于DANN。这表明分离机制甚至可以过滤掉已知类别中的噪声目标样本我们还在Caltech-ImageNet上进行了开放性变化巨大的实验，这接近于具有许多未知类的真实世界设置。结果示于图4中。我们观察到，STA超过了以前的方法的大利润率已知类样本和拒绝离群值在所有开放水平下都是准确的。重量质量。在图5（a）和5（b）中，我们研究了2936(a) Office-31 OS（b）Caltech-ImageNet已知（c）Caltech-ImageNet未知图4.准确度（OS）w.r.t.目标领域的不同开放程度(a) A →W（Office-31）（b）VisDA-2017图5.在（a）A→W和（b）VisDA-2017上由Gb计算w白色箱表示已知类别的目标样本，黑色箱表示未知类别的目标样本。（a）ResNet（b）DANN（c）OSBP（d）STA图6.分别使用t-SNE嵌入对ResNet、DANN、OSBP和STA在任务A→D上提取的特征进行可视化绿点是源特征，蓝点是已知类的目标特征，红点是未知类的目标特征样本的比例w.r.t.权重w（已知/未知二元分类器Gb的输出）分别在任务A→W和VisDA-2017上。白色箱代表已知类的样本，黑色箱代表未知类的样本，两者都来自目 标 域 。 当 源 域 和 目 标 域 相 似 时 （ Amazon 和Webcam），未知类的输出几乎为1，而已知类的输出几乎为0，这表明STA完美地将目标样本分离为已知类此外，当域差异很大（合成到真实）时，我们从图5（b）中观察到STA仍然可以有效地划分已知和未知类的目标样本。特征可视化。我们在Amazon任务上可视化了ResNet、DANN、OSBP和STA中→图6（a）至图6（d）中的DSLR。我们可以观察到未知类和几个已知类的特征，接近甚至混合在一起，表明ResNet和DANN在训练期间不能区分已知和未知类此外，DANN将源样本的特征与所有目标样本对齐，并遭受负迁移。在图6（c）中，已知和未知类的特征在某种程度上被分开，但是目标类的特征在某种程度上被分开。已知的类不能很好地分类，因为当源域和目标域极不平衡时，OSBP中的对抗层不稳定地执行 如图6（d）所示，STA能够准确地将已知类别的目标特征与源特征对齐， 而 未 知 类 别 的特征即 使 在 大 开 放 度 （ O = 0.677）。5. 结论在本文中，我们解决了关键的挑战，在开集域适应，开放性，与一种新的分离适应（STA）模型。该模型以渐进的机制清晰地分离未知类和已知类的样本，并跨源域和目标域匹配已知类样本的特征。在不同的基准数据集上验证，该模型能够在不同的领域差异和不相交类下实现开放鲁棒的开集域确认本课题得到了国家重点研究发展计