通用无源域适配的研究及其实现

4544通用无源域适配Jogendra Nath Kundu，Naveen Venkat，Rahul M V R.Venkatesh Babu视频分析实验室，CDS，印度科学研究所，班加罗尔摘要有一个强大的动机，以开发通用的学习技术，可以转移的知识，类可分性从一个标记的源域到一个未标记的 目标域 的存在 下， 域转移 。现有 的动态 适应（DA）方法由于依赖于对源-目标标签-集合关系的认识（例如，环境适应、环境适应和环境适应），不适合于实际的DA情景闭集、开集或部分DA）。此外，几乎所有先前的未监督的DA工作甚至在部署期间都需要源样本和目标样本的共存，使得它们不适合于实时适配。没有这种不切实际的abruption- tions，我们提出了一种新的两阶段学习过程。1)在采购阶段，我们的目标是为未来的无源部署配备模型，假设没有即将到来的类别差距和域转移的先验知识为了实现这一点，我们提高了模型2）在部署阶段，目标是设计一个统一的自适应算法，能够在广泛的类别间隙中运行，而不需要访问以前看到的源样本。为此，与使用复杂的对抗训练机制相比，我们通过利用一种新的实例级加权机制定义了一种简单而有效的无源自适应目标，称为源相似性度量（SSM）。一个彻底的评估显示了实际的可用性，提出的学习框架具有优越的DA性能，甚至超过国家的最先进的源依赖的方法。我们的实现可以在github1上找到。1. 介绍深度学习模型已被证明在各种任务中非常成功[20，35]。然而，其中大多数严重依赖于访问大量的标记数据，以实现可靠的泛化水平。在标记样本（源域）的特定分布上训练的识别模型通常无法推广[7]*同等缴款。1代码：https://github.com/val-iisc/usfda源域闭集DA开集DA部分DA目标域已标记的源数据集未标记的目标数据集类可分性知识类别缺口知识通用DA通用DA图1：我们在没有源数据（无源），没有任何类别差距知识（通用）的情况下解决了无监督域自适应问题。锁定指示当部署在数据分布不一致的新环境（目标域）中时[43]。无监督域自适应（DA）算法寻求在不访问目标标签信息的情况下最小化这种差异，要么通过学习域不变特征表示[26，21，9，45]，要么通过学习独立变换[28，32]通过对抗分布匹配[46，22]到公共潜在表示。大多数现有的方法[38，56，46]都假设源域和目标域之间有一个共享的标签集（即，Cs=Ct），即闭集DA（图2A）。虽然这种假设有助于获得DA算法的各种见解[2]，但在现实世界的场景中很少成立最近，重新-研究者们通过部分放松闭集假设，独立地探索了两种广泛的2A段）。在第一种，部分DA[54，5，6]，目标标签空间被认为是源标签空间的子集（即，CtCs）。此设置更适合于大型通用源数据集，这些数据集几乎总是包含各种目标域的标签集。然而，如此大规模的来源的可用性是非常可疑的-适用于各种输入域。在第二类，开集DA[39，1，10]中，目标标签空间被认为是源标签空间的超集（即，CtCs）。在这种情况下的主要挑战是从未观察到的类别中检测目标样本（类似于检测在完全无监督的情况下，分布外样本[31除了上述两个极端，某些作品通过允许“私人”标签定义了一个部分混合的场景4545为源域和目标域设置（即，Cs\Ct/=0和Ct\Cs/=0），但需要额外的监督，例如少量标记数据[30]或常见类别的知识[4]。A.源28128大多数先前的方法[46，39，5]孤立地考虑每个因此，需要了解源和目标标签空间（类别间隙）之间的关系，以仔细选择是否将闭集，开集或部分DA算法应用于手头的问题此外，所有先前闭集偏B.开集我们的：通用目标私有图像<未标记>无监督的DA作品要求源代码共存和目标样本，因此不是无源的。这是非常不切实际的，因为由于多种原因，在部署后可能无法访问标记的源数据。许多数据集由于隐私问题而被扣留（例如，生物特征数据）[29]或仅仅由于数据集的专有性质。此外，在实时部署场景中[51]，由于计算限制，对整个源数据进行训练是不可行的。即使在其他情况下，意外损失（例如，数据损坏）使得先前的无监督DA方法对于未来的模型适应不可行[25]。认识到这些问题，我们的目标是正式的无监督DA完全没有这些限制的统一解决方案 我们的问题设置如图所示。1（注意无源和通用）。可用的DA技术严重依赖于对抗性判别策略[46，56，38因此，它们需要访问源样本以可靠地表征源域分布。显然，这种方法不具备在无源环境中操作的能力。虽然生成模型可以用作记忆网络[41，3]来实现无源自适应，但这种解决方案对于大规模源数据集（例如，ImageNet [36]），因为它引入了不必要的额外参数以及相关的训练困难[40]。作为一种新的替代方案，我们假设，为了促进无源自适应，源模型应该能够拒绝源数据分布之外的样本[14]。一般来说，完全区分的深度模型倾向于过度概括训练集未覆盖的区域，因此即使对于负样本，它们的预测也非常有信心[24]。虽然这个问题可以通过在负源数据集上训练源模型来解决，但错误的负数据选择会使模型无法拒绝部署后遇到的未知目标样本[42]。针对无数据设置，我们假设目标样本具有与源数据中发现的相似的基于局部部分的特征，这也适用于开放集DA中遇到的新目标类别。2B）其中部署的环境包含在源数据集中未观察到的新目标类别（例如，Gi- raffe）。这里，局部区域的组成（例如，身体部分）之间的源图像对绘制从不同图2：a）各种标签-集合关系（类别-间隙）。b）合成图像作为可靠的负样本。类别（例如，Seahorse和Tiger）可以用来综合生成假设的否定类，这些否定类可以充当未观察到的动物类别的代理这样的合成样品是预期特性（例如，长颈）的情况下，与来自其他不相关数据集的样本相比。总之，我们提出了一个方便的DA框架，这是配备解决通用无源域适配。一个彻底的评估表明，我们的方法具有优越的DA性能，甚至超过国家的最先进的源依赖的方法，在各种未知的标签集的关系的实际可用性。2. 相关工作根据标签集关系的假设，简要回顾了三大类中已有的领域自适应a）闭集DA。先验闭集DA工作的集群专注于通过最小化定义良好的统计距离函数[49，8，55，37]或通过将其形式化为受生成式启发的对抗性分布匹配问题[46，17，27，16，15]来最小化潜在空间的域间隙对抗网[11]。某些先前的作品[41，57，15]使用GAN框架来显式地生成从源图像样本翻译的目标状图像，这也被认为是像素级自适应[3]，与其他方法相比特征级适配工作[32，46，26，28]。b）部分DA。[5]提出了利用多个域鉴别器提供来实现对抗类级匹配用于各个数据样本的类级别和实例级别加权。[54]提出了利用重要性权重的源样本取决于他们的相似性，目标域数据使用一个辅助搜索。为了有效地解决负转移[50]的问题，[6]采用了单个鉴别器来实现对抗性适应和源样本的类级加权。c）开集DA。 [39]与[ 33 ]相比，提出了一种更通用的开放集DA设置，无需访问源私有标签的知识。他们扩展了分类器，以适应一个额外的海马虎源数据集假设类合成图像共享一个133 1218目标85331114546Source私有类Target私有类源共享类目标共享类模拟负类分类器边界B. 开集DAC. 部分DAA. 源模型D.通用无源DA该方法经典方法源团重排和类边界，以适应目标集群利用负类的类间可分性的类内紧性冻结类边界图3：自适应过程中的潜在空间簇排列（见第3.1.1节）。d）通用DA。[52]提出了通用DA设置，它不需要标签集关系的先验知识（见图1）。图2A），类似于我们提出的设置，但是在适应期间考虑对源样本和目标样本两者的访问。3. 该方法我们的方法来解决无源域自适应问题，大致分为两个阶段的过程。注意，无源DA意味着适配步骤是无源的。注释表见附录。a) 采购阶段。在这个阶段，我们有一个标记的源数据集，Ds={（xs，ys）：xs∈p，ys∈Cs}，其中p是源样本的分布，Cs表示源域的标记集。在这里，总理目标是为将来的无源自适应配备模型，其中模型将遇到目标域中的未知为了实现这一点，我们依赖于人工生成的负面数据集，Dn={（xn，yn）：xn<$pn，yn∈Cn}，其中pn是负源样本的分布，使得Cn<$Cs= ∞.b) 部署阶段。在从采购阶段获得训练模型之后，模型将首次遇到来自部署环境的未标记目标域样本 我们将未标记的目标数据表示为Dt={xt：xt<$q}，其中q是目标样本的分布注意，在部署阶段的适配期间，来自采购阶段的源数据集Ds设Ct是目标域的标签集。在普适环境[52]中，我们不知道Ct和Cs之间的关系。然而，不失一般性，我们将共享标签定义为C=Cs<$Ct，并将私有标签集定义为源域和目标域Cs= Cs\Ct和Ct= Ct\Cs。3.1. 采购阶段的学习3.1.1.挑战可用的DA技术严重依赖于对抗性判别[46，38]策略。因此，它们需要访问源数据以可靠地表征源分布。此外，这些方法不被装备成在无源设置中操作。虽然生成模型可以用作记忆网络[41，3]，实现无源自适应，这样的解决方案对于大规模源数据集（例如，ImageNet [36]），因为它在相关的训练困难的同时引入了不必要的附加参数[40]。这需要对现有解决方案之外的需求进行新的分析。在一般的DA场景中，通过在部署阶段访问源样本（特别是Open-set或PartialDA），广泛采用的方法是学习域不变特征。在这种方法中，源类别聚类的放置是在存在未标记的目标样本的情况下学习的，这间接地提供了关于Cs和Ct之间的关系。例如，在开集DA的情况下，源集群可能必须分散，以便为来自目标私有Ct的集群腾出空间（参见图11）。3A至3B）。同样，在部分DA中，源clus-集群可能不得不重新安排自己，以保持所有的目标共享集群（C=Ct）与源私有集群Cs分离（见图1）。3A至3C）。然而，在一个完全无源的框架中，我们没有自由利用这样的信息-作为源样本和目标样本的信息在训练期间从不共存。受对抗性判别DA技术[46]的启发，我们假设，灌输拒绝源数据分布之外的样本的能力可以促进未来使用这种判别知识的无源域对齐因此，在采购阶段，首要目标是双重的。• 首先，我们必须学习最适合各种类别间隙的源集群场景承认这样一个事实，即无源sce- nario不允许我们在适应过程中存在目标样本的情况下修改放置（图1）。3D）的平面图。• 其次，该模型必须具有拒绝分布外样本的能力，这是域转移下无监督自适应的基本要求。3.1.2.溶液 在源数据存在的情况下，我们的目标是抑制模型的领域和类别的偏见，这通常是灌输的结果过于自信的监督学习范式。为了实现这一目标，我们采用了两种正则化策略，即。i）利用标记的模拟负源数据集来概括潜在的负源数据集;采购阶段部署阶段4547A. -ve样本B. 2阶段方法C. 采购阶段鼓励良好分离的紧密来源集群+ve样品-ve样品马克杯袋C-78运输机Cal.自行车C-23架笔记本C-45源样本阴性样本类间可分性类内紧性培训进度图4：A）使用随机创建的样条段（粉色）模拟标记阴性样本，B）提出的架构，C）采购阶段促进类内的紧凑性与类间的可分性。未被给定正源样本覆盖的区域（见图1）。4C）和ii）经由生成建模的正则化如何配置负源数据集？在配置Dn时，必须满足以下关键属性首先，由否定范畴形成的潜在集群必须位于正源类别的潜在聚类之间，以实现更高程度的类内紧凑性和类间可分性（图10）。第4C段）。其次，负源样本必须丰富源域分布，而不需要自身形成新的域这排除了在这种情况下使用Mixup [53]或对抗噪声[44因此，我们提出以下方法来合成期望的负源数据集。图像合成。来自源和未知目标域的样本之间共享的关键特征之一可靠-基于这一假设，我们提出了一个系统的过程，通过随机合成从源数据集Ds中提取的一对图像之间的局部区域来模拟Dn的样本（参见图4A和补充算法）。1）。这些合成样本xn是根据不同正片的图像对创建的期望源类位于潜在空间中的两个源簇之间，从而引入组合量的新类标签，即，|为|Cs| C 2。|C2.这种方法的动机和符合根据文献中的观察，人们确实可以使用已知的类为新的类生成语义[23，48]。直观地，从组合特征的角度来看，当来自两个不同的正源类别的局部部分被组合时，所得到的图像将倾向于产生针对两个类别的激活（由于存在来自两个类别的显著特征）。因此，样本将落在潜在空间中的两个集群之间的决策边界附近。或者，从丢弃特征的角度来看，当我们屏蔽源图像xs中的区域时（图4），相应类别ys中的激活减少。因此，该模型对于这样的样本将是不太可信的，从而模拟阴性类别的特征。培训程序。生成源分类器分为三个阶段; i）骨干模型M，ii）特征提取器Fs，以及iii）分类器D（参见图1B）。第4B段）。骨干模型的输出表示为v = M（x），其中x是从Ds或Dn中提取。 在此之后，Fs和D分别表示为u和d。D输出表示为d =[d（ k ）]的K维logit向量，其中k=1，2，.，K，其中K=| Cs|+的|Cn|.通过在logits上应用softmax来获得单个类概率y_（k），即， y（k）=σ（k）（D<$Fs<$M（x）），其中表示函数组合，σ表示softmax激活，上标（k）表示类索引。此外，我们仅为正源类定义先验，P（us|ci）=N（us|µci，ci）（对于i=1，2，.， |Cs|）在中间嵌入us= F s<$M（x s）.在这里，正态分布的参数是在如Algo的第10行所示的训练。1.一、这些先验分布上的交叉熵损失被定义为Lp（Algo中的第7行）。1），有效地加强了类内紧性和类间可分性（图。第4C段）。受生成变分自动编码器（VAE）设置[19]的启发，我们引入了解码器G，其选择性地针对来自正源类别的样本vs和随机抽取的样本ur，从相应的类先验（即，损失Lv和Lu在Algo的第6行中1）。这与较低的权重α一起，负源类别（即，在Algo的第6行中的交叉熵损失LCE处。 1），考虑到所生成的负数据集的不可靠性水平，故意将Fs偏向正源样本。3.2. 部署阶段的学习3.2.1. 挑战我们假设，大量的负源类别以及积极的源类别，即。CsCn可以被解释为一个通用的源数据集，它可以子化各种目标域的标签集Ct此外，我们力求实现统一的自适应算法，它可以适用于广泛的类别差距。然而，一个强有力的适应目标山姆-采购阶段SSM部署阶段Frozen CNN FC Frozen FC Softmax输出概率共享4548nz）的方式K = |C|+1个算法1采购阶段的训练算法一曰： 输入：（x s，ys）∈Ds，（x n，yn）∈Dn;θ Fs，θ D，θ G：分别为Fs，D和G的 参数 。2：初始化：使用（xs，ys）上的交叉熵损失预训练{θFs，θD}，然后初始化样本均值μci和协方差F s的<$ci（在u-空间）<$M（xs）对于xs来自类ci; i=1，2，. |Cs|3：foriter MaxIterdo4：vs=M（xs）;us=Fs（vs）;vs=G（us）;ur N（μci，μci），其中i=1，2，. |; u r = F s G（u r）|;uˆr=Fs◦G(ur)5：y（ks）=σ（ks）（D<$F<$M（x）），y（kn ）=σ（kn ）（D<$F<$M（x））其中k，k是地面真值类y，y的指数sssnsnsnsn6：LCE=− logy（ks）− αlogy（kn）;Lv=|vs− vs|;Lu=|乌鲁-乌鲁|7：LS=− log（exp（P（u |Cn））/|Cs| exp（P（u|c）），其中P（u|c）=N（u|µ，）p s ksi=1s isiscici8：通过使用单独的优化器交替地最小化LCE、Lv、Lu和Lp来更新θ Fs、θ D、θ G。9：if（iter%UpdateIter==0）then10：重新计算ci类中xs的FsM（xs）的样本均值（μci）和方差（μci）;i= 1，2…|（对于D（b）：使用更新的先验生成新的潜在模拟阴性样本）|(For D(b): generate fresh latent-simulatednegative samples using the updated priors)对正源类别的应用将导致目标私有样本被分类为源私有或公共标签集的实例，而不是被分类为“未知“，即Cn中的负类别之一。w（xt）=maxi=1…|Cs|w′（xt）=maxi=1…|Cs|exp（y（i））exp（1−y）（二）3.2.2.溶液与领域不可知的架构[52，5，38]相比，我们采用支持领域特定功能的架构[46]，因为我们必须避免干扰从采购阶段获得的源集群的放置这是保留从源数据集收集的任务相关知识因此，我们引入了一个域特定的特征提取器，记为Ft，其参数从完全训练的Fs初始化（参见图4B）。此外，我们的目标是利用从采购阶段学习的生成分类器来补充先前工作[52，6]所使用的单独的ad-hoc网络（评论家或评论家）a) 源相似性度量（SSM）。对于每个目标样本xt，我们定义一个加权因子w（xt），称为SSM。该度量的较高值指示xt公共标号空间C.类似地，该度量的较低值指示Xt与负源类别Cn 的 相 似 性 ， 示 出 其 对 私 有 标 签Ct 的 倾 向。设，ps<$，qt<$是源的分布，我们假设该定义将满足等式。1，由于采购阶段采用了生成性学习策略。由方程式指数用于进一步放大目标样本与共享标签集C和私有标签集Ct中的标签集（图1）。第5A段）。b) 无源域适配。为了执行主适应，目标函数旨在将具有较高SSM值的目标样本移向正源类别的聚类，反之亦然，在冻结源嵌入，u空间（来自采购阶段）。为了实现这一点，仅允许在部署阶段训练F t网络的参数。然而，将目标样本上的损失朝向正源聚类或负源聚类加权的决定特征提取器Fs，即，在Eq.二、我们使用目标特征提取器将部署模型定义为h = D <$F t <$M（x t），其中 K个类别上的softmax 预 测 获 得 为 z<$（ k ）=σ（ k ）（h）。因此，用于自适应的主损耗函数分别用Cs和Ct 我们定义，pc和qc表示样本的分布，.Ld1=w（xt）· -log（Σ| Cs|（k）k=1属于共享标签集C的源域和目标域。’。Σ| C|+| C|Σ（3）（k）然后，正源样本和负源样本的SSM应位于两个极端，形成不等式：Ew（x）Ew（x）Ew（x）Ew（x）（1）<| Cs|C2），该模型在正源类别上实现了欠拟合（类似于图2）。5C，其中由于过度正则化，准确度降低超过一定5. 结论我们已经引入了一种新的通用无源Do- main适应框架，承认实际的Do- main适应场景没有任何假设的源-目标标签集关系。在拟议的两阶段框架中，采购阶段的学习被认为是非常关键的，因为它旨在以最一般的形式利用类别可分性的知识，增强对分布外样本的鲁棒性。此外，部署阶段的成功归因于有效利用源相似性准则的良好设计的学习目标这项工作可以作为一个试点研究，以学习有效的遗传模型在未来。鸣谢。这项工作得到了Wipro博士奖学金（Jogendra）和 Uchhatar Avishkar Yojana （ UAY ， IISC_010 ） ，MHRD，Govt的资助。印度。我们还要感谢UjjawalSharma（IIT Roorkee）协助实施现有技术。部分DA-UAN*（非无源代码）58.5366.6774.0982.2267.6182.5683.8785.7763.7985.2984.4288.5487.97--我们（无源）78.8872.1483.5283.8573.4881.6684.3190.6672.9485.3884.2689.9889.74-4552引用[1] MahsaBaktashmotlagh，MasoudFaraki，TomDrummond，and Mathieu Salzmann.学习开集域适应的因子分解表示。2019年，在ICLR。1[2] Shai Ben-David ， John Blitzer ， Koby Crammer ， andFernando Pereira.域适应的表示分析。InNeurIPS，2007. 1[3] Konstantinos Bousmalis 、 Nathan Silberman 、 DavidDohan、Dumitru Erhan和Dilip Krishnan。无监督像素级域适应与生成对抗网络。在CVPR，2017年。二、三[4] P. P. Busto和J.胆开集域自适应。InICCV，2017.2[5] Zhangjie Cao ， Mingsheng Long ， Jianmin Wang ， andMichael I Jordan.选择性对抗网络的部分迁移学习。在CVPR，2018年。一、二、五[6] Zhangjie Cao，Lijia Ma，Mingsheng Long，and JianminWang.部分对抗域自适应。在ECCV，2018。一、二、五[7] Yi-Hsin Chen，Wei-Yu Chen，Yu-Ting Chen，Bo-ChengTsai，Yu-Chiang Frank Wang，and Min Sun.不再歧视：道路场景分段器的跨城市适应。InICCV，2017. 1[8] Lixin Duan，Ivor W Tsang，and Dong Xu.域转移多核学习。TPAMI，34（3）：465-479，2012. 2[9] Yaroslav Ganin ，