知识应用于目标领域中的未标记数据，以减少标注成本并提升模型性能

+v：mala2255获取更多论文先验知识引导的无监督领域自适应孙涛1，程璐2，凌海斌11石溪大学2小鹏汽车{tao，hling} @ cs.stonybrook.edu，luc@xiaopeng.com抽象的。无 监督域自适应（UDA）技术由于在目标域中放弃了标签，在许多实际应用中成为一种有吸引力的技术，但它也带来了巨大的挑战，因为在没有标记目标数据的情况下，模型自适应变得更加困难。在本文中，我们解决这个问题，寻求补偿目标领域的先验知识，这往往是（部分）在实践中，例如。从人类经验来看。这导致了一个新颖而实用的设置，除了训练数据、关于目标类分布的一些先验知识是可用的。我们将这种设置称为知识引导的非监督域自适应（KUDA）。特别是，我们考虑了两种特定类型的先验知识的类分布在目标域：一元界，描述了个别类概率的下限和上限，和二元关系，描述了两个类的概率之间的关系。我们提出了一个通用的校正模块，使用这样的先验知识来细化模型生成的伪标签。该模块被制定为一个零一规划问题，来自先验知识和光滑正则化。它可以很容易地插入到基于自我训练的UDA方法中，并且我们将其与两种最先进的方法SHOT和DINE相结合。在四个基准测试上的仿真结果证实，校正模块明显提高了伪标签的质量，这反过来又有利于自训练阶段。在先验知识的指导下，两种方法的性能都得到了很大的提高.我们希望我们的工作，以激发进一步的调查，在UDA整合先验知识。代码可在https://github.com/tsun/KUDA上获得。关键词：无监督领域自适应，类先验1介绍深度神经网络在各种视觉任务中表现出显著的性能改善[8，30，23，12]。然而，这样的性能高度依赖于大量的注释数据，这通常是昂贵的获得。无监督域自适应（UDA）通过将从标记的源域学习的预测模型转移到未标记的目标域来解决这个问题[25，38，40]。尽管近年来取得了进展，UDA仍然是一个具有挑战性的任务，由于在目标结构域的标签的缺乏另一方面，在许多arXiv：2207.08877v1 [cs.LG] 2022年7+v：mala2255获取更多论文K不一元界������������������（标记数据假设源开放API目标数据库未标记数据先验知识目标先验知识人类的专业知识，历史观察，相关数据，…2Sun等人Fig. 1. 知识引导的无监督域自适应（KUDA）。除了目标数据外，还可获得关于目标类分布的一些先验知识。（右）本文中考虑的两种先验知识在现实世界的应用中，关于目标领域的先验知识通常是容易获得的。特别地，关于类分布的一些信息通常是可用的，而不需要麻烦标记特定的目标样本。例如，植物学家可以利用历史信息来估计保护区内野生物种的比例;经济学家可以根据当地的产业结构来判断货车是否比其他交通工具更受欢迎;等等。这样的先验知识可以提供与未标记的训练数据互补的有价值的线索，并且在源域和目标域之间存在大的分布偏移时可以事实上，先验知识已被用于弥补标记数据的不足[33，14]，但其系统集成到UDA解决方案中的探索仍然不足。受上述观察的启发，在本文中，我们研究了一种新的UDA设置，称为知识引导的无监督域自适应（KUDA），如图1所示。具体地，除了目标训练样本Dt之外，还可以使用先验知识的集合在目标类分布上，Pt（y）是可访问的。特别地，我们考虑两种类型的先验知识：描述单个类概率p（c）的下限和上限的一元界（例如，，“平方”的概率描述了两类概率p（c1）和p（c2）之间的关系（例如，、t t“三角形”比“正方形”多KUDA的任务是适应在这种先验知识的指导下，从源域学习到目标域的预测模型。值得一提的是，可以有许多其他类型的先验知识，这可能有助于提高UDA性能，我们选择一元和二元统计数据的类分布，因为它们的通用性和可访问性在实践中。二元关系���������������������（+v：mala2255获取更多论文先验知识引导的无监督领域自适应3为了将先验知识融入到领域自适应中，我们提出了一种新的校正模块来细化模型生成的伪标签。我们使用先验知识将校正过程公式化为零一编程（ZOP）[41]问题，其中其最优解返回更新的伪标签。此外，平滑正则化应用于保持相邻样本中伪标签的一致性。该模块可以很容易地集成到基于自我训练的UDA方法中。为了验证其有效性，我们选择了两种最新的最先进的UDA方法，SHOT[18]和DINE[19]，并使用纠正模块对其进行改进。实验验证是在四个常用的UDA基准点上进行的实验结果表明，校正模块提高了伪标签的质量，从而有利于自训练阶段。因此，在先验知识的指导下，分别命名为kSHOT和kDINE的两种方法的性能，大大提高了香草版本相比。我们的工作表明，考虑目标类先验知识是很重要的，特别是当领域差距很大时。总之，我们做出了以下贡献：– 我 们 研 究 了 一 种 新 颖 而 实 用 的 知 识 引 导 的 无 监 督 域 自 适 应（KUDA），其中除了未标记的训练样本外，还可以获得关于目标类的– 我们介绍了一个通用的整流模块，细化伪标签的指导下，从先验知识。它可以很容易地插入到基于自我训练的UDA方法中。– 在标准和标签转换基准上进行的大量实验证实，结合先验知识可以显着提高自适应模型的性能，减少对目标训练数据的依赖。2相关工作学习先验知识。 将先验知识应用于机器学习任务已经有很长的历史了。使用先验知识可以消除或减少对训练数据的依赖。知识可以以各种形式表达，例如来自其他数据或人类专业知识的统计描述、归纳偏差、物理模型等。与我们的工作最相关的是目标先验，其中目标变量p（y）的分布是已知的[33，14]。在[24]中，以某些输入为条件的类分布先验被广义期望捕获。Zhu等人。[46]采用类先验来设置标签传播的阈值。Wang等人。[39]假设参数目标先验模型pη（y）可以从相关受试者获得，但与训练数据没有对应关系。归纳偏差在深度神经网络中得到了广泛的应用。一个典型的是通过卷积的平移等方差[10，37，13]。Lin等人。[20]在直线检测中添加了基于Hough变换的几何先验。图像形成的物理模型已被集成到图像分解[1]，雨图像恢复[17]，昼夜适应[15]等任务中。+v：mala2255获取更多论文XC{−}不我 我 i=0我 i=04 Sun等人。域自适应设置。领域适应（DA）在许多不同的环境下出现。在香草无监督域自适应（UDA）[45，29，3，35]中，只有来自源域的标记数据和来自目标域的未标记数据都是可用的。由于没有标记的目标数据可用，当域间隙较大时，UDA可能是一个验证任务。半监督DA（SSDA）[32，11，16]假设有少量标记的目标数据可用，与UDA相比，这通常会大大提高性能。主动DA[5，28，42]进一步选择信息量最大的样本，从oracle中查询它们的标签。然后，可以注入人类定义的标准，如不确定性和多样性，以衡量样本的信息性。与UDA相比，SSDA和Active DA可以被视为包含了额外的实例级标签信息。另一条线是减少源域发布的信息，通常是由于一些隐私问题。无源数据UDA[18，9，4，2]假设源域仅提供训练模型，而源数据不可访问。为了隐藏模型细节，进一步研究了黑箱源模型[21，43，19]我们的研究。 我们提出的KUDA方法将类分布级别的信息，并补充上述所有的设置。这是沿着这个方向的第一项工作，我们希望看到进一步的研究，以探索更丰富的先验知识的UDA或扩展到一般的DA场景的想法。3知识引导的UDA你是谁？在本文中，我们重点研究了UDA任务的C -路分类问题.我们使用和=0，1，. . .得双曲余切值.1来表示输入空间，标签空间分别。在一个普通的UDA任务中，我们得到了标记的样本，Ds={（xs，ys）}ns−1，来自源域PS（X，C），以及未标记的样本Dt={（xt）}nt−1从目标域PT（X，C）。UDA的目标是学习标记函数ft=ht<$gt：X → C用于目标域，其中gt是特征提取器，而Ht是标签预测器。目标类分布的先验知识。目标域的类分布pt（y）是UDA中不可达的重要量.一种方法是根据未标记目标数据的模型预测来估计它[22]。然而，当域间隙很大时，这通常是不可靠的.的不足可以用先验知识来补偿标记的目标样本，例如从人类的专业知识。事实上，在现实世界的应用中，通常可以获得一些关于类分布的信息，而不必费心标记特定的目标样本。表1列出了本文中考虑的两种类型的先验知识。一元界描述了单个类概率p（c）的上下界，二元关系描述了两个类，p（c1）和p（c2）。这两个关于类分布的统计数据都是通用的t t并且在实践中易于获得除此之外，其他类型的先验知识可以可以用三个或三个以上的概率来类似地定义。设置KUDA。 我们研究了一种新颖的和现实的设置称为知识引导的无监督域自适应（KUDA）。在KUDA中，除了Ds和Dt之外，我们还可以获得关于目标的一些先验知识K+v：mala2255获取更多论文不K≤ ≤。∈ C不K∈我不不我我不我不先验知识引导的无监督领域自适应5表1. 两种类型的先验知识的文件中考虑。知识类型公式化一元界（UB）=，。ν（c）p（c）μ（c）c，二元关系（BR）K=，.p（c1）−p（c2）≥δ（c1，c2）<$. c1，c2∈C，类分布pc.这样的先验知识可以提供与未标记的训练数据互补的有价值的线索，并且在源域和目标域之间存在大的分布偏移时可以是特别有益的。特别地，我们假设可以用表中列出的不等式约束的集合来表示。1. 目标是在先验知识K的指导下学习最优目标标记函数ft。4方法4.1利用先验知识让我们考虑一个一般情况。假设我们有一个目标数据的模型预测类概率矩阵PRnt×C。第i个样本的伪标记可以通过y_t=arg_max_p_i获得，其中p_i是P 的 第i行。 该过程可以使用独热标签表示 li及其矩阵形式L（即，，li是L的第i行）L= argmaxL，P，s. t.LLi，c=1，ni∈ [nt]<$Li，c∈ {0， 1}，<$c∈C，i∈ [nt]（一）其中，n·，·n是两个矩阵的内积，并且[nt] n{0，1，. . .，nt− 1}。F或方程的最优解L。1，Li，yt=1和Li，c=0c=yt。在没有任何先验知识的情况下，针对每个目标样本独立地分配最优li。经验类概率yp∈（c）=nLi，c/nt是一个经验类概率接近p（c）。然而，当模型预测很吵当关于pt的先验知识K可用时，我们可以使用它来纠正伪标签，使P2P更符合P2P。硬约束形式。 Gi v en中列出的不等式。1中，我们插入p，并将约束添加到等式1中的优化问题。1. 然后，硬约束形式的优化问题可以公式化为：-Unary Bound.Li，c=1n∈ [nt]ˆLi,c∈ {0, 1},∀c∈ C, i∈ [nt]L= argmaxL，Pmax， s.t.公司简介≥nν（c），<$c∈C（二更）李政道<$−<$iLi，c≥−ntµ（c），<$c∈C+v：mala2255获取更多论文Σ<$L∈ {0， 1}，<$c∈ C，i∈ [n]i，ctΣ2我ki我{\fnMicrosoftYaHei\fs14\bord1\shad0\3aHCC\b0}我 i、c1i，c2不12CCC我c1，c26 Sun等人。二元关系。L= argmaxL，P，s.t.cLi，c= 1n ∈[nt]Li，c∈ {0， 1}，nc∈ C，i∈ [nt]（三）L<$$>（L-L ）≥nδ（c1，c2），<$c，c∈C当量2、Eq。 3是零一规划问题[41]，可以用标准求解器解决[7]。然而，使用硬约束形式是不受欢迎的。当这些约束不一致时，优化问题变得不可行。软约束形式。 为了克服硬约束形式的缺点，我们通过引入松弛变量将先验知识转化为软约束：-Unary Bound.L=argmaxL，P−M（（ν）+（μ））LCS.T.Li，c=1 n∈[nt]最大值（v）=max. 0，−<$Li，c+ntν（c）<$，<$c∈C我（四）最大值（μ）=max. 0，<$Li，c−ntµ（c）<$，<$c∈CL=argmaxL，P−Mc1，c2S.T.cLi，c=1n ∈[nt]Li，c∈ {0， 1}，nc∈ C，i∈ [nt]（五）电子邮件：info@cn.com.cn = max（0，−i）（Li，c1-Li，c）+ntδ（c1，c2）），n∈c1，c2∈C在两个Eq。 4和方程式 5，M是预定义的非负常数。 当M足够大时，它们的解将与方程的解相同。2、Eq。3分别给出了先验知识的硬约束满足的条件。当M=0时，等式4和方程式5将退化为方程中的香草问题。1. 平滑正则化。以前的优化问题利用类分布的先验知识来改进伪标签.然而，这仅仅依赖于在模型预测概率矩阵P上，不考虑特征空间中的数据分布。在分类任务中，期望标签预测被局部平滑。因此，我们添加了一个平滑的正则化，强制相邻样本的伪标签是一致的。我们选择目标样本的子集StDt，其模型预测为不确定对于每个xt∈ St，设它在Dt\St中的最近邻为xt。的平滑正则化是等式约束的集合，R ={（li= lki）|xt∈t。将这些等式转换为软约束是不平凡的，因为它将在目标中引入二阶项相反，我们直接将它们作为硬约束添加到等式中的优化问题。4和方程式五、C– Binary RelationshipL+v：mala2255获取更多论文L我我我先验知识引导的无监督领域自适应7图二. 说明我们提出的校正模块如何集成到SHOT和DINE中，以获得知识指导的SHOT和DINE。这可以很容易地以类似的方式扩展到其他基于自训练的UDA方法。4.2知识引导的UDA方法我们提出的校正模块是通用的，并且可以很容易地插入到基于自训练的UDA方法中。为了验证其有效性，我们选择了两个最近的UDA算法，SHOT [18]和DINE [19]。这导致了知识引导的SHOT和DINE，分别被称为kSHOT和kDINE。这些框架如图2所示。应当指出，这一部分的主要目的是是通过我们的校正模块来展示考虑类先验知识的好处，而不是简单地扩展这两个算法。知识指导射击 SHOT [18]是一种最先进的基于自我训练的UDA方法。它假定源数据自由设置，即在自适应期间，只有源hypothesis可用。然后，利用自监督伪标记和互信息最大化来微调特征提取。源假设的tor模块。由于只涉及目标样本，它为我们提供了一个方便的平台来观察先验知识如何影响自适应模型的性能。全部目标是t tLshot=E（xt，yt）ce（htgt（xi），yi）−αLim（6）其中，Ice是交叉熵损失，im是信息最大化损失[6，34]，α是一个hyper参数。关键的一步是获得伪标签。 SHOT使用特征空间中样本和类质心之间的距离来细化模型预测。虽然这在一定程度上提高了伪标签的质量，但它们的经验分布仍然可能与地面真实情况非常不同，如图所示五、我们展示了如何将先验知识纳入以缓解这个问题。我们将整流模块插入SHOT。获得伪标签L（shot）（即的one-hot表示）和特征到质心距离kSHOT源假设目标数据自监督伪标号交叉熵损失伪标号整流模块源API服务目标数据自适应标签教师（Teacher）自蒸馏损失kDINE+v：mala2255获取更多论文我K R俄.西我我D LLK是吗我我我我我我我我8 Sun et al.从SHOT，我们使用softmax将距离转换为类概率，P=softmax（−D）（7）其中D∈Rnt×C，Di，k=df（gt（xt），ck），df是某个距离度量，ck是第k类质心。设Eq. 4和方程式在先验知识K和光滑正则化R下，L=S（P，K，R）（8）S（P，n，n）返回与L（shot）完全相同的伪标签。 给定先验知识K，我们首先得到L（pk0）= S（P，K，k）. 然后我们创建一个子集St={xt|l（射击）l（pk0）}，其由伪标签改变的所有样本组成。之后，可以使用t构造光滑正则化。最后，我们得到L （ pk1 ）=S（P， 、 ），并使用L（pk1）作为y_t来更新模型与Eq. 第六章知识指导DINE。 DINE [19]是一个非常新的算法，它只假设黑盒源模型（例如，源API服务）在自适应期间可用它首先从源预测器中提取知识到目标模型，然后用目标数据对提取的模型进行微调。应用了两种结构正则化，包括插值一致性训练[44]和相互信息最大化[34]。目标是Ldine=ExtDkl。Ptch（xt）<$ft（xt）<$+βLmix−Lim（9）其中kl表示Kullback-Leibler散度，mix和im是两个正则化器，β是权衡参数。 为了获得教师预测Ptch（xt），作者提出用自适应标签平滑来修正源模型的预测，并保持指数移动平均（EMA）预测。给定先验知识，我们的目标是纠正教师预测Ptch（xt），使其更符合地面事实。我们采取了类似的战略，KSHOT。DINE的伪标记由y_（dine）=arg_max_Ptc_h（x_t）得到。我我设对应的独热表示为l（dine）。我们取Ptch（xt）为我我P的第i行，得到L（pk0）= S（P，K，k）. 然后我们创建一个子集St={xt|l（用餐）l（pk0）}来构造光滑正则化R.最后我们得到L（pk1）= S（P，K，R）. 新的目标函数是.Ptch（xt）+l（pk1）？？我Lkdine=ExtD kli if（xt）2¨+βLmix−Lim（10）其中l（pk1）=0。9·l（pk1）+0. 1/C是smooothedla bel。5实验5.1实验装置数据集。 我们报告我们的结果都标准的UDA基准和基准设计的标签分布转移。Anto-Home是一个图像分类数据集，包含来自四种环境的65个类：艺术（A）、剪贴画我我我+v：mala2255获取更多论文R P R C P R C C R C平均值一个月后的全球销售额和平均销售额。kSHOTΣ不.Σ·−≤≤·|∈C我i=0我我01C−1不不QQ先验知识引导的无监督领域自适应9表2. 分类准确率（%）在家庭RS-UT和办公室。方法Kσ公司简介办公室枪77.050.375.947.064.3 64.663.294.0 90.1 74.7 98.4 74.399.9UB 0.078.851.379.1 49.8 71.369.766.697.6 98.575.099.0 76.2 99.891.0UB 0.178.351.779.048.671.669.496.7 97.2 75.5 98.776.5 99.890.7UB 0.576.750.677.348.468.4 67.364.893.992.875.797.775.299.789.2UB 1.076.350.076.948.466.7 65.864.093.792.475.597.775.5 99.789.1UB 2.076.450.076.047.965.3 64.193.792.475.097.775.2 99.789.0BR78.651.678.749.370.1 68.866.296.997.174.098.876.1 99.890.5(C)产品（P）和真实世界（R）。Office[31]包含来自三个域的31类对象：Amazon（A），DSLR（D）和Webcam（W）。VisDA-2017是一个大规模的合成到真实数据集，包含12个类别的对象。[36]是用反向不平衡源和不平衡目标方式创建的反向不平衡源的子集源和目标标签分布都是长尾的。源域中的多数类是目标域中的少数类。因此，它有一个很大的标签分布变化。DomainNet[26]是一个大型的UDA基准。我们使用来自四个领域的40个常见类的子集[36]：Clipart（C），Painting（P），Real（R），Sketch（S）。它有一个自然的标签分布变化。创造先验知识。我们从目标训练数据{yt}nt-1的地面真实标签中创建先验知识，仅 用于实验目的。的噪声和先验知识的完整性将在第二节中讨论5.3. 让qc=I [yt= c]/nt是第c类的经验概率。– 一元绑定。我们将UB创建为（qc（1 σ）p（c）qc（1+σ））c，其中σ是控制边界紧密度的超参数。在实验中，我们选择σ∈ {0。0，0。1，0。五，一。0，2。0}。–二元关系我们首先根据降序中的qc秩序假设对应的索引是[cq，cq，···，cq]。 然后我们创建BR为。（p（ci）−p（ci+1）≥ 0）|i∈ {0，1，· · ·，C− 2}<$。我们只需要右手为0，这使得它们的约束相对宽松，在实践中更容易实现。实施细节。我们用Guidelines Optimizer [7]解决了整流模块的优化问题。kSHOT和kDINE都基于作者的官方Pytorch实现。我们在VisDA-2017中使用了预训练的ResNet-101[8]主干，在其他版本中使用了ResNet-50[8]为了公平地与SHOT和DINE进行比较，我们采用了与原始论文中使用的相同的超参数我们运行每个任务3次，并报告平均评估值。对于标准UDA基准，我们报告准确性。 对于标签分布偏移的基准测试（即，E-Home RS-UT和DomainNet），我们报告了每类平均准确度，与以前的工作一致[36，29]。+v：mala2255获取更多论文A CA PA RC AC PCR PAvg.kSHOT10 Sun等人。表3. 分类准确率（%），基于VisDA-2017。方法Kσ企业简介VisDA枪57.178.1 81.5 68.0 78.2 78.1 67.4 54.9 82.2 73.3 58.8 84.371.882.9UB 0.058.2 80.082.971.1 80.3 80.7 71.356.8 83.2 75.560.386.673.986.1UB 0.158.1 79.283.2 70.4 80.080.7 71.4 56.5 83.075.6 60.8 86.073.785.8UB 0.557.479.1 82.1 69.4 78.1 79.5 69.3 55.2 81.8 74.0 60.2 85.172.683.9UB 1.057.079.0 82.1 68.6 77.8 79.3 68.4 55.1 81.7 73.5 59.3 84.872.283.0UB 2.056.478.7 82.1 68.3 77.8 79.3 67.9 54.2 81.7 73.3 58.7 84.871.982.6BR57.478.8 82.9 70.7 80.0 80.5 70.8 55.0 82.8 74.6 59.9 86.073.383.6表4. DomainNet上的分类准确率（%）。5.2结果kSHOT的结果 表2，4列出了两个基准测试的kSHOT结果，标签分布发生了变化。在UB（σ= 0）中，它将B-Home RS-UT的准确性提高了+3.4%，将DomainNet的准确性提高了+1.9%随着σ的增长，先验知识的有趣的是，在BR中，只有类概率的相对顺序是已知的，它仍然提高了+3.0%的家庭RS-UT。由于该数据集是手动创建的长尾数据集，并且两个域的类分布是彼此相反的版本，因此具有关于目标类分布的先验知识将非常有帮助。这与我们的实验结果相符。三个标准基准的结果列于表2和表3中。利用先前的知识不断改进它们。可以观察到σ的类似趋势。与传统的基准测试相比，标签分布漂移现象并不严重.先验知识仍然有助于在训练期间纠正错误的伪标签kDINE的结果 由于使用vanilla标签平滑对于DINE [19]中使用的自适应标签平滑来说是次优的，因此可能会减少来自先验知识的真实性能增益。为了进行公平的比较，我们还提供了结果当替换l（pk1）与l（dine）在方程。10、把它当作一种食物。作为我我从表6、7中可以看出，DINE的性能确实比DINE差。尽管如此，结合了先验知识，kDINE实现了更高的准确性，甚至比DINE更好的性能。PDA的结果我们进一步评估了部分集DA（PDA）的P-Home，其中共有25个类（字母表中的前25个类），方法KSHOTσR C R P R SC–79.4 75.4 72.8 88.4 74.0 75.5 89.8 77.7 76.2 88.380.5 70.879.1083.677.575.3 91.5 76.477.0 91.7 82.3 76.389.7 80.2 70.381.0P CS PR PC PS S俄.西C SP平均值R CUB 0.182.277.675.2 89.576.8 76.9 91.2 81.776.9 88.5 79.4 70.180.5UB 0.5 80.3 77.2 73.5 88.8 75.4 75.6 89.0 78.4 76.6 88.3 78.9 70.479.42019- 06 - 29 00：00：00 00：00 00：00UB 2.0 79.2 76.3 73.1 88.8 75.4 75.5 88.6 77.8 76.2 87.9 80.171.179.2BR-82.176.874.389.173.776.491.780.675.988.879.170.279.9kSHOT+v：mala2255获取更多论文BR-84.9 72.3 90.2 92.284.9用餐--77.6 59.2 82.785.2晚餐--73.1 54.8 80.0 83.973.0kDINEUB 0.082.166.491.391.782.9BR-79.7 63.388.2→ →→→Avg.方法Kσ A <$CA <$PA <$R C <$AC <$PC <$RP <$A P <$CP <$R R <$AR <$CR<$P先验知识引导的无监督领域自适应11表5. PDA上的分类准确率（%）。方法Kσ：A：C：P：R平均值开枪78.9 65.2 82.9 90.379.3kSHOTUB 0.085.474.194.293.686.8表6. Office上的分类准确率（%）。表7. 分类准确率（%）在EQUIP-Home上。UB 0.1 55.0 78.8 81.1 66.4 77.7 79.2 66.4 51.8 82.3 71.558.084.971.1kDINEUB 0.552.9 76.7 79.9 64.5 76.3 77.8 63.8 51.0 80.9 70.557.184.269.6UB 1.052.3 76.0 79.6 63.5 75.2 76.5 62.1 49.0 80.7 69.956.483.468.7UB 2.051.8 76.0 79.6 63.0 75.1 76.5 60.8 49.2 80.7 69.655.583.568.4BR54.2 79.4 81.5 66.8 78.6 79.2 65.6 50.9 82.6 71.458.185.371.1顺序）和65个类在源域中。因此，这可以被视为一种极端的情况，其中其余40个类的类概率表5列出了具有相同目标域的任务的平均结果（例如，A列在C A、P A和R A上求平均值）。可以看出，在这种情况下，使用先验知识显著改善。5.3分析先验知识如何指导UDA？为了理解为什么先验知识是有帮助的，我们考虑以下两个 方面：– 环境样品。如图所示3（左），我们的校正模块全局更新伪标签以匹配先验知识。这实际上移动了特征空间中的决策边界。在此过程中，位于边界附近的模糊样本的伪标签可以被校正。图3（中心）绘制了在具有UB（σ = 0）的kSHOT的训练过程期间三组伪标签L（shot）、L（pk0）和L（pk1）的准确度。0）在办公室A W.清楚地利用先验知识获得更准确的伪标签。这反过来又有利于随后的自我训练阶段。– 标签分发。 图5绘制了在一个重复标记步骤中在重复归属RS-UT P→C上的地面真实标签和伪标签的分布。伪标签的准确率为± 55%。可以看出，L（shot）方法K用餐–σ––A PendaPenda91.686.872.296.273.3 98.6 86.490.686.5 70.6 95.2 72.0 99.3 85.7AD全球平均销售额UB 0.094.7 92.271.096.8 72.6 99.8UB 0.193.6 91.2 71.0 96.5 72.199.5UB 0.591.7 88.3 70.4 95.2 71.6 99.3UB 1.090.6 86.4 70.6 95.2 72.3 99.3UB 2.090.6 86.5 70.7 95.2 72.0 99.3BR-93.491.170.596.472.1九十九点五87.987.386.185.885.787.2kDINEDINE52.278.481.3 65.3 76.6 78.7 62.7 49.6 82.2 69.8 55.8 84.269.7晚餐-51.876.079.6 63.1 75.1 76.5 60.4 48.5 80.7 69.4 55.9 83.568.4UB 0.054.878.681.7 67.178.379.6 66.8 52.3 82.572.0 58.1 85.471.4+v：mala2255获取更多论文L（镜头）L（峰0）L（峰1）准确度（%）准确度（%）U −12 Sun等人。100 10095 9590 908502468101214时代8502468101214时代图3. （左）先验知识校正模糊样本的伪标签;（中）在Office A→W上训练kSHOT期间使用先验知识校正前后伪标签的准确性;（右）Office A→W上比较方法的收敛曲线（S.R. 平滑正则化（BR噪声0123468106766656463BR噪声0123468 109167906689658864620.00.10.20.30.40.60.8 1.0UB噪声870.00.1 0.2 0.3 0.4 0.6 0.8 1.0UB噪声63六十五（六十四）六十5040302010#约束图四、在（左）家庭RS-UT和（中）办公室上的kSHOT中使用噪声先验知识;（右）在家庭RS-UT上的kSHOT中使用部分先验知识。严重偏离了真实情况相比之下，在利用先验知识进行校正之后的伪标签的分布更好地符合地面实况。图6绘制了整个训练过程中网络预测的分布。香草SHOT方法在适应后几乎没有改善标签分布，而使用先验知识使其更类似于kSHOT中的地面实况分布。先验知识的噪音。在实践中，先验知识可能包含一定程度的噪声。 为了研究它的效果，我们手动添加噪声到估计的类先验qc。 对于UB，通过qc=qc+U（−qc <$，qc<$）添加均匀噪声，其中<$∈[0， 1]控制噪声水平。噪声已被集中，以确保qc是一个有效的概率。然后qc被用来创建在第二节中讨论的一元界。 5.1. 对于BR，在基于qc对所有类进行排序之后，我们随机交换相邻类。假设类ck在排序或排序为Ick，通过Ik=Ick+（φ，φ）加入均匀噪声，φ控制邻域大小。然后，我们根据噪声索引I_k对所有类进行排序，并使用重新排序的顺序来创建二元关系。图4（左和中）显示，在中等噪声下，结合先验知识仍然是有帮助的，并且比SHOT基线有所改进。先验知识的完备性。在此之前，假设先验约束覆盖每个类。推广到部分约束很简单。我们随机选择一部分约束，UBBRUB（不含S.R.）BR（不含枪UBBRSHOT准确度（%）UB-maj BR-majUB最小值BR最小值UB-rnd BR-rnd准确度（%）准确度（%）+v：mala2255获取更多论文|S|我 我我地面实况L（pk1）-UB（=0.第五章）L（镜头）L（pk1）-UB（=1.（0）L（pk1）-UB（=0.（0）L（pk1）-UB（=2.（0）L（pk1）-UB（=0.第一章L（pk1）-BR地面实况epoch=0epoch=0epoch=4epoch=4epoch=8epoch=8epoch=12epoch=12epoch=14epoch=14先验知识引导的无监督领域自适应13图五. 先验知识在kSHOT的一个伪标记步骤中校正伪标记的分布（KS-HomeRS-UTP→C）。见图6。SHOT（上图）和kSHOT（下图）中的网络（f t）预测的标签分布（ST-Home RS-UT P→C）。major（少校），minor（min）或random（rnd）类。图4（右）显示了在不同数量的选定约束条件下的结果。部分约束意味着较少的先验信息，但仍然可以有益于UDA训练。请注意，BR-rnd最大程度地降低了性能，部分原因是随机选择的二元关系约束很难形成类子集的完整顺序。从部分数据估计类先验表9给出了在kSHOT中使用UB（σ = 0. 0）在VisDA-2017上。随着采样率的降低，估计误差（与使用完整数据的相对偏差）增加。然而，即使当平均估计误差在0.5%的采样率下为约15.5%时，使用先验知识仍然比SHOT提高+1.16%（82.9%→84.06%）。平滑正则化的效果。表8显示了平滑正则化的消融研究。一般来说，使用平滑正则化实现compa-能胜任的或更好的工作。 Thepenal tyde pendson|St|=I[l（shot）=l（pk0）]，并且在不同的任务中有所不同在具有大σ的UB中，先验知识不是信息量大，因此t很小。我们强调的情况下，使用光滑正则化显着提高准确性。在R→P、C→R、C→P等任务中，改善量最大。比较两种类型的先验知识-+v：mala2255获取更多论文KσR P R C P R P C C RC P14 Sun等人。表8. 平滑正则化（S.R.）在KSHOT上进行测试。Avg.2019- 06 - 28 00：00：00UB 0.177.951.478.749.770.568.4 66.1UB 0.576.650.577.048.467.767.3六十四点六UB 1.076.550.176.748.166.465.3六十三点八UB 2.076.449.975.847.865.164.263.2BR51.2七十八点一四十九点二六十九点零67.665.5UB 0.078.851.379.149.871.369.766.690858075-6-5-4-3-2-10 1log10（M）UB 0.1UB 0.5UB 1.0UB 2.0BR78.351.779.048.671.669.466.476.750.677.348.468.467.364.876.350.076.948.466.765.864.076.450.076.047.965.364.163.378.651.678.749.370.168.866.2见图7。kSHOT中的常数M（标量nt）对PDA的“返回主页”的影响（平均超过12个任务）。表9. 从VisDA-2017上的kSHOT中的部分目标数据估计类先验。采样比百分之零点五百分之一百分之五百分之十百分之五十百分百最大est.误差（%）47.525.211.29.64.10.0Avg. est.误差（%）15.512.05.43.41.90.0Avg.行政费用（%）84.0684.7685.7785.9386.1286.13边缘，它在BR中更有帮助由于BR只告诉类概率的顺序，添加平滑正则化提供了补充信息。常数M的选择 先验知识被认为是可靠的，因此我们期望在纠正的伪标签中满足先验约束。为了实现这一点，M需要是方程中的某个大常数。4,5.图7显示了在kSHOT中PDA设置下M如何影响P2P-Home的性能。当M很小时，该方法退化为SHOT。当M大于某个阈值时（例如，，10−3·nt），则实际上将满足所有软约束。在我们的实验中，我们对kSHOT和kDINE中的所有任务都使用M=10·nt6结论我们提出了一个新的但现实的设置称为知识引导的无监督域自适应（KUDA）。在KUDA中，除了标记的源数据和未标记的目标数据之外，我们还可以访问有关目标标签分布的一些先验知识我们提出了一种新的整流模块，通过解决约束优化问题，使用先验知识来然后，我们将其集成到两个具有代表性的自我训练的方法，SHOT