跨领域交叉集少样本学习的原型对齐方法

+v：mala2255获取更多论文通过学习紧凑对齐表示的跨域交叉集少样本学习陈文涛1、 2，张章2、 3，王伟2、 3，王良2、 3，王紫磊1，谭铁牛1、 2、 31中国科学技术大学，中国2智能感知与计算研究中心，国家生命科学研究所，中国3中国科学院大学，中国北京wentao. cripac.ia.ac.cn，zlwang@ustc.edu.cn{zhzhang，wangwei，wangliang，tnt} @ nlpr.ia.ac.cn抽象的。少样本学习（FSL）旨在通过利用基础数据集的先验知识来识别只有少量支持样本的新查询。在本文中，我们考虑域转移问题FSL和旨在解决支持集和查询集之间的域差距。与以往的跨领域FSL（CD-FSL）考虑了基本类和新类之间的领域转移不同，新问题称为跨领域交叉集FSL（CDSC-FSL），它要求少样本学习器不仅要适应新领域，而且要在每个新类中的不同领域之间保持一致。为此，我们提出了一种新的方法，即刺PA，学习原型紧凑和跨域对齐表示，使域转移和少数拍摄学习可以同时解决我们评估我们的方法上建立的两个新的CDCS-FSL基准域网和家庭数据集分别。值得注意的是，我们的方法大大优于多个精心设计的基线，例如，在DomainNet上提高5杆的平均命中率6.0分代码可在https://github.com/WentaoChen0813/CDCS-FSL上获得。关键词：跨领域交叉集少射学习，原型对齐1介绍用有限的例子学习一个新概念对人类来说很容易。然而，目前的深度学习模型非常困难，通常需要大量的标记数据来学习可概括和可区分的表示。为了弥合人类和机器之间的差距，最近提出了少量学习（FSL）[46，31]。与人类相似，大多数FSL算法利用已知类的先验知识通常，FSL算法由两个阶段组成：（i）在包含大量可见类的基本集合上预训练模型（称为元训练阶段）;（ii）将模型转换为基本集合。arXiv：2207.07826v1 [cs.CV] 2022年7+v：mala2255获取更多论文2W. Chen等人预先训练的模型，新的类与一个小的标记支持集和测试它与查询集（元测试阶段）。尽管FSL算法取得了很大进展[9，32，46，40]，但大多数先前的研究采用了单域假设，其中元训练和元测试阶段的所有图像都来自单个域。然而，这种假设在现实世界的应用中可能很容易被打破考虑在线购物的具体示例，服装零售商通常显示由摄影师为每个时尚产品拍摄的若干高质量图片（支持集），而顾客可以使用他们的手机照片（查询集）来匹配他们期望的产品的显示图片。在这种情况下，在支持集和查询集之间存在明显的域间隙。类似的例子可以在安全监控中找到：给定在夜间捕获的嫌疑人的低质量身份证）。在这样的领域差距下，除了有限的支持数据外，FSL模型将面临更多的挑战。在本文中，我们考虑在FSL上述问题，并提出了一个新的设置，以解决支持集和查询集之间的域差距。在先前的FSL工作之后，来自源域的大基集可用于元训练。相应地，在元测试期间，只有支持集或查询集来自源域，而另一个来自不同的目标域。最近的一些研究也考虑了跨域少数镜头学习问题（CD-FSL）[15，42，29]。然而，CD-FSL中的域转移发生在元训练和元测试阶段之间。换句话说，元测试阶段的支持集和查询集仍然来自同一个域（如图1（a）所示为了将所考虑的设置与CD-FSL区分开来，我们将此设置命名为跨域交叉集少数镜头学习（CDCS-FSL），因为支持集和查询集跨不同的域。与CD-FSL相比，每个新类内的域间隙对学习对齐良好的特征空间提出了更多要求然而，就上述设置而言目标域可以仅包含一个支持（或查询）图像。因此，我们遵循CD-FSL文献[29]使用来自目标域的未标记辅助数据来辅助模型训练。请注意，我们不假设辅助数据来自新的类。因此，我们可以从一些常见的类（例如，基类）而没有任何注释成本。人们可能会注意到，从与查询集相同的域中重新收集一些支持样本可以“简单地”消除域间隙。然而，在一些实际的少数拍摄应用中重新收集支持样本可能重新收集所有人的身份证照片是困难的。此外，用户有时不仅想获得类别标签，更重要的是他们想自己检索支持图像（如高质量的时尚图片）。 因此，CDCS-FSL设置不能简单地转移到先前的FSL中和CD-FSL设置。+v：mala2255获取更多论文跨域交叉集少样本学习3元列车元测试（小说类）源域，类A，原型源域，类B，原型目标域，类A，原型目标域，类B，原型FSL（基础类）支持查询原始样本原型特征向量扩增样本源源源增广特征向量CD-FSL[客户端]源目标（未标记）目标目标源域A类B类CDCS-FSL源目标（未标记）源靶目标源目标域训练后（一）训练前（b）第（1）款图1.一、问题设置和动机。（a）CD-FSL考虑元训练和元测试阶段之间的域转移，而CDCS-FSL考虑元测试阶段中支持集和查询集之间的域转移。根据先前的CD-FSL工作[29]，在CDCS-FSL中使用未标记的目标域数据(b)我们提出了一个双向的原型对齐框架来解决CDCS-FSL，它推动一个域的特征向量被聚集在另一个域的相应原型周围，并将特征向量从不同的类中分离出来。为了解决CDCS-FSL问题，我们提出了一个简单但有效的双向原型对齐框架来学习紧凑和跨域对齐的表示，如图1（b）所示。我们的方法的主要思想来自两个直观的见解：（i）我们需要对齐的表示来减轻源域和目标域之间的域转移，(ii)紧凑表示对于学习中心聚集类空间是期望的，使得小的支持集可以更好地具体来说，给定源域中的标记基集和目标域中的未标记辅助集，考虑到伪标签可以保持与源域中然后，我们最小化点到集合之间的距离原型（类中心）在一个域和相应的特征向量在另一个域的结果，源（或目标）域的特征向量将聚集在另一个域的原型周围，从而同时减少域间隙和类内方差。此外，类间距离被最大化，以获得更可分离的特征空间。此外，受这样一个事实的启发，即即使具有强变换的数据增强通常也不会改变样本语义，我们在每个域中增强样本，并且假设不同域之间的增强样本也应该对齐。由于这些增强的样本丰富了数据的多样性，它们可以进一步鼓励学习潜在的不变性并加强跨域对齐。总之，我们将所有上述步骤总结为一个方法“简单地一种增强的双向P型A配体我们评估其源数据[ ]可选目标数据源到目标对齐目标到源对齐最大化类间距离+v：mala2255获取更多论文H H4瓦。Chen等人基于DomainNet[28]和Domain-Home[43]数据集构建的两个新的CDCS-FSL基准的有效性值得注意的是，所提出的stabPA在两个基准测试中都实现DomainNet数据集上的5次射击精度平均提高6.0个点总之，我们的贡献有三个方面：– 我们考虑一个新的FSL设置，CDCS-FSL，其中域间隙存在于支持集和查询集之间。– 我们提出了一种新的方法，即刺PA，以解决CDCS-FSL问题，其关键是学习原型紧凑和域对齐表示。– 大量的实验表明，stabPA可以学习歧视性和概括性的表示，并在两个CDCS-FSL基准测试中大幅优于所有基线。2相关工作FSL的目标是用很少的标记示例来学习新的类。大多数研究遵循元学习范式[45]，其中元学习者在一系列训练任务（情节）上进行训练元学习器可以采取各种形式，例如LSTM网络[31]，初始网络参数[9]或闭合形式求解器[32]。预训练技术的最新进展催生了另一种FSL范式。在[4]中，作者表明，相对于SOTA FSL模型，简单的预训练和微调基线可以实现有竞争力的性能。在[40，5]中，自我监督的预训练技术已被证明对FSL有用。我们的方法也遵循预训练范式，我们进一步期望学习的表示是紧凑的，跨域对齐的，以解决CDCS-FSL问题。CD-FSL[15，42，29，47，22，14，10]考虑了基类和新类之间的域转移问题由于这种领域差距，[4]表明元学习方法无法适应新的类。为了缓解这个问题，[42]提出一个特征转换层来学习丰富的表示，可以更好地推广到其他领域。但是，他们需要访问多个标记的数据源，这需要额外的数据收集成本。[29]通过利用具有自我监督预训练技术的额外未标记目标数据来解决这个问题。或者，[14]提出利用类标签的语义信息来最小化源域和目标域之间的距离不需要额外的数据或语言注释，[47]以对抗的方式增强训练任务，以提高泛化能力。使用目标域图像来减轻域偏移涉及域自适应（DA）领域。 早期的努力通过最小化预定义的差异来对齐每个域的边缘分布，例如最大平均差异[1]或最大平均差异（MMD）[13]。最近，基于对抗性的方法采用一种近似域差异的方法[12]，并在图像级[18]、特征级[23]或输出上学习域不变分布+v：mala2255获取更多论文DDUi=1S QB◦Q→SN×K跨域交叉集少样本学习5水平[41]。另一系列研究将伪标签分配给未标记的目标数据[53，51，52]，并直接对齐每个类内的特征分布尽管这些DA方法与我们的工作相关，但它们通常假设测试阶段与训练阶段共享相同的类空间，FSL的设置开集DA[27，34]和泛DA[33，49]考虑看不见的类的存在然而，他们只是将其标记为“未知”。在这项工作中，我们更感兴趣的是在FSL假设中解决这些看不见的新类的域转移。3问题设置形式上，FSL任务通常采用N-way-K-shot分类的设置，其目的是区分N个新类别，每个类别具有K个样本。给定一个支持集S={（xi，yi）}，其中xi∈ XN表示一个新的数据样本类，并且yi∈YN是类标签，FSL的目标是学习映射函数f：f（xq）→yq，其将查询集合Q中的查询样本xq分类到类标签yq∈YN。除了S和Q之外，通常还提供一个大的标记数据集B XB× YB（称为基集）用于元训练，其中XB和YB与XN和YN不重叠。传统的FSL研究假设这三个集合，并且来自相同的域。本文考虑了支持集和查询集之间的域间隙（只有一个来自与基集相同的域，即源域s，另一个来自新的目标域t）。具体来说，这种设置有两种情况：(i) Ds-Dt：支持集来自源域，查询集来自目标域，即，S Ds和QDt。(ii) Dt-Ds：支持集来自目标域，查询集来自源域，即，S Dt和QDs。由于支持集和查询集是跨域的，我们将这种设置称为跨域交叉集少射学习（CDCS-FSL）。除了上述三个集合之外，为了便于跨越域间隙，在元训练阶段可以使用来自目标域的未标记辅助集合，其中手动删除来自新类别的数据，以保证它们在元训练中不会被看到。4方法简单地说，我们的方法包括两个阶段：1）在元训练阶段，我们用基集B和未标记的辅助集U训练特征提取器f：xi→ f（xi）; 2）在元测试阶段，我们固定特征提取器并训练线性分类头g：f（xi）yi在支持集上整个模型f=gf用于预测查询集的标签。我们的方法框架如图2所示。+v：mala2255获取更多论文BUK k=16瓦。Chen等人强增强源图像双向原型对准适应目标图像元训练元测试图二. 框架. 在元训练阶段，我们在双向原型对齐框架内训练特征提取器以学习紧凑和对齐的表示。在元测试阶段，我们固定了特征提取器，用支持集训练了一个新的分类头，然后在查询集上对模型进行评估4.1双向原型对准对齐特征分布的一个简单方法是通过估计源域和目标域中的类中心（原型）。有了标记的基础数据，很容易估计源域的原型。然而，这是很难估计的原型在目标领域只有未标记的数据可用。为了解决这个问题，我们建议分配伪标签的未标记的数据，然后使用伪标签近似原型。洞察是，即使在域或类别转移（例如，画老虎更可能被伪标记为猫而不是树）。聚合具有相同伪标签的样本可以提取跨不同领域的共享语义。具体地，给定源域基本集合B和目标域未标记集合U，我们首先用在基本集合t上训练的初始分类器将伪标签分配给未标记样本，并获得U_i={（xi，y_i）|xi∈U}，其中y∈i=0（xi）是伪标号. 然后，我们得到了源原型{ps}|黄蓝|和目标原型{pt}|黄蓝|通过平均特征向量标签（或伪标签）。应该注意的是，原型是在整个数据集和数据集上估计的，并与特征提取器和伪标签的更新一起进行调整（细节可以在下面找到利用所得到的原型，直接最小化点到点距离，两个原型ps和pt可以很容易地减少域间隙，K K类K。但是，这可能会使不同类混合在一起，学习的表示的辨别能力仍然不足。为了克服这些缺点，我们建议以双向的方式最小化跨域的点到集的距离也就是说，我们最小化一个域中的原型与另一个域中对应的特征向量之间的距离，同时最大化不同类之间的特征距离通过这种方式，我们不仅可以在源-目标对齐源功能标签交换编码器源靶原型目标源对准目标伪标签特征特征空间日本语简体中文支撑特征1FCℓ������2编码器支持推理共享查询特征？0.70.3查询K k=1+v：mala2255获取更多论文Q|B|Σ1·◦|−|我 我我我 我|exp（−|f（x s）− pt||2/τ）||2/τ)我 我|exp（−|f（x t）− ps||2/τ）||2/τ)bPA|B|我 我|U|我我 我跨域交叉集少样本学习7域，而且还同时获得两个域的紧凑特征分布，以满足少次学习的要求。具体地，对于第q类的源样本（xs，ys）∈ B（即， ys= q），我们最小化它到目标域中原型的特征距离，同时最大化它到其他类的原型的距离。这里，用于源到目标对准的softmax损失函数被公式化为：exp（−||f（xs）−pt||2/τ）Iqs−t（xs，ys）=−log其中τ是温度因子。为了获得目标域的更好的特征空间，对每个目标样本（xt，y<$t）∈U<$且y<$t=q：我我我exp（−||f（xt）−ps||2/τ）Iqt−s（xt，y（二更）由于初始伪标签更有可能是不正确的，我们遵循课程学习的原则逐渐增加这两个损失的权重[2]。 对于源到目标对准，损失权重从零开始并收敛到一，公式为：2w（t）=1 + exp（−t/TMax）−1，（3）其中t是当前训练步长，Tmax是最大训练步长。对于目标到源对齐，由于伪标签随着训练过程变得更加自信，因此通过设置置信度阈值来过滤掉具有低置信度伪标签的目标样本来实现自然课程[36]。总之，双向原型对齐的总损失为=1i=1|Uˆ|（xs，ys）+1（p（yt）>β）i=1（xt，yt），（4）其中p（）是伪标签的置信度，β是置信度阈值，低于该置信度阈值，数据样本将被丢弃。更新伪标签。 伪标签最初由在基集B上预训练的分类器B10预测。随着表示的更新，我们通过基于当前特征提取器f重新训练分类器ft=hf来更新伪标签，其中h是基本类的线性分类头。最终伪标签通过初始分类器的预测之间的线性内插来更新，并且在线更新分类器的预测通过线性内插来更新：yi=argmaxλ0（kxi）+（1λ）λt（kxi），（5）k∈YB其中λ是插值系数。这两种分类器的结合使得对初始分类器的标签噪声进行校正成为可能，k=1我Kk=1我Ks−tt−s+v：mala2255获取更多论文KKΣ1i=1（xttKKnk我我i=18瓦。Chen等人抑制了在线分类器中伪标签的快速变化，尤其是在早期训练阶段。生成原型。请注意，我们打算估计整个数据集上的原型类型，并使用表示学习更新它们。对于源域，代替计算特征空间中的类内样本的平均值，更便宜的方法是用分类头h的归一化权重来近似原型，因为分类器权重倾向于与类中心对齐以减少分类错误[30]。具体来说，我们将源原型设置为ps= Wk，其中Wk是第k个类的归一化分类权重。对于目标领域，我们采用动量技术来更新原型。原型被初始化为零。在每个训练步骤中，我们首先使用当前的目标样本来估计原型，批处理它们的伪标签。然后，我们更新目标原型pt如：|Uˆb|pt←−mpt+（1−m）1（y<$t=k）f（xt），（6）其中，nk是在目标样本库b中被分类到第k类的目标样本的数量，并且m是控制更新速度的动量项。4.2stabPA强数据增强已被证明对学习可泛化的表示有效，特别是在自我监督表示学习研究中[16，3]。给定一个样本x，强数据扩充会生成额外的数据通过应用各种各样的图像变换来生成图像。--强大的数据增强背后的一个重要原因是，图像变换不改变原始样本的语义在这项工作中，我们进一步假设，在不同的域中的强增强类内样本也可以对齐。预计强数据增强可以进一步加强跨域表示的学习，因为更强的增强提供更多样化的数据样本，并且使得学习的对齐表示对于源域和目标域两者中的各种变换更鲁棒。根据这个想法，我们扩展了双向原型对齐强大的数据增强和整个框架被称为刺PA。具体-调用y，对于源样本（xs，ys）和目标样本（xt，yt），我们生成我我我增广版本（xs，ys）和（xt，yt）。在双向原型中，阿吉对齐框架，我们最小化一个强增强的特征距离镜像到它在其他域中的对应原型，并最大化它到其他类的原型的距离。总的来说，穿刺PA损失是=1|B组|w（t）（xs，ys）+1|U|1（p（yt）>β）我（7）|i=1|i=1s−tii|i=1|i=1t−si i+v：mala2255获取更多论文˜˜BU跨域交叉集少样本学习9其中和分别是扩充基集和未标记辅助集。为 了 执行 强 大 的 数 据增 强 ， 我 们 应用 随 机 裁 剪 ，Cutout [8] 和RandAugment [7]。RandAugment包含14种不同的变换，并为每个样本随机选择一部分变换。在我们的实现中，每个变换的幅度也是随机选择的，这与[36]类似。5实验5.1数据集DomainNet。 DomainNet[28]是一个大规模的多域图像数据集。 它包含6个不同领域的345个类。在实验中，我们选择真实领域作为源领域，从绘画、剪贴画和素描中选择一个领域作为目标领域。我们将这些类随机分为3部分：基本集（228类）、验证集（33类）和新集（65类），并丢弃19类样本太少。回家 家庭[43]包含65个对象类，通常在办公室和家庭设置中找到。我们随机选择40个类作为基本集，10个类作为验证集，15个类作为新集。有4个域名每个类：真实，产品，剪贴画和艺术。我们将源域设置为real，并从其他三个域中选择目标域在这两个数据集中，我们通过从目标域的基本集和验证集收集数据并删除它们的标签来构建未标记的辅助集。这些未标记的数据与标记的基本集合相结合用于Meta训练。两个域中的验证集都用于调整超参数。报告的结果是来自新集合的600个测试片段的平均值。5.2比较结果我们将我们的方法与广泛的相关方法进行比较。第一组[35，37，21，40，50，42，47，26，6]中的方法在元训练不使用未标记的辅助数据，而第二组[11，38，39，36，29，19]中的方法使用未标记的目标图像以促进跨越域间隙。请注意，第二组中的方法只是在表征学习方面有所不同，并采用与我们相同的评估范式，即，在所述支持集上训练线性分类器。我们还实现了一个基线方法，称为stabPA−，其中我们不应用域对齐，只在增强的源图像上训练特征提取器，这也相当于对Tian el al应用强增强[40]. 我们设β = 0。5，λ = 0。2，m = 0。1作为我们方法的默认值所有比较的方法都是用相同的主干和优化器实现的包括增强技术在内的实施细节见附录。比较结果示于表1和表2中。'r-r'设置表示所有图像都来自源域，因此不适用于+v：mala2255获取更多论文10瓦。Chen等人表1. 与DomainNet数据集上的基线进行比较。我们将“r”表示为真实，“p”表示为绘画，“c”表示剪贴画，“s”表示草图。我们报告5路1杆和5路5杆的准确度为95%的置信区间。5路1拍方法r-r r-p p-r r-c c-r r-s s-rProtoNet[35]63.43±0.9045.36±0.8145.25±0.9744.65±0.8147.50±0.9539.28±0.7742.85±0.89净利润[37]59.49±0.9142.69±0.7743.04±0.9744.12±0.8145.86±0.9536.52±0.7341.29±0.96MetaOptNet[21]61.12±0.8944.02±0.7744.31±0.9442.46±0.8046.15±0.9836.37±0.72 40.27±0.95Tian等人[40]67.18±0.8746.69±0.8646.57±0.9948.30±0.8549.66±0.9840.23±0.7341.90±0.86DeepEMD[50]67.15±0.8747.60±0.8747.86±1.0449.02±0.8350.89±1.0042.75±0.79 46.02±0.93ProtoNet+FWT [42] 62.38 ±0.89 44.40±0.8045.32±0.9743.95±0.8046.32±0.9239.28±0.74 42.18±0.95ProtoNet+ATA [47] 61.97 ±0.8745.59±0.8445.90±0.9444.28±0.8347.69±0.9039.87±0.8143.64±0.95S2M2[26]67.07±0.8446.84±0.8247.03±0.9547.75±0.8348.27±0.9139.78±0.7640.11±0.91中期基线[6]69.46±0.9148.76±0.8548.90±1.12 49.96±0.8552.67±1.0843.08±0.8046.22±1.04stabPA−（Ours）68.48±0.87 48.65±0.89 49.14±0.8845.86±0.8 48.31±0.92 41.74±0.7842.17±0.95DANN[11]-45.94±0.8446.85±0.9747.31±0.8650.02±0.9442.44±0.7943.66±0.92PCT[38]-47.14±0.8947.31±1.04 50.04±0.8549.83±0.9839.10±0.7639.92±0.95平均教师[39]-46.92±0.8346.84±0.9648.48±0.8149.60±0.9743.39±0.8144.52±0.89FixMatch[36]-48.86±0.8749.15±0.9348.70±0.8249.18±0.93 44.48±0.8045.97±0.95启动[29]-47.53±0.8847.58±0.9849.24±0.8751.32±0.9843.78±0.82 45.23±0.96DDN[19]-48.83±0.8448.11±0.9148.25±0.8348.46±0.9343.60±0.7943.99±0.91标准PA（我们的s）-53.86±0.8954.44±1.0056.12±0.8356.57±1.0250.85±0.8651.71±1.01五向五射ProtoNet[35]82.79±0.5857.23±0.7965.60±0.9558.04±0.8165.91±0.7851.68±0.81 59.46±0.85净利润[37]77.68±0.6252.63±0.7461.18±0.9057.24±0.8062.65±0.8147.32±0.7556.39±0.88MetaOptNet[21]80.93±0.6056.34±0.7663.20±0.8957.92±0.7963.51±0.8248.20±0.79 55.65±0.85Tian等人[40]84.50±0.5556.87±0.8463.90±0.9559.67±0.8465.33±0.8050.41±0.8056.95±0.84DeepEMD[50]82.79±0.5656.62±0.7863.86±0.9360.43±0.8267.46±0.7851.66±0.80 60.39±0.87ProtoNet+FWT [42] 82.42 ±0.55 57.18±0.7765.64±0.9357.42±0.7765.11±0.8350.69±0.77 59.58±0.84ProtoNet+ATA [47] 81.96 ±0.5757.69±0.8364.96±0.9356.90±0.8464.08±0.8651.67±0.8060.78±0.86S2M2[26]85.79±0.5258.79±0.8165.67±0.90 60.63±0.8363.57±0.8849.43±0.7954.45±0.89元基线[6]83.74±0.5856.07±0.7965.70±0.9958.84±0.80 67.89±0.9150.27±0.76 61.88±0.94abPA−（我们的s）85.98±0.5159.92±0.8567.10±0.9357.10±0.8862.90±0.83 51.03±0.8557.11±0.93DANN[11]-56.83±0.8664.29±0.9459.42±0.8466.87±0.7853.47±0.7560.14±0.81PCT[38]-56.38±0.8764.03±0.9961.15±0.8066.19±0.8246.77±0.7453.91±0.90平均教师[39]-57.74±0.8464.97±0.9461.54±0.8467.39±0.8954.57±0.7960.04±0.86FixMatch[36]-61.62±0.7967.46±0.89 61.94±0.8266.72±0.81 55.26±0.8362.46±0.87启动[29]-58.13±0.8265.27±0.9261.51 ±0.8667.95±0.78 54.89 ±0.81 61.97 ±0.88DDN[19]-61.98±0.8267.69±0.8861.07±0.84 65.58±0.7954.35±0.8360.37±0.88标准PA（我们的s）-65.65±0.7473.63±0.8267.32±0.8074.41±0.7661.37±0.8268.93±0.87第二组。在表1中，我们可以看到，当支持集和查询集之间存在域转移时，传统FSL方法的性能会迅速下降。利用未标记的目标图像进行域对齐的拟议STABPA可以缓解这个问题，改善以前的最佳FSL基线[6]在6种CSCS-FSL情况下增加了7.05%。在表2中可以在EST-Home数据集 上 找 到 类 似 的 结 果 ， 其 中 stabPA 优 于 之 前 最 好 的 FSL 方 法 S2M2[26]，平均为3.90%。当将我们的方法与第二组中的方法进行比较时，我们发现stabPA在所有情况下都优于它们，与DomainNet上之前的最佳方法FixMatch[36]这些改进表明，+v：mala2255获取更多论文跨域交叉集少样本学习11表2. 比较结果在家庭。我们把r表示准确度报告为95%置信区间。5路1拍方法r-r r-p p-r r-c c-r r-a a-rProtoNet[35]35.24±0.6330.72±0.6230.27±0.6228.52±0.5828.44±0.6326.80±0.4727.31±0.58净利润[37]34.86±0.6328.28±0.6227.59±0.5627.66±0.5825.86±0.6025.98±0.5427.83±0.63MetaOptNet[21]36.77±0.6533.34±0.6933.28±0.6528.78±0.5328.70±0.6429.45±0.69 28.36±0.64Tian等人[40]39.53±0.6733.88±0.6933.98±0.6730.44±0.6030.86±0.6630.26±0.5730.30±0.62DeepEMD[50]41.19±0.7134.27±0.7235.19±0.7130.92±0.6231.82±0.7031.05±0.59 31.07±0.63ProtoNet+FWT [42] 35.43 ±0.64 32.18±0.6730.92±0.6128.75±0.6227.93±0.6327.58±0.52 28.37±0.65ProtoNet+ATA [47] 35.67 ±0.6631.56±0.6830.40±0.6227.20±0.5626.61±0.6227.88±0.5528.48±0.65S2M2[26]41.92±0.68 35.46±0.7435.21±0.70 31.84±0.6631.96±0.6630.36±0.5930.88±0.65中期基线[6]38.88±0.6733.44±0.7233.73±0.6830.41±0.6130.43±0.6730.00±0.5830.31±0.64abPA−（我们的s）43.43±0.6935.16±0.72 35.74±0.6831.16±0.66 30.44±0.64 32.09±0.6231.71±0.67DANN[11]-33.41±0.7133.60±0.6630.98±0.6430.81±0.7031.67±0.6032.07±0.64PCT[38]-35.53±0.7335.58±.7128.83±0.5828.44±0.6731.56±0.5831.59±0.65平均教师[39]-33.24±0.7033.13±0.6731.34±0.6230.91±0.6730.98±0.6031.57±0.61FixMatch[36]-36.05±0.7335.83±0.7633.79±0.6433.20±0.7431.81±0.6032.32±0.66STARTUP[29]-34.62±0.74 34.80±0.6830.70±0.6330.17±0.68 32.06±0.5932.40±0.66标准PA（Ours）-38.02±0.7638.09±0.8235.44±0.7634.74±0.7634.81±0.6935.18±0.72五向五射ProtoNet[35]49.21±0.5939.74±0.6438.98±0.6434.81±0.5935.85±0.5934.56±0.5836.27±0.66净利润[37]47.02±0.5733.95±0.6032.78±0.5933.58±0.6030.15±0.5530.44±0.5535.42±0.70MetaOptNet[21]52.00±0.5943.21±0.6942.97±0.6336.48±0.5736.56±0.6536.75±0.63 38.48±0.68Tian等人[40]56.89±0.6145.79±0.6944.27±0.6338.27±0.6438.99±0.6338.80±0.6141.56±0.72DeepEMD[50]58.76±0.6147.47±0.7145.39±0.6538.87±0.6340.06±0.6639.20±0.58 41.62±0.72ProtoNet+FWT [42] 51.40 ±0.61 41.50±0.6840.32±0.6036.07±0.6235.80±0.6034.60±0.56 37.36±0.67ProtoNet+ATA [47] 51.19 ±0.6341.19±0.6838.06±0.6132.74±0.5633.98±0.6735.36±0.5636.87±0.68S2M2[26]60.82±0.58 47.84±0.70 46.32±0.6740.09±0.6641.63±0.6440.01±0.60 42.68±0.67元基线[6]55.75±0.60 45.33±0.73 42.62±0.63 37.29±0.60 38.21±0.66 38.35±0.6241.54±0.71StabPA−（Ours）61.87±0.5748.02±0.7346.27±0.67 38.22±0.66 39.88±0.63 41.75±0.5944.09±0.69DANN[11]-45.09±0.48 42.71±0.65 39.11±0.61 39.49±0.69 41.40±0.59 43.68±0.73PCT[38]-48.06±0.68 46.25±0.64 34.10±0.58 35.59±0.66 40.85±0.58 43.30±0.74[39]第三十九话-44.80±0.69 43.16±0.61 39.30±0.61 39.37±0.66 39.98±0.60 42.50±0.68[36]第三十六话-48.45±0.7047.17±0.6843.13±0.6743.20±0.6941.48±0.6044.68±0.72[第29话]-47.18±0.7145.00±0.6438.10±0.6238.84±0.7041.94±0.6344.71±0.73StabPA（我们的）-49.83±0.6750.78±0.7444.02±0.7145.55±0.7045.64±0.6348.97±0.69所提出的双向原型对准是利用未标记图像来减少CDCS-FSL的域间隙的有效方法。5.3分析穿刺PA是否学会了紧凑和对齐的表示？为了验证stab PA是否确实学习了紧凑和对齐的表示，我们使用t-SNE [25]通过元训练过程可视化特征分布。从图3（a）-（d）可以看出，在开始时，来自不同类别的样本严重混合。类别之间没有明显的分类界限。此外，来自两个域的样本彼此远离，表明存在相当大的域偏移（例如绿色和橙色的类）。然而，随着训练的继续，来自同一类的样本开始+v：mala2255获取更多论文基 线 基本 PA 我们的12瓦。Chen等人时期= 1时期= 2时期= 4时期= 10（一）11975310 10 20 30 40 50 60 70 80历元（b）（c）1.201.151.101.051.000.950.900 10 20 30 40 50 60 70 80历元1.251.201.151.101.051.000.950.90（d）其他事项0 10 20 30 40 50 60 70 80历元(e)（f）（g）图三. （a）-（d）在不同训练时期的特征分布的t-SNE可视化。相同类别的样本以类似的颜色绘制，其中较暗的三角形表示源样本，较亮的恢复三角形表示目标样本（以颜色查看效果最佳）。班级中心用黑色边框标记。(e)小说类的域距离。（f）-（g）源域和目标域中新类别之间的可分离性。可分性用平均距离比表示，越低越好。聚集在一起，不同类别之间的差距正在增加。换句话说，可以通过stabPA获得紧凑的特征表示此外，我们可以看到，来自不同领域的样本被分组到它们的地面实况类中，即使没有为目标领域数据提供标签信息。这些观察结果表明，stabPA确实能够学习紧凑和对齐的表示。stabPA能学习新类的可泛化表示吗？ 为了验证stab PA学习的表示的泛化能力 ， 我 们 提 出 了 两 个 定 量 度 量 ， 原 型 距 离 （ PD ） 和 平 均 距 离 比（ADR），分别表示新类之间的域距离和类可分性。小的PD值意味着两个域彼此很好地对齐，并且小于1的ADR表示大多数样本被分类到它们的地面实况类中。关于这两个指标的详细定义可以在附录中找到。我们将stab PA与不利用目标图像的FSL基线[40]以及BasicPA进行了比较，BasicPA通过简单地最小化两个域中原型之间的点对点距离来对齐两个域[48]。结果见图3（e）-（g）。值得注意的是，所有这些方法都可以实现较低的域距离作为训练过程，和BasicPA得到最低的域距离在最后。然而，BasicPA并没有像我们的方法那样提高类可分性，如图3（f）-（g）所示劣类可分性可以理解为BasicPA仅仅是为了减小特征距离基 线 基本 PA 我们的畴距基 线 基本 PA 我们的可分离性（来源）分离度（目标）+v：mala2255获取更多论文跨域交叉集少样本学习13表3. 辅助集中未标记样本数和基类数的影响。我们在DomainNet上报告了6种情况的平均准确率样本数基类数[36]第三十六话百分之十百分之四十百分之七十百分百0%的百分比百分之十百分之四十百分之七十百分百单次拍摄47.7251.76