7369隐式样本扩展在无监督身份识别中的应用Xin yuZhangg1*，DongdongLig3，1张，Zhig angWangg1，JianWangg1，ErruiDingg1，Javen Qinfeng Shi g2，Zhaoxiang Zhang g3，4，JingdongWang g1†1百度VIS，中国2澳大利亚阿德莱德大学3中国科学院自动化研究所UCAS，中国4中国科学院人工智能与机器人研究中心{zhangxinyu14，wangzhigang05，wangjian33，dingerrui，wangjingdong}@ baidu.com{lidongdong2019，zhaoxiang. zhang}@ ia.ac.cn，javen. adelaide.edu.au摘要大多数现有的无监督人再识别（Re-ID）方法使用聚类来生成用于模型训练的伪标签。不幸的是，聚类有时会将不同的真实身份混合在一起，或者将同一身份分裂成两个或多个子聚类。对这些噪声聚类的训练实质上妨碍了Re-ID的准确性。由于每个恒等式中的样本有限，我们假设可能缺少一些潜在的信息来很好地揭示准确的聚类。为了发现这些信息，我们提出了一个隐式样本扩展（ISE）的方法来生成我们所谓的支持样本周围的集群边界的aries。具体地说，我们通过渐进线性插值（PLI）策略从实际样本及其相邻聚类中生成支持样本。PLI用两个关键因素控制发电，即，1)从实际样本朝向其K-最近聚类的方向，以及2）用于混合来自K-最近聚类的上下文信息的程度。同时，给定支持样本，ISE进一步使用标签保持损失将它们拉向其对应的实际样本，以便压缩每个聚类。因此，ISE减少了“子和混合”聚类错误，从而提高了Re-ID性能。大量实验表明，该方法是有效的，并达到了最先进的性能，为无监督的人Re-ID。代码可在：https：//github.com/PaddlePaddle/PaddleClas网站。1. 介绍无监督的人再识别（Re-ID）旨在学习没有注释的人的外观特征。它因其广泛的应用而受到越来越多的关注和欢迎*同等贡献。†通讯作者。实际样品支持示例示例扩展训练再聚类(a) ISE后的子群集训练再聚类(b) ISE后的混合群集图1.聚类行为随着我们的隐式样本扩展（ISE）而改变。不同的形状代表不同的地面真实身份，而不同的颜色代表不同的伪标签（最好用颜色查看）。通常，聚类可以产生（a）子聚类，其中样本共享相同的真实身份，但是被分成两个或更多个聚类;以及（b）混合聚类，其中具有不同身份的样本被混合到同一聚类。我们的支持示例有助于将子集群合并为一个，并将混合集群分开，从而提高性能。在现实世界中的实际应用。一种工作[2，8，13，25，43，44，49]试图将知识从现有的标记数据转移到未标记的目标数据，称为无监督域自适应（UDA）。另一种工作依赖于无监督学习（USL），纯粹从未标记的图像中学习表示，这比UDA更数据友好。大多数USLRe-ID方法[4，9，14]遵循迭代的两阶段训练过程：1）使用聚类[12，22]生成伪标签作为下一步的监督;2）使用伪标签训练Re-ID模型。在这里，我们专注于研究USL Re-ID，并遵循两阶段流水线。聚类在上述USL中是至关重要的，并且已经从现有USL方法中吸引了极大的关注。例如，ACT [38]利用两个模型，试图为彼此细化伪标签。[14 ]第14话自我介绍7370以逐步生成更可靠的聚类用于训练。尽管取得了进展，但这些方法仍然受到噪声伪标签的影响，特别是图1左侧所示的子集群和混合集群。基于这种观察，我们假设由于每个身份中的有限样本，在现有的数据分布中可能丢失一些潜在的信息。如果我们能够补偿丢失的信息，则可以在下一步中提高聚类质量例如，如果在具有相同身份的两个子集群之间存在中间变化，则它们可以被正确地合并到一个集群中。为了实现这一目标，我们提出了一个隐式的样本扩展（ISE）的方法，逐步合成柔软的样本，以改善每个集群的上下文表示。我们将这些补充样本命名为支持样本，因为它们经常在俱乐部边界周围巡逻。受[3，28，32]的启发，深度特征通常是线性化的，我们提出了一种渐进线性插值操作（PLI）来指导支持样本的生成，具有两个因素，即：方向和程度。具体地，方向因子控制支持样本的生成是从实际样本到嵌入空间中的其K-最近邻聚类。这些方向上的支持样本更有意义，因为相邻聚类更有可能具有上述聚类问题。度因子决定了支持样本应该包含多少来自K-最近聚类的上下文信息。我们逐步增加度，以越来越远的支持样本来填充聚类间隙该策略可以有效地防止支持样本攻击导致的训练崩溃，特别是在训练的早期阶段。除了PLI，我们还提出了一个标签保持（LP）对比损失，以强制支持样本接近其原始压缩每个集群。在样本生成后，我们将支持样本视为实际样本，让它们参与模型训练。我们观察到，在支持样本的帮助下，数据分布得到了细化，并且可以消除虚假聚类，包括子聚类和混合聚类（更多细节请参见实验）。此外，与基于GAN（通用对抗网络）的方法[11，51]不同，ISE是无参数的，并且在嵌入空间中隐式地而不是在图像像素空间中显式地执行样本生成。 因此，支持样本可以很容易地利用在损失函数，没有任何特征提取过程。这些合并，它使建议ISE一个非常有效的方法。总之，我们的贡献如下：• 本文提出了一种新的隐式样本扩展（ISE）方法，该方法通过生成支持样本提供互补信息，能够很好地处理子聚类和混合聚类错误;• 我们提出了一种新的渐进线性插值（PLI）策略和一个标签保持的对比损失（LP）的支持样本生成;• 我们进行了全面的实验和分析，以显示ISE的有效性，和ISE优于当前国家的最先进的大幅度。2. 相关工作无监督人员Re-ID无监督人员Re-ID方法通常分为两类。第一种是无监督域自适应（UDA）方法，它将知识从标记的源数据转移到未标记的目标数据。这些方法仍然需要标注部分数据。另一种是纯无监督学习（USL）Re-ID，没有任何身份标注，更数据友好。本文重点研究了USL Re-ID，最近的工作主要集中在伪标签生成和框架设计上。BUC [20]提出了一种自下而上的聚类方案，将单个样本逐渐合并为更大的聚类。MMCL [30]提出了一种多标签分类机制来构建各个图像之间的关系。SpCL [14]采用自定进度的学习来逐步生成更可靠的集群。CycAs [33]和TSSL [36]都使用tracklet信息来更正确地预测伪SoftSim [21]直接使用基于相似性的软标签来训练Re-ID模型。最近，ICE [4]利用 实 例 间 成 对 相 似 性 来 增 强 对 比 学 习 。 Chronter-Contrast [9]存储特征并在聚类级别计算对比损失，以一致地更新每个聚类。不同于这些工作，我们的方法强调的问题，子和混合集群，并旨在弥补一些缺失的信息，以改善聚类结果和提高性能。图像生成。 图像生成是丰富有限数据的常用策略。Mixup [42]和cutmix [40]直接融合两个图像或图像块作为数据增强。Viewmaker [27]通过添加学习的扰动产生不同 的视图SPGAN [11]提出 了一种 相似性 保持的GAN，用于两个域之间的风格转换DGNet++[51]对人物形象的结构和表象进行梳理，并将其重新融合，重建新的人物形象。Chen等人[5]使用3D网格来合成人物图像的更多视图，以学习视图不变特征。与这些工作不同的是，我们的方法是特征级的，参数的自由，可以用来减轻不准确的聚类结果。3. 方法在本节中，我们首先建立了现有的基于聚类的USLRe-ID方法的一般形式化，并介绍了我们的基线。然后，我们详细阐述了我们的隐式样本扩展（ISE）方法的细节，包括渐进线性插值策略（PLI）和标签，7371˜·--联系我们∈Σ∈|| || || ||CNNPLI（）*（向前和向后仅向前仅用于更新{cc}C&c%030图像00031∗{1c}Cc%&方向：学位：/-最近的渐进邻居聚类更新λ+ λ(a) 整体隐式样本扩展流水线（ISE）（b）渐进线性插值（PLI）图2.概述（a）整体隐式样本扩展流水线（ISE）和（b）渐进线性插值（PLI）策略的细节。 对于一个特定的样本特征f，我们应用PLI生成支持样本f，用于优化模型的样本扩展损失LSE和标签保持损失LLP。在生成过程中，PLI寻找K-最近聚类中心cλ作为生成方向，并采用渐进更新的λ来控制生成度。更多细节见算法1。保持方案（LP）。3.1. 初步设X=x1，x2，...，x N表示未标记的Re-ID数据集，其中x i是第i个图像，N是总图像数。在USL Re-ID任务中，我们的目标是训练一个深度神经网络fθ（），将图像从数据点空间X投影到嵌入空间F中。给定一个特定的样本x，fθ（x）是从模型中提取的特征这里我们省略了模型参数θ，并使用f=f（x）作为特征嵌入。f∈Rd是d维向量.最近基于聚类的USL Re-ID方法[4，8，9，13，14，30，31，43，50]利用K-means [22]或DB-SCAN [12]为未标记的样本分配伪标签。然后，我们得到一个“标记”数据集X′=（x1，y1），（x2，y2），.，（xN′，yN′），其中y是1、. -是的-是的得双曲余切值.是第i个选定图像的伪标签，C是第i个选定图像的伪标签。总群集数。 这里有N’个图像具有有效的伪标签，而其他图像被忽略。利用X′，我们可以在监督学习的形式下对模型进行优化。同一类中的项目被认为是同一个人，作为阳性样本。其他在不同的集群是消极的。基于此，现有方法[9，14，31，50]采用InfoNCE损失函数[23]进行模型训练。尽管在不同的方法中有不同的变体，我们将损失函数总结为一般公式：L=−logexp（sim（f·m+）/τ），（1）形成具有簇心的存储体MRd×C。这里M等于簇号C。同时，这些方法还设计了各种通常，它们采用动量更新策略，其公式如下：m<$µ·m+（1−µ）·f，（2）其中f是与存储器条目m具有相同身份的编码特征。具体地，f在[14，50]中用于更新其自己的实例条目，而在[9，31]中用于更新其自己的集群条目。Chronter-Contrast [9]进一步使用批量最难样本进行内存更新1。在本文中，我们遵循Cluster-Contrast [9]来建立我们的基线，其中内存库由集群质心构建，并且一个小批次中的最难/每个样本用于内存更新。详细的训练设置和与聚类对比度的差异在第节中描述。四点二。3.2. 渐进线性插值然而，上述基于聚类的USL人员Re-ID方法仍然遭受子聚类和混合聚类。我们假设嵌入空间中潜在的缺失信息导致不准确的聚类。我们的假设在于，聚类质量可以在下一步中通过涉及更丰富的信息来提高，如第2节所述。1.一、基于这种动机，我们提出了一种渐进线性插值（PLI）方法如下。给定一个样本特征f，我们生成其对应的信息Mm=1 exp（sim（f·mm）/τ）F通过线性内插操作来支持样本f其中mm是存储体M的第m个条目，并且f=f+λf，（3）m+与f共享相同的伪标号。sim（u，v）=uTv/uv表示两个向量u和v之间的余弦相似性。 一些方法[14，50]用实例（aka. 样品）特征。 这样，M可以是整个样本数N或小批量B。其他方法[9，31]交替其中λf控制方向，λ控制度，这是样本扩展过程中的两个重要因素。从有问题的集群的角度来看，1[9]更改为在更新版本中使用minibatch中的每个样本进行动量更新。7372c=1i=1i=1i=1更新群集质心{c};ic=1^˜fc）/τ2）联系我们exp（sim（f^·cc）/τ1）关于我们+支持样本被期望是信息性的以分布在决策边界周围。从而设计了样本生成的跟踪方向和跟踪度.方向相邻聚类更有可能具有错误分类的样本。因此，我们的目标是产生支持山姆-算法1：一个时期要求：网络fθ;簇数C;一个epoch中从T0到Tt的迭代次数;批量大小B;小批量中的簇数CB。输入：具有伪标签X′={（xi，yi）}N′的训练数据集，在两个相似的集群中分布的PLE我们特别其中yi∈{1，. -是的-是的，C};簇质心{cc}Ci=1.首先，基于余弦相似度为f找到K-最近邻聚类，其中余弦相似度是用f和整体1，对于t=T0至Ttdo2样本a小批量B={（xi，yi）}B3提取嵌入特征F={fi}B，yi∈{ci}CB;onB;存储体M∈Rd×C。 那么支持i=14.根据等式2，通过PLI定义生成方向4个;样本被建立为从f的聚类质心c到K个最近点的向量。在这里，我们设置K= 1作为示例，并将1-最近聚类质心表示为c= 1。因此，将方向f表述如下：5.根据等式2，通过PLI调整发电度。5个;6.根据等式6生成支持样本3个;7根据等式计算LSE和LLP6和Eq。7;CBi=19更新网络参数θ;f=（c-c）。（四）10端部输出：更新的网络fθ和聚类质心{cc}C。通过这种方式，生成的支持样本具有丰富的上下文语义，从它本身和它的邻居集群，这是信息的补充。因此，方向控制了哪些信息值得补偿。当K >1时，每个相邻簇的质心决定一个方向因子.我们为每个方向生成相应的支持样本，并且对于f存在总共K个支持样本。℃下此外，在样本扩张中，度也是必不可少的.度决定了支持样本中应该包含多少相邻聚类的信息太大的λ会使支持样本远离其原始聚类，误导模型训练。太小的λ会相反地生成几乎无用的支持样本，因为它们与原始样本相似。因此，我们对λ执行渐进式更新，以随着训练的进行逐渐涉及更多的上下文信息。称为质心。τ1是温度超参数。同时，我们利用f来更新等式中的相应聚类质心c。二、这里mc存储聚类质心cc。在这种情况下，每个聚类可以通过考虑更多的上下文信息来调整其表示，而不是直接拟合不准确的聚类结果。3.3. 标签保留计划生成的支持样本通过包含丰富的上下文信息有助于扩展聚类边界。然而，这些支持样本预计不会改变太多，以至于它们将成为原始聚类的离群值。除了支持样本的生成度之外，我们还提出了一个标签保持（LP）损失，以使它们接近原始样本：+作为训练迭代的变量，其增加loga-在训练过程中，L=−logexp（sim（f·fc=1exp（sim）/τ2）−、（7）LPP2CBλ=λ0 log（e−1·t+1），（f·f其中CB是小批量的簇号。f−是其中t/T表示当前/总迭代。 λ0是基度在早期阶段，Eq。5加强支持样本接近其原始样本，以避免在特征不够好时引入噪声。随着训练的进行，特征表示变得更加鲁棒。在这段时间里，需要更远的支持样本，涉及来自相邻聚类的更丰富的上下文，以包括更难的底层信息并增强数据分布。在样本扩展之后，支持样本可以作为实际特征用于模型优化.然后，我们修改InfoNCE损失（等式2）。1）如下：对于给定的f，最难的正支持样本，并且fc是最难的负一个在一个小批量的第c个簇τ2是方程中的温度超参数。7 .第一次会议。与建议的标签保持损失，支持样本被约束为类似于自己的集群的聚类器，和不同的样本从其他集群。3.4. 隐式样本扩展我们将整个方法命名为隐式样本扩展（ISE），其中支持样本在嵌入空间中隐式生成，并在运行中动态更改。总的来说，我们首先通过progress生成支持样本-LSE=−logexp（sim（f^·c）/τ1）、（6）的线性插值方法，然后利用它们作为实际样本，以帮助模型优化。我们的最终损失函数如下：其中f=f;f，原始样本和支持样本两者。Cc=1817373有助于模型的优化。cc是第c个俱乐部L=LSE+βLLP，（8）7374×−+˜˜其中β是损失权重，平衡两个损失函数LSE和LLP。ISE的细节在算法1中。4. 实验4.1. 数据集和评价方案数据集。我们在Market- 1501 [45]和MSMT 17 [35]上评估了我们提出的方法。Market-1,501包括1，501个身份的32，668张图像，具有6个相机视图。有751个身份的12，936个图像用于训练，750个身份的19，732个图像用于测试。MSMT17包含126，441方法号组件Market-1501MSMT17PLILP地图 top-1地图 top-1基线No.1--82.592.530.158.6No.2λ-83.993.933.563.9ISENo.3No.4-λ0✓✓83.683.392.793.431.433.859.964.8No.5λ✓84.794.035.064.7表1.我们的隐式样本扩展（ISE）中每个组件的有效性ISE包括渐进线性插值（PLI）和标签保持方案（LP）。 λ0是PLI中的常数基度，λ是逐步更新的基度。15台摄像机拍摄的4,101张身份照片。训练集有32,621张图像，包含1,041个身份，测试集有93,820张图像，包含3,060个身份。评估方案。我们使用累积匹配特性（CMC）曲线[15]和平均平均精度（mAP）[1]作为评估指标。测试中没有后处理操作，例如：，重新排序[48]。4.2. 实现细节Re-ID模 型 的主 干 是 在 ImageNet [10]上 预 训练 的ResNet-50 [16]。该模型的修改遵循“对比度”[9]。输入图像的大小为基线Our ISE256 128，批量大小为256。在每个时期的开始，我们执行DBSCAN聚类生成伪标签。DBSCAN中两个样本之间的最大距离在Market-1501中设置为0.4，在MSMT17中设置为0.7。我们用簇质心初始化存储体M，并在每个时期开始时重新初始化它。根据经验，Market-1501中的内存更新速率µ设置为0.2，MSMT 17中的内存更新速率设置为0.1。失重β设定为0.1。温度因子τ1和τ2分别为0.05和0.6。活泼地我们采用Adam [18]优化器，是5E-4。初始学习率为3.5e-4，基度λ0为1.0。对于Market-1501，总epoch为70，每30 epoch后学习率乘以0.1。对于MSMT17，我们在每20个epoch之后将学习率除以10，总epoch为50。我们的基线是基于最佳对比度[9]，它实现了很好的性能。因此，我们利用一个小批量中最难的样本来更新Market-1501上的内存库，而使用MSMT 172上的所有批量样本。4.3. 消融研究在这一小节中，我们深入分析了ISE中每个组件的有效性，并说明了ISE对聚类质量的影响。[2]这个设置是基于我们重新实现的Chronter-Contrast [9]。事实上，我们发现在MSMT17上直接使用最难的示例进行内存更新时，基 线 性 能 下 降 了 很 多 。内 存 更 新 最 难 样 本 的 设 置 仅 达 到19.5%/41.2%mAP/top-1，大大低于所有批量样本的内存更新最难样本的设置（30.1%/58.6%）。图3. t-SNE [29]在相同样本和时期上基线和ISE的聚类结果的可视化。除了真实样本，我们还绘制了生成的支持样本（空心形状），以更好地显示ISE的有效性。不同的形状和颜色分别代表不同的地面真实身份和伪标签。这些样品的所有不准确的聚类都由ISE校正。(Best以彩色和放大率显示。）渐进线性插值（PLI）的有效性。在表1中，我们的PLI策略的有效性在比较（No.1vs. No.2）和（No.4vs.No.5）时被揭示。使用PLI生成的支持样本，性能大大优于基线，特别是Market-1501的mAP/top-1改善+1.4%/+1.4%，MSMT 17的mAP/top-1改善+3.4%/+5.3%。它清楚地表明，我们的PLI是有益的，以改善特征表示。我们还验证了渐进更新方案在λ上的有效性（即，，方程式（五）。在Market-1501和MSMT 17上，该方案与No.4相比，性能分别提高了+1.4%和+1.2%mAP，表明需要逐渐增加支持样本以提高模型性能。标签保留方案（LP）的有效性。（1号与3号）和（2号与5号）的结果证明了LP的有效性。第3号表示我们将LP应用于实际样品。 这样，在等式中f被简化为f+，而f c被简化为f−c。 7，表示在小批量中从实际样品中选择合格样品和不合格样品。与基线相比，No.3的结果显示，混合集群73750.80.810.90.60.40.20102030405060 700.60.40.20102030405060 700.80.70.60.5102030405060 700.90.8102030405060 700.30.20.100.30.20.10(a) Market-15010.70.60.50.40.850.80.750.70.6510 20 30 405010 20 30 405010 20 30 405010 20 30 40 50(b) MSMT17图4.从基线和我们的ISE（a）Market-1501和（b）MSMT 17数据集的不同时期的聚类质量方法λ的类型Market-1501MSMT17地图top-1地图top-1基线-82.592.530.158.6恒定83.393.433.864.8ISE平方线性84.084.693.193.732.433.861.063.0对数84.794.035.064.7表2. PLI中不同类型度λLP 在 Market-1501 和 MSMT 17 上 导 致 +1.1% 和+1.3%mAP改进，表明LP甚至可以在实际样本上改进特征表示。当对支持样品（2号与5号）应用LP时，Market- 1501 的 性 能 从 83.9% 提 高 至 84.7% mAP ，MSMT 17的性能从33.5%提高至35.0% mAP。当PLI和LP结合在一起时，我们的ISE实现了与基线相比，Market-1501和MSMT 17的mAP/top-1改善+2.2%/+1.5%和4.9%/+6.1%我们相信，我们的ISE确实产生了信息支持样本作为数据分布的补充，这有利于提高模型的区分度。聚类质量。 我们可以直观地想象出-表3. ISE中样本扩展的方向和程度可能会在基线上变得更糟我们相信，生成的支持样本可以帮助细化嵌入空间中的数据分布，从而提高聚类质量。4.4. 参数分析PLI中度λ的渐进更新类型。如等式1所示。5.我们让度λ随着训练的进行而递增，除了对数型之外，λ还可以设置为各种形式。 我们探索了四种 类型，即。，con-常数（λ=λ0）、线性（λ=λ0·t）、平方（λ=λ0·t2）和支持样品的IOR 如图3所示，2 2T2T2提出的ISE有效地提高了聚类质量，其中子聚类和混合聚类得到了很好的平衡。我们还在图4中的（a）Market-1501和（b）MSMT 17数据集上评估了不同训练时期的聚类质量。我们采用[7]3中的四个度量，包括Fowlkes mallows评分、调整后的rand评分、调整后的互信息评分和v测量评分。分数越大表示所有指标的结果越好。这表明我们的ISE在所有指标上都实现了优于基线的性能。此外，ISE的聚类质量在训练过程中逐步提高，3scikit-learn.聚类-性能-评估对数（Eq.（5））。这里我们设λ0= 1。0为所有类型。在表2中，无论λ的更新类型如何，ISE始终超过基线。相比之下，渐进式类型（例如，、线性、对数）通常更好而不是一个常数。验证了早期阶段渐进式支持样本生成可能妨碍模型优化的假设。表2还显示对数类型在Market-1501和MSMT 17上都获得了最佳结果在没有指定的情况下，我们在所有其他实验中使用对数作为λPLI的方向和程度在PLI的样本扩展过程中，生成方向和生成度是两个要素。在本节中，我们首先验证了基线ISE基线ISE基线ISE基线ISE基线ISE基线ISE基线ISE福克斯马洛斯评分福克斯马洛斯评分调整后的兰德分数调整后的兰德分数adjusted_mutual_info_scoreadjusted_mutual_info_scorev测量分数v测量分数基线ISE方法方向基地度λ0Market-1501MSMT17地图top-1地图top-1基线--82.592.530.158.6ISE随机最近的1.083.883.884.792.793.194.028.327.835.056.556.264.7最近0.10.51.02.083.283.684.784.292.493.194.093.631.233.035.033.060.062.364.764.07376----→ISE基线3.02.52.01.51.00.50.10.010.001ISE基线3.02.52.01.51.00.50.10.010.001表4. ISE中K-最近簇的影响81 82 83 8485(a) 地图9191.592九十二点五9393.594(b) top-1方法MS→MM→MS地图top-1地图top-1基线ISE25.530.253.859.71.52.75.98.6表5.直接域推广的结果。“M” and “MS” represents Market-1501 and MSMT17,K-最近邻方向，并探讨了不同基度λ0. 在方向上，除了选择K-最近簇外，还探讨了K-随机和K-最远簇选择策略.这里我们设K=1。表3中的上块表明，最近的方向获得最佳结果。 这是因为分布在两个相似聚类之间的支持样本可能会补偿一些丢失的有用信息。相比之下，其他两种策略可能会产生无意义的样本。因此，各种方向的支撑样品只能带来有限的改善，甚至退化。对于度，我们设置λ0= 0。1，0。五一0，2。0在表3中的下部块中。随着λ0的增大，性能逐渐提高，然后开始下降。 太大的λ0会导致更远的支持样本，这可能会成为离群值，并对模型训练产生负面影响。相反，太小的λ0容易产生无用的支持样本，这对性能的积极影响较小。示例扩展到K-最近聚类。表4显示了我们的方法中不同K数的影响。在本实验中，我们设置K=1，3，5，10我们可以看到，随着K的增长，Market-1501的性能几乎保持不变，但MSMT 17的性能下降了很多。同时，K值过大也不利于Market-1501的性能我们推测这可能是因为数据点分布在流形上，这需要线性插值在每个点附近的局部欧氏空间内。如果K很大，则第K个质心远离兴趣点，甚至在给定点附近的局部欧几里得空间之外。因此，所生成的支持样本不在原始流形中，并且不属于任何聚类。因此，它涉及噪声并降低性能。因此，在本文中我们设置K= 14.5. 更多的讨论我们的ISE与 Mixup [42]。虽然ISE和Mixup都生成插值样本，但差异很大，图5.我们的ISE与市场上的传统Mixup [42]-1501。y轴的数量是超参数α，表示从λ<$Beta（α，α）随机采样的插值比。Mixup的插值发生在原始图像或隐藏特征上，而我们的插值发生在输出嵌入上。2)Mixup中的插值可以在两个任意输入之间进行，而ISE选择K最近的质心作为插值方向。3)Mixup中的插值样本具有插值标签，并且不属于任何现有类。相反，ISE中的支持样本属于由生成度控制的单个可识别类在图5中，我们通过实验研究了Mixup，并将其与ISE进行了比较。通过适当的超参数α，Mixup算法可以对输入图像进行数据增强，从而提高算法的性能。但是，如果不对合成的方向和程度进行控制，相应地，我们的ISE可以有效地生成信息的支持样本之间的两个相似的聚类嵌入空间，以弥补缺失的信息。ISE有助于域泛化（DG）。我们发现，基线中的几个簇很容易收缩到嵌入空间中的一个小区域，如图3所示。这种紧凑的数据分布增加了过拟合的风险。相比之下，我们的ISE生成支持样本，巡逻周围的clus- ter边界和提高聚类行为。我们认为这也应该有助于领域泛化因此，我们研究了基线和ISE在DG任务中的表现如表5所示，我们的ISE显著优于基线，并获得一致的优 越 结 果 。 特 别 是 ， ISE 在 MS M 设 置 上 带 来 了+4.7%/+5.9% mAP/top-1改进。这表明支持样本确实有助于细化数据分布并提高Re-ID模型的通用化能力。4.6. 与最先进方法的我们在表6中比较了所提出的ISE与最先进的个人Re-ID方法。对于USL设置，ISE优于或竞争于先前的方法。特别是，我们的方法显着优于其他以前的方法与平均池。ISE在Market-1501数据集上获得84.7%的mAP和94.0%的top-1，在MSMT 17数据集上获得35.0%的mAP和64.7%的top-1。考虑到Monster-Contrast [9]使用广义均值池混淆基线我们的ISE混淆基线我们的ISE方法K-最近集群Market-1501MSMT17地图top-1地图top-1基线-82.592.530.158.6184.794.035.064.7ISE3584.284.893.393.933.331.963.161.81084.293.630.560.27377方法参考Market-1501MSMT17地图top-1top-5前10地图top-1top-5前10无监督的BUC [20]AAAI'1929.661.973.578.2----SSL [21]CVPR'2037.871.783.887.4----JVTC [19]ECCV'2041.872.984.288.715.139.050.956.8MMCL [30]CVPR'2045.580.389.492.311.235.444.849.8[41]第四十一话CVPR'2056.480.091.695.2----CycAs [34]ECCV'2064.884.8--26.750.1--GCL [6]CVPR'2166.887.393.595.521.345.758.664.5SpCL [14]NeurIPS'2073.188.195.197.019.142.355.661.2IICS [37]CVPR'2172.989.595.297.026.956.468.873.4JVTC+* [5]CVPR'2175.490.596.297.129.754.468.274.2JNTL-MCSA [39]CVPR'2161.783.992.3-15.535.248.3-ICE [4]ICCV'2179.592.097.098.129.859.071.777.0[31]第三十一话AAAI'2179.291.496.397.736.967.478.081.4ICE[4]ICCV'2182.393.897.698.438.970.280.584.4OPLG-HCD [46]ICCV'2178.191.196.497.726.953.765.370.2MPRD [17]ICCV'2151.183.091.393.614.637.751.357.1[9]第十九话Arxiv'2182.693.097.098.133.363.373.777.8造影剂-造影剂（我们的基线）-82.592.596.997.930.158.669.674.4Our ISE-84.794.097.898.835.064.775.579.4我们的ISE + GeM池-85.394.398.098.837.067.677.581.0完全监督PCB [26]ECCV'1881.693.897.598.540.468.2--[47]第四十七话CVPR'1986.094.8--52.377.2--ICE（地面实况）[4]ICCV'2186.695.198.398.950.476.486.690.0我们的ISE（w/ ground-truth）-87.895.698.599.251.076.887.190.6表6. Market-1501和MSMT 17数据集上的ReID方法比较。没有相机信息的最佳USL结果用粗体标记。纯粗体数字表示使用平均池，而下划线数字表示使用GeM [24]池。†表示使用额外的相机知识。(GeM)[24]在最终结果4中，我们还报告了ISE与GeM的结果，以便进行公平比较。有了GeM，我们的ISE仍然能持续取得更好的结果。注意，与ICE [4]和CAP [31]不同，我们不使用相机信息。在非摄像头设置下，我们的ISE在MSMT 17上获得35.0%/64.7% mAP/top-1，在很大程度上优于OPLG-HCD [46]、ICE [4]（无摄像头）和增强对比度[9]。此外，我们还通过使用地面真实身份而不是伪标签将ISE转移到监督设置。从表6的下半部分，我们可以看到我们的ISE与众所周知的监督方法（例如，，PCB和DG-Net），并以地面真理超越ICE [4]。实验结果表明了ISE在有监督Re-ID上的有效性。5. 结论和限制结论在基于聚类的无监督人身份识别方法中，当一个身份分成多个类或不同身份混合在一个类中时，会混淆学习过程，导致识别效果不理想。为了缓解这个问题，我们提出了一个隐式的样本扩展方法来生成支持sam-4值得注意的是，我们仔细检查了代码和发布的训练日志，发现他们在最终结果中使用了GeM池为了进行公平比较，我们还报告了ISE + GeM合并的结果。在这里，我们报告的结果的第一个版本的扫描器对比[9]。在两个相邻聚类之间建立支持样本，并期望通过这些支持样本来关联同一个身份的样本。具体地说，我们提出了一种渐进线性插值策略来控制支持样本的产生与方向和程度的因素。一个标签保持损失也提出了限制支持样本接近自己的集群成员。在两个流行的Re-ID数据集上的实验表明，该方法能够显著提高聚类结果，并取得了新的性能该方法也表现出更好的领域泛化能力比基线。局限性。我们的ISE生成支持样本，从实际样本到嵌入空间中的相邻聚类质心。对于每个样本，所选择的最近聚类质心的数量固定为K。这可能不是最佳解决方案。如果某些聚类已被很好地分类，则不需要添加补充样本。相比之下，当特定聚类由多个标识混合时，最好在多个K-最近方向上生成支持样本。我们将在未来的工作中探索动态K鸣谢本研究得到了国家自然科学基金重大专项新一代人工智能（No.2018AAA0100400）、国家自然科学基金 （ No.61836014 ， No.U21B2042 ， No.62072457 ，No.2018AA0100400 ） 、 国 家 自 然 科 学 基 金（ No.61836014 ， No.U21B2042 ， No.62072457 ，No.2018AA0100400 ） 、 国 家 自 然 科 学 基 金（ No.61836014 ， No.U21B2042 ， No.62072457 ，No.2018AA0100400 ） 、 国 家 自 然 科 学 基 金（ No.61836014 ， No.U21B2042 ， No.62072457 ，No.2018AA01010400）62006231）。7378引用[1] 宋白、项白、齐天。监督平滑流形上可扩展的人物再识别 在procIEEE Conf. Comp. Vis.帕特识别，2017年。5[2] 白泽晨，王志刚，王健，胡迪，丁二瑞。无监督的多源域适应个人重新识别。在Proc. IEEE Conf. Comp. Vis.帕特识别第12914-12923页。计算机视觉基金会/ IEEE，2021。1[3] YoshuaBengio ， Gre'goireMesnil ， YannDauphin 和SalahRifai。通过深度表示更好地混合。在proc Int.马赫会议学习. 第552-560页。PMLR，2013年。2[4] Hao Chen ， Benoit Lagadec ， and Francois Bremond.ICE：用于无监督人员重新识别的实例间对比编码。Proc. IEEE Int. Conf. Comp. Vis. ，2021年。一二三八[5] Hao Chen ， Yaohui Wang ， Benoit Lagadec ， AntitzaDantcheva，and Francois Bremond.联合生成和对比学习，用于无监督的人员重新识别。Proc. IEEE会议Comp. 目视帕特识别，2021年。二、八[6] Hao Chen ， Yaoh
我的内容管理
展开
