8371−基于层次聚类动态的在线伪标签生成方法易峥* 1唐世祥 *3滕国龙 1葛一笑4刘凯建1秦静5东联齐1陈大鹏†21浙江大学2AARC、华为3悉尼大学4香港中文大学5香港理工大学{21910099，qidl}@ zju.edu.cnstan3906@uni.sydney.edu.auchendapeng8@huawei.com摘要自适应人员重新识别（自适应ReID）的目标是将学习到的知识从标记的源域转移到未标记的目标域。基于伪标签的方法交替地生成伪标签并优化训练模型，在该领域中已经证明了极大的有效性。然而，生成的伪标签是不准确的，并且不能反映未标记样本的真实语义我们认为这样的不准确性源于滞后更新的伪标签，以及简单的标准所采用的聚类方法。为了解决这个问题，我们提出了一个在线的伪标签生成层次聚类动态自适应ReID。特别地，分层标签库（+）（−）���������群集拆分群集合并合并边界拆分单元为数据集中的所有样本构建了一个小批，并且我们在每个小批中更新样本的伪标签，同时执行模型优化和标签生成。一个新的层次聚类动态建立的标签更新，其中集群合并和集群分裂的可能性计算的标签传播驱动。我们的方法可以获得更好的伪标签和更高的reid准确率。在Market-to-Duke、Duke-to-Market、MSMT-to-Market 、MSMT-to-Duke、 Market-to-MSMT 和Duke-to-MSMT上的大量实验验证了我们所提出的方法的有效性。1. 介绍人员重新识别（ReID）旨在检索不同相机中的同一个人尽管ReID使用深度学习模型[23，34，37，44，3]，由于ReID的各种分布，ReID仍然是一个挑战。*这些作者的贡献相等。†通讯作者。图1. 在线伪标签细化等级集群动力学。不同的颜色代表不同的聚类。分层标签从低级别到高级别进行细化。在每个级别中，聚类按顺序（从左到右）经历拆分和合并过程。对于第h级中的簇分裂，第（h1）级中的簇用作不可分割的分裂单元。对于第h级中的聚类合并，第（h+1）级中的聚类提供限制可以被合并的聚类候选的合并边界然后利用标签传播在统一框架中拆分和合并集群。由不同相机系统捕获的图像，这被称为域移位。因此，提出了无监督自适应人员重新识别（自适应ReID），以从标记的源域（数据集）转移学习的知识，以正确地测量未标记的目标域（数据集）中的实例间基于聚类的方法[30，54，55，14，58]主导了自适应和无监督ReID任务的最新性能。他们采用了迭代的两阶段训练方案，其中通过在每个训练时期之前对提取的特征进行聚类来离线生成伪标签。尽管群集伪标签可以8372虽然离线标签生成方案粗略地捕获了全局分布，但是我们认为这些标签的监督信号是次优的，因为离线标签生成方案未能捕获变化的特征分布以及运行中的网络优化。此外，现有的方法以相同的聚类标准平等地对待所有数据点，忽略了复杂的真实世界数据的细粒度分布。例如，由相同相机（域）捕获的人图像应当被施加比跨相机（域）的那些人图像更严格的为了解决上述挑战，我们提出了一个在线的伪标签生成策略，探索如何动态地和渐进地更新伪标签下，一个自底向上的框架。利用自底向上的框架，我们可以捕获复杂的真实世界数据的细粒度分布通过设计良好的聚类分裂和合并动态，我们可以捕获特征空间的即时该方法可以在每次训练迭代中同时进行伪标签生成和特征学习。具体地说，为了使在线伪标签生成，我们建立了一个特征库，以及一个分层标签库，分别用于存储和更新所有未标记数据的特征和伪标签。给定小批量中的样本的编码特征，特征库中的相关样本特征被动量更新，并且对应的标签通过合并到现有集群或分裂成新集群来细化。合并和分裂操作是通过在集群到样本或样本到样本的亲和力方面在一组集群之间传播伪标签来实现的，在我们的论文中被称为“集群动态”。迭代地进行聚类动态以形成分层伪标记进展（如图1所示）。分层标签细化结构也被证明是有效的捕捉复杂的特征分布的真实图像。类似于生态系统中的互利共生，引入的集群动态和分层进展的伪标签可以适当地捕获特征空间中的即时和多样的分布变化，从而导致自适应ReID的更好性能。我们工作的贡献可概括为三个方面. (1)我们首次介绍了在线生成和更新自适应ReID的伪标签，其中特征学习和伪标签生成同时进行。(2)提出了一种新的集群动力学方法，使伪标签的进展和细化迭代在一个自底向上的层次结构。(3)在多个自适应ReID基准测试上的广泛实验证明了我们的方法在正确捕获变化和细粒度特征分布方面的优越性。2. 相关工作适 应 性 人 的 重 新 识 别 。 自 适 应 人 物 再 识 别（ AdaptivePerson Re-identification ， 简 称 AdaptiveReID）由于可以省去人工对图像进行标注的工作而一般来说，它可以分为两类，即，基于伪标记的方法[41，14，58，15，55，64，53]和结构域-基于转移的方法[7，17，24]。域转移学习的目标是从风格转移的源域图像中学习域不变特征。SPGAN [9]和PT-GAN [48]变换源域图像以匹配目标域的图像风格，同时保持原始的人的身份。然后使用风格转移的图像及其身份标签来微调模型。HHL [64]利用相机风格传输的图像学习了相机不变的特征。域转移方法的性能在很大程度上依赖于生成图像的质量，并且所有这些方法都忽略了图像在目标域中的有价值的依赖性。基于伪标签的方法长期以来一直是自适应ReID的最新技术。该流中的第一个工作[12]提出了交替地聚类特征和优化具有伪标签的网络。SSG [14]引入为全局和局部特征分配硬伪标签，其性能在很大程度上受到硬标签噪声的阻碍。MMT [15]然后专注于标签炼油厂，并提出一个更好的伪标签的相互学习方案。AD-集群[55]使用增强和生成的图像细化集群与我们最相关的工作是SpCL [16]和BUC [30]。SpCL [16]应用了自定进度的学习方案，以逐步生成更可靠的集群，用于所提出的统一对比损失。然而，SpCL中的伪标签在每个时期之后更新，因此不能捕获所提取的特征的即时标签变化我们的方法提出了一个在线聚类框架，它可以捕获在特征空间中的变化分布。BUC [30]在生成伪标签时还提出了一个在线层次聚类框架然而，它只定义了集群合并标准，并没有提出分裂机制。因此，不存在动态双向群集调整，即，在BUC中拆分和合并。此外，BUC仅利用传统的层次聚类准则，未能考虑特征空间中的数据分布。伪标签生成典型的伪标签生成可分为两类：离线伪标签生成和在线伪标签生成。传统的聚类方法，如K-Means [33]，谱聚类[40]和DBSCAN [11]都属于离线伪标签生成，并且依赖于对数据分布的某些假设，例如凸形，相似大小或相同密度的簇。最近，提出了一些离线但基于神经网络的方法[5，19，52，51，18]以8373特色银行势头更新分裂分裂分裂分裂ℒ���合并…合并合并合并…H……BY{}我KBD1D2Ns12Nt我我[57，2]中的类的ber是预定义的超参数我 我 i=1我 我我我i=1--BD{}∈Y∈ XD{}图2. 拟议框架的说明。一个小批次由相同数量的源图像（黄色）和目标图像（蓝色）组成。特征库的更新是通过动量的方式提取的特征。对于在线伪标签生成，我们首先将提取的特征的标签分配为最近邻居的标签，并尝试拆分/合并包含新特征及其最近邻居特征的聚类（蓝色实心圆被蓝色虚线圆包围我们实现了分层标签细化的分裂合并序列在每一级。在顶部标签库中生成的伪标签被馈送到对比损失中。从训练样本中感知数据分布，因此他们通过放松上述强人工假设来改进传统算法。虽然离线聚类单独实现了稳定空间中特征的最新技术水平，但它们不是自适应ReID的最佳解决方案，特别是考虑到通过网络优化的变化特征分布。为了在自适应ReID中捕获变化的特征分布，在线伪标签生成可能是更好的解决方案，因为它在看到新样本后立即分配标签[29]。 Zhan等 [57]在训练中利用在线K均值聚类，实现了无监督学习的更高性能和效率。Swav [2]构造了一个在线聚类的优化问题，并给出了一个实例。基于伪标签的方法采用迭代和替代的两阶段流水线用于自适应ReID。具体地说，他们构建体特征库=Vs，Vs，...，vs，vt，vt，... 其中Vs和Vt分别表示源域图像和目标域图像的存储特征。在每个时期的训练之前，它对目标域数据执行离线聚类以生成伪标签=1，2，…N t.聚类中心ck是具有伪标签k的样本的特征平均值。考虑具有真实标签的源域数据和具有伪标签的目标域数据，可以根据SpCL [16]为每个特征定义对比损失函数f=fθ（x），exp（.f，z+Σ/τ）k=1Kk=1K将其纳入对比学习。然而，num-Lf=−logΣnsexp（f，w/τ）+Σnt、exp（λf，cλ/τ）（一）在训练中被固定，这在当时是不现实的。自适应ReID。相比之下，我们的方法设置的相似性阈值作为一个超参数和聚类的数量是自适应的。因此，我们的方法可以利用在线聚类的优势，并摆脱不适当的类数在以前的作品。3. 初步问题表述。自适应人员ReID的目标是学习可以在具有标记的源域数据的目标域上很好地泛化的特征提取器f θ。该任务提供了两种训练数据。一个是源域s=（xs，ys）Ns的标记数据，其中每个示例（xs，ys）由图像xss和标记y ss组成。另一个是目标域t=xtNt的未标记数据。这里，Ns和Nt分别表示源域和目标域中的图像的数量。 源域和目标域通常具有非常不同的数据分布。基于对比损失的伪标签方法。 Cur-其中z+表示f的正态类原型。如果f是一个是f所属的源域类k的中心。如果f属于第k个簇域，则z+=c+是第k个簇中心. 此外，τ是根据经验设置为0.05的温度，ns是源域类的数量，nt是目标域簇的数量。要素库初始化为由ImageNet预训练模型提取的特征，并以动量方式更新[49，66，6，20，42，16]。4. 在线伪标签生成我们将一个新的在线伪标签生成机制的对比学习框架，其中的伪标签生成与模型优化同时进行。总体框架如图2所示。特别地，每批中的训练样本从源域s和目标域t两者中采样。这些样本的新提取的特征用于以动量方式更新特征库。小批量中的目标域样本为查找最近邻居“（$）8374−BHHB∈∈∈∈N. ⟨⟩∈N∈NS=ijYYH {Y Y Y}对应集群密度高峰特征相似性分裂集群标签传播KNN集群特征相似性基于秩亲和力合并集群超过阈值标签传播阈值化(a) 群集拆分(b) 群集合并图3.动态群集优化中群集拆分和合并的图示。黄色圆圈表示包含提取特征的单元。(a)第h级中的群集拆分。蓝色圆圈表示第（h1）级中的其他拆分单元，它们与第h级中的黄色圆圈属于同一个群集。红色、黄色和绿色圆圈表示通过密度峰选择的锚单元。在分裂集群阶段中，浅黄色和浅绿色的箭头表示非锚单元合并到相应的锚单元中。（b）在第h层中进行聚类合并 蓝色圆圈表示第h级中的不同单元，但属于第（h+1）级中的相同集群，即， 合并边界内的单位。我们合并集群，如果由方程获得的概率。2大于阈值〇。馈送到分层标签库中。使用中提供的特征嵌入，传入样本在层次库的每个级别中经历一系列合并和拆分操作，由集群动态表示，以最终获得可靠的伪标签。 基于中的特征和中的标签，我们优化等式中的损失函数。1.一、我们所提出的方法的伪代码在补充材料中给出。4.1. 分层标签库分层标签库=1、二、…Hconsists的H水平和集群的未来样本在一个自底向上的方式。在聚类过程中，它遵守聚类保留属性。也就是说，在低级别中属于同一类的样本也应该在较高级别中属于同一类。基于此属性，我们跨分层标签库的不同级别执行一系列具体地说，为了在第h+1层对簇进行分裂，我们以合并操作后的第h层簇为基本单位，通过标签传播来判断它们是否仍然属于同一个簇。以这种方式，如果基本单元不那么稳健而不能处于同一集群中，则第（h+1）类似地，要合并第h层中的集群，我们只4.2. 集群动力学现在，我们深入研究的第h级的集群动态的细节，其中集群分裂和集群合并是由标签传播在一个统一的框架。标签传播。我们的方法中的标签传播用于计算两个样本/聚类属于同一类的可能性。它是一个迭代算法，并且具有封闭形式的解：P=（I−αS）−1Y0，（2）其中P*=（p1，p2，…，pn）Rn×K是标签传播的结果。 n是要被分配标签的单元的数量，K是n个单元可以被分配到的类的数量。 对于第i个单元，结果pi=（pi，1，…pi，K），其中pi，j是第i个单元取标签J. Y0Rn×K是初始标签概率将在集群合并和集群拆分中具体定义SRn×n是归一化后的亲和矩阵[32]。受重新排序[62]的启发，归一化亲和矩阵SRn×n不仅基于余弦相似度，而且基于排序顺序。具体地，我们将k（ci）表示为ci的k个最近邻，其中ci是第i个单元的特征中心。在相互相邻的两个单元之间计算亲和度，数学上可以表示为尝试合并属于一个群集的那些群集第（h+1）级。 那些极有可能（ci，cjifci k（cj） andcjk（ci），0否则。（三）在标签传播之后属于同一簇的所有标签将被合并到一个簇中。上的伪标签的更新第h级组Yh与相邻级的聚类结果密切相关，即例如，h-1，h+1，保证了在线伪标签生成的鲁棒性。等式（1）中的归一化亲和矩阵S然后通过Sfollo wing[32]获得2。因为具有positiveive的样本对亲和力具有高置信度属于同一类，等式（1）3比常用的余弦相似度更严格，保证了聚类精度。8375我我我我OC0i，kCK×我×我O我O0--我i，1我2i，n我i，1我2i，n我我K我uvuv我我u，vO {C C C}- -C键CO--C C←群集拆分。在第h级中，簇分裂将一个簇h划分成小簇。拆分单元是第（h1）个级别中包含h中样本的聚类。 我们将这些簇记为h−1=h−1，h−1，.，h-1，其中n是簇数。对应的中心特征被收集在oh−1={ch−1，ch−1，.，ch−1}。 分裂聚类Ch，我们首先从oh−1中选择K个锚点样本，然后在 测 试 集 中 有 750 个 身 份 的 19 ， 732 个 图 像 。DukeMTMC-reID包含36，411个标记图像，对应1，404个身份。它有702个身份的16，522张个人图像用于训练，其余的其他身份的图像所有图像都是从8个摄像机收集的。MSMT17是最大和最具挑战性的数据集。它由4，101个身份的126，441个边界框组成由15台摄像机拍摄，其中32，621张图像的1，041个iden-利用标签传播来分配标签1，..，K到oh−1的中心。 因此， h-1中的簇将有不同的标签。h中的样本最终借用h-1中的标签来完成聚类分裂。在集群分裂的过程中，我们利用密度峰选择[39]选择K标签锚点。使用标签锚，我们初始化（Yh）ij=1，如果ch−1是j-乳头是用来训练的。评估方案。我们采用平均精度（mAP）和累积匹配特征（CMC）来评估方法在目标域数据集上的性能。没有实现诸如重新排序[62]或多查询融合[61]的后处理技术。0ith标记锚点，否则（Yh）ij=0。亲和度矩阵根据等式（1）计算。3 .第三章。在我们得到封闭形式的解决方案（Ph）*由方程。2，第k个聚类h-1将被分配一个标签y h←arg max ph.（四）在标签库中，我们通常选择一个新的标签索引来指示yh，以避免标签重叠。集群合并。在第h级，簇合并旨在合并高度可能属于相同语义类的小簇。为了遵守簇保留属性，要在第h级中合并的簇应该是-长到第（h+1）级中的相同簇。假设在第h层中有n个簇属于第（h+1）层中的相同簇C h + 1。这些聚类被表示为通过Oh={Ch，Ch，…Ch}和相应的cen-实作详细数据。我们在PyTorch [36]上实现了我们的框架，并采用在ImageNet [8]上预训练的ResNet50 [21]作为提取器fθ的主干。我们使用Adam [27]，权重衰减为0.0005来优化我们的网络。 初始学习率设置为3。510- 4和每8，000次迭代总共24，000次迭代。在SpCL [16]之后，方程中的温度τ1被设置为0.05，并且特征库被更新为动量等于0.2。在训练期间，每个小批次包含64个源域图像和64个目标域图像。输入图像的大小调整为256128. 我们采用随机翻转，随机裁剪和随机擦除[63]进行数据增强。为了节省计算和存储成本，我们采用了三级层次结构。对于簇动力学，方程中的α对于群集合并和群集拆分，2均设置为0.99我们采用30 k-最近ii，1我2i，n邻居在Eq。3，并使用一个固定的阈值-这些特征由〇h={ch，ch，…，ch}。到i，1我2i，n旧的0.25，用于所有级别上的群集合并。 在分割合并h中的聚类，我们首先利用标签传播来计算两个单元属于同一类的可能性，然后使用阈值σ来确定它们是否应该被合并。因此，h中的一些簇将获得相同的标签以完成簇合并。在聚类合并的过程中，单元的数量等于类的数量，即， n = K，则初始化Yh=In×n。在簇合并和封闭形式解（Ph）中具有相同的亲和矩阵定义，我们合并簇h和h，即，yhyh，若ph> σ.在标签库中，我们通常将标签重新组织为1，2，...，N，其中N是为了避免标签不连续而合并后的类别数。5. 实验5.1. 实验装置数据集。我们在三个大规模的人re-ID数据集上评估我们的方法：Market-1501 [61]、DukeMTMC-reID [38]和MSMT 17 [48]。Market-1,501由6个摄像机拍摄的1,501个身份的32,668个注释图像组成，其中751个身份的12,936个图像用于在这个过程中，我们为每个聚类选择多达8个锚样本5.2. 实验结果自适应人员ReID。我们将我们提出的框架与表1中的自适应ReID的最新方法进行了比较。我们的方法优于所有当前的最先进的普通ResNet50骨干。我们将我们的框架与最具竞争力的方法SpCL [16]进行比较。Sim-ilar我们的方法，SpCL也采用了两个特征银行和标签银行的对比损失。但是，它采用了简单的聚类算法，即，DBSCAN，并且在每个时期之后仅更新伪标签，这可能无法捕获多样和变化的特征分布。相反，我们的方法可以捕获变化的特征分布，因为它同时细化标签并优化特征提取器，即，为每一个即将到来的小批量改进标签。为了捕获不同的分布，我们的方法从下到上细化标签，并利用标签传播动态地分裂和合并集群在每个级别，考虑在特征空间中的相邻信息。基于上述差异，我们的方法导致8376表1. 比较与国家的最先进的方法域自适应的人re-ID。 “R“mAP”表示平均平均精度（%）。表示未报告。前两个结果分别用粗体和下划线字体突出显示。方法D →MmAP R1M →DmAP R1D →MSMTmAP R1M →MSMTmAP R1MSMT →MmAP R1MSMT →DmAP R1D-MMD [35]ECCV'2048.870.646.063.515.334.413.529.175.189.562.779.3PCB-PAST [58]ICCV'1954.678.454.372.4--------SSG [14]ICCV'1958.380.053.473.013.332.213.231.6----MMCL [43]CVPR'2060.484.451.472.416.243.615.140.8----ACT [50]AAAI'2060.680.554.572.4--------SNR [26]CVPR'2061.782.858.176.3--------DG-Net++[67]ECCV'2061.782.163.878.922.148.822.148.464.683.158.275.2ECN++[65]TPAMI'2063.884.154.474.016.042.515.240.4----DAAM [25]AAAI'2067.886.463.977.621.646.720.844.5----AD-Cluster [55]CVPR'2068.386.754.172.6--------JVTC+[28]ECCV'2067.286.866.580.427.552.925.148.6----NRMT [59]ECCV'2071.787.862.277.820.645.219.843.7----DCML [4]ECCV'2072.687.963.579.3--------MMT [15]ICLR'2073.889.565.178.025.152.924.050.1----MEB-Net [56]ECCV'2076.089.966.179.6--------SpCL [16]NeurIPS'2077.589.7----26.853.7----UNRN [60]AAAI'2178.191.969.182.026.254.925.352.4----我们80.091.570.182.229.356.128.454.980.291.471.283.1表2. 在没有标记的源域数据的情况下，与无监督的人re-ID任务上的最新方法进行比较。符号与表1相同。方法市场-1501 DukeMTMC-reID MSMT 17二、Duke-to-Market的mAP提高5%，Duke-to- MSMT和Market-to-MSMT等更具挑战性的任务的mAP提高高达3%无人监管人员ReID。无监督人ReID专注于在没有任何标记数据的情况下训练ReID模型，即从训练集中排除源域数据。我们的方法可以很容易地推广到这样的设置，通过排除在方程wk1.一、如表2所示，我们的方法在Market-1501和DukeMTMC-reID上的mAP中超过所有当前最先进的约5%我们将我们的方法与除SpCL外最相似的BUC [30]方法进行了比较。BUC提出了一种自底向上的聚类方法，但该方法在每一步只合并两个聚类对，而没有考虑到周围聚类的分布情况该算法不包含分裂步骤，通过设定固定的合并速度来缺少分裂的机甲-nism可能使BUC不如我们的方法有效我们的方法优于BUC 39。8%，38。Market-1501和DukeMTMC-reID的mAP为1%6. 消融研究为了研究层次聚类和聚类动态的贡献，我们对表3中的自适应ReID任务进行了成分分析。“Src. 仅”仅使用具有地面实况ID的源域图像用于目标域上的训练和测试。“Src. + tgt. 实例”将每个目标域样本视为不同的类。“Src. + tgt. “HC w/o LP”采用典型的平均连锁标准的层次聚类结构。“Src. + tgt. “HC（merge）wLP “Src.+tgt. LP w/o HC”在1级上利用标签传播地图R1R5R10地图R1R5R10地图R1R5R10BUC [30]AAAI'1938.366.279.684.527.547.462.668.4----SSL [31]CVPR'2037.871.783.887.428.652.563.568.9----MMCL [43]CVPR'2045.580.389.492.340.265.275.980.011.235.444.849.8HCT [54]CVPR'2056.480.091.695.250.769.683.487.4----CycAs [47]ECCV'2064.884.8--60.177.9--26.750.1--SpCL [16]NeurIPS'2073.188.195.197.0----19.142.355.661.2我们78.191.196.497.765.679.888.691.626.953.765.370.28377807876741 2 3 4 5总层数71706968671 2 3 4 5总层数1.00.80.60.40.20.01 2 3 4 5水平指数1.00.80.60.40.20.01 2 3 4 5水平指数图4. 在具有不同总层数的mAP方面的性能，即， H在Sec. 4、DukeMTMC-reID到Market-1501和Market-1501到DukeMTMC-reID。图5. 不同级别指标的性能比较。蓝色、绿色和粉红色的结果分别表示每个级别的平均召回率、平均表3.我们的方法对单个组件的消融研究方法D→ M M→ D mAP R1mAP R1Src. 只19.644.415.729.4Src. + tgt. 例如6.014.84.710.2Src. + tgt. HC不含 LP53.374.859.075.0Src. + tgt. HC（合并）与LP75.090.061.778.0Src. + tgt. LPw/o HC74.689.068.982.2Src. + tgt. HCw LP80.091.570.182.2表4. 不同标签更新间隔的比较。实验在H= 3的情况下实施。我们报告的结果，每一个实验的mAP，R1，和R5。间隔D→ M M→ DmAP R1 R5mAP R1 R5080.091.596.370.182.289.7174.289.395.567.480.689.0268.386.393.864.077.887.3364.282.591.762.276.686.5银行“Src. + tgt. “HCw LP6.1. 不同组件分层标签生成的有效性。我们首先探讨聚类的必要性，然后层次标签生成的有效性。通过比较“Src. 只有”和“Src。+ tgt. 实例1导致比“Src. 只有”。结果表明，将非监督图像分类中典型的对比度损失直接推广到ReID是不适用的，ReID的目的是探索类内和类间的关系，因此需要提供伪标签。对于分层标签生成，我们比较“Src. + tgt. LP w/o HC”和“Src. + tgt. HCw LPBEL生成通过改进模型5提供了更好的伪标签。4%和1.2%在公爵对市场和市场对公爵的mAP。集群动态的有效性。聚类动力学可以通过自动合并和分裂聚类来提供更好的伪标签，而传统的聚类方法只包括样本/聚类合并。为了验证分裂机制的有效性，我们比较了“Src.+ tgt. HC（merge）w LP”和“Src. + tgt. HCw LP”。我们可以看到集群分裂在Duke-to-Market和Market-to-Duke上的mAP方面分别提高了5.0%和8.4%，这证明了集群分裂的有效性。标签传播的有效性。群集合并和群集拆分使用标签传播动态更新标签。为了说明标签传播的有效性，我们进行实验，使用平均链接作为标准的集群合并和分裂。与“Src. + tgt. HC w/o LP”和“Src. + tgt. HCw LP6.2. 分层标签生成级别数。分层标签生成的设计旨在捕获不同的特征分布。为了探索层次标签库级别的数量的影响，我们进行了实验，公爵到市场和市场到公爵与层次标签库从1级到5级。从图4中，我们可以观察到，通过将级别的数量从1更改为2，结果具有显著的跳跃。当水平的数量不断增加时，mAP仅略微增加，并且逐渐趋于收敛。它表明，对于人ReID，增加水平的数量可以得到更好的伪标签，并实现在mAP方面的改善。至于2级后的停滞增长，我们将此现象归因于学术数据集拍摄条件的简单性。在学术数据集中，具有相似背景的图像中的人倾向于具有相似的姿势，这可能是因为D MM DD M召回精确F分数M D召回精确F分数地图地图8378h=0h=1h=2表5. 不同选择方法的性能比较。在这些实验中，将水平H随机、FPS和密度峰值代表聚类分裂动力学，分别采用随机选择、最远点抽样和密度峰值来选择聚类分裂过程中的锚样本。方法D→ M M→ DmAP R1 R5mAP R1 R5图6. DukeMTMC-reID中一个身份的层次聚类结果的可视化使得两级结构具有足够高的效果。不同级别伪标签的准确性。为了更深入地了解层次结构，我们提出了平均召回率，平均精确率和BCubed F-score [1]在总共5个级别的不同级别索引处，即， H = 5，在图5中。我们可以观察到，平均召回率显著增加，但平均准确率仅从1级到5级略有下降。平均查全率的提高主要是由于对高层语义信息的捕获，而平均查准率的小幅下降是查全率提高的必然代价我们还报告了BCubed F-评分，以评估每个系统的整体性能。水平实验结果表明，BCubed F值随着层次指数的增加而增加，表明层次聚类有效地提高了标注准确率。可视化。 为了更直观地呈现所提出的分层标签生成，我们将聚类结果在不同级别可视化。如图6所示，在低水平（h=1），同一聚类中的样本具有高相似性，例如 相 同 的 拍 摄 角 度 和 相 同 的 背 景 。 在 高 水 平（h=2），收集具有人类姿势和背景的较大变化的相同身份6.3. 集群动力学标签更新间隔。与其他国家的最先进的利用离线聚类相比，我们的在线伪标签生成的优点是捕捉变化的特征空间，同时通过网络优化和伪标签细化。我们进行实验，以探讨标签更新间隔的影响。间隔越大，与网络优化和伪标签的不一致性越大。如表4所示，我们可以观察到测试结果随着更新间隔的增加而下降这种趋势说明了同时更新伪标签和特征的重要性。聚类分裂中的锚点样本选择方法。An-chor样本用作聚类分裂的种子。我们认为，更好的种子集群将有利于最终的性能。为了探索锚点样本选择方法的影响，我们进行了不同的实验。表6. 比较方程中的分裂αS和合并αM 的 不 同值二、我们将DukeMTMC-reID上的mAP报告给Market-1501，将Market-1501报告给DukeMTMC-reID。在这些实验中，水平H的总数0.10.366.968.056.458.50.30.576.176.368.869.00.569.263.30.776.469.20.770.764.60.977.169.20.978.969.00.9577.969.50.9980.070.10.9980.070.1包括随机选择、最远点采样[10]和密度峰值[39]的ent方法如表5所示，当在市场对杜克和杜克对市场上测试时，密度峰超过其他方法。这可能是由于高密度样本更具代表性，这将提高分割结果的准确性。α的研究方程中α的影响。2.比较了不同合并αM和分裂αS时mAP的性能。如表6所示，当αM和αS都设置为0.99时，我们的方法实现了最佳性能。结果表明，无论集群合并和集群分裂，性能提高时，更多的信息周围的邻居被认为是。7. 结论伪标签噪声是制约基于聚类的自适应身份识别方法进一步改进的瓶颈之一。在本文中，我们认为这样的标签噪声源于滞后更新的伪标签和简单的标准所采用的聚类算法。我们提出了一个在线标签生成与层次聚类动态的自适应人重新识别。通过在线标签生成，我们在未来的小批量中细化样本的标签，同时优化网络。通过层次聚类动态，我们在自下而上的框架中分割和合并聚类，捕获多样化和复杂的特征分布。在不同数据集上的实验验证了该方法的有效性随机75.089.495.469.282.290.5FPS75.489.195.569.682.090.3密度高峰80.091.596.370.182.289.7αMD→ M M→ DαSD→ MM → D8379引用[1] E. 我的朋友J. Gonzalo，J. Artiles和F. 再见基于形式约束的 外部 聚类 评 估度 量 的比 较勘 误 表 信 息检 索， 12（5），2009。8[2] Mathilde Caron ， Ishan Misra ， Julien Mairal ， PriyaGoyal，Piotr Bojanowski，and Armand Joulin.无监督学习 视 觉 特 征 对 比 聚 类 分 配 。 arXiv 预 印 本 arXiv ：2006.09882，2020。3[3] Dapeng Chen，Zejian Yuan，Badong Chen，and NanningZheng. 空间约束下的相似性学习在人员再识别中的应用。在IEEE计算机视觉和模式识别会议论文集，第1268-1277页1[4] Guangyi Chen，Yuhao Lu，Jiwen Lu，and Jie Zhou.深度可信度量学习用于无监督域适应人员重新识别。在Andrea Vedaldi ， Horst Bischof ， Thomas Brox 和 Jan-Michael Frahm，编辑，计算机视觉施普林格国际出版社. 6[5] 陈杰、马腾飞、曹啸。Fastgcn：通过重要性采样使用图 卷 积 网 络 进 行 arXiv 预 印 本 arXiv ： 1801.10247 ，2018。2[6] Xinlei Chen，Haoqi Fan，Ross Girshick，and KaimingHe.通过动量对比学习改进基线。arXiv预印本arXiv：2003.04297，2020。3[7] 陈燕北，朱夏天，龚少刚。用于跨域人员重新识别的实例引导上下文渲染。在IEEE/CVF计算机视觉国际会议论文集，第232-242页2[8] J. Deng，W.东河，巴西-地索赫尔湖李凯李飞飞。Imagenet：一个大规模的分层图像数据库。 2009年IEEE计算机视觉和模式识别会议，第248-255页，2009年。5[9] Weijian Deng ， Liang Zheng ， Qixiang Ye ， GuoliangKang，Yi Yang，and Jiabin Jiao.具有保留的自相似性和域不相似性的图像-图像域自适应用于人重新识别。在IEEE计算机视觉和模式识别会议论文集，第994-1003页2[10] Y.埃尔达湾Lindenbaum，M. Porat和Y. Y.泽维渐进式图像 采 样 的 最 远 点 策 略 IEEE Transactions on ImageProcessing，6（9）：13058[11] Mart inEster ， Hans-PeterKrie gel ， Jo¨rgSander ， XiaoweiXu ， et al. A density-based algorithm for discoveringclusters in large spatial databases with noise.在Kdd，第96卷，第2262[12] 范呵呵，梁铮，严成刚，杨毅。无人监管人员重新识别 ： 聚 类 和 微 调 。 ACM Transactions on MultimediaComputing，Communications ，andApplications（TOMM），14（4）：1-18，2018. 2[13] Hao Feng，Minghao Chen，Jinming Hu，Dong Shen，Haifeng Liu，and Deng Cai.用于对人重新识别的无监督域适应的互补伪标签。IEEE Transactions on Image Processing ， 30 ： 2898-2907，2021。1[14] Y.傅，Y。Wei，G. Wang，Y. Zhou， H. Shi、U.Uiuc和T.煌自相似性分组：一种简单的无监督跨域自适应方法用于人员重新识别。在2019年IEEE/CVF计算机视觉国际会议（ICCV），第6111一、二、六[15] Yixiao Ge，Dapeng Chen，and Hongsheng Li.相互意味着-教学：伪标签精炼用于人重新识别的无监督域适应。在2020年的学习代表国际会议上。一、二、六[16] 葛一笑，朱峰，陈大鹏，赵瑞，李洪生.领域自适应目标 识 别 的 混 合 存 储 器 自 定 步 调 对 比 学 习 。 In H.Larochelle ， M. 兰 扎 托 河 哈 德 塞 尔 M. F. Balcan 和 H.Lin，编辑，Advances in Neural Information ProcessingSystems ， 第 33 卷 ， 第 11309-11321 页 。 CurranAssociates，Inc. 2020年。二三五六[17] Yixiao Ge，Fen
我的内容管理
展开
