没有合适的资源?快使用搜索试试~ 我知道了~
7308基于部分的伪标签细化算法在无监督身份识别Yoonki Cho Woo Jae Kim Seunhoon Hong Sung-Eui YoonKAIST{yoonki,wkim97,seunghoon.hong,sungeui} @ kaist.ac.kr摘要无监督的人再识别(re-ID)的目的是学习的歧视性表示的人检索从未标记的数据。最近的技术通过使用伪标签来完成该任务,但是这些标签固有地有噪声并且降低了准确性。为了克服这个问题,已经提出了几种伪标签细化方法,但它们忽略了细粒度的局部上下文本质的人re-ID.在本文中,我们提出了一种新的基于部分的伪标签细化(PPLR)框架,通过使用全局和部分特征之间的互补关系来减少标签噪声.具体地说,我们设计了一个交叉一致性得分作为特征空间之间的k-近邻的相似性基于交叉一致性,通过融合部分特征的预测来细化全局特征的伪标签,从而共同降低全局特征聚类中的噪声。我们进一步细化的伪标签的部分功能,通过应用拉贝尔平滑,根据每个部分给定的标签的适用性。由于交叉一致性分数提供了可靠的补充信息,我们的PPLR有效地减少了噪声标签的影响,并学习了具有丰富本地上下文的判别表示。在Market-1501和MSMT 17上的大量实验结果证明了该方法的有效性。该代码可在https:github.com/ yoonkicho/PPLR上获得。1. 介绍人员重新识别(re-ID)旨在检索与跨不相交的摄像机视图或不同时间戳的给定查询对应的人员[59,69]。由于深度神经网络的识别能力,监督方法[20不幸的是,它们需要大量的标记数据,这需要昂贵的注释,限制了它们在大规模现实世界re-ID问题中的实用性。由于针对这一问题,从未标记数据中学习识别特征的无监督方法近年来受到了广泛关注。关于无监督人员重新ID的先前工作已经利用通过k-最近邻搜索[25,47,60]或无监督聚类[7,24]获得的伪标签进行训练。这些方法交替使用两阶段训练方案:分配伪标签的标签生成阶段和使用生成的标签训练模型的训练阶段。在这些方法中,基于聚类的方法[2,9]特别证明了其具有最先进性能的有效性。然而,伪标签中固有的噪声严重阻碍了这些非监督方法的性能.为了解决这个问题,已经做出了许多努力来通过执行鲁棒聚类[9,62]或伪标签细化[25,64]来提高伪标签的准确性最近的技术[8,63]通过使用辅助网络的预测作为目标网络的细化标签,以对等教学的方式通过模型集合显著降低标签噪声。然而,培训多个骨干作为教师网络(例如,,MMT中的双ResNet [8],以及MEB-Net 中 的 单 DenseNet , ResNet 和 Inception-v3[63])需要高计算成本。然而,通过这些方法细化的标签仅考虑全局特征,而忽略了对人员重新识别至关重要的细粒度线索,导致性能不足。为了解决上述问题,我们提出了基于部分的伪标签细化(PPLR),一种新的非超监督的re-ID框架,有效地处理标签噪声使用部分功能,在一个自我教学的方式。几项研究[42,67]表明,来自零件特征的细粒度我们的核心思想是,这种细粒度的信息不仅可以提供有用的线索,更好的表示学习,但对标签噪声的鲁棒性。与由于姿势和视点的显著变化而具有较大变化的全局形状信息相比,部件特征可以捕获局部纹理信息,该局部纹理信息为重新识别人提供了更重要的线索[70]。我们认为,互补关系之间7309全局和部分特征可用于在它们的每个特征空间中细化标签噪声。然而,来自同一图像的一些全局和局部特征捕获非常不同的语义信息,并且天真地使用复杂关系可能导致噪声甚至不正确的信息。例如,图像可以包含不相关的部分(例如, 遮挡或背景),其提供不可靠的补充信息,并且期望从训练中排除它们。因此,识别全局特征和局部特征信息的可靠性,以正确地利用它们之间的互补关系是非常必要的为了解决这个问题,我们设计了一个交叉一致性分数的基础上的k-最近邻居的全球和部分功能之间的相似性。基于交叉一致性,本文提出了两种伪标签细化方法--PGLR通过聚集局部特征的预测信息来细化全局特征的伪标签,引导全局特征从丰富的局部上下文中学习。AALS通过平滑标签分布来细化零件特征的伪标签,从而校准零件特征的预测。我们的贡献可归纳如下:• 我们提出了一个基于部分的伪标签细化框架,在没有辅助网络的情况下,以自集成的方式操作。据我们所知,这是第一个工作,以处理标签噪声使用的部分特征信息的人重新识别。• 我们设计了一个交叉一致性得分来捕获可靠的互补信息,它是由全局和局部特征的k• 大量的实验结果与优越的perfor- mance对国家的最先进的方法demonstrate所提出的方法的有效性。2. 相关工作用嘈杂的标签学习。由于在许多现实世界的场景中难以获得高质量的标签,因此人们对噪声标签的鲁棒训练给予了很大的关注[38]。损失调整方法通过噪声过渡矩阵[13,30,45,54]或基于给定标签的可靠性的样本重新加权方案[1,32,36]利用损失校正技术来减少噪声标签的影响。然而,这些方法需要一定数量的干净标签来估计噪声的程度,并且不适用于无监督的人重新识别,其中伪标签在训练开始时非常嘈杂。还尝试设计针对标签噪声的鲁棒损失函数。 Ghosh et[10]证明了平均绝对误差(MAE)损失理论上对噪声标签具有鲁棒性。广义交叉熵(GCE)[65]损失被提出来实现MAE具有较强的鲁棒性和较好的交叉熵损失收敛性。Wang等人。 [51]提出了对称交叉熵(SCE)损失,其通过反向交叉熵损失提高了噪声容限。然而,这些损失函数是为简单的图像分类任务而设计的,并且不适合于开放集合的人重新识别任务。人体部位的细粒度信息是区分人的基本线索,最近的研究[40,53,66]利用了部分特征并显示了最先进的性能。已经有许多努力通过人类解析[11,17],注意力机制[22,37,57],姿势估计[29,41]和多粒度[48,67]来学习更多的区分部分特征。尽管基于部件的监督方法取得了显着成就,但只有少数尝试将部件特征用于无监督的个体重新识别。对于域自适应重新识别,PAUL [58]使用空间Transformer网络[16]提取部件特征,用于基于块的判别学习。最近的方法[7,25]利用部分特征来利用鲁棒的特征相似性以获得准确的伪标签。与上述方法相反,我们的工作利用部分功能,以减少标签噪声的全局特征聚类提供细粒度的信息。现有的无监督方法可以分为无监督域自适应(UDA)和无监督学习,这取决于是否使用外部标记源数据。几种UDA方法通过特征分布对齐[23,49]和图像风格转换[5,52,73]来减少源数据集和目标数据集之间的差距。近年来,UDA和无监督学习方法都利用了通过聚类[24,39,61]或最近邻搜索[47,60,74]分配的伪标签。最近的基于聚类的方法[2,9,50]应用了具有聚类代理的对比学习方案,并取得了令人印象深刻的成就。然而,伪标签中固有的标签噪声降低了性能,许多研究解决了这个基本问题。SSL [25]通过测量具有附加信息(如相机标签)的鲁棒相似性来软化伪标签。MMT[8]和MEBNet [63]以相互学习的方式使用辅助教师网络的预测来细化伪标签RLCC [64]利用基于聚类一致性矩阵的标签传播方案与这些只考虑全局上下文的标签细化方法不同,我们的工作采用来自零件特征的细粒度信息来更有效地细化标签3. 方法我们提出了一个基于部件的伪标签细化(PPLR)框架,该框架利用全局和部件特征之间的互补关系来解决7310L =−y·log(q),(1)gcei∈·log(q),(2)i∈我我GgGgGg我i=1Npe我 i,nf − f∥f−f∥e我 i,p+e我 i,nn--.ΣIg我∈(a)聚类阶段查询顶级列表特征提取-NN搜索聚类分配伪标签计算交叉协议(b)训练阶段特征图精致的标签零件特征预测分类器分类器编码器区域池化分类器交叉协议伪标签全局特征未标记数据集分类器全球集中共用部分引导标签优化感知协议的标签平滑图1. PPLR的插图。我们的方法交替聚类阶段和训练阶段。(a)在聚类阶段,我们通过对未标记数据集上的全局特征进行聚类来分配伪标签。然后,我们在每个特征空间上执行k-最近邻搜索,并基于全局和部分特征的前k个排名列表之间的相似性计算交叉一致性得分。(b)在训练阶段,我们根据交叉一致性得分使用细化的伪标签来训练模型我们根据每个部分的交叉一致性得分平滑部分特征的标签,并通过聚合部分特征的预测来细化全局特征的标签标签噪声问题。遵循现有的基于聚类的方法[24,61,64],我们的方法交替聚类阶段和训练阶段。在聚类阶段,我们提取全局和部分特征,并通过全局特征聚类分配然后,我们计算一个交叉协议得分为每个样本的基础上的相似性之间的k-最近邻居的全球和部分功能。在训练阶段,我们使用基于交叉一致性的伪标签细化方法来减轻标签噪声:部分特征的一致性然后,在下一个聚类阶段中使用来自训练模型的特征来更新伪标签。总体框架如图所示。1.一、3.1. 基于零件的无监督re-ID框架我们首先提出了一个基于零件的无监督的人重新ID框架,利用细粒度的信息的部分功能。与大多数现有的只利用全局特征的无监督方法相反,我们使用全局和局部特征来表示图像。为了在没有标签的情况下学习这些表示,我们基于聚类结果模拟伪标签。遵循文献中基于部分的方法[42,48,67],我们采用标准协议,其中全局和部分特征共享相同的伪标签。我们对全局特征集fgND执行DBSCAN聚类[6],并使用聚类分配作为伪标签。我们将图像xi的伪标签表示为yiRK,这是具有K个聚类的硬分配的独热编码。然后,伪标签被用来训练用于人员识别的全局和部分特征。对于全局特征,我们通过以下方式计算交叉熵损失:NDGii=1其中qg=h(fg)RK是预测向量,全局特征,而hg()是由全连接层和softmax函数组成的全局特征分类器。类似地,我们通过以下方式使用交叉熵损失来训练部件特征形式上,设D={xi}ND表示未标记的列车-1NDNpi=1ing数据集,其中xi是图像,ND是图像. 我们的模型首先提取共享表示Lpce=−Npn我i=1n=1Fθ(xi)RC×H×W,其中C、H和W是通道、高度和宽度。其中qpn=h;(fpn)∈RK表示预测向量,给定该特征图,全局特征fg由下式获得:由第n部分特征空间pn和h∈p表示是经典的我在所述特征图上应用全局平均池化,而fier表示零件特征空间pn。我们还利用softmax-triplet loss定义为:零件特征{fpn}Np是通过除以fea-I n=1C×H×WNDf−f∥以及对每个区域应用平均池化L三重态=−日志Σ到Np个均匀分块区域R的、(3)i=1p7311∥·∥我·PQ∈RRC凸轮C|Pi|exp(cfg/τ)我我|·|哪里表示L2-范数,并且下标(i,p)和(i,n)分别表示在通过硬批处理三重选择[14]获得的小批处理中图像xi的最硬正和负样本根据最近的研究[2,55],利用摄像机标签来提高摄像机视图之间的区分能力,如果摄像机标签可用,我们可以选择使用摄像机感知代理[50]我们计算相机感知代理c(a,b)作为具有相同相机标签a并且属于相同集群b的特征的质心。然后,我们将相机间对比损失[50]计算为:全局特征空间fg零件特征空间fp2零件特征空间fp1零件特征空间fp3NDexp(cfg/τ)L=−<$1logji,(4)i=1j∈Pik∈Pi <$QK 我其中,i和i是f g的正和硬负相机感知代理1的索引集,并且τ是温度参数。这种损失将同一集群内但在不同相机中的代理拉在一起,减少了由不相交的相机视图引起的类内方差。然后,训练目标由下式给出L=Lgce+Lpce+Ltriplet+λcamLcam,(5)其中λcam是控制相机间对比度损失的重要性的权重参数理想情况下,模型可以通过共享公共表示Fθ()来学习整体和局部特征。然而,其性能固有地受伪标签yi的质量限制,这在实践中是显著有噪声的。在下面的部分中,我们提出了一种方法来改进这种嘈杂的标签,以正确地表示这两个特征。图2.在早期训练时期,Market-1501上每个特征空间的t-SNE[46]可视化。不同的边界框颜色表示不同的ID。每个特征空间对不同的语义部分表现出不同的特征分布,并且某些特征信息可能是不可靠的。例如,由圆圈表示的区分性较低的部分向其他特征空间中的对应部分提供不相关的信息,反之亦然。我们的交叉一致性得分通过比较特征空间之间的k以在每个图像上产生(1+Np)然后,我们通过下式计算图像xi的全局特征空间g和第n部分特征空间pn之间的交叉一致性得分:3.2. 交叉协议与我们的基本框架相反,PPLR训练模型Ci(g,pn)=的|Ri(g,k)<$Ri(pn,k)|[0,1],(6)|Ri(g,k)∪Ri(pn,k)|具有考虑全局和部分特征之间的互补关系的精炼伪标签。然而,由于全局特征和局部特征之间的相似性结构存在差异,存在不可靠的互补信息。如图2所示,一些部分特征包含与人无关的信息,并且不适合用于精炼全局特征的伪标签。然而,全局特征只考虑全局上下文,有时会忽略与零件特征相关的信息因此,识别给定的补充信息是否可靠是我们方法的一个重要任务。为了解决这个问题,我们设计了一个交叉一致性得分,该得分捕获全局和局部特征的k我们将交叉一致性得分定义为全局特征和局部特征的k个最近邻之间的Jaccard相似性。我们首先在全局上执行k近邻搜索,1更多细节见附录。哪里i(g,k)和i(pn,k)是分别由fg和fpn计算的排序列表中的前k个样本的索引集合,并且是集合的基数。直观地说,高的交叉一致性得分i(g,pn)意味着g和pn的特征空间在数据点i周围具有高度相关的特征相似性结构,并提供可靠的互补信息。另一方面,低i(g,pn)意味着全局和局部特征不是非常相关,意味着它们可以彼此提供不可靠的信息。我们的交叉一致性分数的设计精神与最近的重新排序技术[15,34,56,71]相同,该技术利用k-最近邻居的互易性检查来处理相似性噪声,以提高检索性能。3.3. 伪标签细化基于交叉一致性得分,我们通过考虑(1)伪标签是否通过我7312我Σ我C我我C我···∥·Σ我我我我我AALSNp我我 我Ggpn我我我我全局特征聚类适用于每个零件特征其中wpn=exp(Ci(g,pn))qpn 是一个整体p以及(2)零件特征的预测是否合适。用于细化全局要素的伪标签的程序。权重和零件特征fi分别为。β∈[0,1]n,re-一致性感知标签平滑。使用忽略局部上下文的相同全局伪标签学习所有零件特征可能对模型训练有害。例如,一些部分包含与人无关的线索(例如,遮挡),并且希望将它们从训练中排除。为了解决这个问题,我们利用标签平滑[27,43]来根据相应的交叉一致性得分来细化每个部分的伪标签。Giv en图像xi的伪标签yi,我是加权参数控制独热伪标签与集成预测的比率与仅捕获人的整体特征的全局特征相反,在等式(1)中的部分引导的细化标签是针对人的整体特征的。(9)额外地考虑来自局部部分的细粒度预测,其与由交叉一致性分数捕获的它们的可靠性成比例然后将细化的标签yg插入到Eq. (1)通过以下方式训练全局特征NDL=−y·log g(q)。(十)零件特征的平滑化公式为:ypn=αpnyi+(1−αpn)u,(7)PGLR我我i=1其中u是均匀向量,αpn是确定标签平滑强度的权重与对αpn采用恒定权重的传统标签平滑相反,我们使用交叉一致性得分(即,,αi=i(g,pn)),反映了全局聚类结果的可靠性,部分然后,我们将细化的伪标签y_p_n插入到Eq. (2),交叉熵损失用Kullback-Leibler(KL)散度[31]重新表示为:从集成的部分预测与丰富的细粒度的信息,被忽略在以前的方法。此外,与使用辅助教师网络细化伪标签的先前研究[8,63]不同,部分引导的标签细化是一种无需额外网络的自教学方法,具有计算效率。总体培训目标。PPLR的总损失函数为:L PPLR =Laals+Lpglr+Ltriplet+λcamLcam。( 十一)NDNpL=1(αpnH(y,qpn)i=1n =1我们的方法有效地减少了噪声的影响,以两种方式进行低交叉一致性的部件特征+(1−αpn)DKL(u<$qpn)),(8)通过接近统一分布的伪标签来训练元素i i(8),以及由其中H(,)和DKL()分别是交叉熵和KL散度,两项由αpn与交叉一致性得分i(g,pn)的值平衡。由方程式在等式(8)中,前一项将预测驱动到接近yi的高置信度,并且后一项促使预测塌陷到均匀向量中。通过用交叉一致性得分缩放两个相反的项,我们称-根据每个零件的伪标签的可靠性来校准零件特征的预测。零件引导的标签细化。我们提出了一个部分引导的标签细化,生成细化标签的全球功能,使用部分功能的预测。在全局特征聚类中,由于忽略了细粒度信息,局部特征信息具有丰富的局部背景,可以用来处理标签噪声。然而,由于区分度较低的部分可能会提供误导性信息,因此我们根据每个交叉一致性得分聚合具有不同权重的部分特征的预测,从而使用更可靠的信息来细化标签。具体来说,我们生成部分引导的细化标签,作为全局特征的伪标签,通过:Npyg=βyi+(1−β)wpnqpn,(9)n=1零件引导的细化标签通过等式从零件特征捕获可靠的细粒度信息。(九)、此外,当所有部分预测具有低交叉一致性分数时,由于所有部分中的强标签平滑效应,部分引导的细化标签中的集成预测甚至最终崩溃为均匀向量,从而提供无意义的训练信号。它使我们能够削弱噪声伪标签的影响,从而实现更好的表示学习。4. 实验4.1. 数据集和评价方案我们在两个人的re-ID数据集和一个车辆的re-ID数据集上评估了所提出的方法-Market-1,501包含来自6个非重叠相机视图的1,501个人身份的32,688个图像。它被分成751个身份的12,936个训练图像和750个身份的19,732个测试图像。MSMT17是一个更具挑战性的数据集,由15个不同相机拍摄的4,101个人的126,441张图像组成。它被分成32,621个训练图像和93,820个测试图像,分别包含1,041个身份和3,060个身份。VeRi-776包含来自20个相机视图的776辆车的51,035张图像。它分为37,778培训kexp(Ci(g,pk))使用零件导向的细化标注,全局要素可以学习7313××LCLLL我方法Market-1501MSMT17地图秩-1地图秩-1PPLR81.592.831.461.1PPLR w/oLaals+ 零件到零件标签细化77.878.690.791.129.327.955.654.9+ Vanilla标签平滑79.191.729.857.2PPLR,不含Lpglr+平均教学78.979.090.991.028.828.956.155.7+ Lpglrw/o交叉协议80.191.530.158.1表1. PPLR单个组件的消融研究表2.不同标记细化技术的消融研究95576辆车的13,257张测试图像和200辆车的13,257张测试图像。我们采用平均精度(mAP)和累积匹配特征(CMC)Rank-1,Rank-5,Rank-10精度来评估性能。实 施 详 情 。 我 们 采 用 在 ImageNet [4] 上 预 训 练 的ResNet-50 [12]作为骨干。我们删除第4层之后的所有层,并添加平均池化层,然后使用BNNeck [28]进行全连接分类。期间9085807510 20 40 80100200500(a) K90807060500.00.10.30.50.70.91.0(b)测试中,我们只使用全局特征进行检索。人物和车辆图像的大小分别调整为384 128和256 256。随机翻转,裁剪和擦除[72]用于数据增强。小批量大小为64,由16个伪类和每个类4个图像亚当[18]的重量衰减为5×10−4,训练初始学习率设置为3。5×10−4,图3. Market-1501上的k和βbel平滑 ,其 采用 等式 ( 1 )中 的恒 定平 滑权 重。(七)、我们还探讨了部分到部分的标签细化,它使用其他部分的预测,以同样的方式在方程PGLR生成细化标签(九)、具体来说,我们通过聚合其他部分的预测来生成部分pi的细化标签在每20个时期之后降低10倍。我们训练总共50个时期,并且每个时期包含400次迭代。我们采用基于Jaccard距离的DBSCAN [6]和k-倒数编码[71]进行聚类。根据经验,我们将部件数Np设置为3,加权参数β设置为0.5,交叉一致性评分的参数k设置在CAP[50]之后,我们设置τ=0。07,λcam=0. 5,硬负代理的数量为50。4.2. 消融研究为了分析该方法的有效性,我们在Market-1501和MSMT 17上进行了大量的实验由于相机标签在实践中并不总是可用的,因此我们采用了基于部件的无监督re-ID框架(Sec. 3.1)有和没有相机间对比损失凸轮作为基线。我们评估建议的伪标签细化方法的有效性-协议感知标签平滑aals和部分引导标签细化pglr。表1中报告了每种设置的实验结果。如表中所示,每个标签细化都显著提高了两种设置的性能当我们结合AALS和PGLR时,我们特别获得了显着的性能增益。例如,我们的方法通过以下方式改进了具有和不具有凸轮的基线的mAP:6.5%和8.0%,分别对市场-1501。协议感知标签平滑的有效性。为了验证AALS的必要性,我们评估标签细化技术替代AALS。我们先采用香草-pj与部分对部分交叉同意-分段得分i(pi,pj)。如表2所示,我们的AALS显著优于其他标签细化方法。我们观察到,部分到部分的交叉一致性得分实质上低于部分到全球的对应部分,因为部分共享较少重叠的感受野。因此,部分到部分标签细化由来自显著不同的局部上下文的不可靠信息指导,而我们的AALS捕获可靠的补充信息并显示出更好的性能。Vanilla标签平滑盲目地调整所有部分的标签分布,而不考虑每个部分的特性,并且也显示出有限的改进。同时,我们的AALS根据交叉协议捕获的给定标签的可靠性来校准部分特征部分引导标签细化的有效性。为了验证PGLR的有效性,我们评估了其他标签细化技术。一种方法是通过均值-教师模型[44]预测全局特征来细化标签。我们进一步研究PGLR没有交叉协议得分平均预测的部分功能,即,设置所有的wpn为1/Np在方程。(九)、如表2所示,我们的PGLR显著优于其他标记细化方法。它证明了PGLR的优越性和交叉一致性评分的有效性。PGLR的精化伪标签捕获了仅考虑全局特征无法获得的可靠细粒度信息,有助于生成更有效的精化标签。秩-1地图92.891.691.891.591.090.690.181.580.780.279.679.378.978.192.891.491.791.1九十点九90.081.579.879.979.178.977.572.549.2秩-1地图mAP /等级-1(%)mAP /等级-1(%)方法Market-1501MSMT17地图秩-1地图秩-1基线1(不含L凸轮)+拉尔斯+Lpglr+ Laals+Lpglr73.578.977.881.588.590.990.792.825.128.829.331.451.256.155.661.1基线2(w/L凸轮)+拉尔斯+Lpglr+ Laals+Lpglr77.982.481.584.491.293.293.094.336.840.540.442.267.671.270.973.373141.00.80.60.40.20.0(a)(b)第(1)款(c)(a)(b)(c)(a)(b)(c)(a)(b)(c)第(1)款◦LL图4.交叉一致性评分的可视化(a)原始图像。(b)通过将图像强度乘以相应的交叉一致性评分创建的掩蔽图像。(c)交叉一致性得分的颜色喷射条,其中每个区域的颜色表示整个训练时期的平均得分。参数分析我们分析了两个参数在我们的方法中的影响-我们调整每个参数的值,同时保持其他参数不变,结果如图3所示。较大的k值会导致在全局和部分的前k个图5. t-SNE [46]我们的PPLR的最顶部特征空间的可视化,没有和有AALS。如果没有AALS,嵌入会过拟合到ID标签,并且较少考虑每个部分的局部上下文使用AALS,它显示了可靠的嵌入结果,这些结果在考虑局部上下文的同时分布良好。圆圈区域表明,具有较少区分部分的特征被嵌入在一起,即使它们的ID标签不同。功能,总体上产生较低的交叉一致性分数。这些错误的匹配使我们无法识别互补关系的可靠性,从而限制了性能。当我们将β设置为0时,我们的方法分解为仅使用等式中的集成部分预测。(9)、表现出明显的业绩下滑。初始训练阶段的预测通常输出均匀分布,因此PGLR细化的标签也会塌陷为均匀分布,从而提供噪声训练信号。基于这些实验结果,我们设置k=20和β=0。五、定性分析为了探索交叉一致性分数的影响,我们将掩蔽图像I′(x,y)=I(x,y)c(x,y)可视化为图像强度I(x,y)和相应的交叉一致性分数c(x,y)之间的元素乘积。低交叉一致性分数导致低像素强度;因此,图像的对应部分变暗。如图4所示,被遮挡或未对准的部分具有相对低的交叉一致性分数,而有区别的部分具有高值。在图4的顶行上的最右边的情况下,由于几个人的遮挡,所有部分都未能捕获有区别的信息(八)、在等式中的部分引导的细化标签的集成预测(9)也会塌陷为统一向量,提供无意义的训练信号。为了进一步探索所提出的标签细化方法,我们定性地分析了AALS和PGLR的有效性。我们可视化的嵌入部分特征,我们的PPLR与AALS和没有。如图5所示,没有AALS的嵌入被过拟合到ID标签,并且在较少的信息上显示出较少的区分度(a)(b)(c)(a)(b)(c)(a)(b)(c)图6.Grad-CAM [35]全局特征预测的可视化(b)如果没有PGLR,该模型只关注全球背景下最具区别性的部分。(c)由于部分引导的细化标签与丰富的本地上下文,该模型专注于更多样化的区分区域。活性成分另一方面,AALS的嵌入考虑了各部分的语义上下文,分布性更好。而没有AALS的模型依赖于硬伪标签,AALS调整给定的伪标签的基础上,每个部分的可靠性,并实现更适当的部分表示学习与校准效果。我们还可视化了具有和不具有PGLR的全局特征的预测的Grad-CAM [35如图 6,前者只关注全球范围内最具歧视性的部分(例如,帽子、鞋子和包),并且易受视点变化和遮挡的影响。由于PGLR,它细化了具有丰富细粒度信息的全局伪标签,我们的模型从每个部分学习有区别的信息并捕获不同的区域。4.3. 与现有技术的我 们 将 我 们 的 方 法 与 Market-1501 、 MSMT 17 和VeRi- 776上最先进的无监督re-ID方法进行了比较,所有结果均在表3中。我们首先比较我们的PPLR,没有相机间对比度损失(即,,λcam=0)与不使用相机标签的无监督方法:BUC [24],MMCL [47],HCT [61],MMT [8],SpCL[9],GCL [3]和RLCC [64]。SpCL采用了一个强大的聚类标准,通过识别不可靠的集群来模拟准确的伪标签。无噪音部件没有AALS与AALS带噪声部件交叉一致性评分7315方法MSMT17VeRi-776地图R1 R5R10地图R1R5R10地图R1R5R10无标签的BUC [24]AAAI'1938.366.279.684.5--------MMCL [47]CVPR'2045.580.389.492.311.235.444.849.8----HCT [61]CVPR'2056.480.091.695.2--------MMT [8]ICLR'2074.388.196.097.5--------GCL [3]CVPR'2166.887.393.595.521.345.758.664.5----SpCL [9]NeurIPS'2073.188.195.197.019.142.356.568.436.979.986.889.9RLCC [64]CVPR'2177.790.896.397.527.956.568.473.139.683.488.890.9PPLR(我们的)这项工作81.592.897.198.131.461.173.477.841.685.691.193.4使用相机标签的SSL [25]CVPR'1937.871.783.887.4--------JVTC [19]ECCV'2047.579.589.291.917.343.153.859.4----IICS [55]CVPR'2172.989.595.297.026.956.468.873.4----[50]AAAI'2179.291.496.397.736.967.478.081.4----ICE [2]ICCV'2182.393.897.698.438.970.280.584.4----PPLR(我们的)这项工作84.494.397.898.642.273.383.586.543.588.392.794.4表3.与Market 1501、MSMT 17和VeRi-776上的最新方法进行比较MMT和RLCC分别使用辅助网络和聚类一致性算法的预测来然而,所有这些方法都只考虑全局特征,而忽略了对人的重新识别至关重要的细粒度信息另一方面,我们的方法考虑到全局和局部特征之间的互补关系,并通过局部预测的集合来共同减轻全局特征如表中所示。3,我们的方法在所有基准上都超过了现有的最先进的方法,在Market-1501,MSMT 17和VeRi-776上分别比RLCC有+3.8%,+3.5%和 +2.0%的mAP我们还将我们的PPLR与使用相机标签训练的无监督方法进行了比较:SSL [25],JVTC [19],IICS [55],CAP [50]和ICE [2]。IICS和CAP利用相机内和相机间的相似性,并基于每个相似性训练模型,以减少来自不同相机视图的大的类内差异ICE利用基于数据增强策略的实例间成对相似性来增强对比学习方案。我们的方法也利用了不同的特征相似性结构,但我们专注于利用细粒度的人re-ID所需的全局和局部相似性信息。此外,与直接使用由特征相似性计算的伪标签的其他方法如表中所示。3,我们的方法显著优于最先进的方法;在Market-1501和MSMT 17上,PPLR在mAP中的得分分别比ICE高+2.1%和5. 讨论虽然我们已经证明了我们的方法的有效性,但它仍然有一个局限性需要克服。与其他基于零件的方法[7,42,67]一样,我们通过均匀划分特征图来提取零件特征然而,由于并非所有图像都与人体对齐,因此同一部位索引中的部位特征可能不代表相同的身体部位。即使它们捕获了有区别的信息,未对齐的部件特征也可能输出具有噪声信息的排名列表,并产生低的交叉一致性分数。为了克服这一点,一个有前途的解决方案将是使用语义匹配或人类解析技术来构建表示人的共享的、相似的语义部分的特征空间。此外,重新识别技术可能会带来负面影响,例如由于滥用监视系统而侵犯隐私。 相关研究人员和用户应注意将该技术用于在考虑道德问题时采取适当的方式。DukeMTMC-reID [33]由于伦理问题已被删除,不应再使用。6. 结论在本文中,我们提出了一个基于部分的伪拉贝尔细化(PPLR)的框架,无监督的个人重新识别。我们的方法利用了图像的全局和局部背景,并使用全局和局部特征之间的互补关系来消除每个特征空间的标签噪声。我们引入了交叉一致性评分来利用可靠的复杂信息,并在此基础上,我们提出了一致性感知的标签平滑和部分引导的标签细化。我们已经进行了广泛的消融研究,包括定性分析,以验证所提出的方法的有效性。此外,大量的实验表明,我们的框架优于现有的最先进的方法在几个基准。致谢这项工作得到了韩国政府(MSIT)资助的信息通信技术规划评估研究所(IITP)赠款(编号IITP-2015-0-00199,Proximity computing and its applications to automated vehicle,image search , and 3D printing ) 和 韩 国 国 家 研 究 基 金 会(NRF)赠款的部分支持。NRF-2021R1C1C1012540)。7316引用[1] Haw-Shiuan Chang , Erik Learned-Miller , and AndrewMc-Callum. 主动偏置:通过强调高方差样本来训练更准确的神经NeurIPS,2017。2[2] Hao Chen , Benoit Lagadec , and Francois Bremond.ICE:用于无监督人员重新识别的实例间对比编码。ICCV,2021。一、二、四、八[3] Hao Chen , Yaohui Wang , Benoit Lagadec , AntitzaDantcheva,and Francois Bremond.联合生成和对比学习,用于无监督的人员重新识别。在CVPR,2021年。七、八[4] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。CVPR,2009。6[5] Weijian Deng , Liang Zheng , Qixiang Ye , GuoliangKang,Yi Yang,and Jiabin Jiao.具有保留的自相似性和域不相似性的图像-图像域自适应用于人重新识别。在CVPR,2018年。2[6] 张文,张文,等.一种基于密度的聚类算法.北京:科学出版社,2000.在KDD,1996中。三、六[7] Yang Fu , Yunchao Wei , Guanshuo Wang , YuqianZhou , Honghui Shi , and Thomas S Huang. 自 相 似 分组:一个简单的无监督跨域自适应方法,用于人员重新识别。 在ICCV,2019年。 一、二、八[8] Yixiao Ge,Dapeng Chen,and Hongsheng Li.相互教学的意思:伪标签精炼的无监督域适应的人重新识别。在ICLR,2020年。 一、二、五、七、八[9] 葛一笑,朱峰,陈大鹏,赵瑞,李洪生.自步调对比学习与混合算法域自适应对象re-id。在NeurIPS,2020年。一、二、七、八[10] Aritra Ghosh,Himanshu Kumar和PS Sastry。标签噪声下深度神经网络的鲁棒InAAAI,2017. 2[11] 郭建元,袁玉辉,黄朗,张超,姚金戈,韩凯.超越人体部分:双重部分对齐表示的人重新识别.在ICCV,2019年。2[12] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。6[13] Dan Hendrycks , Mantas Mazeika , Duncan Wilson 和Kevin Gimpel。使用可信数据在被严重噪声破坏的标签上训练深度网络。NeurIPS,2018。2[14] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为了防止三重丢失,进行人员重新鉴定。arXiv预印本arXiv:1703.07737,2017。4[15] Ahmet Iscen 、 Giorgos Tolias 、 Yannis Avritis 、 TeddyFuron和Ondrej Chum。区域流形上的高效扩散:用紧凑的cnn表示恢复小对象。在CVPR,2017年。4[16] Max Jaderberg,Karen Simonyan,Andrew Zisserman,Koray Kavukcuoglu.空间Transformer网络。InNeurIPS,2015. 2[17] MahdiMKalayeh 、 EmrahBasaran 、 MuhittinGo¨k
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功