MVP匹配：身份再识别中的硬样本挖掘

1MVP匹配：一种挖掘硬样本的最大值完美匹配及其在身份再识别中的应用韩孙1，2，陈志远1，2，严世扬3，林旭1，21南京高级人工智能研究院2地平线机器人3贝尔法斯特女王{han.sun1102，zhiyuan.chen01，elyotyan，lin.xu5470}@ gmail.com摘要如何在度量学习中正确地强调硬样本对于视觉识别任务至关重要，特别是在挑战者身份识别应用中。具有显著外观变化的跨摄像机的行人容易混淆，这可能使学习的度量有偏差并减慢收敛速率。在本文中，我们提出了一种新的加权完全二部图的最大值完美（MVP）匹配挖掘硬样本从一批样本。它可以分别强调困难的正样本和负样本对，从而缓解不利的优化和样本不平衡问题。然后，我们开发了一个新的基于批量MVP匹配的损失目标，并以端到端的深度度量学习方式将其结合起来。它导致收敛速度和识别性能的显着改善。在五个人重新识别基准数据集上的广泛经验结果，即，Market-1501、CUHK 03-检出、CUHK 03-标记、Duke-MTMC和MSMT 17证明了所提出方法的优效性它可以大大加快收敛速度，同时实现最先进的性能。我们的方法的源代码可以在https：github.com/ IAAI-CVResearchGroup/MVP-metric.1. 介绍人的重新识别（re-ID）是计算机视觉中的一个热门但令人困惑的研究课题[5，46，1，25，53]。最近，随着深度度量学习的显著进展[13，11，33，41，19，52]，许多先进的方法[21，45，6，35，40，44]已开发用于视觉识别。联合学习的深度特征表示和语义嵌入度量在人re-ID的社区中产生显著的改进[26，55，19，24，22]。人识别的核心挑战在于如何在不同的不相交摄像机上准确地识别出同一个行人，尤其是在人的外表变化很大联系作者图1：使用建议的MVP匹配进行学习的示意图，用于强调硬阳性和阴性样本对。（a）Market-1501数据集中典型的硬类间和类内样本。（b）：从加权完全二分图中学习MVP匹配，用于挖掘硬正负样本对。粒子的颜色表示语义（或类别）信息。（c）：基于损失目标的批量MVP匹配的度量学习过程。学习的度量在批内进行优化，以便用红色和黄色箭头强调具有大距离的正对和具有小距离的负对。使用MVP匹配的学习保证了同时只选择一个排他性的硬正对和负 不利的优化包括过度训练（例如，x1和x4）和抵消（例如，x2和x5），如黑色箭头所示。箭头的长度指示由所提出的损失目标优化的权重人的姿势、照明条件和摄像机视点。图1. (a)展示了Market-1501数据集中一些典型的易混淆硬样本它们大致可不同的外观6737(a)一些典型的硬样本说明在人重新ID数据集（即，Market1501）。之前1MVP匹配2后2015年12月25日&1&(b)从加权完全二部图中学习最大值完美匹配之前后保证金20020055$1D$1D3MVP匹配3s−d>0s−d>0(c)基于损失目标的批量MVP匹配的度量学习过程。6738行人可能高度相似，人的姿势可能随着时间和空间的变化而显著变化，并且一些相机拍摄的光线条件有时很差。这些硬样本会大大降低度量学习的收敛速度，度量学习的工作原理是将相似的样本聚集在一起，同时将不同的样本分开。或者更糟的是，学习的嵌入度量和特征表示可能会受到这些硬样本的严重影响。大多数已有的度量学习方法在这个问题上仍然存在一定的局限性。例如，精液对比丢失[13]或三胞胎丢失[11]基于连体网络学习图像对或三元组中的语义信息[9]。他们没有充分利用一批样本中的所有可用信息。已经开发了批处理所有三重态损失[19]和N对损失[41]提升损失[33]和四重损失[12]只考虑了硬负样本挖掘而忽略了硬正样本。批量硬三重丢失[19]认为最难的正面和负面挖掘仅仅取决于特征的距离。它的性能很容易受到一些异常样本的影响（例如，在人重新识别数据集中的不可区分或错误标记的图像），这可能被许多其他样本同时视为最难的样本对，并导致度量学习过程中的振荡。在度量学习框架下，提出了一种基于加权完全MVP匹配的主要动机是如何正确地捕获这些类间和类内硬样本中的人重新ID数据集。如图1所示。(b)首先构造一个完全二部图，[2] 从一批样本中，其顶点（即，样本）可以被划分成两个不相交且独立的集合使得每个边缘（即，样本的权重）将一个顶点从一个集合连接到另一个集合中的顶点。然后是MVP匹配（即，具有一对一对应的双射）可以用Kuhn-Munkres分配（KA）算法[20]在该加权二分图中找到。我们学习了两个MVP匹配，如加权二分图中的黄色和红色双向箭头，分别强调我们进一步基于所提出的MVP匹配为深度度量学习制定了批量损失目标。图1. (c)示意性地示出了所提出的损失目标的度量学习过程。如前所述，用于度量学习的传统批量损失目标[41，33，19，52]可以使用训练批次内的所有可用信息进行优化然而，在这方面，这些方法可能会遇到过度训练。具有小距离的类似x1和x4）。或者更糟的是，如果我们把优化作为一个整体而不是单个粒子，这些方法的度量学习过程很容易振荡。由于硬样本可能同时被许多粒子强调x2和x5）。相比之下，基于MVP匹配的损失目标的度量学习可以保证每个样本选择一个排他性的硬正负对。然后，不利的优化，例如，过度训练和其他锚产生的抵消，如图1中的黑色箭头所示。(c)将被有效消除。因此，度量学习的收敛速度和识别性能可以显着提高最后，我们评估了我们提出的方法在五个广泛使用的基准数据集上 的 性 能 ， 即 ， Market-1501[56] 、 CUHK 03- 检 出[23]、CUHK 03-标记[23]、Duke-MTMC[38]和MSMT17[49]。实验结果表明，该方法可以大大加快收敛速度，同时达到最先进的性能。简而言之，我们在本工作可归纳如下：(1) 我们提出了一种新的加权完全二部图的最大值完美（MVP）匹配挖掘硬样本。它可以分别强调硬正样本对和硬负样本对，从而缓解逆向优化和样本不平衡问题。(2) 我们开发了一种新的基于批量MVP匹配的损失目标，并将其结合到深度度量学习的端到端方式中它导致收敛速度和识别性能的显着改善。(3) 我们验证了我们所提出的方法的优越性的人重新ID数据集。我们的方法可以实现国家的最先进的性能与一个显着的快速收敛速度。2. 相关工作人员重新识别：目前对人物识别的研究主要集中在视觉特征提取和相似性度量学习两个方面。传统的特征表示是基于手工制作的方法，例如颜色直方图[17]，SIFT [29]，LOMO [26]等。最近，随着深度学习技术和大规模人员重新识别基准数据集的发展，例如，市场 -1501[56] ， CUHK- 03[23] ， Duke-MTMC[38] ，MSMT 17[49]等，许多AD-已经提出了先进的方法例如，将行人图像分成三个水平部分的特征由siamese CNN提取，余弦距离度量来自不同图像的特征的相似性。FaceNet [40]由一批图像和一个深度CNN骨干组成，然后进行N2O2归一化，输入到可测量的欧几里得空间。 深人[4]是建议以端到端的方式应用LSTM结构，6739IJIJ22IJ模拟行人图像，将其视为从头到脚的身体部位序列。BraidNet [47]提出了一种深度CNN，它具有专门设计的级联WConv层来提取特征。PSE网络[39]包含RGB信息的3个通道和姿态信息的14个通道，具有获取的相机视图和检测到的关节位置，这有助于学习有效的表示。区分性身份损失与验证损失目标相结合[57]还显示出优异的识别性能。深度度量学习：在深度度量学习中，深度视觉特征和语义嵌入度量可以联合学习[23，22]。受对比损失[13]和三重损失[11]的启发，许多改进的基于边际的损失对象，顶点（即，样本）可以被划分为两个不相交且独立的集合U和V使得每个边（即，样本的权重）将U中的顶点连接到V中的顶点。考虑到在训练批次内不相似的负对的数量通常比相似的正对多得多的事实（也称为，sample imbalance problem [48]），我们进一步将图G分成两个二部图GP和GN，分别对应正对和负对。我们还定义了自适应权重M+，GP和G N中每条边（i，j）的M −。具体地，正对的边权重可以被定义为：M+ （ xi ， xi;f）=max {0， ||f（xi ）−f（xj ）||2−α}，（3.1）ij2已经提出了用于学习的尝试，例如，四重损耗[12]，边缘样本挖掘损失[51]，提升损失[33]等。这些方法采用边缘作为训练前调整的超参数，以控制样本对之间的距离为了使固定裕度能够可行地调整，在[12]中，一批中正负对的平均距离自适应地表示裕度阈值。此外，引入了一个可学习的变量来确定正负对之间的边界[50]。同时，度量学习方法对选择敏感其中，α是一个可学习的变量，表示标记。类 似 的 阳 性 样 本 。 铰 链 损 失 函 数 max{0 ， ||f（xi）−f（xj ）||2−α}惩罚超出裕度α的相似样本。该方法避免了在对比度损失中对正样本的过度训练，而这需要相似的学习算法。较大对尽可能地聚集在一起。对于不同的负样本，我们相应地将边权重定义为M−（xi，xj;f）=max {0，β−||f（xi）−f（xj）||2}，（3.2）ij2硬对或三胞胎。 因此，硬样品开采这是一个重要而重要的因素[19，12，51]。半硬[40]和批量硬[19]损失目标直接基于利润选择由于采样对于学习深度嵌入很重要，因此在[50]中提出了距离加权采样，从而在控制方差的同时稳定地产生信息示例。考虑到根据一种新的地面距离度量对样本进行加权，其中β=ε+α决定负对超参数ε控制相对距离在正负边缘之间。铰链损耗max{0，β-||f（xi）−f（xj）||2}惩罚边缘β内的不相似对，而忽略其他对。3.2. 硬样本对的MVP匹配我们定义匹配变量T+和T−，ij ij最佳运输问题框架[52]。一般而言，这些方法挑选出不同的阳性对（也称为，硬阳性样品）和类似的阴性对（也称为，硬阴性样本）。这两个加权二部图G P和G N上的边（i，j）。 元素tij∈ T+（或−）= 1表示匹配配对，而tij=0表示不匹配配对。由此的总量正对和负对的权重是 T+M+和Σ− −ijij ij ij在图中匹配：在数学学科中，不ijij M. 我们的目标是找到一个最大值的完美图论[8]中，图中的匹配是一组边没有共同的顶点。在加权二分图中寻找最大加权匹配[30]是基本的组合优化问题之一[37]。这在理论和实践上都是至关重要的。 一方面，它是更复杂问题的特殊情况，例如广义分配问题[31]，最小费用流，在一些实施例中，该方法包括MVP匹配，用于分别分配正对和负对。显然，每个顶点都与一条边相邻在匹配E_xactl_y中，其可以被公式化为线性约束，即，jTij=1，i∈U，iTij=1，其中j ∈ V。然后，将MVP匹配在这两个加权二部图GP和GN可以表示为：Σn网络流量问题[15]。 另一方面很多MaxT+（或−）M+（或−）现实世界的问题可以被归类为匹配问题，例如工人分配问题[32]。Tij≥0Σni，j=1ij+（或−）IJn+（或−）（3.3）S.T.j=1 Tij=1，i=1 Tij= 13. 我们的方法3.1. 积极和消极的自适应加权我们构造了一个完全二部图[2]G（U，V，E）基于一批样本。 如图2所示，优化此MVP匹配的过程也称为分配问题[20，31]，这是一个基本的组合优化问题[10，60]。它包括找到一个完美的匹配（即，一对一匹配），其中边权重的和在加权6740分配自适应边缘权重矩阵分配图2：我们提出的用于挖掘硬阳性和阴性样本对的MVP匹配的示意图两个集合U和V可以被认为是具有两个类别的样本（即，黄色或红色）。一个完全二部图可以分为正负对的子图GP和GN。根据对应的预定义自适应边缘权重矩阵M+和M-来分配正MVP匹配矩阵T+和负MVP匹配矩阵T-。T+和T-的每一行和每一列都只有一个非零元素，用于表示具有最大边权重值的硬正负对的位置。最终的MVP匹配解决方案T将T+和T−结合起来，以确保同时选择一个排他性的硬正对和负对二部图学习的匹配可以分别强调硬阳性和阴性样本对。等式（3.3）中MVP匹配问题的一个简单解决方案是检查所有可能的分配并计算每个分配的成本。然而，这是非常低效的，因为有n个！（即，n的阶乘）不同的作为n-对样本。许多算法[34，7]已开发的解决分配问题的多项式时间有界的n。Kuhn-Munkres分配（KA）算法[20]是最流行的算法之一[10，60]，它可以找到全局最优解（2）时间复杂度为O（n3）。 考虑一个完全赋权二部图G，其中边（i，j）∈E的权记为Mij，我们对每个顶点定义一个标号函数<$：U<$V→R. KA算法的详细过程在Algo.tithm1.为了解释KA算法如何在二分图中找到MVP匹配，我们首先介绍了可行标记和等式图的定义。定义3.1. 可行标签：中的每个顶点算法1Kuhn-Munkres分配（KA）算法输入：一个完全的加权二分图和一个加权矩阵，记为G（U，V，E）和Mij。输出：最优最大值完美（MVP）匹配T。步骤1. 初始 化：生成标记函数l的初始值。我们将集合U和V中顶点的初始标记值设置为+∞和0。步骤2. 检查：如果T是任意完美匹配（即，one-to-one匹配）在G中，分配终止。否则，选取不匹配的顶点xi∈U。步骤3. 标签：如果用匈牙利方法[20]对xi进行增广，相应地，将标签值更新为min {l（x i）+l（x j）-Mij（x i，xj）}。步骤4. 迭代：从xi成功扩增，更新T，转到步骤2。gr aphG，定义了一个标号<$：<$xi，xj∈U<$V→R来计算顶点标记值。 可行标签要求任何边（i，j）的权重Mij满足Mij≤n（x i）+n（x j）。（3.4）定义3.2. 等式图：任意两个顶点之间的标签值之和等于阳性配对12$GP12$UEV1122%&6%&6联系我们%%G&6&612$%N12$%负对&&66MVP匹配矩阵12$%（）12$%最终MVP匹配（&&661212$$12$%&（*12$%&%%&&66666741相等图G中的对应边（关于G），其被表示为G ={M（i，j）：Mij=M（x i）+M（xj）}.（3.5）定理3.3. 如果T是一个可行的标签函数，T是67422=ij+IJijijijij等式图G中的任意完美匹配，则T必须是匹配T的最大值完美（MVP）。证据对于任意的完美（即，一对一）匹配T的加权图G（U，V，E）中，每个顶点只覆盖一次。因此，每个匹配的边权重Mij算法，而不是考虑作为变量来计算Gra-。在传统的双边际对比损失[27]中，边际是手动选择的。然而，通过我们的损失目标中的变量α来学习正边际是可行的。α的梯度可以很容易地计算为Σning（i，j）满足等式3.4中的条件。相等的-L=−y1{||f（x）=0||2−α>0}+仅当edge（x，x）∈G时成立.我们表示伊基Ij2i ji，j=1所有标记值的总和为K。因此，该匹配T中的所有边权重的总和满足：（1−yij）1{ε+α−||f（xi）−f（xj）||2>0就推导出的ΔL、ΔL和ΔL而言，n（xi，xj）∈TMxi∈Uxj∈V∂αf（xi）f（xj）ij≤我（xi）+Jk（xj）= K.（3.6）的网络参数可以很容易地计算与反向传播方法 因此，整个网络只有当所有匹配边都在G中时，才能得到等式3.6中的等式。因此，当T是G中的任意完美匹配时，所有边权重的 总 和 达 到 最 大 值 K ， 并 且 匹 配 T的 最 大 值 完 美（MVP）被接收为：可以端到端区别地训练。4. 实验在本节中，我们评估了我们提出的方法的性能，并将其应用于人员重新识别任务。<$（xi，xj）∈T<$Mij=xi∈U我（xi）+xj∈VJk（xj）= K.（3.7）在我们的实验中使用了五个广泛使用的基准数据集，包括Market-1501，CUHK 03-Labeled，图GP和GN上的两个矩阵T+和T−，如图2所示，是硬正样本对和硬负样本对的MVP匹配，其每列和每行的值为1。组合T确保每个样品选择一个唯一的硬阳性和阴性样本。3.3. 基于损失的最后，我们基于提出的MVP匹配度量学习制定了一个批量损失目标，L（xi，xj;f）=L++ L−CUHK 03-检出，Duke-MTMC和MSMT 17。4.1. 数据集CUHK 03[23]是来自香港中文大学（CUHK）的大型人员re-ID数据集。整个数据集包括13，164张1，360名行人的图像，由6台监控摄像机拍摄。这些摄像机拍摄的图像会持续几个月。该数据集手动裁剪了行人图像，并提供了用最先进的行人检测器检测到的Market-1501[56]是另一个由ΣnΣnyT+M+ijij ijij ij（1−yij）T-M-，（3.8）清华大学 总共包含32，643个边界盒子里有1,501个身份图像还记录了六个摄像头，包括五个1280×1080高清摄像头，其中yij是分配给一对样本的二进制标签。如果样本xi和xj被认为是相似的，则令yij=1，并且yij=0，否则。M+和M−是自适应边缘720×576SD相机因为这些摄像头被放置在一个开放的环境中，每个身份可能有同一个摄像头下的多个图像。ij ij权重匹配T+和T−的MVP可以学习Duke-MTMC[38]是一个手动注释和多个ij ij用于强调严格的正负对。我们最小化建议的损失目标与批梯度下降。在每次更新时，损失函数L（xi，xj; f）相对于输入特征嵌入表示f（xi）和f（xj）的梯度被计算为：摄像头视频数据集。它由8×85分钟的1080p视频记录在60帧每秒从8静态杜克大学的摄像机在讲座之间的时间。该数据有大约十个小时的视频，200多万帧和2384个卢林=2（f（xi）−f（xj））（δ+yijT+−δ−（1−yij）T−），不同的身份每个身份有2.5个单摄像机轨迹，在某些情况下平均多达7个。f（xi）Lj=1Σnij ij ij ijIJMSMT17[49]是一个大规模的多场景多时间北京大学提供的人重新身份数据集=−2（f（xi）−f（xj））（δ+yijT+−δ−（1−yij）T−），f（xj）i=1ij ij ij ijij数据集使用15个摄像机网络，包括12个输出，三个室内摄像头。 复杂的场景和背景-其中δ+和δ−是分配给样本对的二进制指示符如果方程（3.1）中相似对的边权重小于0，δ+输出1。等式（3.2）中的不相似对的边权重的指示符表示为：δ−。在优化过程中，T+和T−由KA求解6743这些理由使这个数据集更具吸引力和挑战性。在一个月内选择四天不同的天气和光照条件进行录像。最后，FasterRCNN检测并注释了4，101个不同身份的126，441个边界框[16]。ij ij ij ij6744ResNet50ResNet50深度度量空间Deep Metric……批样品……批样品基于批量MVP匹配的度量学习基础网络基础网络MVP匹配挖掘难正负对图3：我们提出的基于批量MVP匹配的度量学习框架概述给定一批样本，我们使用带有Resnet-50的连体式架构将输入图像转换为深度CNN嵌入。整个网络可以用所提出的基于损失目标的批量MVP匹配进行端到端的区别性训练T+M+的完美搭配，ij ijT-M-用于强调硬阳性和阴性样本对。 例如，MVP匹配可以找到硬阳性ij ijx 2和负x 3样本，锚点的最大值权重为x 1。Market-1501CUHK 03-检出CUHK 03-贴标杜克-MTMCMSMT17地图Top-1Top-5Top-1Top-5前10Top-1Top-5前10地图Top-1Top-5地图Top-1Top-5[51]第五十一话百分之七十点四87.9%92.9%百分之七十三点八百分之九十一点四95.0%百分之七十五点八百分之九十一点八95.2%百分之五十八点九百分之七十八点三88.3%百分之三十三点九百分之六十三点二百分之七十四[40]第四十话72.3%百分之八十六点七百分之九十五点八84.5%97.5%百分之九十八点八百分之八十七点六百分之九十九点三百分之九十九点七62.4%77.0%89.5%27.1% 百分之四十八点一68.5%[40]第四十话百分之七十六点九89.5%95.9%86.1%97.5%百分之九十八点八百分之八十九点一百分之九十九点一99.6%百分之六十五点八百分之七十九点八百分之九十点六百分之四十四点五69.4%百分之八十三点三失去的[33]百分之七十五点五87.9%百分之九十五点四86.1%百分之九十七点八百分之九十九百分之九十点二百分之九十九点四百分之九十九点七64.4%79.7%百分之九十点四41.7% 百分之六十六点一81.3%[52]第五十二话76.7%88.8%百分之九十五点五89.6%百分之九十八点八百分之九十九点一92.5%99.6%百分之九十九点七66.8%百分之七十九点六91.3%百分之四十四点五百分之六十九点五百分之八十二点六MVP损失百分之八十点五百分之九十一点四96.9%百分之九十一点八百分之九十八点八百分之九十九点四百分之九十三点七百分之九十九点四99.6%百分之七十百分之八十三点四91.9%46.3%71.3%百分之八十四点七表1：在五人re-ID基准数据集上进行深度度量学习的不同损失目标的比较结果4.2. 实验设置体系结构：图3展示了MVP匹配学习方案的网络架构。主干网络是Resnet-50[18]，具有512维嵌入。对于每个样本，MVP匹配只能找到一个排他性的正负对来计算损失。评价：由于人员重新识别任务可以被认为是图像检索的子问题[28，55]，因此我们使用欧氏距离来基于其嵌入表示来测量图像的相似性。给定查询标识，根据剩余测试样本与查询的距离返回剩余测试样本的排名列表。然后，计算平均精度均值（mAP）和累积匹配特征（CMC）曲线等评价指标所有查询的mAP是检索的常见评估指标，它同时考虑了查准率和查全率[56]。CMC曲线是另一个广泛使用的评估度量，它显示了查询身份出现在不同大小的候选列表中的概率如果排名前k的图库样本包含查询标识，则CMC前k准确度为1，否则准确度为0。参数设置：学习率和批量大小设置为0。0001和64，分别。我们的学习率会下降0倍。1自适应，Adam优化器为0。0005重量衰减率。相对距离ε6745公式3.2是200，而我们将可学习的正边缘变量β初始化为200。更详细的参数设置请参考我们发布的GitHub代码1。4.3. 不同损失目标的比较首 先 ， 我 们 将 我 们 提 出 的 基 于 最 大 值 完 美（MVP）匹配的损失与其他最先进的深度度量学习损失目标的性能进行了实证比较，例如，批次全（BA）三重态损失[40]、批次硬（BH）三重态损失[40]、提升损失[33]和分批最佳传输（OT）损失[52]。识别（ID）损失[51]表示分类的交叉熵损失，这也是项目2中提供的基线实验。比较结果总结见表1.一、所有度量学习损失目标都可以显着提高mAP和准确性。在比较的方法中，我们的基于MVP匹配损失的方法实现了最佳检索（即，mAP）在Market-1501、Duke- MTMC和MSMT 17上的性能。同时，所提出的MVP损失也在CUHK 03-检测和CUHK 03-标记数据集上实现了最佳CMC top-1和top-5准确度。然后，我们评估了所提出的MVP损失与其他前三个度量学习相比1https://github.com/IAAI-CVResearchGroup/MVP-metric2https://github.com/KaiyangZhou/deep-person-reid/网站6746BH三联体上市-1501上市-1501批量OT上市-1501 MVP上市-1501平均精密度（%）9075708065706060555040300 50 100150数量的时段504540350 50 100 150数量的时段50454035302520150 50 100150数量的时段1009080706050403020（BH三联体在CUHK 03上-标记在CUHK 03上-标记CUHK03标记的MVP上的CUHK03标记的批次OT0 50 100150数量的时段（图4：评估指标曲线与不同损失目标限制的时期数相关。子图（a）、（b）和（c）分别显示了Market-1501、Duke-MTMC和MSMT 17的mAP曲线子图（d）表示CUHK 03-标记的CMC前1准确度曲线。在Duke-MTMC和CUHK 03-Labeled上每2个历元观察一次度量，在其他上每4个历元观察一次。方法市场-1501 CUHK 03（检出） CUHK 03（标记）Duke-MTMC表2：Market-1501、CUHK 03和Duke-MTMC数据集的检索结果损失目标，即，BH三重态损失、提升损失和分批OT损失，根据表1。Market-1501、Duke-MTMC和MSMT17的mAP曲线以及CUHK 03-标记的比较结果的CMCtop-1准确度如图4所示。如图所示，我们的方法的收敛率显著优于其他三个损失目标，同时倾向于实现更好和更稳定的识别性能。这表明MVP匹配可以在训练过程中有效地强调硬正对和负对。平均精密度（%）平均精密度（%）CMC Top-1准确度（%）Duke-MTMC上的BH三重态Duke-MTMC上的批量OTMSMT17上的BH三重峰在MSMT17MSMT17上的批量OTMSMT17上的MVP地图Top-1Top-1Top-5Top-1Top-5地图Top-1[56]第五十六话百分之二十点八44.4%百分之十一点七33.3%--12.2%百分之二十五点一[26]第二十六话--46.3%-百分之五十二点二-17.0%百分之三十点八验证+识别[57]百分之五十九点九百分之七十九点五百分之八十三点四97.1%--49.3%68.9%MSCAN [22]百分之五十七点五80.3%68.0%91.2%百分之七十四点二94.3%--SVDNet [43]62.1%百分之八十二点三百分之八十一点八95.2%--百分之五十六点八76.7%[第54话]百分之六十三点四81.0%--85.4%百分之九十七点六--PDC [42]百分之六十三点四84.1%百分之七十八点三94.8%88.7%百分之九十八点六--6747图5：通过MVP匹配从一批样品中选择的排他性硬阳性和阴性对的可视化。最左边的图像是锚样本，右边是一批样本（批量大小为32）。对于每个锚图像，MVP匹配选择的硬相似正图像和不相似负图像分别用黄色和红色边界标记。我们只选择了6个锚点图像（即，（6× 32）用于说明。完整的批量对应关系（即，32× 32）可以在我们的补充材料中找到请同时参阅电子版，以获得更佳视觉效果。4.4. 与最先进方法的比较最后，我们将我们的方法与其他最先进的方法在四个人re-ID基准数据集上进行了比较，即，Market-1501、CUHK 03-检出、CUHK 03-标记和Duke-MTMC数据集。详细比较结果总结见表2。 在Market-1501数据集上，MVP损失的基线方法可以达到80。5%mAP和91. 4%CMC top-1准确度。结果优于表2中的大多数方法，除了D-人，其中使用包括全局和局部信息的更复杂的模型在使用重新排序技术[59]后，MVP损失达到了最先进的性能。例如，我们的方法的mAP和CMCtop-1准确度达到90。9%和93. 百分之三。在CUHK03数据集上也可以找到类似的实证结果。MVP损失的CMCtop-1准确率达到91. 8%，93。7%用于检测和标记图像。使用重新排序，前1名和前5名的准确率为96。4%，99。4%的CUHK03检测到的图像，这是7。0%和1.2%，高于D类。CUHK03标记图像的这两个指数为97。7%，99。8%，比91。5%和99. 0%使用D人称。在更复杂的Duke-MTMC数据集上，MVP损失仍然显著优于其他方法。我们报告了最佳mAP和CMC top-1准确度为83。9%，86。3%，分别。对于一批样本，我们选择了6幅图像及其相应的硬阳性和阴性对，MVP匹配。结果的可视化如图5所示。一个有趣的注意是，通过MVP匹配在一个批次中选择的硬相似阳性对通常具有强烈的外观变化，例如，人的姿势、尺度、视点，而硬不相似的否定对通常具有相似的外观。5. 结论本文提出了一种新的最大值完美（MVP）匹配策略，用于挖掘人员身份识别任务中易混淆的硬样本。学习的MVP匹配算法能够根据二分图中自适应的边权值处理不平衡样本，并自动突出正负样本对。然后，我们开发了一个基于MVP匹配对的批量损失目标，并将其纳入端到端深度度量学习网络进行识别。我们评估了我们的方法的性能与应用程序的人重新识别五个基准数据集。实验结果表明，该方法具有更快的收敛速度和更好的识别性能。未来的工作将涉及促进这种趋势，并将这种MVP匹配应用到更广泛的应用中，如场景重建，3D人脸识别和基于点云的对象分割。6748引用[1] Ejaz Ahmed，Michael Jones，and Tim K Marks.一种用于人员重新识别的改进的深度学习架构。在IEEE计算机视觉和模式识别会议论文集，第3908-3916页，2015年。1[2] Armen S Asratian ， Tristan MJ Denley 和 Roland H ？ggkvist。二部图及其应用131.剑桥大学出版社，1998年。二、三[3] 宋白、项白、齐天。监督平滑流形上可扩展的人物再识别 在 Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，第2530-2539页7[4] Xiang Bai，Mingkun Yang，Tengteng Huang，ZhiyongDou，Rui Yu，and Yongchao Xu.深度人：学习区分人的 深 层 特 征 以 重 新 识 别 。 arXiv 预 印 本 arXiv ：1711.10658，2017。二、七[5] Apurva Bedagkar-Gala和Shishir K Shah。个人重新认同的 方 法 和 趋 势 调 查 Image and Vision Computing ， 32（4）：270-286，2014. 1[6] Sean Bell和Kavita Bala用卷积神经网络学习产品设计的视觉相似性。ACM Transactions on Graphics（TOG），34（4）：98，2015. 1[7] Dimitri P Bertsekas拍卖算法：分配问题的一种分布式松弛方法。Annals of Operations Research，14（1）：105-123，1988. 4[8] John Adrian Bondy，Uppaluri Siva Ramachandra Murty，et al.图论与应用，第290卷。Citeseer，1976年。3[9] Jane Bromley，Isabelle Guyon，Yann LeCun，Eduard Skinge r和RoopakShah。使用“连体”时间延迟神经网络的签名验证神经信息处理系统的进展，第737-744页，1994年。2[10] Rainer E Burkard，Mauro Dell分配问题。Springer，2009. 三、四[11] Gal Chechik 、 Varun Sharma 、 Uri Shalit 和 SamyBengio。大规模在线学习图像相似性通过排名。Journalof Machine Learning Research，11（Mar）：1109一、二、三[12] Weihua Chen ， Xiaotang Chen ， Jianguo Zhang ， andKaiqi Huang.除了三重态损失：一个深度的四元组网络用于人的重新识别。在IEEE计算机视觉和模式识别会议论文集，第403-412页二、三[13] Sumit Chopra Raia Hadsell和Yann LeCun。 学习相似性度量有区别地，与应用到人脸验证。在IEEE计算机视觉和模式识别会议论文集，第539IEEE，2005年。一、二、三[14] Guodong Ding，Salman Khan，Zhenmin Tang，and FatihPorikli.让功能自行决定：特征掩模网络用于人员重新识别。arXiv预印本arXiv：1711.07155，2017。7[15] 迈克尔·L·弗雷德曼和罗伯特·恩德雷·塔扬。斐波那契堆及其在改进网络优化算法中的应用Journal of the ACM（JACM），34（3）：596-615，1987. 3[16] 罗斯·格希克。快速R-CNN。在Proceedings of the IEEEinternational conference on computer vision ， 第 1440-1448页，2015中。5[17] James Hafner，Harpreet S.索尼，威廉·艾奎兹，美隆·弗里克纳，韦恩·尼布莱克.二次型距离函数的高效颜色直方图索引IEEE模式分析与机器智能学报，17（7）：729-736，1995年。2[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition，第770-778页，2016中。6[19] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为了防止三重丢失，进行人员重新鉴定。arXiv预印本arXiv：1703.07737，2017。一、二、三[20] 哈罗德·库恩。指派问题的匈牙利方法。海军研究后勤季刊，2（1-2）：83-97，1955年。二、三、四[21] Bo Li ， Yijuan Lu ， Afzal Godil ， Tobias Schreck ，Masaki Aono ， Henry Johan ， Jose M Saavedra ， andShoki Tashiro. SHREC'13轨道：基于草图大规模三维形状检索2013. 1[22] Dangwei Li，Xiaotang Chen，Zhang Zhang，and KaiqiHuang. 在身体和潜在部位上学习深度上下文感知特征，用于人员重新识别。在IEEE计算机视觉和模式识别会议论文集，第384-393页一、三、七[23] Wei Li ， Rui Zhao ， Tong Xiao ， and Xiaogang Wang.Deep- reid：深度过滤配对神经网络，用于人物重新识别。在IEEE计算机视觉和模式识别会议论文集，第152-159页，2014年。二三五[24] Wei Li，Xiatian Zhu，and Shaogang Gong.通过多重损失分类的深度联合学习进行人员重新识别。arXiv预印本arXiv：1705.04724，2017。1、7[25] Wei Li，Xiatian Zhu，and Shaogang Gong.和谐的关注网络，人的再认同。在IEEE计算机视觉和模式识别会议论文集，第2285-2294页，2018年。1[26] Shengcai Liao，Yang Hu，Xiangyu Zhu，and Stan Z Li.通过局部最大发生表示和度量学习进行个体再识别。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第2197-2206页一、二、七[27] Jie Lin ， Olivie