基于流形的监督人员再识别方法及其有效性

2530监督光滑流形上的可伸缩人员再识别宋白1、湘白1、齐天21华中科技大学2德克萨斯大学圣安东尼奥分校{songbai，xbai}@ hust.edu.cn，qi. utsa.edu摘要大多数现有的人重新识别算法要么提取鲁棒的视觉特征，要么学习个人图像的判别性度量。然而，这些图像所在的基本流形很少被研究。这就产生了一个问题，即学习的度量相对于数据流形的局部几何结构本文利用基于流形的亲和学习方法研究了人的再识别问题， 关注 从这个地区。提出了一种非传统的流形保持算法，该算法能够：1）充分利用训练数据的监督，训练数据的标签信息以成对约束的形式给出; 2）扩展到具有低在线时间复杂度的大型存储库;和3）投入到大多数现有算法中，作为通用的后处理过程以进一步提高识别精度。五个流行的人重新识别基准上的广泛的实验结果considerably证明了我们的方法的有效性。特别是在最大的CUHK 03和Market-1501上，我们的方法在效率上大大优于现有的方法，这是更合适的。用于实际应用。1. 介绍人物再识别（ReID）是由视觉监控应用驱动的主动任务，其目的是从图库中识别与给定探针共享相同身份的人物图像。由于类内视点、姿态、光照、模糊和遮挡的变化很大，人物重新识别仍然是一个相当艰巨的任务，尽管近年来得到了广泛的研究。目前的研究兴趣可以粗略地分为两个主流：1）那些专注于设计鲁棒的视觉描述符[55，13，37，26，64]以准确地模拟人的外观;（2）寻求一种判别标准[65，25，54，28，18]，在这种标准下，同一性的实例应该更近，而不同性的实例应该更远。*通讯作者。与度量空间中的方法不同，本文从另一个角度研究了人的再识别问题。，考虑到歧管结构[42]。由于现有的方法只分析实例之间的成对距离，这些图像所在的底层数据流形或多或少被忽略。它导致实例之间的学习关系（相似性或不相似性）相对于流形的局部几何形状是不平滑的。为了克服这个问题，潜在的解决方案可以是关于流形学习的半监督[68，66]或无监督[67，5，58，12，6]算法然而，由于两个原因，直接首先，半监督算法（例如，，标签传播[68]）只能预测未标记数据的标签，但无法描述探针和图库实例之间的关系。此外，它们需要分类标签，而ReID中的监督是作为成对（等价）约束给出的[22]。同时，非监督算法（例如，流形排序[67]、图变换[7]）完全忽略了来自标记的训练数据的有益影响。其次，由于大多数流形学习算法都是在图模型上操作的，所以它们的算法复杂度通常很高。因此，沉重的计算成本阻碍了他们在这一领域的推广，特别是近年来研究人员开始更加重视可扩展性问题[24，63]。综上所述，由于上述因素，那些传统的流形学习算法不足以导出用于人重新识别的更忠实的相似度。在本文中，我们通过提出一种称为监督平滑流形（SSM）的新的亲和学习算法来解决数据流形上的人员重新识别任务。与现有算法相比，SSM的主要贡献在于，两个实例之间的相似度是在其他实例对的上下文中估计的，因此学习到的相似度很好地反映了底层流形的几何结构.此外，SSM是专门为个人重新识别而定制的，其还具有三个优点（如图1B所（1）监督：而不是2531一年二年X1X3平滑X2亲和度图探头嵌入离线在线0.850.250.03特征提取 度量学习Affinity Learning（我们的）匹配概率图1. 一个人重新识别系统的管道。蓝色、绿色和红色分别表示训练数据、图库和探针。以前的工作集中在特征提取和度量学习，用虚线框标记。我们的工作可以是关于亲和学习的后处理过程，用实心框标记。样本图像来自GRID数据集[33]。考虑每个实例单独，我们建议学习与实例对的相似性。通过这样做，SSM可以利用成对约束的监督，这是很容易在这项任务中访问;ii）效率：为了克服SSM的高时间复杂度的限制，提出了两个改进，以加速其在线的人匹配。该方法只需要离线数据库实例就可以进行仿射学习，可以应用于大规模的人员身份识别;泛化性：与现有的度量空间算法不同，SSM侧重于实例间的亲和学习。因此，SSM可以被视为一个后处理过程（或通用工具），以进一步提高这些算法的识别精度。本文的其余部分组织如下。节中2、介绍了SSM与相关工作的区别S.第二节介绍了SSM的基本亲和学习框架。3，并在SEC中大幅加速。4.第一章实验见第2节。五、结论和未来的工作在第二节。六、2. 相关工作流形结构已被观察到的几个作品。受行人数据分布在高度弯曲的流形上这一事实的启发，在[44]中提出了一种用于训练神经网络的采样策略，称为适度正挖掘（MPM）。然而，考虑到数据分布是难以定义的，MPM的目标是估计沿流形的测地线距离。从这个角度来看，SSM显式地学习实例之间的测地线距离，可以直接用于重新识别。流形排序[67]由[31]引入到人的重新识别。通过亲和图上的随机游走[2]，它迭代地将探针标签传播到图库，假设探针是唯一标记的数据。尽管如上所述，对标记的训练数据一无所知，但当汉-因为每次观察到新的探测器时都必须运行基于图的迭代，所以需要更大的数据库。在这方面，SSM还通过迭代传播来学习相似性。然而，它能够实现高效的在线匹配。后排序技术在这一领域没有引起太多的关注。其中大多数都需要人工反馈[3，17]，例如排名后优化（POP）[29]，人工验证增量学习（HVIL）[51]。与此同时，一些作品[4，23]以非监督的方式运作。例如，判别式上下文信息分析（DCIA）[14]关注第一等级之间共享的视觉模糊性，真正的匹配被假定位于其中。相比较而言，SSM不需要人与人之间的交互，也不需要相反，它的本质是学习一个光滑的相似性度量，由成对约束中的特殊类型的标签监督。乍一看，我们工作中的亲和学习似乎与相似性学习相同（例如，，PolyMap [10]）。与多项式特征映射上的相似性学习[9]连接到马氏距离度量和双线性相似性不同，SSM中的亲和学习不依赖于度量的定义（也可以使用非度量）。因此，它们本质上不同。最后，人们承认，这些度量学习方法（例如，，KISSME [22]，XQDA [26]）也是相关的，但在个人重新识别系统中的SSM之前生效，如图2所示。1显示。3. 该方法给定 一 探针 p 和 一 测试 画廊 X为{x1，x2，. . .，xNg}，我们的目标是在标记训练集Y=的帮助下学习光滑相似性Q ∈ RN×N{y1， y2，. . . ，yN1}，其中N = Ng+ N1+ 1。数据man-ifold被建模为加权亲和图G={V，W}。顶点集V ={v1，v2，. . . ，vN}等价于探测器p和数据库实例（图库X和标记集合Y）的并集。W∈RN×N是G的邻接矩阵，其中Wij度量顶点vi和vj之间的相似性。[2]为方便图G上的随机游走，度量画廊探针训练数据…2532NLJN222通常需要位置矩阵P∈RN×N从顶点vi到vj的转移概率可以计算为：3.2.收敛性证明通过运行迭代t次，等式（4）可以是前-P（i→j）=Pij=10Wijj′=1Wij′ .（一）panded asΣt−1因此，P是行随机矩阵。3.1.监督相似性传播用于人员再识别的标号集L∈RN×NQ→（t+1）=（αP）tQ→（1）+（1−α）P也是行随机矩阵，因为i=0时（αP）iL→.（六）在成对约束中给出，即如果vi和vj属于同一个单位元，则Lij= 1，否则Lij= 0。同时，在理想情况下，学习的相似度Qij应该更大ΣPµ v=νΣl，jPijPkl= ΣPijJΣPkl= 1。（七）L如果vi和vj属于同一身份，则Qij应接近于0。因此，我们可以得出结论，L和Q都提供了元组（vi，vj）是真匹配对的相似性的概率解释不同之处在于，Lij是离散的二进制变量，表示是否完全匹配，而Qij是连续变量，根据Perron-Frobenius定理，我们可以得到了P的谱半径有界于1，其行和的最大值。考虑到0<α1，我们有Σt−1lim（αP）t= 0，lim（αP）i=（I−αP）−1，（8）指定匹配程度。这样的观察激励我们，亲和学习可以通过传播t→∞t→∞ i=0时以元组作为原始数据的成对约束标记L。换句话说，相似性从从标记集合Y生成的最置信元组扩散到从测试图库X生成的未探索元组。设（vk，vi）和（vl，vj）是两个元组，第t次迭代中的传播步骤被定义为：ΣN其中I是适当大小的单位矩阵结论最近，Eq.（6）收敛于limQ→（t+1）=（1−α）（I−αP）−1L→.（九）t→∞然后Q可以通过将Q重新整形为矩阵形式来获得，Q=vec−1（Q→）。Q（t+1）=αl，jP（ki→lj）Q（t）+（1−α）Lki，（2）3.3.基本管道直觉上，使用上述相似性的人重新识别其中，P（ki→lj）是从元组（vk，vi）到元组（vl，vj），以及0<α 1。当量（2）揭示了在每次迭代中，元组（vk，vi）以概率α从其余元组中吸收一部分标签信息，然后以概率1−α保留其初始标签Lki。假设元组内的独立性，我们采用乘积规则来计算P（ki→lj），如下所示：P（ki→lj ）= P （k→l） P （i→j ）= PklPij.（3）之后，Eq.（2）可以用矩阵形式重写Q→（t+1）=αPQ→（t）+（1−α）L→。（四）为了证明这一点，我们需要两个相同的坐标变换，即μ <$N（i − 1）+k和ν <$N（j − 1）+l。则Q可以向量化为Q→=vec（Q）∈RN×1，其中元素对应Q→μ=Qki。 设P∈RN×N是P与自身的Kronecker积，即，P=PP.然后，P和P之间的对应关系被给出为Pμv=P ijPkl。最终，Eq。（2）可以表示为2Σki2533ν城市学习算法可以通过三个步骤来完成。首先，每次观察到探测实例p时，构造仿射图G。 第二，新的相似性Q是通过运行Eq.（4）直到收敛或不收敛-直接使用方程中的封闭形式的解决方案。（九）、最后，由于Q可以分为QppQ pXQ pYQ=QXpQXXQXY，（10）QY pQ YXQY Y Y我们可以得到探针p与图库X之间的匹配概率，即QpX∈R1×Ng.注意，W和P也有这样的除法。我们提请读者因此，对于全局探测搜索，不能同时包括所有探测实例以构成G然而，这个管道在计算上太苛刻了-在实践中。首先，亲和学习本身在计算上是昂贵的。时间复杂度为O（TN4）Q→（t+1）=αv=1PμνQ→（t）+（1−α）L→μ。（五）（2）时间复杂度为O（N）。其中，T是迭代次数。或者，使用证据是完整的。方程中的封闭形式解（9）需要时间复杂度µ2534时间复杂度为O（N），空间复杂度为O（N）。Φ（Q→）测量Q→的平滑度相对于vert并存储一个大小为N2× N2的巨大矩阵。其次，适应新的探测实例是计算-盟友昂贵。由于我们的方法是基于图的算法，我们需要丢弃旧的探测器并进行仿射，局部流形结构，并且k（Q→）度量Q→到giv en标签L→。Φ（Q→）相对于Q→的阶为每次观察到一个新的探测器时，ty都在学习。假设我们总共有Np个探测实例，我们至少需要O（TNpN4）的时间复杂度来完成整个探测搜索。（Q→）Q→.=（I-P）+（I-P）TQ→.（十六）注意，构建亲和图是计算性的，由于数据库实例之间的相似性可以离线预先计算一次并一致地重用，因此成本低廉。4. 即时重新识别在本节中，我们提出了两个修改，以降低第二节中基本管道的高复杂性3、这样[8]，即，？（16）可以近似为2（I-P）Q→。因此，人们可以容易地推导出方程iv e的der iv。（13）关于Q→2（I-P）Q→+2（1-α）（Q→-L→）。（十七）α通过设置Eq.（17）到零，并应用vec−1算子，我们可以得到方程的封闭形式解（十三）人员重新识别可以在运行中完成4.1. 迭代变换Q=vec−1 .Σ（1−α）（I−αP）−1L→、（十八）我们的第一个改进集中在亲和学习本身。我们观察到以下有用的恒等式PQ→=（P<$P）vec（Q）=vec（P QPT）。（十一）因此，Eq。（4）可以转化为Q（t+1）= αPQ（t）P T+（1 − α）L。（十二）结果，仿射学习的时间复杂度和空间复杂度分别降低到O（TN3）和O（N2）4.2. 探头嵌入这相当于Eq。（九）、证据是完整的。与大型数据库（测试图库和标记数据）相比，每次测试只有一个探针p因此，我们有两个假设：1）数据库本身构成一个底层流形; 2）当p光滑嵌入流形时，它不会改变流形的几何结构。有了这些先决条件，我们可以先离线执行亲和学习只有数据库实例，然后做探针嵌入在线。当 然 ， 探 针 的 嵌 入 也 应 该 遵 循 光 滑 性 准 则 Φ（Q）。在数据库实例之间的成对相似性被平滑之后，Φ（Q）相对于Qpi的偏导数为我们的第二个改进集中在提高适应新探测实例的效率。首先，我们证明了方程的封闭形式的解决方案（9）可以从Φ（Q）QπNg+Nl=j，l=1PijPpl（Qpi− Qlj）。（十九）min Φ（Q）+1−α（Q），（13）Qα哪里将其设置为零，就可以计算探测器p和某个数据库实例viNg+NlΦ（Q）=12PijPkl（Qki-Qlj）2，Qpi=PplQljPij。（二十）j，l=1i，j，k，l（十四）通过改变vi∈X，等式（20）可以用矩阵形式重写Q（Q）=ΣNk，i=1（Qki−Lki）2.QpX=ΣPpXPpYN2535不NΣΣΣQQXXQXYQYXQY YTΣXX.（二十 一）XY使用两个相同的坐标变换，Eq.（13）可以向量化，其中2Φ（Q→）=1<$P（Q→−Q→）2，<$（Q→）=<$Q→−L→<$2。（十五）4.3. 复杂性分析建议的SSM的最终管道相当简单，在Alg中进行了总结。1.一、可以看出，亲和性学习仅对数据库实例进行。计算成本2µν µ νµ，ν2仍然似乎有点重，因为有（Ng+Nl）个顶点PP2536算法1：监督平滑流形。输入：探针p、测试图库X、标记数据Y、训练标签L。输出：匹配概率QpX。开始离线：开始用X和Y构造亲和图;使用Eq. （十二）、returnQXX，QXY，QYX，QYY在线：开始对于每个探针pd0，使用Eq. （21）;返回QpX。方法时间复杂度空间复杂度标准O（T N N4）pO（Np（Ng+Nl）Ng）的O（N4）O.（N+N）G l2Σ加速表1.SSM标准解和加速解的复杂性比较。回想一下，Np是探测器的数量，Ng是图库的数量，Nl是标记数据的数量，T是迭代的数量。N=Ng+Nl+ 1。在图表中。但是，这些操作可以离线完成，并在不同的探测实例中重用.只要添加新的数据库实例或改变距离矩阵，就可以动态地维护学习到的在表1中，我们提出了在线复杂性比较之间的标准解决方案，在秒。3和加速的解决方案，在Sec.4.第一章当量（21）揭示了Np探测实例的在线索引涉及三个矩阵的乘法。而右边两个的乘法也可以离线计算，在线时间复杂度仅为O（Np（Ng+Nl）Ng）。此外，空间-快乐是我的事。 算法复杂度为O（Ng+ Nl）2。5. 实验建议的监督平滑流形（SSM）在五个流行的基准上进 行 评 估 ， 包 括 GRID [33 ， 32] ， VIPeR [15] ，PRID450S [41]，CUHK03 [24]和市场-1501 [63]。在SSM的实现中，我们不仔细调整参数，而是固定α=0。1，迭代次数T=30。通过将自调整[56]高斯核应用于[31]之后的成对距离来构建亲和图。5.1. QMUL网格QMUL地下重新识别（GRID）[33，32]是一个具有挑战性的数据集，已逐渐成为流行的数据集。是的。行人的姿态、颜色和光照的变化以及较差的图像质量使得很难产生高的匹配精度。GRID数据集由250个身份组成，每个身份都有两个从不同相机视图看到的图像此外，775个不属于250个身份的额外图像被用来扩大画廊。示例图像可以在图中找到1.一、提供了一个固定的训练/测试分裂，有10个对于每个试验，使用125个图像对进行训练。剩余的125个图像对和775个背景图像用于测试。为了评估性能，我们采用累积匹配特征（CMC）曲线和累积匹配精度在选定的行列。为了获得图像表示，我们利用两个代表性的描述符，即。局部最大发生率（LOMO）[26]和高斯高斯（GOG）[37]。此外，还测试了与数据集一起提供的ELF6功能[30]，以确保公平比较。与基线比较。在表2中，我们展示了使用SSM之前和之后的性能。除了三个单独的视觉特征，还使用了两种类型的融合特征。融合意味着LOMO和GOG的串联，而融合则意味着al-l这三个特征，两者具有相等的权重。实例之间的成对距离在度量空间中计算。在我们的实验中，除了欧几里得度量的自然选择外，我们还评估了交叉视图二次判别分析（XQDA）[26]，它被视为度量学习技术的代表。可以得出，SSM导致相对于基线的相当大的性能增益 以欧氏度量中的ELF 6为例，SSM带来的识别率提高为2. 一级32人，三级32人。10级和6级84人。08在10级。同时，通过集成XQDA，SSM仍然可以进一步提高性能例如，具有XQDA的LOMO的秩-1精度最初是16。56，然后增加到18。96.使用建议的SSM后。这些实验结果表明，大多数现有的视觉特征或度量学习算法的人重新识别是兼容的SSM。换句话说，在给定视觉特征之后，可以通过两个步骤来改进个人重新识别系统，即：首先应用度量学习，然后应用SSM。作为与我们相关的工作，流形排名[31]报告了30的识别率。在使用ELF6和欧几里得度量的秩20处为96，其显著低于34。08. SSM实现的这清楚地表明，在亲和学习步骤中利用监督信息是为了避免性能的不确定性（虽然很小）导致不同的实现细节，我们比较SSM与流形排名使用完全相同的仿射图。结果见图二、我们可以看到2537方法r=1R=10R=20ELF 6 +RankSVM [40]10.2433.2843.68ELF 6 +PRDC [65]9.6832.9644.32ELF6+RankSVM+MR [31]12.2436.3246.56ELF 6 +PRDC+MR [31]10.8835.8446.40[26]第二十六话10.4838.6452.56[26]第二十六话16.5641.8452.40MLAPG [27]16.6441.2052.96NLML [19]24.5443.5355.25Polymap [10]16.3046.0057.60SSDAL [47]22.4048.0058.40MtMCML [34]14.0845.8459.84LSSCDL [59]22.4051.2861.20KEPLER [36]18.4050.2461.44[48]第四十八话20.6051.4062.60SCSP [9]24.2454.0865.20GOG+XQDA [37]24.8058.4068.88SSM（我们的）27.2061.1270.56表2.与GRID数据集基线的比较表示使用SSM，×表示未使用。80706050403020100indi表3.与现有GRID数据集的比较最好的和第二好的性能分别用红色和蓝色标记下面这个方面从表2中，还可以观察到SSM的故障情况正如它所暗示的，ELF 6在XQDA度量下的秩20准确度最初是52。56，然后由SS-M略微降低至51。七十六。这种异常现象背后的原因是SSM的原理是获得每两个实例之间的全局相似性度量，该度量相对于底层人的局部几何形状平滑地变化0 20 40 60 80 100秩图2.在同一亲和图下，比较了SSM和多重排序算法.流形排序和SSM秩-1精度都是六、九十六。然而，SSM优于流形排名的大幅度提高排名。在100级时，精度差接近10SSM的一个重要特性是它在在线行人匹配中的高时间效率。在这里，我们省略了构建亲和图的开销，这可以离线完成。在相同的计算平台下，流形排序需要14. 40秒的时间可以搜索125个探测实例，而SSM只需要9个. 52毫秒人们可以很容易地发现，SSM是3个数量级的速度比流形排名。背后的原因是，每次观察到新的探测器时，都会进行流形排序的迭代。相比之下，SSM建议只离线进行亲和学习，并将探针平滑地嵌入流形中。因此，尽管SSM必须在更大的图上进行亲和学习（以利用来自训练数据的监督），但可以控制在线成本，使得SSM具有处理大规模人员重新识别的潜在能力。我们将进一步讨论ifold。学习的相似性不能保证识别-提高特定职级的合格率。但在一般情况下，整体性能将得到改善。与最新技术水平的比较。在表3中，我们与其他最先进的方法进行了全面的比较。所提出的SSM的性能报告，通过使用融合功能（级联的LOMO和GOG）下XQDA度量，这是一个默认的配置，在我们后面的实验中使用。先前最先进的性能是通过多项式特征图（SCSP）[9]和GOG [37]上的空间约束相似性函数实现的。Chen等人[9]对多项式特征图上的相似性学习施加空间约束[10]，并报告rank-1精度24。24通过融合6视觉线索。GOG [37]是最近提出的一种功能强大的描述符，它捕获像素特征的均值和协使用XQDA度量，它报告了GRID数据集上的最佳性能，即。，rank-1准确度24. 八十 得益于Fusion功能和XQDA指标，SSM轻松设置了新的最先进的性能，比以前的性能高出2。一级精度40。我们强调SSM不受所使用的描述符和度量的限制表2显示了SSM可以通过FusionFunctional特性实现更高的性能。流形排序SSM累积匹配分数特征度量亲和力r=1R=10R=20ELF6ELF6欧氏欧氏√×4.646.9619.6023.4428.0034.08ELF6ELF6公司简介√×10.4811.0438.6440.7252.5651.76LOMOLOMO欧氏欧氏√×15.2016.0030.8033.6836.4041.60LOMOLOMOXQDAXQDA√×16.5618.9641.8444.1652.4055.92GOGGOG欧氏欧氏√×13.2814.4033.7636.8044.4044.48GOGGOGXQDAXQDA√×24.8026.1658.4059.2068.8870.40融合融合欧氏欧氏√×14.7217.7635.4437.6045.8444.48融合融合XQDAXQDA√×27.0427.2059.3661.1270.0070.56融合器融合器欧氏欧氏√×14.8015.9235.6035.6046.2446.40融合器融合器XQDAXQDA√×27.2027.6061.1262.5671.2071.60√25385.2. VIPeR、PRID 450 S和CUHK 03VIPeR [15]是一个被广泛接受的个人重新识别基准，包含632个身份，PRID 450 S [41]由450个身份组成，两者都由两个不相交的摄像机捕获。在两个数据集上广泛采用的实验方案是随机选择一半人用于训练，其余用于测试。重复该过程10次，然后报告平均性能CUHK03 [24]是当今最大的公共基准之一。 它包括13164张1360个人的照片，每个人有4张。平均8张图片除了手动裁剪的图像，还提供了自动检测的图像按照常规实验设置[24，26，27，37，57]，1160人用于培训，100人用于测试。实验是在单次拍摄设置与20个随机分裂。在表4中，我们给出了SSM的性能和基线，其中距离是根据XQDA度量计算的与以前的实验一致，SSM可以很容易地将基线的性能提高约2。平均5%。尤其是CUHK03的性能改进更为显著。例如，Fusion的rank-1精度增加了4。76在CUHK03标记数据集上，4。CUHK03检测到的数据集上有65个。SSM对较大数据集的偏好源于这样一个事实，即给定更多的数据点，可以更好地对流形结构进行采样比较VIPeR。由于大量的算法已经在VIPeR数据集上报告了结果，因此将它们全部因此，我们只收录近3年内发表的或与我们的工作有密切关系的文章比较结果见表5。 可以看出，SSM产生最好的秩10精度91。第49章这是一样的[9]同时，SSM在秩-1和秩-20处也达到了第二好的性能。据我们所知，最好的rank-1精度是通过判别上下文信息分析（DCIA）实现的[14]。DCIA在等级-1的优势在于它试图消除探测器与其真正匹配之间的视觉模糊性，该真正匹配应该位于第一等级。相比之下，SS- M并不持有这样的假设，在现实的设置中似乎有点严格。因此，还可以观察到SSM优于DCIA 3。十级九十九。考虑到SSM和DCIA原理的内在差异，可以预期SSM和DCIA可以相互借鉴，并且它们的适当组合可以导致更好的性能。与PRID450S比较。在PRID450S数据集上，SSM提供了所有三个评估指标的最新性能，即，72。一级九十八，九十六。十级七十六，九十九。二十级十一人。由于篇幅所限，详细比较请参阅补充资料。方法Refr=1 r=10R=20当地渔民[39]CVPR201324.18 67.12-[61]第六十一话CVPR201326.74 62.3776.36SalMatch [60]ICCV201330.16--中过滤器[62]CVPR201429.11 65.9579.87SCNCD [55]ECCV201437.80 81.2090.40改进深度[1]CVPR201534.81--Polymap [10]CVPR201536.80 83.7091.70XQDA [26]CVPR201540.00 80.5191.08语义[45]CVPR201541.60 86.2095.10MetricEmsemb. [38个]CVPR201545.90 88.9095.80QALF [64]ICCV201530.17 62.4473.81[43]第四十三话ICCV201534.80 82.3091.80MLAPG [27]ICCV201540.73 82.3492.37[46]第四十六话ICCV201542.30 81.6089.60[第14话]ICCV201563.9287.50-决定指导文件[52]CVPR201638.60--LSSCDL [59]CVPR201642.66 84.2791.93TPC [11]CVPR201647.80 84.8091.10GOG [37]CVPR201649.72 88.6794.53[57]CVPR201651.1790.5195.92SCSP [9]CVPR201653.5491.4996.65[49]第四十九话ECCV201637.80 66.90-Shi等人[第四十四届]ECCV201640.91--[21]第二十一话ECCV2016四十一块五-S-LSTM [50]ECCV201642.40 79.40-SSDAL [47]ECCV201643.50 81.5089.00TMA [35]ECCV201648.19 87.6593.54SSM（我们的）53.7391.4996.08表5.与VIPeR数据集上的最新技术进行比较方法标记检测r=1 r=5R=10r=1 r=5R=10[24]第二十四话20.7五十一点七68.319.9四十九点零64.3XQDA [26]52.2--46.3--改进深度[1]54.7八十八点三93.345.075.783.0LSSCDL [59]57.0--51.2--MLAPG [27]58.0--51.2--Shi等人[第四十四届]61.3--52.0--MetricEmsemb. [38个]62.1八十九点一94.3- --[57]62.5九十94.854.7八十四点七94.8S-LSTM [50]- --57.380.188.3[49]第四十九话- --61.8八十点九88.3GOG [37]67.3九十一点零96.065.5八十八点四93.7决定指导文件[52]75.3--- --SSM（我们的）76.6九十四点六98.072.7九十二点四96.1表6.与CUHK03数据集上的最新技术水平的比较比较CUHK03。CUHK03数据集的比较见表6。结果表明，SSM的一级识别率为72. 7与自动检测的边界框，这是第一个工作报告等级-1精度大于70。2539在[57]中，Zhanget al.通过在训练数据的判别性nul-1空间中匹配人来克服小样本大小（SSS）问题，这报告了第二好的性能94。8个等级-10，自动检测2540方法ViperPRID450SCUHK03（标记）CUHK03（检出）r=1R=10R=20r=1R=10R=20r=1R=5R=10r=1R=5R=10LOMO40.0080.5191.0861.3891.0295.3350.8581.3891.1444.4578.7087.65LOMO++SSM42.2283.5492.8262.8492.6296.4952.5084.5392.4949.0581.2590.30GOG49.7288.6794.5368.0094.3697.6468.4790.6995.8464.1088.4094.30GOG+SSM50.7389.9795.6368.4995.7398.5371.8292.5496.6468.2090.3094.10融合53.2690.9595.7372.0495.8298.4971.8792.6496.8068.0590.1594.95Fusion+SSM53.7391.4996.0872.9896.7699.1176.6394.5997.9572.7092.4096.05表4.与VIPeR、PRID450S和CUHK03数据集的基线比较边界框然而，性能差距与SSM变得更大，在较低的职级。例如，SSM显著提高了18。0在rank-1准确度上超过[57]，具有检测到的边界框。GOG仍然是该数据集上最强大的描述符之一。在XQDA指标下，它在大多数排名中获得了第如上所述，SSM可以被认为是那些视觉描述符和度量学习技术的通用工具。因此，SSM可以进一步增强他们的辨别力。5.3. 市场1501Market-1501 [63]是迄今为止个人重新识别的最大基准，由1501个身份组成。750个身份（12，936个图像）用于训练，751个身份（19，732个图像）用于测试。3368幅图像作为探针。CMC评分和平均精密度（mAP）均用于评价。由于提供了大量的训练图像，在这个数据集上训练深度神经网络变得可行，并且大多数以前的作品都是首选[47，50，49]。遵循这一趋势，我们将残差网络（ResNet）[16]引入人员重新识别。更具体地说，我们微调了一个50层的ResNet，在训练图像上丢失了分类，并提取了其最后一个完全连接层的激活。以L2归一化激活作为视觉特征，利用欧氏距离度量图像间的距离.基准性能为mAP 61。12个单一查询（SQ）和70。82与多个查询（MQ）。在表7中，我们给出了实验比较。可以看出，SSM将基线提高了mAP 7。68为SQ和5。30为MQ。此外，SSM在mAP 29的改进下以非常大的幅度优于先前的最新技术水平[ 49 ]。25号是SQ，27号是73为MQ。5.4. 时间分析作为对度量学习的额外改进，SS- M毫无疑问地引入了额外的时间成本，如第2节中所分析的。四点三。在表8中，我们给出了SSM相对于XQDA度量的额外执行时间。由于SSM管理将基于图的亲和力学习转移到离线，因此离线成本增加，特别是在较大的数据集上（例如，，CUHK 03和Market-1501）。在联机阶段，表7.与Market-1501上的最新技术进行比较数据集离线在线#M#A#M#A网格0.90s+2.38秒0.17秒+10.3毫秒Viper2.19秒+2.22秒0.19秒+10.2毫秒PRID450S1.21秒+0.78秒0.12秒+3.80毫秒CUHK03789.6秒+1952秒0.09秒+0.516秒Mark et1501-+2769秒146.11秒+21.68秒表8. #M表示使用XQDA进行度量学习的初始时间成本。#A表示拟议SSM带来的额外成本。在除CUHK03外的所有数据集上，SSM所带来的影响只占很小的比例在CUHK03数据集上，使用XQDA指标进行索引只需要0。09年代，因为中大03有一个小画廊。由于SSM考虑了CUHK03提供的更大的训练数据，因此额外的索引成本为0。516号。尽管如此，整体索引时间仍然在1秒内。6. 结论在本文中，我们没有设计鲁棒的功能或metrics优于其他人的重新识别。相反，我们贡献了一个通用的工具，称为监督S-光滑流形（SSM），在大多数现有的算法可以很容易地进一步提高他们的性能。SSM很容易实现。它还可以处理特殊类型的标记数据，在大规模ReI中具有潜在的容量D. 在五个基准测试上的综合实验表明，SSM不仅达到了最佳的性能，但更重要的是，招致可接受的额外在线成本。在未来，我们将研究如何有效地融合多个特征[38]并将SSM应用于其他数据集[53]。鸣 谢 。 这 项 工 作 部 分 得 到 了 国 家 自 然 科 学 基 金61573160和61429201的支持，部分得到了Dr. Qi Tian由ARO 授 予 W 911 NF-15-1-0290 和美国NEC 实 验 室和Blippar的教师研究礼品奖。方法单个查询多个查询1级mAP1级mAPSSDAL [47]39.40 19.6049.00 25.80[第20话]45.16-- -SCSP [9]51.90 26.35- -S-LSTM [50]- -61.60 35.31[57]61.02 35.6871.56 46.03[49]第四十九话65.88 39.5576.04 48.45SSM（我们的）82.21 68.8088.18 76.182541引用[1] E.艾哈迈德，M。Jones和T. K.标记.一种用于人员重新识别的改进的深度学习架构。在CVPR，第3908-3916页，2015年。7[2] D. Aldous和J. A.填写.图上的可逆马尔可夫链与随机游动，2002. 2[3] S.阿里岛Javed，N. Haering和T.卡纳德广域监视目标的交互检索。在ACM国际多媒体会议上，第895-898页，2010年。2[4] L.一个，M。Kafai，S. Yang和B.巴努使用引用描述符重新标识人员。TCSVT，26（4）：776 2[5] S. Bai和X.柏稀疏的上下文激活有效的视觉重新排名。TIP，25（3）：1056-1069，2016. 1[6] S. Bai，X.拜角，加-地Tian和L. J. Latecki用于视觉检索的正则化扩散InAAAI，2017. 1[7] X. Bai，X.扬湖，澳-地J. Latecki，W. Liu和Z.涂。通过图转换学习上下文敏感的形状相似性。TPAMI，32（5）：861-874，2010. 1[8] M. Belkin和P.新木用于维数缩减和数据表示的拉普拉斯特征映射。神经计算，15（6）：1373-1396，2003. 4[9] D. Chen，Z.袁湾，澳-地Chen和N.郑具有空间约束的相似性学习用于人的重新识别。在CVPR，第1268-1277页，2016年。二、六、七、八[10] D. Chen，Z.Yuan，G.Hua，N.Zheng和J.王. 基于显式多项式核特征映射的相似性学习用于人员重新识别。在CVPR，第1565-1573页，2015年。二六七[11] D.郑，Y.贡，S. Zhou，J. Wang，and N.郑基于改进三重损失函数的多通道部分cnn的个体再识别。在CVPR，第1335-1344页7[12] M. Donoser和H.比肖夫再访检索的扩散过程在CVPR，第1320-1327页，2013年。1[13] M. 法伦泽纳，L. 巴扎尼，A. 佩里娜，V.Murino，以及M. 克里斯塔尼通过局部特征的累积进行人员重新识别在CVPR，第2360-2367页1[14] J. Garcia，N.马丁内尔角Micheloni和A.加德尔通过判别式上下文信息分析的人再识别排名优化。在ICCV，第130