人员重新识别方法中的部分对齐和双线性池的应用

用于人员重新识别的Yumin Suh1，Jingdong Wang2，Siyu Tang3，4，Tao Mei5，Kyoung Mu Lee11ASRI，首尔国立大学，韩国2中国北京微软亚洲研究院3德国图宾根马克斯·普朗克智能系统研究所4Tübingen大学，Tübingen，德国5JD AI Research，北京，中国@ snu.ac.kr，jingdw@microsoft.com，stang@tuebingen.mpg.de，tmei@jd.com抽象。比较相应身体部位的外观对于重新识别个人由于身体部位在检测到的人体框之间经常未对准在本文中，我们提出了一个网络，学习一个部分对齐表示的人重新识别。我们的模型包括一个双流网络，分别产生外观和身体部位的特征图，和一个双线性池层，融合两个特征图的图像描述符。我们表明，它的结果在一个紧凑的描述符，其中的图像匹配相似性相当于相应的身体部位的局部外观相似性的聚合。由于图像相似性不依赖于零件的相对位置，我们的方法显着减少了部分错位问题。训练网络不需要对人重新识别数据集进行任何部分注释相反，我们简单地使用现有姿态估计网络的预训练子网络初始化部分子流，并训练整个网络以最小化重新识别损失。我们验证了我们的方法的有效性，通过展示其优于国家的最先进的方法 在 标 准 的 基 准 数 据 集 ， 包 括 市 场 -1501 ， CUHK03 ， CUHK01 和DukeMTMC，和标准的视频数据集MARS。关键词：人员重新识别·部分对齐·双线性池1介绍人重新识别的目标是跨从不同相机捕获的视频识别相同的人。它是具有各种应用的视频监控中的基本视觉识别问题[56]。这是具有挑战性的，因为相机视图通常是不相交的，相机之间的时间过渡时间变化很大，并且在现实世界场景中，照明条件/人的姿势在相机之间不同。身体部分未对准（即，身体部分在个人图像上空间上未对准的问题）是个人重新识别中的关键挑战之一。图1显示了一些示例。这个问题导致传统的基于条带/网格的表示[25，1，72，70，10，59]是不可靠的，因为它们隐含地假设每个人2Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李(a)(b)（c）第（1）款Fig. 1. （a，b）由于人在不同的相机中以不同的姿势/视点出现，以及（c）人体检测是不完美的，因此对应的身体部位通常不在人体检测上空间对准，从而导致人的重新识别具有挑战性。在紧密包围的边界框内以类似的姿势出现。因此，应当设计身体部位对准的表示，其可以使表示比较容易并且避免对复杂比较技术的需要为了解决这个问题，最近的方法试图明确地定位身体部位，并结合它们的表示[50，79，75，23，76]。例如，身体部位由从最先进的姿态估计器[79，50，4，75]估计的预定义（或细化[50]）边界框表示。该方案需要高精度的姿态估计。不幸的是，现有技术的姿态估计解决方案仍然不完美。此外，这些方案是基于边界框的，并且在框内缺乏细粒度的部件定位。为了缓解这些问题，我们建议通过特征图而不是边界框来编码人类姿势最近，Zhao等人。[76]通过使用注意力技术估计的置信度图来表示身体部位。该方法在训练期间缺乏对身体部位位置的指导，从而无法始终如一地关注某些身体区域。在本文中，我们提出了一个部分对齐表示的人重新识别。我们的方法学习将人类姿势表示为部分地图，并将它们直接与外观地图相结合，以计算部分对齐的表示。更准确地说，我们的模型由一个双流网络和一个聚合模块。1）每个流分别生成外观和身体部位图。2）聚合模块首先通过计算每个位置处的外观和部件描述符的双线性映射来生成部件对齐的特征图，然后对局部部件对齐的描述符进行空间平均。得到的图像匹配相似性相当于相应身体部位的局部外观相似性的聚集。由于它不依赖于零件的相对位置，因此减少了未对准问题训练网络不需要在人重新识别数据集上的任何身体部位注释。相反，我们简单地使用预训练的权重初始化零件图生成流，这些权重是从标准姿势估计数据集训练的令人惊讶的是，虽然我们的方法只优化了重新识别损失函数，所得到的双流网络成功地将外观和零件信息分离到每个流中，从而分别从每个流中生成外观和零件图。特别地，部位图从原始形式适应以进一步区分用于人重新识别的信息性身体部位。通过大量的实验，我们验证了我们的方法不断提高基线的准确性，并实现竞争力/优于标准图像数据集，市场-1501，CUHK03，CUHK01和DukeMTMC，和一个标准的视频数据集，MARS的性能。用于人员重新识别的部分对齐双线性表示32相关工作人重新识别的早期解决方案主要依赖于手工制作的特征[36，27，18，39]，度量学习技术[71，73，42，28，22，26，20]和概率-tic补丁匹配算法[6，5，48]来处理分辨率/光/视图/姿态变化。最近，属性[51，52，77]，迁移学习[43，49]，重新排名[81，15]，部分人匹配[83]和人在环学习[38，61]也被研究。更多信息可参见调查[82]。在下文中，我们回顾了最近的基于空间分区和部分对齐的表示、匹配技术以及使用双线性池化的一些工作。基于规则空间分区的表示。该研究流中的方法将图像表示为局部描述符的组合，其中每个局部描述符都是局部描述符。cal描述符表示空间分区，诸如网格单元[25，1，72]和层位。谈话条纹[70，10，59]。它们在一个严格的假设下工作得很好，即每个身体部位的位置在图像中是一致的。在现实条件下，这一假设经常被违反，从而导致方法失败。极端情况是不使用空间分区，并且在整个图像上计算全局表示[42，65，78，64，7，66]。与身体部位对齐的表示。身体部位和姿势检测结果已经被用于人的重新识别，以处理身体部位未对准问题[12，69，3，13，63，11]。最近，已经使用深度学习技术重新研究了这些想法。大多数方法[79，50，75]将图像表示为身体部分的组合描述符，其中使用现成的姿势估计器（可能是附加的RoI细化步骤）检测十几个预定义的身体部位。它们通常在检测到的身体部位周围裁剪边界框，并在裁剪的框上计算表示。相比之下，我们提出了基于部分图的表示，这与以前使用的基于框的表示不同[79，50，75]。Tang等人[56]还引入了用于人员重新识别的部分图，以解决多人跟踪问题。他们使用零件图来增强外观作为另一个特征，而不是生成零件对齐表示，这与我们的方法不同一些作品[34，76]建议使用注意力地图，预计将注意到信息丰富的身体部位。由于注意力图是从外观图中估计出来的，因此它们往往不能产生可靠的注意力;缺乏来自身体部位位置的引导，导致有限的性能。匹配. 简单的相似性函数[70，59，10]，例如，余弦相似性或欧氏距离已经被调整用于部分对齐的表示，例如我们的方法，或者在表示是身体部分/姿势对齐的假设下。设计了各种方案[60，1，25，72]以消除身体的影响基于空间分区的表示的部分未对准。例如，提出了一个匹配子网络来对一对人物图像的基于网格的表示的差异[1]或级联[25，72]进行卷积和最大池化操作。Varior等人[58]提出了在中间特征中使用匹配映射来通过门控CNN引导后面层中的特征提取。双线性池。双线性池是一种通过使用每个位置处的外积并空间池化它们以获得全局描述符来聚合两种不同类型的特征映射的方案。该策略已被广泛应用于细粒度识别4Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李一个PGoogleNet-V1（~Inception4e）转化率/BNAppearancemapextractor2-normali zeOpenPose（~concat_stage3）转换/BN（/ReLU）双线性池零件图提取器图二. 建议模型概述。该模型由一个双流网络和一个聚合器（双线性池）。对于给定的图像I，外观图提取器A和部件图提取器P分别生成外观图A和部件图P聚合器在A和P上执行双线性池化，并生成特征向量f。最后，对特征向量进行l2归一化，得到最终的部分对齐表示~f。C〇 n v和BN表示C〇 nv解。和批归一化层。[30，14，21]并显示出有希望的性能。对于人员重新识别，Ustinova等人[57]采用双线性池来聚集两个不同的外观图;该方法不生成部分对齐的表示并且导致性能差。我们的方法使用一个双线性池聚合的外观和部分地图计算部分对齐表示。3我们的方法该模型由一个双流网络和一个聚合模块。它接收图像I作为输入，并输出如图2所示的部分对准特征表示~f。 双流网络包含两个独立的子网外观图提取器和部件图提取器，它们分别提取外观图A和部件图P这两种类型的地图通过双向聚合线性池化，以生成部分对准的特征f，其随后被归一化，以生成最终特征向量~f。3.1双流网络外观贴图提取器。我们将输入图像I馈送到外观图提取器A中，从而输出外观图A：A= A（I）。（一）用于人员重新识别的部分对齐双线性表示5P一∈×--⊗⊗√√⊗SARh×w×cA是大小为hw的特征图，其中每个位置由cA维局部外观描述符描述。我们使用GoogLeNet [55]的子网络来形成和初始化。零件图提取器。 局部图提取器接收输入图像I并输出局部图P：P= P（I）。（二）P∈Rh×w×cP是大小为h×w的特征映射，其中每个位置由cP维局部部分描述符描述。考虑到姿态估计的快速进展，我们使用姿态估计网络的子网络OpenPose[4]来形成和初始化P。我们将OpenPose的子网络表示为P姿势。3.2双线性池设axy是来自外观图A的位置（x，y）处的外观描述符，并且pxy是来自零件图P的位置（x，y）处的零件描述符。 我们在A和P上执行双线性池化以计算部分对齐表示f。 存在两个步骤，双线性变换和空间全局池化，其数学上给出如下：1Σf =池化xyXYfxy，fxy= vec（axypxy），（3）其中S是空间大小。我们在这里使用的池化操作是平均池化。vec（. ）将矩阵变换为向量，并表示两个向量的外积，输出为矩阵。然后，对部分对准的特征f进行归一化以生成对应的特征f。最终特征向量~f如下：~f=f2012年2月.（四）考虑到归一化，我们表示归一化的部分对齐表示as~fxy=vec（a~xyp~xy），其中a~xy=Σ一个xy2012年2月且p~xy=pxy2012年2月. 因此，f=1xy~fxy。部分对齐解释。 我们可以把一个cP 6分解成cP分量：vec（ap）=[（p1a）（p2a） . . .其中，每个子向量pia对应于第i个部分声道。例如，如果p膝= 1在膝盖上，否则为0，则p膝盖a仅在膝盖上变为a，否则为0。因此，我们称vec（a p）为部分对齐表示。通常，每个通道c不一定对应于某个身体部位。然而，部分对齐表示-当P对身体部位信息进行编码时，站保持有效第4节详细描述了这种解释6我们去掉下标xy以澄清表示6Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李XyXy3.3损失为了训练网络，我们利用广泛使用的三重损失函数。令Iq、Ip和In分别表示查询图像、正图像和负图像然后，（Iq，Ip）是同一个人的一对图像，（Iq，In）是不同人的图像。令~fq、~fp和~fn表示它们的表示。三重态损失函数被公式化为其中m表示余量，sim（x，y）=。根据经验，裕度设置为m= 0。二、总损失函数如下所示1ΣL=（~f，~f，~fQnp），（7）|不|（I，I，I）∈T三重Qpn其中T是所有三元组的集合{（Iq，Ip，In）}。4分析部件感知图像相似性。我们表明，根据建议的部分对齐的表示方程。(3)（4）两幅图像之间的相似度相当于相应身体部位之间局部外观相似度的聚合。两个图像之间的相似性可以如下表示为每对位置之间的局部相似性的总和。sim（I，I′）=~f，~f′>=1Σ<~fΣ，~f′>IS2XYxyx′y′x′y′1=S2Σ Σ<~fxyxyx′ y′，~f′>1=S2Σ Σsim（~fxyxyx′ y′，f′ ），（8）其中simI（，）度量图像之间的相似性。这里，局部相似度由内积计算：sim（~fxy，~f′′）=vec（a~xyp~xy），vec（a~″″p~ ″″）>x y x y x y=a~xy，a~″″>x y x y=sim（a~xy，a~””）sim（p~xy，p~””）。（九）x y x y该局部相似性可以被解释为由身体部位相似性加权的外观相似性，反之亦然。因此，根据等式（8）和（9），两个图像之间的相似性被计算为由在相应位置处的身体部位相似性加权的局部外观相似性的平均值sim（I， I′）=1Σ sim（a~，a~′）sim（p~，p′）。IS2xxx′ y′xyx′y′xyx′y′用于人员重新识别的部分对齐双线性表示7PIS2Xy·P一∈···∈(a) 外观特征（b）零件特征图三. Market-1501数据集上的归一化局部外观和部件描述符的t-SNE可视化。实验结果表明，我们的双流网络成功地将外观和零件信息分解为两个流。(a)外观描述符大致按颜色聚类，独立于它们来自的身体部位。(b)部位描述符按其来源的身体部位进行聚类，而不考虑颜色。（放大后在显示器上查看效果最佳）结果，图像相似性不依赖于图像中各部分的相对位置，因此减少了未对准问题。为了使局部部分相似性总是非负的，并且因此局部相似性的符号仅取决于局部外观相似性的符号，我们还可以通过在部分映射提取器之后添加ReLU层来将部分描述符pxy限制为逐元素非负的，如图2所示。由于这种变体的准确性与原始版本相似，因此我们在所有实验中使用了没有ReLU层的模型。更多详情请参见补充材料。与基线模型的关系。考虑一种基线方法，它只使用用于Σ图像表示的外观图和空间全局池化然后，im-年龄相似性被计算为sim（I，I′）=1xyx′y′sim（a~xy，a~″″）。Unlik eour模型，这种方法不能反映部分相似性。考虑另一个模型，基于框的表示，其将图像表示为K个身体部位描述符的级联，其中第k个身体部位被表示为对应边界框内的平均池化外观特征。当pxy被定义为pxy=[δ[（x，y）]时，该模型等价于我们的模型R1]，，δ[（x，y）其中Rk是第k个部分边界框内的区域，并且δ[ ]是指示符函数，即，δ[x]= 1，如果x为真，否则为0。由于我们的模型包含这些基线作为特殊情况，并经过训练以优化重新识别损失，因此保证比它们表现得更好。双流网络产生分解的外观和零件图。在训练开始时，网络的两个流主要表示外观和部分图，因为外观图提取器和部分图提取器分别使用在ImageNet[46]上预训练的GoogleNet[54]和在COCO[29]上预训练的OpenPose[4]模型进行在训练期间，我们不对两个流设置任何约束，即，没有对身体部位的注释，而仅优化重新识别损失。令人惊讶的是，训练的双流网络保持decom-8Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李见图4。从所提出的方法获得的外观图A和零件图P的可视化。对于给定的输入图像（左），外观（中心）和部位（右）映射分别对外观和身体部位进行编码。对于外观和部件映射，相同的颜色表示描述符相似，而不同的颜色表示描述符不同。外观图在来自同一个人的图像之间共享相似的颜色模式，这意味着外观描述符的模式也是相似的。在部位贴图中，颜色根据描述符所处的身体部位的位置而不同。(Best颜色显示）图五、 比较身体部位描述符。对于给定的图像（左），传统的基于关节的（中心）和所提出的（右）描述符是可视化的。(Best颜色显示）将外观和零件信息设置为两个流：一个流对应于外观图，而另一个流对应于身体部位图。我们使用t-SNE[37]可视化学习的局部外观和部件描述符的分布，如图3（a）和（b）所示。图3（a）示出了外观描述符根据外观而聚类，同时独立于它们来自的部件。例如，红色/黄色框分别显示红色/黑色斑块紧密嵌入。相比之下，图3（b）示出了局部部分嵌入将相似的身体部分映射到接近的区域中，而不管颜色如何。例如，绿色/蓝色框分别示出了来自头部/小腿的特征被聚类。此外，身体上相邻的身体部位，如为 了 理 解 学 习 的 外 观 / 部 位 描 述 符 如 何 用 于 人 的 重 新 识 别 ， 我 们 在SIFTFFlow[32]中使用的可视化之后可视化外观图A和部位图P，如图4.F所示，或者给定的输入图像（左），外观（中心）和部位（右）图分别编码外观和身体部位。该图显示了外观图如何区分不同的人用于人员重新识别的部分对齐双线性表示9×P××A×同时对每个人都是不变的相比之下，部位贴图独立于身体部位的外观对身体部位进行编码特别地，某个身体部位由跨图像的相似颜色表示，这证实了我们在图3中的观察，即来自物理相邻区域的部位特征被紧密嵌入。我们的方法学习的最佳部分描述符的人重新识别，而不是依赖于预定义的身体部位。图5定性地比较了传统的身体部位描述符和我们的方法学习的身体部位描述符。7在先前关于人体姿势估计的工作中[62，4，41]，人体姿势被表示为预定义的关键身体关节位置的集合。它对应于一个部分描述符，该部分描述符根据该位置处的某个身体关节的存在对关键身体关节进行独热编码，例如，在膝盖上p膝盖=1，否则为0与基线相比，我们的平滑地映射身体部位。换句话说，颜色在整体上是连续的我们的身体，这意味着相邻的身体部位被密切映射。相比之下，基线并不总是紧密地映射相邻的身体部分映射。例如，臀部和膝盖之间的大腿比脚踝或膝盖描述符更接近背景描述符。这种平滑的映射使得我们的方法对姿势估计误差鲁棒地工作，此外，采用了部分描述符，以更好地区分信息部分例如，映射颜色从肘部到肩部变化剧烈，并区分详细区域。基于这些属性，学习的部分描述符更好地支持人重新识别任务并提高准确性。5实现细节网络架构。我们使用GoogLeNet [54]第一版的子网络作为外观映射提取器，从大小为160 80的图像输入到inception4e的输出，然后是11卷积层和批量归一化层，以将维度减少到512（图2）。此外，我们可选地在从inception4a到最后一层的层中采用膨胀滤波器，从而得到20 10响应图。图2示出了部件图提取器的架构。我们使用OpenPose网络[4]的子网络，从图像输入到stage2的输出（即，concat stage3）以提取185个姿态热图，其后是卷积层和批归一化层，从而输出128个部分图。我们采用紧凑双线性池[14]将两个特征映射聚合成512维向量f。紧凑的双线性池。对512维外观矢量和128维零件矢量进行双线性变换，得到的矢量维数极高，计算量大，内存消耗大。解决在这个问题上，我们使用张量草图方法[44]来计算[14]中的紧凑表示。张量草图方法的关键思想是，两个高维向量之间的原始内积（欧氏距离基于此）可以近似为降维向量的内积，降维向量是原始向量的随机投影。详情见[44]。7我们使用了SIFTFFlow[32]中提出的可视化方法10Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李一个P×网络培训。外观图提取器和部件图提取器分别从ImageNet[46]和COCO[29]上预训练的网络进行微调。添加的层初始化如下[17]。我们使用随机梯度下降算法。 初始学习率、权重衰减和动量设置为0。01210−4，0。9，分别。在每20000次迭代之后，学习率降低5倍所有的网络都经过了75000次迭代的训练我们遵循[76]在每次迭代中对一小批样本进行采样，并使用所有每个小批次内可能的三重峰使用[76]中提供的加速技巧计算梯度。 在每次迭代中，我们对180个图像的小批量进行采样，例如，平均有18个身份，每个身份包含10个图像。总的来说，每次迭代中大约有102·（180−10）·18<$3×105个三元组6实验6.1数据集市场-1501 [80]。该数据集是个人重新识别的最大基准数据集之一。使用六个摄像头：五个高分辨率摄像头和一个低分辨率摄像头。存在1501个身份的32668个DPM检测到的行人图像框：750个身份用于训练，其余751个身份用于测试。有3，368个查询图像和19，732个图库图像，其中有2，793个干扰项。香港中文大学03 [25]。这个数据集由6台摄像机拍摄的13164张1360人的照片组成。每个身份出现在两个不相交的相机视图中（即，4.第一章平均每个视图中8个 我们根据之前的工作[25]划分了训练/测试集。 为对于每个测试标识，随机采样两个图像作为探测图像和图库图像，并且报告20次试验的平均准确度作为最终结果。香港中文大学01 [24]。该数据集包括在两个图像中捕获的971人的3884张图像。不相交的摄影机视图。从两个图像照相机（即，总共四个图像）。实验在两个评估设置[1]下进行，使用100和486个测试ID。根据之前的工作[1，7，10，76]，我们从CUHK03训练集学习的模型中微调了486个测试ID的实验模型。DukeMTMC [45]. 该数据集最初被提出用于基于视频的人跟踪和重新识别。我们使用以下固定的训练/测试分割和评估设置[31]8. 它包括702个身份的16，522个训练图像、702个身份的2，228个查询图像、702个身份的2，228个查询图像和702个身份的2，228个查询图像。身份和17661个厨房图像。MARS [78]. 该数据集被提出用于基于视频的人重新识别。它由至少两个摄像机捕获的1261个不同的行人组成。有来自625个身份的509，914个边界框和8，298个tracklet用于训练，以及来自636个身份的681，089个边界框和12，180个tracklet用于测试。6.2评估指标我们使用累积匹配特征（CMC）和平均平均精度（mAP）来评估精度。CMC评分衡量识别质量8https://github.com/layumi/DukeMTMC-reID评估用于人员重新识别的部分对齐双线性表示11PPPPP8580757065605550Market-1501火星公爵（一）908070605040GoogLeNetResNet50（b）第（1）款concat + averagepool +linear双线性（c）第（1）款见图6。（a）外观图上不同合并方法的比较。(c)在不同的数据集上比较模型（有和没有零件图）（d）在外观图提取器的不同架构上比较具有和不具有部分图的模型如果未指定，则在Market-1501上报告结果。(b)比较不同的方法来聚合外观和部分地图。从而在每个等级处确定正确的匹配。对于多个地面实况匹配，CMC无法测量所有图像的排名情况。因此，我们报告了Market-1501、DukeMTMC和MARS的mAP分数，其中图库中有多个地面实况图像。6.3与基线的比较我们比较了所提出的方法与基线在三个方面。在本节中，当未指定时，所有实验都在Market-1501数据集上执行，所有模型都不使用膨胀，并且姿势与其他参数一起训练。零件贴图的效果。我们将我们的方法与不明确使用身体部位的基线进行比较。作为基线网络，我们使用Eq. (1)、随后是全局空间平均池化和全连接层，从而输出512维图像描述符。图6（a）和（b）将所提出的方法与基线进行比较，同时改变训练策略：固定和训练P姿势。固定P姿势使用预训练的权重[4，29]初始化P姿势，并通过训练固定权重。训练姿势也以相同的方式初始化姿势，但是使用Eq. (7)在训练期间。图6(a)说明了三个数据集，市场1501，MARS和杜克大学的准确性比较。它表明，使用零件图一致地提高了基线的所有三个数据集的准确性此外，训练P姿势比固定姿势大大提高了准确性。这意味着采用部件描述符以更好地服务于个人重新识别任务。图6（b）显示了在不同的外观子网架构。类似地，当引入零件图时，基线精度得到提高，并且当在训练期间微调姿势时，双线性池的效果。图6（c）将所提出的方法（双线性）与具有不同聚合器的基线进行比较。对于给定的外观和部件图，con- cat+averagepool+linear通过连接两个特征图、空间平均池化并通过全连接层馈送来生成特征向量，从而产生最大平均最大平均最大平均12Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李∼∼P512维向量。结果表明，对于P姿势固定/训练时的两种情况，双线性池化始终实现比基线更高的准确度。与以前基于姿势的方法的比较。最后，我们比较了我们的方法与三个以前的作品[79，75，50]，其中使用人体姿势估计，市场-1501。为了进行公平的比较，我们使用简化的CPM（R-CPM [3 M param]）uti-[50]第9话pose. R-CPM的复杂度低于[75]中使用的标准FCN（6 M参数）和[79]中使用的CPM（30 M参数）。作为外观网络，[75]使用GoogLeNet[79]使用ResNet50。[50]使用了13个inception模块，而我们使用了7个。表1显示了比较。与[79，75，50]采用的方法相比，所提出的方法（Inception V1，R-CPM）分别实现了rank@1准确度和mAP的4%和9%实验结果表明，与以往的方法相比，该方法有效地利用了零件信息6.4与最新方法的比较市场-1501。表1显示了两种查询方案的比较，单查询和多查询。单个查询从每个人获取一个图像，而多个查询获取多个图像。对于多查询设置，通过对来自每个图像的特征求平均来从多个图像获得一个描述符。我们的方法实现了最佳的准确性方面的mAP和rank@K的单和多查询。我们还提供了重新排序后的结果[86]，这进一步提高了准确性。此外，我们在扩展数据集上进行实验，其中包含额外的500K图像[80]。遵循标准评估协议[19]，我们使用两个评估指标（即，等级-1精度和mAP）。表2报告了结果。所提出的方法优于所有其他方法。CUHK03。我们用两个人的盒子报告结果：手动标记和检测。表3给出了与现有解决方案的比较。在检测到箱子的情况下，实现了最先进的精度使用手动边界框，我们的方法也达到了最佳精度。香港中文大学01。我们将结果与两个评估设置（即，100和486测试ID）。对于486个测试ID，所提出的方法显示出最好的结果。对于100个测试ID，我们的方法获得了第二好的结果，仅次于[16]。请注意，[16]微调了从CUHK 03 +Market1501学习的模型，而我们使用CUHK 01数据集的871个训练ID训练模型，遵循先前工作中的设置[1，7，10，76]。DukeMTMC。我们按照[31]中的设置进行实验。表4报告了结果。所提出的方法实现了最好的结果与不重新排序。火星 我们还在一个基于视频的人员重新识别数据集上评估了我们的方法[78]。我们使用我们的方法来提取每个帧的表示，并使用时间平均池来聚合所有帧的表示，这与其他聚合方案（RNN和LSTM）具有相似的准确性。表5显示了组合物。9https://github.com/yokattame/SpindleNet用于人员重新识别的部分对齐双线性表示13表1. 市场上的准确度比较-1501单次查询多查询秩151020地图151020地图Varior等人2016年[58]61岁6---三十五3-----Zhong等人2017年[86]七十七。1---63岁6-----Zhao等人2017[76]八十991. 794 7九十六。663岁4-----Sun等人2017[53]82岁392. 3九十五2-62. 1-----Geng等人2016[16]83岁7---六十五589岁。6---七十三。8Lin等人2017[31]84. 3九十三2九十五2九十七0六十四7-----Bai等人2017[2]82岁2---68岁888岁2---七十六。2Chen等人2017[9]七十二388岁291. 9九十五0-----Hermans等人2017年[19]84. 994 2--69岁。1九十5九十六。3--七十六。4+重新排名86岁。7九十三4--81. 191. 8九十五8--87岁2Zhang等人2017 [74]87岁7---68岁891. 7---七十七。1Zhong等人2017 [87]87岁1---七十一3-----+重新排名89岁。1---83岁9-----Chen等人，2017[8]（MobileNet）九十0---七十6-----Chen等人2017[8]（Inception-V3）88岁6---七十二6-----Ustinova等人2017年[57]（双线性）66岁。4八十五0九十2-41岁2-----Zheng等人2017年[79]（姿势）Zhao等人2017[75]（Pose）Su等人2017[50]（Pose）79岁。3七十六。984. 1九十891. 592. 794 494 694 9九十六。5九十六。7九十六。8五十六0-六十五4---------------建议（Inception-V1，R-CPM）建议（Inception-V1，OpenPose）+扩张+重新排名88岁8九十291. 7九十三4九十五6九十六。1九十六。9九十六。4九十七3九十七4九十八1九十七4九十八6九十八4九十八9九十八274岁5七十六。079岁。689岁。992. 9九十三294 0九十五4九十七3九十七5九十八0九十七5九十八4九十八4九十八8九十八2九十九。1九十九。1九十九。3九十八981. 782岁7八十五2九十三1表2. 市场上的精度比较-1501 + 500 k。图库大小度量19732119732219732519732Zheng等人2017年[84]秩-1地图79岁。5五十九9七十三。852岁3七十一5四十九168岁3四十五2Linet等人2017[31]秩-1地图84. 062. 879岁。9五十六578岁2五十三675. 4四十九8Hermans等人2017年[19]秩-1地图84. 969岁。179岁。761岁9七十七。9五十八774岁7五十三614Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李建议（Inception V1，OpenPose）秩-1地图91. 779岁。688岁374岁286岁。6七十一584. 167岁2表3. CUHK 03和CUHK 01的准确度比较香港中文大学03香港中文大学01检测手动100个测试ID486个测试ID秩151020151020151020151020Shi等人[70个国家]52岁184. 0 92. 0九十六。861岁388岁5九十六。0 九十九。069岁。4 九十8 九十六。0-----SIR-CIR[60]52岁2-------七十一891. 6九十六。0九十八0----Varior等人[58个]68岁188岁194 6九十八8------------Bai等人[二]《中国日报》七十二792. 4九十六。1-七十六。694 6九十八0---------Zhang等人[72个]----八十2 九十七7九十九。2九十九。889岁。6九十七8九十八9九十九。7七十六。594 2九十七5-Sun等人[五十三]81. 8九十五2九十七2-------------Zhao等人[76个]81. 6九十七3九十八4九十九。5八十五4九十七6九十九。4九十九。988岁5九十八4九十九。6九十九。974岁792. 6九十六。2九十八4Geng等[16个]84. 1---八十五4---九十三2---七十七。0---Chen等人[9]第一章87岁5九十七4九十八7九十九。5--------74岁591. 2 94 8九十七1Ustinova等人[57]（双线性）63岁789岁。294 7九十七569岁。7九十三4九十八9九十九。4----52岁978岁186岁。392. 6Zheng等人[79]I'm sorry.67岁192. 2九十六。6九十八1------------Zhao等人[75]（姿势）----88岁5九十七8九十八6九十九。2----79岁。994 4九十七1九十八6Su等人[50]（姿势）78岁394 8九十七2九十八488岁7九十八6九十九。2九十九。7--------提出88岁0九十七6九十八6九十九。091. 5 九十九。0九十九。5九十九。9九十4 九十七1九十八1九十八9八十794 4 九十七3九十八6用于人员重新识别的部分对齐双线性表示15表4. DukeMTMC上的准确度比较秩151020地图Zheng等人[八十五]67岁7---四十七1Tong等人[67个]68岁1----Lin等人[31]七十7---51岁9Schumann等人[47个]七十二6---52岁0Sun等人[53]七十六。786岁。489岁。9-五十六8Chen等人[8]（MobileNet）七十七。6---五十八6Chen等人[8]（Inception-V3）79岁。2---六十岁。6Zhun等人[87]79岁。3---62. 4+ 重新排名84. 0---78岁3建议（Inception V1，OpenPose）+ 扩张+ 重新排名82岁184. 488岁3九十292. 2九十三192. 7九十三8九十五0九十五0九十五7九十六。1六十四269岁。383岁9表5. MARS上的精度比较秩151020地图Xu et al.[68]（视频）44707481-麦克劳克林及其他人[40]（视频）45657178二十七岁9Zheng等人[78]（视频）68岁382岁6-89岁。4四十九3刘等[33]（视频）68岁381. 4-九十652岁9Zhou等人[88]七十6九十0-九十七650块7Li等人[23]七十一886岁。6-九十三1五十六1+ 重新排名83岁0九十三7-九十七666岁。4Liu等人[35]七十三。784. 9-91. 651岁7Hermans等人[19个]79岁。891. 4--67岁7+ 重新排名81. 2九十8--七十七。4建议（Inception V1，OpenPose）+ 扩张+ 重新排名83岁084. 7八十五192. 894 494 295九十六。3九十六。1九十六。8九十七5九十七4七十二275. 983岁9与竞争方法的比较我们的方法显示了最高的准确性，基于图像和基于视频的方法。16Y. Suh，J.Wang，S.唐氏T.Mei和K.M. 李7结论我们提出了一种新的方法来重新识别人。有助于我们的方法的卓越性能的关键因素如下。(1)我们采用部分地图，其中部分不是预定义的，而是专门为人员重新识别而学习的。它们被学习以在预训练的姿态估计模型的指导下最小化重新识别损失。(2)部位图表示提供了身体部位的细粒度/鲁棒区分，这取决于它们对于重新识别的有用性。(3)我们使用部分对齐表示来处理身体部分未对齐的问题。由此产生的方法实现了卓越的/有竞争力的人重新识别性能的标准图像和视频基准数据集。致谢本研究得到了微软亚洲研究院和韩国科学与信息通信部的Visual Turing Test项目（IITP-2017-0-01780）的部分支持。用于人员重新识别的部分对齐双线性表示17引用1. Ahmed，E.，琼斯，M.，马克，T.K.：一种改进的用于人员重新识别的深度学习架构。参见：CVPR（2015）2. Bai，S.，Bai，X.，Tian，Q.：监督平滑流形上的可扩展人员再识别1703.08359（2017）3. Bak，S.， 你好E Br e'mond，F.，Thonnat，M.：使用人体部分的空间坐标区域的人重新识别03 The Dog（2010）4. Cao，Z.，Simon，T. Wei，S.E.，Sheikh，Y.：利用局部仿射场进行实时多人二维姿态估计。在：CVPR（2017）5. Chen，D.，中国农业科学院，Yuan，Z.，陈伯，Zheng，N.：空间约束下的相似性学习在人员再识别中的应用。见：CVPR（2016）6. Chen，D.，中国农业科学院，Yuan，Z.，Hua，G.，郑，N.，Wang，J.：基于显式多项式核特征映射的相似性学习参见：CVPR（2015）7. Chen，S.Z.，Guo，C.C.，Lai，J.H.：通过联合表示学习进行人员重新识别的深度排名。IEEE TIP25（5）