深度相似性引导的图神经网络在人员重新识别任务中的应用

人员重新识别深度相似性引导的图神经网络沈艳涛1[0000−0001−5413−2445]、李洪生1 [0000−0002−2664−7975]、帅毅2、陈大鹏1[0000−0003−2490−1703]、王晓刚11香港中文大学-商汤科技联合实验室{ytshen，hsli，dpchen，xgwang}@ ee.cuhk.edu.hk2商汤研究yishuai@sensetime.com抽象。人重新识别任务需要鲁棒地估计人图像之间的视觉相似性。然而，现有的个体再识别模型大多是独立地估计探针图像和图库图像的不同图像对的相似性，而忽略了不同探针-图库图像对之间的关系信息。因此，对某些硬样本的相似性估计可能不准确. 在本文中，我们提出了一种新的深度学习框架，称为相似性引导图神经网络（SGGNN），以克服这些限制。给定探针图像和若干图库图像，SGGNN创建图以表示探针-图库对（节点）之间的成对关系，并且利用这样的关系以端到端的方式更新探针-图库关系特征通过使用这种更新的探针库关系特征进行预测，可以实现准确的相似性图上节点的输入特征是不同探针图库图像对的关系特征。然后，通过在SGGNN中传递的消息来执行探测器图库关系特征更新，其中将所述节点存储在形式中以便于进行简单估计。与传统的GNN方法不同，SGGNN直接学习图库实例对的具有丰富标签的边缘权重，这为关系融合提供了更精确的信息。我们提出的方法的有效性进行了验证，在三个公开的人重新识别数据集。关键词：深度学习，人物再识别，图神经网络1介绍人物重新识别是一个具有挑战性的问题，其目的是在不同相机的一组图像中找到感兴趣的它在智能监控系统中起着重要的作用。HongshengLi is the corresponding author.2Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王探针探针探针探针探针探针探针探针(a) 常规方法。(b) 我们提出的SGGNN。Fig. 1.说明我们提出的SGGNN方法和传统的人重新识别方法。(a)传统的人重新识别方法的流水线，不同的探针-图库对之间的成对关系被忽略。分别估计每个探针-图库对di（i= 1， 2， 3， 4）的相似性得分。(b)我们提出的SGGNN方法，不同探针库对之间的成对关系涉及在图上传递深度学习的消息，以进行更准确的相似性估计。为了提高重新识别的性能，大多数现有的方法试图学习区别性特征或设计各种度量距离，以便更好地测量人图像对之间的相似性。近年来，基于深度学习的方法在计算机视觉的各种任务中取得了成功[25，17，51，62，59，12，39，63，67，31，20]，大量的深度学习方法被提出用于人重新识别[37，81，64，40]。这些基于深度学习的方法中的大多数同时，度量学习-还提出了一些方法[4，3，72]来生成相同身份的图像之间的相对较小的特征距离和不同身份的图像之间的较大特征距离。然而，这些方法大多只考虑两两相似性，而忽略了整个集合的图像之间的内部相似性。例如，当我们试图估计探针图像和图库图像之间的相似性得分时，大多数特征学习和度量学习方法仅在训练和测试阶段中考虑该单个探针图库图像对之间的成对关系。忽略不同图像对之间的其他关系因此，一些硬正或硬负对难以获得适当的相似性得分，因为只有有限的样本之间的关系信息被用于相似性估计。D1S1D$S$D3S3D&S&Gallery 4油路3道2的画廊1Gallery 4油路3道2的画廊1探针D1S1S$D$D3S3D&S&Gallery 4油路3道2的画廊1Gallery 4油路3道2的画廊1探针图形边Siamese-CNNSiamese-CNN相似度计算部相似度计算部基于深度相似度引导的图神经网络的人员身份识别3为了克服这种局限性，我们需要发现图像集合之间有价值的内部相似性，特别是图库集合之间的相似性一种可能的解决方案是利用流形学习[2，42]，它考虑了集合中每对图像它将图像映射到具有更平滑的局部几何形状的流形除了多种学习方法之外，还利用重新排名方法[78，16，70]通过整合排名靠前的图库图像之间的相似性来细化排名结果然而，流形学习和重新排序方法都具有两个主要限制：（1）大多数多重学习和重新排序方法是无监督的，其不能充分利用所提供的训练数据标签进入学习过程。(2)这两种方法由于不参与训练过程，不利于特征学习最近，图神经网络（GNN）[6，18，23，45]由于其将神经网络推广到具有图结构的数据的能力而引起越来越多的GNN在图结构上传播消息。在对表格进行消息传递后，将从以下以及其他节点的形式中获得节点的最终版本，并将其用于节点化。GNN在许多研究领域取得了巨大的成功，例如文本分类[13]，图像分类[6，46]和人类动作识别[66]。与流形学习和重排序相比，GNN将图计算引入神经网络学习，使训练端到端，有利于学习特征表示。在本文中，我们提出了一种新的深度学习框架，用于人员重新识别，称为相似性引导图神经网络（SGGNN）。SG-GNN在深度网络的训练和测试阶段都结合了图计算，以获得鲁棒的相似性估计和区分性特征表示。给定一个由几个探针图像和图库图像组成的小批量，SGGNN将首先 学习每个 图像的初 始视觉特 征（例如， 图像的颜色）。例如，在一个实施例中，来自ResNet-50的全局平均池化特征[17]。用成对关系监督。之后，每对探测图库图像将被视为图上的节点，其负责生成该对的相似性得分。为了充分利用其他图像对（节点）之间的成对关系，在节点之间传播深度学习的消息以更新和细化与每个节点相关联的成对关系特征。与大多数先前的GNN的分类有了这些相似性引导的特征融合权重，SGGNN将充分利用有价值的标签信息来生成有区别的人图像特征，并获得探测库图像对的鲁棒相似性估计。本文的主要贡献是两方面的。(1)我们提出了一种新的相似性引导图神经网络（SGGNN）的人重新识别，它可以训练端到端。与大多数现有方法不同，SGGNN在后处理阶段使用样本之间的图库图像关系，在训练阶段将图库图像关系合并以增强特征学习过程。因此，更有鉴别力和准确性4Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王可以学习个人图像特征表示。(2)与大多数图神经网络（GNN）方法不同，SGGNN利用训练标签监督来学习更准确的特征融合权重，以用于更新节点。这种简单的引导管理使得特征融合更加精确，并进行更加合理的特征融合。在三个大规模的人脸再识别数据集上的实验验证了该方法的有效性2相关工作2.1人员重新识别身份再识别是近年来学术界和工业界日益关注的一个研究热点。用于人重新识别的主流方法或者试图获得用于表示人图像的区分性和鲁棒性特征[71，28，1，60，54，10，35，61，56，55，8，7，58，21]，或者设计适当的度量距离用于测量人图像之间的相似性[47，3，4，41，72]。对于特征学习，Yi等人[71]引入了Siamese-CNN用于人员重新识别。Li等[28]提出了一种新的过滤器配对神经网络，它可以联合处理特征学习，错位，并在一个端到端的方式分类。Ahmed等人[1]介绍了一种称为交叉输入邻域差分CNN模型的模型，该模型将一个输入图像的ch处的图像处理与另一个输入图像的ch处的图像处理进行比较。 Su等人[60]将姿态信息并入人的重新识别中。利用位姿估计算法进行零件提取。然后将原始全局图像和变换后的部分图像同时送入CNN进行预测。Shen等人[57]利用克罗内克积匹配进行人特征图对准。对于度量学习，Paisitkriangkraiet al.[47]介绍了一种旨在通过优化三重样本之间的相对距离并最大化平均秩k精度来学习不同度量距离函数的权重Bak等人[3]提出了学习人图像的2D补丁的度量Yu等人[72]介绍了一种无监督的人re-ID模型，其目的是学习跨视图人物图像的不对称度量。除了特征学习和度量学习之外，流形学习[2，42]和重新排序方法[78，69，70，16]也用于增强人员重新识别模型的性能，Bai等人。[2]介绍了监督平滑流形，其目的是估计其他成对人物图像的上下文，因此样本之间的学习关系在流形上是平滑的。Loy等人[42]介绍了流形排序，用于通过大量图库图像揭示流形Zhong等[78]利用k-倒数编码通过利用探针样本的最高等级图库实例之间的关系来细化等级列表结果Kodirov等人[24]引入了用于人员重新识别的图正则化字典学习。这些方法大多数是在后处理阶段进行的，这些后处理方法不能使人图像的视觉特征受益。基于深度相似度引导的图神经网络的人员身份识别52.2机器学习在几个机器学习研究领域，输入数据可以自然地表示为图形结构，例如自然语言处理[44，38]，人体姿势估计[11，66，68]，视觉关系检测[32]和图像分类[50，48]。在[53]中，Scarselliet al.根据图数据结构的不同应用目标，将机器学习模型分为两类，即以节点为中心的应用和以图为中心的应用。对于以图形为中心的应用，映射函数将整个图形数据G作为输入。一个简单的例子，图形为重点的应用程序是分类的图像[48]，其中图像表示的区域邻接图。对于以节点为中心的应用，映射函数的输入是图上的节点。图上的每个节点将代表数据集中的一个样本，并确定边权重样本之间的关系。在不同节点（样本）之间的消息传播之后，映射函数将输出每个节点的分类或回归结果以节点为中心的应用的一个典型示例是基于图的图像分割[76，36]，其将图像的像素作为节点，并尝试最小化用于分割预测的总能量函数。每个像素。以节点为中心的应用程序的另一个例子是对象检测[5]，输入节点是输入图像中建议的特征。2.3图神经网络Scarselli等人[53]介绍了图神经网络（GNN），它是递归神经网络和图结构数据的随机游走模型的它可以应用于以图形为中心或以节点为中心的数据，而无需任何预处理或后处理步骤，这意味着它可以进行端到端的训练。近年来，将CNN扩展到图形数据结构得到了越来越多的关注[6，18，23，45，66，13，33]，Brunaet al.[6]提出了图上深度卷积网络（GCN）的两种构造，一种是基于图拉普拉斯算子的谱，另一个是空间构造，它将卷积滤波器的属性扩展到一般图形。Yan等人[66]利用空间结构GCN进行人体动作识别。与大多数现有的GNN方法不同，我们提出的方法利用训练数据标签监督来生成更准确的特征融合权重。3方法为了评估用于人员重新识别的算法，测试数据集通常被分成两部分：探针组和图库组。给定探测器图像和图库图像的图像对，人重新识别模型旨在鲁棒地确定探测器图库图像对之间的视觉相似性在先前的常见设置中，在小批量中，单独评估探头和图库图像的不同图像对，即。例如，一对相似度的估计6Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王图像将不受其它对的影响。然而，不同图库图像之间的相似性对于细化探针和图库之间的相似性估计是有价值的。我们提出的方法旨在更好地利用这些信息来改进特征学习，如图1所示。它将一个探针和几个图库图像作为输入来创建一个图，每个节点都对探针图库图像对进行建模。它输出每个探针图库图像对的相似性得分。深度学习的消息将在节点之间传播，以更新与每个节点相关联的关系特征，以便在端到端训练过程中进行更在本节中，问题公式化和节点特征将在3.1节相似性引导的GNN（SGGNN）和用于人员重新识别的深度消息最后，我们将在第3.3节中讨论相似性引导的边缘权重相对于传统GNN方法的优势实施细节将在3.43.1图形公式化和节点特征在我们的框架中，我们将人员重新识别制定为第2.2节中介绍的以节点为中心的给定探测图像和N个图库图像，我们构造无向完全图G（V，E），其中V={v1，v2，…表示节点的集合。每个节点表示一对探测图库图像。 我们的目标是估计每个探针库图像对的相似性得分因此将重新识别问题视为节点分类问题。通常，任何节点的输入特征对其对应的探针图库图像对之间的复杂关系进行编码。在这项工作中，我们采用了一种简单的方法来获得图节点的输入关系给定探针图像和N个图库图像，每个输入探针图库图像对将被馈送到Siamese-CNN中以用于成对关系特征编码。Siamese-CNN的结构基于ResNet-50 [17]。为了获得成对关系特征，将来自ResNet-50的两个图像的最后一个全局平均池化特征逐元素相减。通过逐元素平方运算和批归一化层[19]处理成对特征。处理后的差异特征di（i = 1，2，… N）对探针和第i个图库图像之间的深度视觉关系进行编码，并且被用作图上的第i个节点的输入特征。由于我们的任务是节点分类，i。例如，估计每个节点对的相似性得分，通常将节点的输入特征简单地划分到线性分类器中以输出相似性得分，对于训练小批量中的每个探针图库L=−ΣNi=1yilog（f（di））+（1−yi）log（1−f（di）），（1）基于深度相似度引导的图神经网络的人员身份识别7视觉特征展厅i探针（di）(a) 节点输入特征生成。（b）SGGNN的深度消息传递图二、SGGNN的基本模型和深层消息传递的说明（a）我们的库模型不仅可用于搜索探针-图库对的最小相似性核心，而且还可(b)为了传递更有效的信息，首先将探针库关系特征di馈送到2层消息网络中以进行特征编码。利用图库-图库相似性得分，探针-图库关系特征融合可以被推导为消息传递和特征融合方案，其被定义为等式（1）。4.第一章其中f（）表示线性分类器，其后是S形函数。表示第i个探针-图库图像对的地面实况标签，其中1表示探针和第i个图库图像属于同一身份，而0表示不属于同一身份。3.2相似性引导的图神经网络显然，朴素节点分类模型（等式1）（1））忽略了不同探针-图库对之间为了利用这样的重要信息，我们需要在图G上建立边E。在我们的公式中，G是完全连接的，并且E表示不同探针图库对之间的关系的集合，其中Wij是标量边缘权重。它表示节点i和节点j之间的关系重要性，并且可以计算为：.exp（S（gi，gj））Σexp（S（g，g）），i jWij=jij0，i=j、（二）其中，所述环和所述环分别是所述环和所述环图像。 S（）是一个对等的简单的分类函数，可以以与上面讨论的朴素节点（探测图库图像对）分类模型相同的方式对由图像和图像组成的这种简单的分类进行建模。 注意， 在SGGNN中， 在身份标 签上的相 似性的情 况下，gallery-gallery配对的相似性得分S（gi，gj）是在同步中确定的。将Wii设置为0的目的是避免自增强。为了增强信息中的节点的初始对等关系，我们提出在所有连接节点之间传播深度学习的消息。然后，将节点特征更新为所有节点特征的加权加法融合特征学习节点要素di平方BNFSiameseResNet-50消息特征t（t）J节点特征d（t）JWij留言网更新节点d（t）Kt（t）K维伊克我d（t） 特征d（t1）我我d（t）Ht（t）H2FC层消息网Re Re露露2048204820482048d（t）t（t）我我BNFCBNFC减去8Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王J我N输入数据和节点或原始数据。该方法的特征融合和更新是直观的：使用图库-图库相似性得分来指导探针-图库关系特征的细化将使关系特征更具区分性和准确性，因为涉及不同对之间的丰富关系信息。例如，给定一个探测样本p和两个图库样本plegi，gj。向上的位置（p，gi）是一个对称的位置对（n〇de），而下位置（p，gi）和（gi，gi）是一个对称的位置对。在节点（p，gi）和（p，gi）上存在任意大小的p的情况下，（p，gi）的相似性不可能更高。 然而，如果利用对（gi，gi）的相似性来指导硬正对（p，gi）的关系特征的细化，则（p，gi）的细化特征将导致更合适的相似性得分。这种关系特征融合可以归结为一种消息传递和特征融合方案。在消息传递开始之前，每个节点首先对深度消息进行编码，以用于将消息发送到所述节点。将节点的输入关系d i馈送到具有2个全连接层的消息网络中，所述2个该过程学习用于节点关系特征更新的更合适的消息，ti= F（di），其中i = 1，2，.，N，（3）其中，F表示用于学习用于传播的深度消息的2FC层子网络在从每个节点获得边权重Wij和深度消息ti之后，节点关系特征di的更新方案可以被公式化为ΣNd（1）=（1−α）d（0）+αWijt（0）对于i = 1，2，…N，（4）i ijj=1如果d（1）个节点不包含i-thefinedrelature，则d（0）个节点不包含i-ti输入我我关系特征，并且t（0）表示来自节点j的深度消息。α表示平衡融合特征和原始特征的加权参数注意，这种关系特征加权融合可以如下迭代地执行，d（t）=（1−α）d（t−1）+αΣWt（t−1）对于i = 1，2，…N，（5）我我j=1国际新闻报whichheretistheheiterationnumber. 在u_re_d（t）处的精确的关系f e可以是子titu_t，然后在等式（1）中的关系特征di。（1）用于损失计算和训练SGGNN。为了训练，Eq.（5）可以通过结构经由反向传播展开在实践中，我们发现，多次迭代的迭代特征更新和更新一次迭代之间的性能差距是可以忽略不计的。所以我们采用Eq. (4)作为我们在训练和测试阶段的关系特征融合。在关系特征更新之后，我们将探针-图库图像对的关系特征馈送到具有S形函数的线性分类器，以获得相似性得分，并使用相同的二进制交叉熵损失（等式1）进行训练。① ①）。基于深度相似度引导的图神经网络的人员身份识别93.3与常规GNN的关系在我们提出的SGGNN模型中，图库图像之间的相似性被用作对节点的提取和更新的组上的提取。这些相似性对于细化探针-图库关系特征是至关重要的在传统的GNN [66，45]模型中，特征融合权重通常被建模为非线性函数h（di，dj），其中m是由两个未知的di和dj 组 成 的。你在那里的费用将在d（t）=（1−α）d（t−1）+αΣh（d，d）t（t−1）对于i = 1，2，…N. （六）我我j=1i jj它们缺乏直接的标签监督，只能通过反向传播错误间接学习。然而，在我们的情况下，这样的策略没有充分利用图库图像之间的相似性地面实况为了克服这样的限制，我们选择使用简单的分类S（gi，gj）作为具有直接训练标签监督的非线性图像gi和gj，以用作等式（1）中的节点特征融合权重。（四）、与传统的GNN Eq. (6)这些直接而丰富的图库间相似性监督可以为特征融合提供更准确的信息。3.4实现细节我们提出的SGGNN基于ResNet-50 [17]在ImageNet [14]上预训练。所有输入图像的大小均调整为256× 128。随机翻转和随机擦除[79]用于数据增强。我们将首先预训练基础Siamese CNN模型，我们在所有三个数据集上采用0.01的初始学习率，并在50个epoch后将学习率降低10倍。学习率为然后固定为另外50个训练时期。线性分类器的权值初始化用于获取图库间的相似度，权值初始化为我们在基础模型预训练阶段训练的线性分类器的权值。为了将每个小批次构建为探针集和图库集的组合，我们根据它们的身份随机采样图像。首先，我们在每个小批量中随机选择M个身份。对于每个身份，我们随机选择属于该身份的K个图像。在这K张一个人的图像中，我们随机选择一张其中的一个作为探测图像，其余的作为图库图像。作为因此，一个K×M大小的小批量由一个大小为K的探针集和一个大小为K×（M−1）gallery set.在训练阶段，K被设置为4，M被设置为48，这导致小批量大小为192。在测试阶段，对于每个探针图像，我们首先利用探针图像特征和图库图像特征之间的l2距离，通过我们的SGGNN中训练的ResNet-50获得前100个图库图像，然后我们使用SGGNN获得最终的相似性得分。我们将遍历每个训练时期中的所有身份，并且Adam算法[22]用于优化。然后，我们端到端地微调整体SGGNN模型，整体模型的输入节点特征是基础模型的减去特征。注意对于N10Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王gallery-gallery-gallery-similararystimati on S （ gi ， gi ） ， gallery-gallery-similararystimat i on S（gi，gi），gallery-similar arystimage s的特征表也用作训练监督。我们以10−4的学习率训练整个网络，再训练50个epoch，平衡权重α设置为0.9。4实验4.1数据集和评估指标验证我们所提出的人员重新识别方法的有效性实验和消融研究在三个大型公共数据集上进行CUHK03 [28]是一个人员重新识别数据集，其中包含由两台摄像机从校园捕获的1，467人的我们利用其在这项工作中手动注释的图像。Market-1501 [75]是一个大规模数据集，其中包含每个身份的多视图人物图像。它包含12，936张用于训练的图像和19，732张用于测试的图像。测试集分为包含16，483个图像的图库集和包含3，249个图像的探针集该数据集中共有1501个身份，所有人的图像都是通过人脸检测器获得的[15]。DukeMTMC [52]是用8台摄像机从校园收集的，它最初包含超过2，000，000个手动注释的帧。DukeMTMC数据集有一些扩展，用于人员重新识别任务。在本文中，我们遵循[77]的设置。它使用1404个身份，这些身份出现在两个以上的摄像机中。训练集由16，522张图像组成，具有702个身份测试集包含具有702个身份的19，989个图像。我们采用平均精度（mAP）和CMC的前1名，前5名，前10名的准确性作为评估指标。对于每个数据集，我们只采用数据集提供的原始评估协议。在实验中，查询类型是单查询。4.2与最先进方法的CUHK03数据集的结果。我们提出的方法和其他现有技术方法的结果在表1中表示我们提出的方法的mAP和top-1准确率分别为94.3%和95.3%我们提出的方法优于所有比较的方法。四重峰损失[9]基于三重峰损失进行修改它的目的是获得输入对的正确顺序，并将负对从正对中推开。我们提出的方法优于四倍损失19.8%的前1准确度。OIM Loss [65]维护一个查找表。它比较小批量样本与表中所有条目之间的距离学习人物形象的特征我们的方法在mAP和CMC top-1准确度方面将OIM损失提高了21.8%和17.8%SpindleNet [73]考虑了人体结构信息以进行人员重新识别。它结合了人体部位特征和不同语义层次的特征，用于人的重新识别。与SpindleNet相比，我们提出的方法提高了6.8%的top-1准确度。MSCAN [27]代表基于深度相似度引导的图神经网络的人员身份识别11表1. mAP、top-1、top-5和top-10准确度，通过比较CUHK 03数据集的方法[28]。[28]第二十八话表2. Market-1501数据集上比较方法的mAP、top-1、top-5和top-10准确度[75]。[75]第75话地图 top-1 top-5前10四重丢失[9]CVPR 2017-75.595.299.2OIM损失[65]CVPR 201772.577.5--SpindleNet [73]CVPR 2017-88.597.898.6MSCAN [26]CVPR 2017-74.294.397.5SSM [2]CVPR 2017-76.694.698.0k-reciprocal [78]CVPR 201767.661.6--六+LSRO [77]ICCV 201787.484.697.698.9SVDNet [61]ICCV 201784.881.895.297.2欧曼[80]ICCV 2017-61.788.495.2[60]第六十话ICCV 2017-88.798.699.6[74]第74话ICCV 2017-85.497.699.4HydraPlus-Net [39]ICCV 2017-91.898.499.1MuDeep [49]ICCV 2017-76.396.098.4JLML [29]IJCAI 2017-83.298.099.4MC-PPMN [43]AAAI 2018-86.498.599.6拟议SGGNN94.395.399.199.6地图 top-1 top-5前10OIM损失[65]CVPR 201760.982.1--SpindleNet [73]CVPR 2017-76.991.594.6MSCAN [26]CVPR 201753.176.3--SSM [2]CVPR 201768.882.2--k-reciprocal [78]CVPR 201763.677.1--[81]第81话CVPR 201744.370.7--CADL [35]CVPR 201747.173.8--六+LSRO [77]ICCV 201766.184.0--SVDNet [61]ICCV 201762.182.392.395.2欧曼[80]ICCV 2017-60.7--[60]第六十话ICCV 201763.484.192.794.9[74]第74话ICCV 201763.481.092.094.7HydraPlus-Net [39]ICCV 2017-76.991.394.5JLML [29]IJCAI 201765.585.1--美国有线电视新闻网[30]CVPR 201875.791.2--拟议SGGNN82.8 92.3 96.197.412Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王多尺度上下文感知网络。它采用多个具有不同感受野的卷积核来获得多个特征图。膨胀卷积用于降低卷积核之间的相关性。我们提出的方法获得21.1%的top-1的准确率。SSM是Smoothed Supervised Manifold的缩写[2]。这种方法试图通过在后处理阶段估计其他图像对的上下文中两个图像之间的相似性来获得底层流形结构，而所提出的SGGNN在训练和测试阶段都利用实例关系信息。SGGNN在top-1精度方面比SSM方法高出18.7%。k-reciprocal [78]在测试阶段利用图库-图库相似性，并使用平滑的Jac卡距离来细化排名结果。相比之下，SGGNN在训练阶段利用图库-图库信息进行特征学习。因此，SGGNN在mAP和top-1准确性方面分别提高了26.7%和33.7%Market-1501数据集。在Market-1501数据集上，我们提出的方法明显优于最先进的方法。SGGNN在Market-1501数据集上实现了82.8%的mAP和92.3%的top-1准确率结果示于表2中。HydraPlus-Net [39]被提出用于更好地利用具有人图像的多级特征融合的全局和局部我们提出的方法比HydraPlus-Net的top-1精度高15.4。JLML [29]代表多损失联合学习。JLML在不同的上下文环境中学习全局和局部鉴别特征，并发挥互补优势。与JLML相比，我们提出的方法获得17.3和7.2的mAP和top-1的准确性。HA-CNN [30]试图同时学习硬区域级和软像素级注意力与任意人物边界框和人物图像特征。所提出的SGGNN在mAP和top-1准确度方面优于HA-CNN 7.1%和1.1%。DukeMTMC数据集上的结果。在表3中，我们说明了我们提出的SGGNN和其他最先进方法在DukeMTMC [52]上的性能。我们的方法优于所有比较的方法。除了之前介绍的OIM Loss和SVDNet等方法外，我们的方法还优于Basel+LSRO，后者集成了GAN生成的数据和ACRN，后者将人员属性纳入人员重新识别。这些结果说明了我们所提出的方法的有效性4.3消融研究为了进一步研究SGGNN的有效性，我们还对所有三个数据集进行了一系列结果示于表4中。我们将直接从第3.1节中介绍的初始节点特征估计成对相似性的siamese CNN模型作为基础模型。 我们利用相同的基础模型，并与其他方法进行比较，也基于深度相似度引导的图神经网络的人员身份识别13表3.通过比较DukeMTMC数据集上的方法确定mAP、top-1、top-5和top-10准确度[52]。方法参考DukeMTMC [52]在测试阶段取图库间图像关系进行比较。我们用我们的基础模型学习的图像视觉特征进行k倒数重新排名[78]。在Market-1501、CUHK 03和DukeMTMC数据集上，k-倒数方法的mAP比SGGNN方法分别下降了4.3%、4.4%和3.5%。top-1的准确率也分别下降了0.8%、3.1%、1.2%。除了视觉特征之外，基础模型还可以为我们提供探针-图库对和图库-图库对的原始相似性得分。可以进行随机游走[2]操作，以利用封闭形式的方程用图库-图库相似性得分来细化探针-图库相似性得分。与我们的方法相比，随机游走的性能在mAP方面下降了3.6%，4.1%和2.2%，在top-1准确度方面下降了0.8%，3.0%和0.8%。这样的结果说明了在SGGNN内使用深度学习的消息传递进行端到端训练的有效性。我们还验证了学习视觉特征融合权重与画廊画廊相似性指导的重要性。在第3.3节中，我们已经介绍了在传统的GNN中，两个节点di和dj 之 间 的 兼 容 性，h（di，dj）是通过非线性函数来计算的，即在没有直接的图库-图库监督的情况下提供函数。因此，我们去除了直接的画廊-画廊监督，并在等式中使用权重融合方法训练模型。（6），由基本模型+SGGNN w/o SG表示。就mAP而言，与我们的SGGNN方法相比，top-1准确率下降了1.7%，2.6%和0.6%，这说明了在培训阶段涉及丰富的画廊-画廊标签的重要性为了证明我们提出的模型SGGNN还通过考虑所有探针库关系来学习更好的视觉特征，我们通过在三个数据集上训练的ResNet-50模型输出的2维图像和分辨率图像的视觉特征向量上的直接计算来评估重新识别性能表5中示出了利用基本模型和传统GNN方法学习的视觉特征的结果我们提出的SGGNN的视觉特征显著优于比较的基础模型和传统的GNN设置，这表明SGGNN还学习了更具鉴别力和鲁棒性的特征。地图 top-1 top-5前10[75]第75话ICCV 201512.225.1--LOMO+XQDA [34]CVPR 201517.030.8--ACRN [54]CVPRW 201752.072.684.888.9OIM损失[65]CVPR 201747.468.1--巴塞尔+ LSRO [77]ICCV 201747.167.7--SVDNet [61]ICCV 201756.876.786.489.9拟议SGGNN68.281.188.491.214Y. Shen，H.Li，S.Yi，中国山杨D.陈和X。王表4.对Market-1501 [75]、CUHK 03 [28]和DukeMTMC [52]数据集的消融研究[28]第52话：我的世界，我的世界表5.在Market-1501 [75]、CUHK 03 [28]和DukeMTMC [52]数据集上通过l2特征距离估计探针库相似性的性能。[52]第一届中国国际航空航天博览会[28]5结论在本文中，我们提出了相似性引导的图形神经网络，将丰富的画廊画廊相似性信息的训练过程中的人重新识别。与我们的方法相比，大多数以前的尝试进行更新的探针画廊相似性在后处理阶段，这不能有利于学习的视觉特征。对于传统的图神经网络设置，丰富的图库-图库相似性标签被忽略，而我们的方法利用所有有价值的标签来确保加权的深度消息融合更有效。我们的方法和消融研究的整体性能说明了我们所提出的方法的有效性。6确认这项工作得到商汤科技集团有限公司、香港研究资助局资助的优才研究基金（第香港创新科技大学（香港中文大学）和技术支持计划（不。ITS/121/15FX）。地图top-1地图 top-1 地图top-1基础模型76.491.288.991.161.878.8基础模型+k-倒数[78个国家]78.591.589.992.264.779.9基础模型+随机游走[二]《中国日报》79.291.590.292.366.080.3地图top-1地图 top-1 地图top-1基础模型74.690.487.691.060.377.6基本型号+SGGNN，不含SG75.490.487.791.561.778.1基础模型+SGGNN76.791.588.193.664.679.1基于深度相似度引导的图神经网络的人员身份识别15引用1. E.艾哈迈德，M。Jones和T. K. 标记. 一种用于人员重新识别的改进的深度学习架构。 在2015年IEEE计算机可视化和图形化研究会议论文集，第3908- 3916页中。2. S. Bai，X. Bai和Q. 田可扩展的人员重新识别光滑流形arXiv预印本arXiv：1703.08359，2017。3. S. Bak和P. Carr. 使用可变形补丁度量学习的人重新识别。 在计算机视觉应用（WACV）中，2016年IEEE冬季会议，第1- 9页。 2016年10月27日4. S. Bak和P.Carr. 用于人员重新识别的一次性度量学习在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。5. M. Bianchini，M.马吉尼湖Sarti和F.斯卡塞利递归神经网络learn to localize faces. Pattern recognition letters, 26(12):1885–1895, 2005.6. J. Bruna，W. Zaremba、A. Szlam和Y.乐存。图上的谱网络和局部连通网络。arXiv预印本arXiv：1312.6203，2013。7. D. Chen，H.Li，T.Xiao，S.Yi和X.王. 视频人员重新识别竞争性片段相似性聚合和共同关注的片段嵌入。在IEEE计算机视觉和模式识别会议论文集，第11 6 9- 1178页，2018年。8. D. Chen，中国粘蝇D.Xu，H.Li，N.Sebe和X.王. 群体一致性相似性学习通过深度CRF进行人员重新识别。In Proceedings of the IEEE ConferenceonComputerVisinanddPatternRecognitin，第8649- 8658页，2018年。9. W. Chen，X.陈，J.Zhang和K.煌超越三重态丢失：一个深四重态网络进行人员重新识别。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。10. D. 郑，Y.贡，S.Zhou，J.Wang和N.郑人员重新识别具 有 改 进 的 三 重 损 失 函 数 的 基 于 多 通 道 部 分 的 CNN 。 在ProceedingsoftheIEEEConfernceonComputerVisionandPaternRecognition ， 第1335- 1344页，2016年。11. X. 朱，W。欧阳X.wang等人Crf-cnn：对结构化信息进行建模人体姿态估计 在神经信息处理系统的进展中，第316- 324，2016页。12. X. 朱，W。杨，W.欧阳C.Ma，A.L. Yuille和X.王. 多上下文注意人体姿态估计。arXiv预印本arXiv：1702.07432，1（2），2017。13. M. Defferrard，X.布列松和P。范德海恩斯 卷积神经网络在具有快速局部光谱滤波的图 在神经信息处理系统进展中，第3844- 3852页，2016年。14. J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞Imagenet：一个大的-缩放分层图像数据库。在计算机视觉和模式识别，2009年。 CVPR2009。IEEEC〇nferen，第248- 255页。 IEEE，2009年。15. P. F. 费尔岑斯瓦尔布河B. Girshick，D.McAllester和D.Ramanan Object de-使用区分训练的基于零件的模型进行