属性注意力网络（AANet）：集成人的属性和属性注意力地图的人员重新识别架构

7134AANet：用于人员重新识别的Chiat-Pin Tay1，2，Sharmili Roy2，和Kim-Hui Yap1，21新加坡南洋理工大学电气与电子工程学院2新加坡南洋理工大学Rapid-Rich Object Search Lab摘要本文提出了属性注意力网络（AANet），一个新的架构，集成人的属性和属性注意力地图到一个分类框架，以解决人的重新识别（re-ID）问题。许多人的re-ID模型通常采用语义线索，如身体部位或人体姿势，以提高re-ID性能。然而，属性信息通常不被利用。拟议的AANet利用了一个基线模型，使用身体部位，并在一个统一的学习框架中集成了关键的属性信息。AANet由全局身份识别任务、部件检测任务和关键属性检测任务组成。通过估计单个属性的类响应并将它们组合形成属性注意图（AAM），构造了一个非常强的区分表示在DukeMTMC-reID数据集上，所提出的AANet在mAP中的表现优于使用ResNet-50的最佳最新方法[20]3.36%，在Rank-1准确度中优于3.12%在Market 1501数据集上，AANet通过重新排名实现了92.38%的mAP和95.10% 的 Rank-1 准 确 度 ， 优 于 [11] ， 另 一 种 使 用ResNet-152的最先进方法，mAP为1.42%，Rank-1准确度为0.47%。此外，AANet可以执行每个属性预测（例如，性别、头发长度、衣服长度等），并定位查询图像中的属性。1. 介绍给定查询图像，person re-ID旨在从网络摄像机图像的集合中检索被查询人的图像。通常从相对于查询图像在短时间间隔内拍摄的图像集合中尝试检索。这支持查询人的外观和穿衣属性在查询和集合图像中保持不变的基本假设。由于许多因素，例如患者的部分/全部闭塞图1.类感知热图被提取并组合以形成图像级的区分性属性注意力图（AAM）。这里显示的六个热图对应于六个属性，例如头发，上衣颜色，下衣颜色等。最好用彩色观看。对象、姿态变化、环境光变化、低图像分辨率等。最近基于深度学习的re-ID解决方案已经证明了良好的检索性能。用于解决人员重新识别问题的方法可以大致分为两类。第一类包括度量学习方法，其试图学习嵌入空间，该嵌入空间将属于唯一人的图像已经采用了诸如三重态和四重态损失的各种方法来学习这样的嵌入空间[10，2]。第二类方法在分类设置中提出了重新ID这种方法通过使用Soft-max归一化和计算交叉熵损失来学习，基于人的身份作为基础事实，用于反向传播。研究表明，通过整合语义信息，如身体部位，人体姿势等，分类，7135…vc…vc图2. AANet概述。基于ResNet-50架构的骨干网络输出特征图X。特征图X被转发到三个任务，即全局特征网络（GFN）、零件特征网络（PFN）和属性特征网络（AFN）。这三个任务的输出相结合，使用同方差不确定性学习预测的人识别。最好用彩色观看。识别和识别精度可以显着提高[18，22，24]。人物属性，例如衣服颜色、头发、背包的存在/不存在等。然而，不被当前最先进的re-ID方法使用。由于典型的re-ID模型假设感兴趣的人的物理外观在查询图像和搜索图像之间不会显著改变，因此物理外观成为可以被挖掘以实现更高的re-ID性能的关键信息。这种信息没有被当前的研究和现有技术的re-ID方法利用。在这项工作中，我们建议利用人的属性信息的分类框架。结果框架，称为属性注意力网络（AANet），将身份分类，身体部位检测和个人属性整合到一个统一的框架中，共同学习高度区分的特征空间。由此产生的网络在多个基准数据集中优于现有的最先进的方法。图2给出了建议架构的概述。该框架由三个子网络组成.第一个网络，称为全球特征网络（GFN），执行全球身份（ID）分类的基础上输入的查询图像。第二个网络，称为部分特征网络（PFN），侧重于身体部位检测。第三个网络是属性特征网络（AFN），它从人的属性中提取类感知区域以生成属性注意力图（AAM）。这在图1中示出。这三个网络执行类-我们使用同方差不确定性学习来优化三个子任务的权重以用于最终损失计算。由于AANet将个人属性分类作为网络学习的一部分，因此它还为每个查询和图库图像输出属性预测。这使得图库图像的属性匹配，具有或不具有通过查询图像的检索我们的主要贡献可概括如下：1. 我们提供了一种新的网络架构，将属性特征与身份和身体部位分类集成在一个统一的学习框架中。2. 我们在多个基准数据集上优于现有的最先进的re-ID方法，并提出了新的人re-ID解决方案。本文的其余部分组织如下。第2节提供了相关工作的概述。在第3节中，我们描述了拟议的AANet框架。实验结果见第4节和第5节。本文在第6节中总结。2. 相关作品近年来，深度学习被用于解决各种具有挑战性的计算机视觉任务[14，9，10，6，7]。在本节中，我们将概述最近的re-ID deep12CzvC12CzvC12CvCXGFN间隙全局ID分类器ResNet50PFN间隙损失部分分类器间隙AFN顶部12中间8z到v底部全球C属性分类器间隙凸轮AAMAAM分类器12v129作物X身体部位搜索………………………………………卷积7136输入图像AAM热图ID热图输入图像AAM热图ID热图架构和大输入图像，但分类作为第一遍学习，然后是用于准确度微调的度量学习集成语义信息，如身体部位和姿态估计，在重新识别性能显着改善。由于人的属性在查询图像和图库图像之间没有显著变化，因此我们认为属性形成可以显著影响人的重新识别性能的关键信息。然而，这在当前的re-ID方法中尚未被利用有鉴于此，我们建议将物理属性整合到身份分类框架中。3. 提出属性注意网络图3. GFN中生成的拟议AAM和类激活ID热图AAM捕获人的属性，因此激活的区域主要位于足的身体内。ID热图受训练数据集的影响，密度较低，并且可以包括背景作为其特征图的一部分。最好用彩色观看。基于学习的方法，实现接近最先进的性能。基于深度学习的re-ID解决方案通常被视为身份分类问题。[23]中的作者使用多域数据集在分类设置中实现高re-ID性能。Wang等人[21]提出将re-ID问题公式化为联合学习框架，该框架不仅使用查询图像，还使用查询和图库图像对来学习特征表示。许多解决方案都使用了额外的语义线索，例如人体姿势或身体部位以进一步提高分类性能。Su等人[18]提出了一种姿势驱动的深度卷积（PDC）模型，用于从端到端学习改进的特征提取和匹配模型。Wei等[22]还在他的全局-局部-对齐描述符（GLAD）算法中采用了人体姿势估计或关键点检测方法通过四流CNN模型检测和学习局部身体部位以及全局图像，这产生了区分性和鲁棒性的表示。Yao等人[24]提出了零件丢失网络（PL-Net）来自动检测人体部位，并将其与主要身份任务交叉训练。Zhao等人[25]遵循注意力模型的概念，并使用部分映射检测器来提取多个身体区域，以便计算它们相应的表示。该模型通过三重损失函数学习。Sun等人[20]提出了一种强的基于零件的卷积基线方法，使用细化零件池方法重新对齐零件以获得高精度性能。Kalayeh等人[11]使用多个数据集，深度骨干架构，大型训练图像和人类语义解析来实现良好的准确性结果。类似地，Jonetal.[1]建议使用深度骨干网（AANet）拟议的AANet是一个多任务网络，有三个子网，即GFN，PFN和AFN（图2）。子网络GFN执行全局图像级ID分类。PFN在分类任务之前检测并提取局部化的身体部位。AFN使用个人属性进行分类任务，并生成在身份分类中起关键作用的属性激活图（AAM）。AAM的一些示例如图3所示。在图中，生成的AAM提供比ID热图更多的区分特征。结果，当GFN、PFN和AFN一起学习时，我们的AANet变得更通用，并且在预测个人ID方面更好。AANet的各种组件在以下章节中详细描述。AANet的骨干网络基于ResNet架构（图2），因为ResNet在re-ID问题中表现我们删除了骨干网的全连接层，以便AANetAANet中有四个分类器。它们是全局ID分类器、部件分类器、属性分类器和AAM分类器。全局ID和部件分类器分别属于GFN和PFN。属性和AAM分类器属于AFN。所有四个分类器都有相当相似的网络设计。它们都利用全局平均池来减少过度拟合，并且有一个3层（Z，V和C）架构来增加网络深度，以更好地进行特征学习。分类器使用Softmax归一化和交叉熵损失进行学习。3.1. 全球特征网络该网络使用查询图像执行身份（ID）分类（图2）。由骨干网络提取的卷积特征图X∈RZ×H ×W作为输入提供给全局平均池化（GAP）层。接下来是一个1x1卷积层，将维度降低到V。然后将BatchNorm和Relu应用于V，然后将其线性转换为C，7137X6个分区检测到6个ROI部件p间隙X身体零件搜索ResNet50CROXZxHxW图4. PFN使用峰值激活检测和池化将特征图X∈RZ×H×W来自这6个ROI的特征进一步用于身份分类。最好用彩色观看。9属性子任务（i）属性分类和（ii）属性注意图（AAM）生成。第一个子任务对个人属性进行分类。第二子任务利用第一子任务的输出，并为每个属性生成类激活图（CAM）[28]。CAM是一种定位歧视性图像区域的技术，即使网络仅在图像级标签上训练。因此，CAM非常适合AANet使用。从所选属性类生成的CAM被组合以形成特征图，该特征图被转发到AAM分类器以进行学习。我们将在以下段落中详细描述这两个子任务全球顶部中底1间隙21234128129V C（例如：性别、帽子、头发、背包等）1个属性（年龄）1属性（上衣颜色）1个属性（下部服装颜色）(i) 属性分类AFN的第一个子任务是执行属性分类。在DuketMTMC-reID和Market 1501上分别有10个和12个带注释的属性AFN的第一层是一个1x1卷积，它将特征图X的通道深度从Z缩小到V。接下来，我们将特征图划分为三个不同的集合，即顶部，中间和底部特征图，每个特征图负责从其局部区域提取特征。已知基于部件的建模可以减少背景杂波并提高分类精度。的图5.从Market1501数据集上的全局、顶部、中间和底部向量生成12个属性。Softmax函数交叉熵损失是在Softmax输出上计算的，用于使用反向传播进行学习。3.2. 零件特征网络该网络使用GFN中使用的相同的个人ID标签该体系结构如图4所示。身体部位检测器将卷积特征图X划分为 六 个 水 平 部 分 ， 并 估 计 相 应 的 感 兴 趣 区 域（ROI）。这是通过识别X中的峰值激活区域来完成的。令（hz，wz）表示每个fea中的峰值激活位置X的真映射z，其中z ∈ {1，. . . ，Z}。（hz，wz）=arg maxXz（h，w）（1）z其中Xz（h，w）是X的第z个特征通道上位置（h，w）然后，这些位置基于它们的垂直位置被聚类到6个这6个箱构成6个ROI/部件。现在使用这些ROI将特征图X划分为6个部分。图4显示了这个过程。一旦计算了6个部分，随后的处理，如图2所示，与GFN类似。3.3. 属性要素网络AFN捕获AANet架构中的关键属性信息（图2）。AFN由两个不同的部分侧重于不同的属性。最高的fea-例如，真实地图用于捕获诸如帽子、头发、袖子和上衣颜色等的特征。身体下半部分的特征在顶部特征贴图中被忽略。 如图5所示，这些特征图的输出与全局特征图一起被平均合并以在层V生成4个特征向量。这4个向量是全连接层C的输入。在Market1501上，C层有4个分类器，每个分类器都生成自己的属性预测。(ii) 属性注意力图属性注意力图（AAM）是属性分类器（图2）的输入，它执行人员ID分类。AAM将来自个体属性的类敏感激活区域组合。使用CAM从每个人属性中提取这些单独的类敏感激活区域。如前所述，CAM使用GAP，几乎没有调整，以生成歧视性图像区域。因此，CAM的输出揭示了表示属性的图像区域。图6示出了类敏感激活区域和组合AAM的一些示例。为了进行定性比较，图中的第二列显示了由全局识别任务（GFN）生成的激活图。随后的列显示了各种属性的类特定激活区域，例如性别、头发、袖子、鞋面颜色等。例如，第六列描绘了针对上衣颜色的类特定激活区域。我们可以观察到，激活区域对应于输入查询图像中的在12个可用属性中，性别、头发、上下衣服颜色、下衣服类型和长度……………………7138我查询ID性别头发套筒上部背包 下衣低AAMAAM图像服装服装类型服装（属性（之后颜色颜色长度合并）阈值化）图6.在Market1501数据集上，总共使用了12个注意力地图显示了八个最重要的属性只有视觉提示（在红色框中）被选择用于AAM生成。从GFN获得的全球注意力地图在这里显示与其他属性的定性比较背包、手提包、包和帽子属性尽管是重要的视觉线索，但并不出现在所有图像中，因此被丢弃。袖子的注意力地图捕获太多的背景信息，因此不适合AAM。最好用彩色观看是AAM一代的好选择。AAM生成过程涉及通过最大值运算合并各个类别特定的激活区域并执行自适应阈值。阈值处理去除了有时出现在类特定激活区域内的一些背景区域在图6的第二行中可以观察到这样的示例，其中下部衣服激活图包含一些背景区域，但是在阈值化时，该区域从生成的AAM中移除。当定性比较全局特征网络在同一查询图像上生成的类激活图时，我们可以看到，AAM在定位具有不同属性信息的区域方面更有针对性属性分类器（图2）采用AAM和per-form ID分类，并共享学习经验优化AANet的准确性性能。如果我们对所有λi赋予相等的权重，则检索精度将不是最佳的。在我们的工作中，我们使用同方差不确定性学习[13，8，12]来获得任务损失权重。我们将贝叶斯概率模型分类类- lihood输出定义为p（y|fW（x），σ）=Sofftmax（1fW（x））（3）σ2其中fW（x）是神经网络的输出，并按σ2缩放。σ是观测噪声。此输出的对数似然率由下式给出：log（p（y=c|fW（x），σ））=1fW（x）σ2c与GFN和PFN合作。3.4. 损失计算建议的AANet被制定为多任务网--log（ΣCi=0时exp（1σ2fW（x）（四）工作AANet的多任务损失函数定义如下：ΣTLtotal（x，W，λ）=λiLi（x，W）（2）i=0时其中x是一组训练图像，W是输入x上的权重。T是任务丢失总数Li。 λ i是任务损失的权重因子，它在OP中起着重要的作用。7139其中C是分类任务的类数。任务损失L（x，W，σ）可以用公式表示为−log（p（y=c|fW（x），σ））。我们需要的是非标度y的交叉熵损失，如果 定 义 为 L （ x ， W ） =−log Softmax （ y ， fW（x））[13]，则损失函数可以简化为L（x，W，σ）<$1L（x，W）+log σ（5）σ27140σσσσ通过将上述损失函数应用于我们的AANet，最终的AANet损失函数现在给出为：dukemtmc-Reid方法mAP Rank-1L（x，W，σ1 1）<$L（x，W）+ L（x，W）+g p a aa 2g2pG p1 12La（x，W）+2于aaLaa（x，W）+log σg σp σa σaa（六）其中Lg、Lp、La和Laa分别代表全局、局部、属性和属性注意损失σg，σp，σa和σaa分别表示全局、局部、属性和属性注意任务的观测噪声，与λi成3.5. 执行我们使用ResNet-50和ResNet- 152作为骨干网络实现了AANet，并使用ImageNet [4]数据集对它们进行了预训练。训练图像被放大到384 x 128，只有随机翻转作为数据增强方法。ResNet-50的批量大小设置为32，ResNet-152的批量大小设置为24。使用随机梯度下降（SGD）作为优化器，我们训练网络40个epoch。对于新添加的层，学习速率从0.1开始，对于预训练的ResNet参数，学习速率从0.01开始，并遵循20 epoch的阶梯时间表，所有参数的减少因子为0.1。在所有三个子网络中，Z的值为2048，V的值为256。C的值取决于评估的数据集。对于DukeMTMC-reID [16]，C为702，对于Market 1501 [26]，C为751。在测试过程中，我们将所有分类器（即全局身份分类器、身体部位分类器、属性分类器和AAM分类器）的V层输出连接起来（图2），以形成查询图像的表示。对于排名，我们使用查询和图库图像的这些描述符之间的l24. 实验结果在下面的实验中，我们使用DukeMTMC-reID [16]和Market 1501 [26]数据集进行训练和测试。DukeMTMC-reID是DukeMTMC数据集的子集。这些图像是从8个摄像头拍摄的视频中截取的。该数据集由16，522张训练图像和17，661张图库图像组成，其中702个身份用于训练和测试。408干扰项ID也包括在数据集中。Lin等共注释了23个属性。[15 ]第10段。我们使用所有属性，但对服装颜色属性进行了修改。将所有8个上层服装颜色属性和7个下层服装颜色属性分别合并对于Market1501，共有32，668张图像用于训练和测试。一共有751个身份表1.使用DukeMTMC-reID数据集与其他最先进的方法进行性能比较AANet-50表示使用ResNet-50训练的AANet。AANet-152表示使用ResNet-152训练的AANet。RR表示重新排序[27]。用于训练和750个身份测试Lin等[15]也注释了这个数据集，但有27个人的属性。我们使用与DukeMTMC- reID中相同的服装颜色策略，并使用所有属性来训练我们的模型。4.1. 与现有方法的比较DukeMTMC-reID数据集我们与表1中的最先进方法进行了比较。 该表根据所使用的骨干网络分为三个部分。第一部分比较了基于ResNet-50的模型。三个比较网络是KPM（Res-50）[17]，PCB（Res- 50）[20]和拟议的AANet-50。我们在mAP和Rank-1准确度方面分别优于最先进的方法[20] 3.36%和3.12%。第二个比较是基于使用较大骨干模型的网络，其中包括ResNet-101和ResNet-152。三个比较网络是GP-reID（Res-101）[1]、SPReID（Res-152）[11]和提议的AANet-152。在这里，我们再次在mAP和Rank-1准确度方面优于最先进的方法[11第三次比较是基于第二次比较的网络，但这次是重新排名[27]。我们在mAP和Rank-1准确度方面分别比最先进的方法[1]高出1.27%Market1501数据集我们使用Market1501数据集执行与表2中前面部分类似的比较。在使用ResNet-50的第一次比较中，选择的网络是KPM（Res-50）[17]，PCB（Res- 50）[20]和拟议的AANet-50。我们在mAP和Rank-1准确度方面分别优于该类别中最先进的方法[20FMN [5]56.974.5SVDNet [19]56.876.7DFL [3]60.679.2KPM（Res-50）[17]63.280.3多氯联苯（Res-50）[20]69.283.3AANet-5072.5686.42GP-reID（Res-101）[1]72.8085.20SPReID（Res-152）[1]73.3485.95AANet-15274.2987.65GP-reID（Res-101）[1] + RR85.6089.40SPReID（Res-152）[11] +RR84.9988.96拟议的AANet-152 + RR86.8790.367141Market1501方法mAP Rank1排名10PDC [18]63.484.494.9[24]第二十四话69.388.2-DFL [3]73.188.9-GLAD [22]73.989.9-KPM（Res-50）[17]75.390.197.9多氯联苯（Res-50）[20]81.693.898.5AANet-5082.4593.8998.56GP-reID（Res-101）[1]81.2092.20-SPReID（Res-152）[1]83.3693.6898.40AANet-15283.4193.9398.53GP-reID（Res-101）[1]+RR90.0093.00-SPReID（Res-152）[11]+RR90.9694.6397.65拟议的AANet-152+RR92.3895.1097.94表2.使用Market1501数据集与其他最先进的方法进行性能比较AANet-50表示使用ResNet-50训练的AANet。AANet-152表示使用ResNet-152训练的AANet。RR表示重新排序[27]。第 二 个 比 较 是 使 用 GP-reID （ Res- 101 ） [1] ，SPReID（Res-152）[11]和建议的AANet进行的，使用ResNet-101或ResNet 152。在这里，我们再次在mAP和Rank-1准确度方面优于最先进的方法[11第三个比较是在前一节的网络上进行的，但进行了重新排名[27]。我们在mAP和Rank-1准确度方面分别优于最先进的方法[11] 1.42%和0.47%我们认为，属性信息是AANet的人重新识别性能的关键贡献者4.2. 网络分析在本节中，我们研究了任务丢失权重和骨干网络的大小对re-ID性能的影响。我们还检查了各种训练参数。在表3中，我们使用DukeMTMC-reID数据集显示了任务损失权重对AANet准确性性能的影响。全局ID任务、部分任务、属性分类任务和属性注意力图任务分别表示为Lg、Lp、La和Laa。 当我们将这些相关任务中的每一个添加到网络时，准确性提高，这证明了每个任务对整体性能的贡献。当我们使用同伦不确定性学习来获得任务损失权重Lg时，Lp和La，性能提高到70.47%mAP，一品准确率85.44%仅这一结果就足以优于使用ResNet的最先进方法50. AAM的集成为学习提供了更多的区分特征，我们将准确率结果提高到72.56% mAP和86.42% Rank-1准确率。骨干网的作用骨干网的深度AANet-50任务丢失任务权重地图%秩1%Lg100062.9280.18Lg+ Lp110066.3582.93Lg+ Lp+ La111067.2883.29Lg+ Lp+ La不确定70.4785.44Lg+ Lp+ La+ Laa学习72.5686.42表3.使用DukeMTMC-reID数据集进行不同任务损失组合的性能比较，有和没有不确定性学习。前三行是AANet准确度，任务权重相等。底部两行显示了从不确定性学习中获得的损失权重的结果。图7.来自DukeMTMC-reID的三个查询，每个查询有八个重新检索的图像。骨骼网络影响人的重新识别的准确性。更深的网络产生更好的结果，这在表1和表2中清楚地显示。 表1还显示，我们提出的更小的AANet-50在Rank-1准确度方面优于更深的SPReID（Res-152）[11] 0.47%，GP-reID（Res-101）[1] 1.22%。我们在Market 1501数据集上获得了类似的Rank-1结果，我们的AANet-50优于使用更深骨干网络的数据集。训练参数的影响在文献中使用了许多技巧来提高精度[11]和[1]。在[11]中，作者总共聚合了10个不同的数据集，以生成111k张图像和117k个身份，用于训练。测试和测试。 此外，还使用了在不同阶段训练网络。在[1]中，作者使用了诸如回归学习之前的预训练，大图像尺寸，硬三元组挖掘和更深的骨干网络等技术来重新识别好人。这些都是良好的做法。然而，所提出的AANet使用更小的图像尺寸、更简单的训练过程和更浅的ResNet-50架构来优于现有的最先进技术。7142属性匹配10级检索的图像排名1至10秩1查询图像匹配的图像等级1至5男性和白色下衣女性，帽子，绿色和红色的衣服背包黑灰色服装图8.三个例子如何人的属性有助于提高图像检索的准确性。这些是具有挑战性的图像查询，返回许多错误接受的图像。由于AANet返回每个查询和具有预测属性的图库图像，因此它为用户提供了一个选项，可以使用属性匹配来过滤掉不需要的检索图像。有用的属性包括性别。服装颜色、背包等。绿色框表示与查询图像相同的ID。红色框表示与查询图像不同的ID。最好在颜色方法性别年龄头发L.slvL.low S.clthB.pack H.bag袋帽子C.upC.low是说四月[15]86.4587.08 83.6593.6693.3291.4682.7988.9875.07 97.13 73.4069.9185.33AANet-15292.3188.2186.58 94.4594.2494.8387.7789.6179.7298.01 77.0870.8187.80表4.Market1501数据集上属性准确度的性能比较5. 使用属性的实验结果在本节中，我们将说明person属性如何帮助优化检索到的图像以进行person re-ID。5.1. 检索结果我们在图中展示了三个使用AANet的检索示例7 .第一次会议。虽然在查询主题上存在一些遮挡，例如汽车和不需要的行人，但AANet从图库集中检索正确的图像没有问题。在图8中，我们展示了一些具有挑战性的查询示例，其中主题被严重遮挡。这导致检索准确性差。该图演示了AANet如何为用户提供一个选项，通过使用查询和图库图像的预测属性来过滤掉不正确的检索。给出了三个例子，每个都有自己的检索困难。第一个例子在第一行。超过一半的查询主题被另一个行人遮挡。大多数的计算机视觉方法会将不需要的行人作为感兴趣的对象，并重新返回错误的图像.在该示例中，10个图像中有9个被错误地检索，这导致较差的mAP性能。通过AANet在第一次检索时，这些属性匹配的图像的排名分别为1，19，38，78，172，表明它们与查询图像的差异。第二行和第三行给出了同样的挑战性问题如在第一示例中，属性过滤以返回高达等级5的正确图像。5.2. 属性分类性能在表4中，将拟议AANet的属性分类准确性与APR[15]进行了比较。APR [15]由Lin等人提供，用人物属性 注 释 DukeMTMC-reID 和 Market 1501 数 据 集 由 于AANet使用局部属性特征来增强网络学习，因此我们获得了更好的表示，并且在每个属性预测中都优于APR。6. 结论在本文中，我们提出了一种新的架构，以合并基于物理外观的属性，如衣服的颜色，头发，背包等。转换成基于分类的每个人的重新识别框架。提出的属性衰减网络（AANet）采用联合端到端学习和同方差不确定性学习的多任务损失融合。由此产生的网络在多个基准数据集上的性能优于现有的最先进的re-ID方法。确认这项研究是在新加坡南洋理工大学的快速丰富对象搜索（ROSE）实验室进行的。 ROSE实验室得到新加坡信息技术媒体发展局的支持。7143引用[1] 乔恩·阿尔玛赞，博贾纳·加吉奇，奈拉·默里，戴安·拉鲁斯.正确完成重新识别：制定重新识别身份的良好措施。arXiv预印本arXiv：1801.05339，2018。三六七[2] Weihua Chen ， Xiaotang Chen ， Jianguo Zhang ， andKaiqi Huang.除了三重态损失：一个深度的四元组网络用于人的重新识别。在IEEE计算机视觉和模式识别会议（CVPR），第2卷，2017年。1[3] 陈燕北，朱夏天，龚少刚。通过深度学习多尺度表示进行人员重新识别。在2017年IEEE国际计算机视觉研讨会上，ICCV研讨会2017，意大利威尼斯，2017年日，第2590-2600页六、七[4] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Fei-Fei Li. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机协会计算机视觉和模式识别会议（CVPR 2009），2009年6月20- 25日，美国佛罗里达州迈阿密，第248-255页，2009年。6[5] Guodong Ding，Salman Hameed Khan，Zhenmin Tang，and ZhaohPorikli. 让功能自行决定：特征面具网络用于人员重新识别。CoRR，abs/1711.07155，2017。6[6] Henghui Ding ， Xudong Jiang ， Bing Shuai ， Ai QunLiu，and Gang Wang.基于上下文对比特征和门控多尺度 聚 合 的 场 景 分 割 方 法 . 在 IEEE Confer-ence onComputer Vision and Pattern Recognition，2018。2[7] Henghui Ding ， Xudong Jiang ， Bing Shuai ， Ai QunLiu，and Gang Wang.语义相关性促进了形状变化的上下文分割。在IEEE计算机视觉和模式识别会议论文集，2019年。2[8] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。CoRR，abs/1506.02142，2015。5[9] 何开明、吉欧吉亚·吉欧萨里、彼得·多尔和罗斯·吉尔希克.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961-2969页2[10] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为了 防 止 三 重 丢 失 ， 进 行 人 员 重 新 鉴 定 。 CoRR ，abs/1703.07737，2017。一、二[11] MahdiMKalayeh 、 EmrahBasaran 、 MuhittinGo¨kmen 、Mustafa E Kamasak和Mubarak Shah。用于人员重新识别的人类语义解析在IEEE计算机视觉和模式识别会议论文集，第1062-1071页一、三、六、七[12] 亚历克斯·肯德尔和亚林·加尔贝叶斯深度学习在计算机视觉中需要哪些不确定性？神经信息处理系统的进展，第5574-5584页，2017年5[13] Alex Kendall Yarin Gal和Roberto Cipolla使用不确定性来权衡场景几何和语义损失的多任务学习。CoRR，abs/1705.07115，2017。5[14] Yann LeCun，Yoshua Bengio，and Geoffrey Hinton.深度学习nature，521（7553）：436，2015. 2[15] 林宇天，郑良，郑哲东，吴宇，杨毅。通过属性和身份学习提高人的再识别。CoRR，abs/1703.07220，2017。六、八[16] Ergys Ristani ， Francesco Solera ， Roger Zou ， RitaCucchiara，and Carlo Tomasi.多目标、多相机跟踪的性能测量和数据集。欧洲计算机视觉会议，第17-35页施普林格，2016年。6[17] 沈艳涛，肖彤，李洪生，易帅，王晓刚.端到端深度克罗内克产品匹配，用于人员重新识别。在IEEE计算机视觉和模式识别会议论文集，第6886-6895页六、七[18] Chi Su，Jianing Li，Shiliang Zhang，Junliang Xing，Wen Gao，and Qi Tian.用于个人重新识别的姿势驱动的深度卷积模型。在IEEE国际计算机视觉会议，ICCV2017，意大利威尼斯，2017年10月22日至29日，第3980-3989页，2017年。二、三、七[19] Yifan Sun，Liang Zheng，Weijian Deng，and ShengjinWang.用于行人检索的Svdnet。在IEEE计算机视觉国际会议，ICCV 2017，意大利威尼斯，2017年10月22日至29日，第3820-3828页，2017年。6[20] 孙一凡、郑良、杨毅、齐天、王胜金。超越零件模型：使用改进的部分池（和强大的卷积基线）的人员检索。在欧洲计算机视觉会议（ECCV）上，2018年9月。一、三、六、七[21] Faqiang Wang ， Wangmeng Zuo ， Liang Lin ， DavidZhang，and Lei Zhang.联合学习的单图像和跨图像表示的人重新识别。在2016年IEEE计算机视觉和模式识别会议，CVPR 2016，美国内华达州拉斯维加斯，2016年6月日，第1288-1296页，2016年。3[22] Longhui Wei，Shiliang Zhang，Hantao Yao，Wen Gao，and Qi Tian.GLAD：用于足类检索的全局-局部-对齐描述符。在2017年ACM多媒体会议论文集，MM 2017，Mountain View，CA，USA，2017年10月23日至27日，第420-428页，2017年。二、三、七[23] Tong Xiao ， Hongsheng Li ， Wanli Ouyang ， andXiaogang Wang.学习深度特征表示与域引导辍学的人重新识别。在2016年IEEE计算机视觉和模式识别会议上，CVPR 2016，美国内华达州拉斯维加斯，2016年6月27日至30日，第1249-1258页，2016年。3[24] Hantao Yao，Shiliang Zhang，Yongdong Zhang，JintaoLi，and Qi Tian.部分丢失的深度表征学习用于人的重新识别。CoRR，abs/1707.00798，2017年。二、三、七[25] Liming Zhao ， Xi Li ， Yueting Zhuang ， and JingdongWang.深度学习的部分对齐表示用于人员重新识别。在IEEE International Conference on Computer Vision ，ICCV 2017，意大利威尼斯，2017年10月22日至29日，第3239-3248页，2017年。3[26] 郑良，沈丽月，田璐，王胜金，王京东，田琦.可扩展的人员重新识别：基准。在2015年IEEE计算机视觉国际会议，ICCV 2015，智利圣地亚哥，2015年12月7日至13日，第1116-1124页，2015年。67144[27] Zhun Zhong，Liang Zheng，Donglin Cao，and Shaozi Li.用k-倒数编码重新排序人重新识别。在2017年IEEE计算机视觉和模式识别会议上，CVPR 2017，檀香山，HI，美国，2017年7月21日至26日，第3652-3661页，2017年。六、七[28] Bolei Zhou ， Aditya Khosla ， Agata Lapedriza ， AudeOliva，and Antonio Torralba.学习深度特征以区分本地化。在IEEE计算机视觉和模式识别会议论文集，第2921- 2929页，2016年。4