TCTS：一个任务一致的两阶段人员搜索

11952TCTS：一个任务一致的两阶段人员搜索中国科学院大学，北京，1000492中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京，1001903深圳市鹏程实验室，518055，中国wangcheng18@mails.ucas.ac.cn，bpma@ucas.ac.cn，{changhong，sgshan，xlchen}@ ict.ac.cn摘要现有的人员搜索方法将人员搜索分为检测和重新识别阶段，但忽略了这两个阶段之间的一致性。一般的个人检测器对查询目标没有特别的关注; re-ID模型是在手绘的边界框上训练的，这些边界框在个人搜索中不可用。为了解决一致性问题，我们引入了一个任务组成两阶段（TCTS）的人搜索框架，包括一个身份引导查询（IDGQ）检测器和一个检测结果自适应（RE-ID）模型。在检测阶段，IDGQ检测器学习辅助标识分支以计算提案的查询相似性得分考虑到查询相似性得分和前景得分，IDGQ为re-ID阶段产生类似查询的边界框。在re-ID阶段，我们预测检测到的边界框的标识标签，并使用这些示例为该模型构建更实用的混合训练集。在混合训练集上训练提高了重新ID阶段对不准确检测的鲁棒性我们评估我们的方法在两个基准数据集，CUHK-SYSU和PRW。我们的框架实现了93.9%的mAP和95.1%的排名1的准确性在中大中山大学，优于以前的最先进的方法。1. 介绍人员搜索是人员重新识别（re-ID）的延伸人员搜索的目的是在整个场景中定位特定的目标它可以看作是人体检测与身份识别的有机结合，满足了实际应用的要求。它适用于视频监控系统、公园寻人系统、自助超市等领域。因此，越来越多的研究者将注意力集中在人物搜索任务上。*通讯作者查询图像检测结果搜索Gallery Image检测图1.检测阶段的一致性问题。红色框表示非查询行人，绿色框表示图库图像中的查询目标。人检测器产生每个行人的边界框，这导致用于重新ID阶段的大图库大小。基于深度学习的人员搜索方法可以分为两类。一种是两步算法，将两个任务的网络参数分离。这样，每个子搜索被视为具有检测和重新识别两个阶段的顺序过程。另一种是端到端，它学习用于人员检测和人员重新识别的共享特征表示。该模型同时接收来自两个任务的训练信号。然而，检测任务侧重于行人的共性，而重新识别任务侧重于行人的独特性。在联合学习中，两个任务之间存在冲突，最终影响模型的优化。因此，本文采用两步结构。最新的两阶段方法没有注意到人物搜索中子任务之间的一致性要求。对于检测阶段，一般的人检测器与后续的重新识别任务不一致。一般的人检测器产生每个行人的边界框（图。1），使得re-ID阶段遭受较大的图库尺寸，这增加了识别的难度。此外，由于查询目标没有受到特别的关注，因此查询目标的虚警（在后台）和漏检问题更加严重。这种检测误差将不可避免地导致进一步的匹配误差。因此，探测器在人的搜索框架-11953Re-ID列车组检测到bbox图2.在re-ID阶段的一致性问题。第一行是来自re-ID列车集的示例，第二行是相应的检测结果。在实际搜索过程中，检测到的边界框更容易出现错位、遮挡和身体部位缺失等问题工作应该服务于re-ID阶段，以识别查询目标。训练一个优秀的一般人检测器不满足re-ID阶段的一致性要求。值得一提的是，端到端方法QEEPS [18]在检测过程中利用了查询信息。然而，在他们的QRPN中使用的特征是由基础网络提取的，该网络侧重于行人的共性。它们的注意机制有助于抑制背景建议，但对不同行人的效果较差因此，我们需要一个检测器，专注于查询目标，以满足一致性要求。对于re-ID阶段，re-ID模型与复杂检测结果不一致。与手绘边界框相比，检测到的边界框更容易出现错位、遮挡和身体部位缺失等问题（图10）。2）。由于人物搜索数据集仅在手绘框上提供身份注释，因此存在两步方法在裁剪的理想人物图像上训练re-ID然而，re-ID阶段的输入因此，在re-ID阶段与检测输出之间存在不一致结果，重新ID模型输出错误识别结果，导致检测到的绑定框不准确。这种一致性问题在重新识别阶段降低了搜索性能，限制了实用性。Han等人[8]还注意到re-ID模型在检测框上的性能下降它们通过可学习的仿射变换来细化检测框。首先，这种方法对漏检没有帮助。另一方面，细化的上界接近地面实况，因此性能改进受到约束。因此，一致性问题是个人搜索中一在本文中，我们提出了一种新的两阶段框架，以消除不一致的检测和重新检测。ID阶段分别。对于检测阶段，我们提出了一个身份引导查询（IDGQ）检测器产生查询一样的包围盒。考虑到一般人检测器中的共性信息，IDGQ检测器具有一个辅助身份分支，用于计算整个场景中建议的查询相似性得分。通过同时考虑类查询相似度得分和前景得分，IDGQ输出更准确的类查询边界框和更少的非查询边界框。为了提高单位分支的区分度，提出了一种新的分类损失.对于每个图库图像，通过最小化标记的示例在同一图像中被识别为不同行人的概率，辅助分支可以输出比其他建议更优的查询相似性分数。因此，它进一步将IDGQ检测器集中在类似查询的建议上。对于re-ID阶段，我们提出了一个检测结果自适应（ Detection Results Adapted ， 简 称 REQ ） 的 re-ID 模型。为了使re-ID模型能够适应检测结果，我们为re-ID模型提供了一个混合训练集，其中同时包含手绘和检测到的边界框。具体地，根据IoU重叠，基于地面实况框来预测检测到的框的身份标签。这些标注的检测到的边界框将用于训练模型。此外，考虑到检测样本的质量参差不齐，且混合样本集中大部分是容易准确检测的样本，提出了该算法根据样本的质量和难度自动调整样本的权重。因此，该算法既具有稳定的收敛速度，又具有对不准确检测的鲁棒性。在两个基准数据集上的实验结果表明，该检测器在查询目标上实现了更高的召回率和在对检测结果进行测试时，重新识别部分实现了更高的匹配性能。我们的框架在CUHK-SYSU上实现了93.9%的mAP和95.1%的rank 1准确性，优于两阶段方法的最新水平。2. 相关工作人员搜索。人物搜索任务旨在同时定位和识别人物。一个简单的解决方案是将人物检测与人物re-ID顺序结合，但搜索性能将受限于这两个组件，并且re-ID的设置与人物搜索不同。2014年，Xuet al.[24]引入了人物搜索的概念，并提出了一种基于滑动窗口策略的手工特征的模型最近，随着深度学习方法和大规模人员搜索数据集的兴起一些工作尝试以端到端的方式解决定位和重新标识。Xiao等人[23]提出了一种端到端的人员搜索模型，并联合训练人员检测网络和re-ID网络。Liu et al.Yan et al.[25]提出了一种基于区域的特征学习模型，并建立了一个图，供行人在不同的输入图像中学习11954上下文信息。其他工作解决人的搜索两个步骤，即。 训练两个参数独立的检测和重新识别模型。[32]测试检测器和识别器的各种组合，并提出一种CWS方法来将分类置信度从检测器转移到re-ID网络。这些两步方法[32，3]通过从检测器或输入图像向识别器提供更多信息来提高搜索性能。人员搜索和重新识别数据集。虽然近年来对人的re-ID [27，1]的研究取得了很大进展，但大多数最近的基于 图 像 的 re-ID 数 据 集 （ 如 VIPeR [7] ， PRID 2011[10]，CUHK 01 [14]，CUHK 02 [13]，iLIDS-VID [33]和Duke-MTMC [20]）通过使用人工绘制图库边界框。这些理想的包围盒在实际应用中是不可用的。因此，一些数据集使用由人检测器产生的边界框 ， 例 如 CUHK03 [15] ， Market1501 [30] 和 MARS[29]。值得一提的是，CUHK03还提供手绘版.大量实验结果表明，使用检测到的边界框导致比手绘版本的re-ID精度差因此，误检和误对准实际上是一个关键问题。至于个人搜索数据集，PRW和中大-中山大学都只提供用于训练re-ID部分的真实边界框。在测试阶段，所有的边界框都由检测器生成.据我们所知，之前所有具有显式re-ID过程的人员因此，在re-ID部分的训练阶段和测试阶段之间存在间隙。3. 任务一致的两阶段人物搜索在本节中，我们将介绍我们的任务一致性人员搜索框架TCTS。如图在图3中，给定查询图像和图库图像，IDGQ检测器产生建议并计算每个建议的查询相似性得分和在选择之后，IDGQ检测器的输出是类似于查询的框，然后将其馈送到ARMNET。3.1. 身份引导查询检测器IDGQ检测器通过辅助标识分支为re-ID阶段产生类似查询的边界框。如图所示。3、IDGQ探测器具有一个共用的基本网络和两个分支网络。第一个分支是辅助身份分支。为了将身份信息引入到检测器中，我们通过分类损失（称为IDGQ损失）来训练辅助分支。以这种方式，辅助分支可以计算在多个用户之间的身份相似性得分。查询目标和建议。在另一个分支中，我们保留了更快的R-CNN的标准头部[19]，因为二元分类器可以输出准确的前景分数。这两个分数指导IDGQ检测器保持类似查询的和预先提出的建议。具体地，给定裁剪的查询图像和图库图像，基础网络和RPN首先在图库图像上产生然后，身份分支提取由xq和xgire提供的用于查询和建议的特征。分别为。 身份相似性得分通过以下方式计算：相似性函数S（·）。 在同一时间，检测分支输出建议s_i的基础分数。提案i的最终得分计算如下：si=S（xq，xgi）×sfi（1）在此之后，只有具有高查询相似性和前景分数的建议类似查询的边界框与re-ID任务一致。如何设计合适的损失函数是值得探讨的问题。身份分支的目标是为查询建议输出优于其他建议的类似查询的相似性分数。因此，它与传统的分类或重新识别任务有一些不同接下来，我们首先介绍两种常见的分类损失。然后，我们推导出我们提出的IDGQ损失。Softmax损失被广泛用于分类任务。对于一个示例xi，Softmax损失使用Softmax函数来计算每个类别的概率，并使用交叉熵损失函数来优化概率空间中每个类别的对数似然在[23]中提出了人员搜索任务的OIM损失。与Softmax损失不同，OIM损失为每个人存储一个特征中心。在每次迭代中通过加权求和运算对中心进行修改。基于这种无参数结构，未标记身份被利用作为一个循环队列的形式。通过Softmax函数计算xi被识别为每个身份的概率我们没有直接采用这些分类损失，原因有二。一方面，同一图像中的相似例子应加以区分，而不同图像中的相似例子的假阳性是可以接受的。因此，通过传统分类损失获得的解决方案可能不是最优的。另一方面，在这两种损失中，未标记的例子没有得到充分利用虽然OIM损失也考虑到未标记的身份，循环队列的长度是一个人为的参数。如果长度太大，则循环队列中的图元特征将过时，无法表示未标记的标识。当小批量时，不同小批量的优化方向和优化解有较大的变化。我们提出了一个IDGQ损失，以提高查询相似性得分的准确性，在IDGQ检测器。为每个11955图3.我们提出的任务一致的两阶段框架的说明橙色框是IDGQ探测器。在IDGQ中，共享基础网络提取检测和身份分支的共同特征。然后区域建议网络（RPN）在特征图上生成建议。身份分支由我们提出的IDGQ损失训练在搜索过程中，检测分支和标识分支分别输出前景分数和查询相似性分数。绿色框是我们提出的企业ID模型。在包含手绘和检测到的盒子的混合训练集在后向，DRA-ER通过权重因子对示例进行在标记的示例中，IDGQ损失将来自不同图像的正面示例拉得更近，使得来自相同人的图像此外，IDGQ损失使样本远离同一图像中的反例（包括未标记的样本），从而降低了不同人之间的相似性。此外，为了有效地利用未标记的身份，我们的IDGQ损失为未标记的样本学习了可变数量的中心我们将每个身份的特征中心ci对于训练图像中的标记示例xi，我们构造一个参考列表R，其中包含特征cen。LIDGQ=−log（pi）（4）当输入是未标记的示例时，未标记的中心被更新。我们为未标记的示例维护一个中心列表，该列表包含一个代表性特征和一个成员列表。在开始时，中心的数量是未标记样本的数量。给定一个未标记的例子x，pk的最大值表示为pk。未标记的中心更新如下：.对于c，yi，其他标记的e个示例{x，j|j=i}，并且所有未标记的示例中心u. 问题-示例xi被识别为身份i的能力是：exp（cTxi/τ）uk=αuk+（1−α）x，如果pk> pi;uU+1= x，若pk≠

下载后可阅读完整内容，剩余1页未读，立即下载