没有合适的资源?快使用搜索试试~ 我知道了~
10943BV-Person:一个用于鸟瞰人物再识别的程亚1*,庞冠松2*,雷旺4,贾继乐3†,冯雪涛3,沈春华5,李晶晶61天津大学2阿德莱德大学3阿里巴巴集团4卧龙岗大学5莫纳什大学6阿尔伯塔大学摘要人员重新识别(ReID)旨在从非重叠相机重新识别人员。现有的人ReID研究集中在水平视图ReID任务,其中人图像由相机从(几乎)水平视图捕获。在这项工作中,我们引入了一个新的ReID任务,鸟瞰人物ReID,其目的是在水平视图图像的图库中搜索一个人,其中查询图像是从鸟瞰视图拍摄的从上面看到的物体该任务是重要的,因为在公共场所存在大量的视频监控摄像机从这样的高视角捕捉人然而,这是一项具有挑战性的任务,因为来自鸟瞰图的图像(i)提供有限的人的外观信息,并且(ii)与水平视图中的人相比具有很大的差异。我们的目标是通过引入用于该任务的大规模真实世界数据集来建议的数据集,名为BV-Person,包含114 k图像的18 k身份,其中近20 k图像的7.4k身份是从鸟瞰我们进一步介绍了一个新的模型,这个新的ReID任务。进行大规模的实验,以评估我们的模型和11个当前最先进的ReID模型上BV-Person从多个角度建立性能实证结果表明,我们的模型一致,并大大优于国家的最先进的模型在所有五个数据集来自BV-Person。我们的模型在两个通用ReID数据集上也达到了最先进的性能。BV-Person数据集可从以下网址获得:https://git.io/BVPerson1. 介绍人物再识别(ReID)的目的是在非重叠的相机上搜索同一个人这项任务得到了广泛的研究,取得了很大的进展*CY和GP同样为这项工作做出了贡献。†通讯作者,电子邮件:jile. alibaba-inc.com水平视图ReID小于40o搜索一鸟瞰ReID搜索B大于80度图1-(A)水平视图ReID与(B)鸟瞰ReID。在(A)中,来自查询集和图库集两者的图像是从(几乎)水平视图捕获的,其中水平地面与从相机到人的线之间的角度很小(小于40°)。相比之下,在(B)中,查询图像是从升高的视图捕获的,其中对应的角度是大的(例如,大于80°)。这两个视图之间的巨大差异使得鸟瞰ReID任务特别具有挑战性。在过去的几年里[3,6,9,12,16,19,20,24,26,28,31,32、37、38、40、41、43]。现有的人ReID研究集中在基于水平视图的重新识别,其中所有图像都由与人几乎处于同一水平线的相机捕获。也就是说,摄像机和人几乎处于同一水平高度,摄像机到人的直线与地面之间有一个小角度(小于40度)(见图1(A))。横视图像通常呈现人的整个身体,并且身体的每个部分均匀地分布在图像中。在这项工作中,我们引入了一个新的ReID任务,鸟瞰人物ReID,其目的是在水平视图图像的图库中搜索一个人,其中查询图像是从鸟瞰视图拍摄的从上方观察物体的正视图(见图1(B))。该任务是重要的,因为有大量的视频监控摄像头-10944在公共场所,例如无收银员的商店、ATM机、旅馆和超市的结账/登记点,从这样的高视角捕捉人的时代,以用于安全和保安目的。然而,鸟瞰图ReID是特别具有挑战性的,因为来自鸟瞰图的图像(i)提供有限的人的外观信息并且(ii)提供有限的人的外观信息。(ii) 与水平视图中的人相比具有大的差异这些挑战是由于从相机到人的线与地面之间的大角度(例如,大于80°),如图1(B)所示。虽然鸟瞰ReID的应用需求越来越大相关任务被遮挡ReID [8,9,11,13,16,22,29,33,46,48,49]作为鸟瞰图ReID类似于将头部和肩部与被上身部分“遮挡”的下身部分匹配的问题这里的一个根本区别是,在鸟瞰ReID中,不存在像被遮挡ReID中那样的遮挡对象因此,被遮挡的ReID模型专注于处理不同的遮挡对象,而鸟瞰ReID不涉及遮挡对象,并且专注于学习可以从水平视图很好地概括到鸟瞰视图的人特征为了促进鸟瞰ReID的开发,我们首先引入了用于该任务的大规模数据集,称为BV-Person,其包含18 k个身份的114 k个图像,其中在鸟瞰视图下捕获了7.4k个身份的近20 k个图像。然后,我们将BV-Person划分为五个不同问题复杂度的数据集,为不同的应用场景提供测试平台。我们进一步分析了在这项任务中提出的主要挑战,并提出了一个新的模型,其中有三个专门设计的模块学习用于鸟瞰ReID的区分特征。总之,这项工作有四个主要贡献:• 我们引入了一个新的和关键的人的ReID任务,鸟瞰ReID,其目的是重新识别跨多个摄像机的人从一个人的高架视图该任务在不同的领域有着重要的应用,但由于正常视图和鸟瞰视图下的人的差异很大,对当前的ReID模型提出了一些独特的挑战。• 我们为鸟瞰ReID创建了第一个数据集,以促进和促进这一系列模型的开发和评估。所提出的数据集,称为BV-人,包含来自18 k人的114 k图像,其中包括来自7.4k人的20 k图像,这些图像是从不同场景和角度的鸟瞰图拍摄的• 我们提出了一种新的多尺度交叉注意模型,学习参加从一个单一的视图或两个视图的不同的图像相同的身份共享的歧视性的身体结果模型子-基本上减少了鸟瞰图和水平视图之间的特征差异。• 在BV-Person上进行了大规模的实证评估,以评估我们的模型和11个现有的最先进的ReID模型,从多个角度建立性能我们的大规模评估结果表明,在我们的BV-Person数据集的五个不同设置中,我们的模型在R-1中的表现优于11个最先进的ReID模型4.2%- 9.3%,在mAP中的表现优于2.8%-9.6%。此外,我们的模型在两个通用的ReID基准测试中也表现得相对较好,表明其在不同的现实世界应用程序设置中具有良好的适用性2. 相关工作当前的人ReID方法[3- 5,14,19 - 21,26,27,37,40 ]集中于一般的ReID任务,即水平视图ReID,其中所有图像由与人(几乎)在同一水平线上的相机捕获。他们设计了不同的网络结构来学习ReID应用程序的区分特征。其中,基于条带化的方法[2,4,5,27]旨在通过组合条带化局部特征来强制网络关注身份的不同身体部位,通常实现更好的性能。在这些方法中,基于部分的网络被广泛采用,通常首先在特征学习期间将特征映射分成几个部分,然后在推理阶段将这些局部特征连接起来。为了进一步提高准确性,全局特征和基于零件的局部特征都被学习并一起使用[2,5,34]。虽然基于条带化的方法实现了SOTA结果,但它们很难处理鸟瞰ReID任务。这是因为鸟瞰图和水平视图图像中的局部部分很大程度上不匹配。因此,这些图像中相同位置的局部特征是不相似的。一些研究专注于特殊的ReID任务,例如黑色ReID[38]或遮挡ReID [22]。在[38]中,提出了一个包含手肩和全局特征描述符的条带网络来处理黑色ReID问题,其中所有人都穿着黑色衣服。手-肩模块有助于提取一些手-肩特征。然而,性能受到姿态估计器的影响。被遮挡的ReID方法[9,22,33]也严重依赖于辅助姿态估计模型的性能。从上到下的视图图像将进一步降低姿态估计模型的性能,导致这些特殊的ReID方法在鸟瞰ReID任务上的性能降低。当 前 的 ReID 数 据 集 , 如 Market 1501 [45] ,DukeMTMC-ReID [47]和MSMT 17 [36],都集中在一般的ReID问题上,其中几乎所有的图像都是10945BV-人员ℬ������: All> 80��� imagesℬ������: All> 60��� imagesBV-Person-80 BV-Person-60���= {���|���}���������= {���|���}������BV-Person-80H BV-Person-60H半���→半��� → ➚BV-Person-80EBV-Person-60E���↔���BV-Person-60E-R:查询集:训练集:画廊表1-数据集BV-人员市场公爵MSMT17图像114k32k36k126k身份18k1.4k1.8k4.1kBV图像20k000BV恒等式7.4k000相机9006815系统30111服装四季夏天冬季冬季室内/室外环境户外户外室内/室外从水平视图捕获。还有一些包含的ReID数据集[22,38],但图像也是从水平视图拍摄的,并且它们专注于ReID中的遮挡问题此外,这些特殊ReID数据集的大小对于现实世界的应用来说太小了。3. 建议的数据集:BV-Person3.1. 关键特征我们创建了一个大规模的鸟瞰人ReID数据集,名为BV-Person,包含来自18 k个身份的114 k张图像原始数据来自30个不同的购物中心和超市的30个视频监控系统的900个摄像头收集的超过2000小时的视频。数据由八个人手动标记,他们在执行注释之前获得适当的注释整个注释过程累计耗时约2,700小时。这是为这项重要任务制定基准的第一次努力。BV-Person和现有人员ReID数据集的比较如表1所示。很明显,(i)大量的鸟瞰图像和身份唯一地将BV-Person与当前数据集区分开,对当前ReID模型提出了重大挑战;(ii)BV-Person的图像规模与目前最大的ReID基准MSMT 17相同,但它包含的身份数据集要大得多;(iii)BV-Person由使用30个监控系统的大型摄像机在所有四个季节捕获的图像组成,导致从夏季衬衫到冬季外套的各种着装风格,与使用在单一季节和/或单一背景下的单一监测系统。3.2. 数据集拆分> 80o60o-80o图2-来自BV-人的示例。>80°和60°-80°分别指角度>80°和60°-80°之间为了保护隐私,我们会对所有面孔进行面具。仅高度升高的角度,即,地面和从摄像机到人的线之间的角度大于80°,而BV-Person-60还包含在大于60°的仰角处的鸟瞰图像,因此BV-Person-80是BV-Person-60的子集。图2中提供了来自这两个数据集的一些示例性图像。图3-基于鸟瞰图像的分配从BV-人导出的数据集之间的关系。BV-Person-80 H、BV-Person-80 E、BV-Person-60 H和BV-Person-60 E 中 的 查 询 集 仅 包 含 鸟 瞰 图 像 , 而 BV-Person-60 E-R中的查询集是纯水平视图图像。BV-Person-80 H和BV-Person-60 H中的训练集和图库仅包含水平视图图像,而BV-Person-80 E和BV-Person-60 E中的这两个集包含鸟瞰图和水平视图图像。BV-Person-80和BV-Person-60作为我们的数据库,我们在其上执行数据拆分以获得用于训练和评估的基准。具体来说,对于这两个数据集中的每一个,我们进一步基于鸟瞰图像的分配创建数据集的两个版本。BV-Person-80用于创建BV-Person-80 H和BV-Person-80E。在BV-Person-80 H中,查询集包含所有鸟瞰图像,其训练集和图库包含BV-Person包含在水平和鸟瞰图中捕获的图像。通常,在更高的视图中捕获的图像导致这些图像与在水平视图中拍摄的图像之间的较大差异,从而导致ReID的更大困难。受此启发,我们将BV-Person分为两个子集,BV-Person-80和BV-Person-80。60. BV-Person-80包含在仅水平视图图像。BV-Person-80 E是BV-Person-80 H的变体,其中BV-Person-80 H的查询集和图库中随机选择的身份的大约一半被重新分配给训练集。因此,BV-Person-80 H代表鸟瞰ReID的最难数据集,而BV-Person-80 E与BV-Person-80 H相比是相对更容易的基准。同样的过程也适用于BV-10946i=1F›→Fi=1----表2-#图像#ID #ID(80o/60o)人 -60 , 产 生 两 个 数 据 集 , BV-Person-60 H 和 BV-Person-60 E。在所有这四个数据集中,查询集只包含鸟瞰图像。最后,我们交换查询集中的所有鸟瞰图像和图库中相同身份的图像,以创建一个名为BV-Person-60 E-R的数据集。也就是说,BV-Person-60 E-R反转查询集和图库的子集在BV-Person-60 E中。因此,BV-Person-60 E-R中的查询集仅包含水平视图图像,所有鸟瞰图图像都分配给图库,表示我们的五个数据集中最容易的基准。图3提供了如何在每个数据集中分配鸟瞰图像的概述。这五个数据集的统计数据的详细总结见表2。4. 提出的鸟瞰ReID4.1. 制剂在个人ReID系统中,令X = xi,yi,N是一组N个训练样本,其中xi是图像样本,yi是其身份/类别标签。 目标是学习映射函数φ:X,该映射函数将原始数据点X投影到新的特征空间,其中人内距离小而人间距离大。给定查询图像q,系统首先通过学习的投影Φ将数据映射到特征空间,然后计算Φ(q)与图库图像集G=giM中的每个图像Φ(g)之间的距离,最后返回具有最小距离的图像。图库图像集和训练图像集通常没有重叠,即,查询人没有出现在训练集中,这在很大程度上将人ReID与一般的图像检索任务区分开。4.2. 动机鸟瞰ReID有三个主要挑战。(i)在鸟瞰图像中,所有对象都是从顶视图到底视图捕获的,导致与水平视图图像基本上不同的外观,因此一个主要挑战是关于如何在来自这两个视图的图像之间建立连接(ii)身份的头部和肩部在鸟瞰图像中覆盖非常大的区域,但是它们在水平视图图像中是小区域。这里的挑战是关于如何保持这些小但重要的区域的本地信息,即,头肩部分,在最后的功能。(iii)在鸟瞰图像中,身体的下半部分大多被对于第一个挑战,现有的ReID方法[17,39]可以处理多视图ReID问题,但它们处理的视图是指人的正面或反面,而不是鸟瞰这些方法集中于利用自注意模块来增强主干的容量,但是注意力集中在单个图像上,未能使用来自相同身份的其他图像的共享信息。在鸟瞰ReID中,学习在相同身份的不同图像中呈现的相同身体部位(例如头部或肩部)的这种共享信息是至关重要的,因为它有助于减少对相同身体部位的识别。在不同角度拍摄的图像之间的差异。对于第二个挑战,小区域的局部信息通常由前几个卷积层捕获,但是鸟瞰ReID需要在最终表示中保持该重要的低级信息以用于检索。对于第三个挑战,一些遮挡ReID方法[9,22]采用姿态估计模型来处理遮挡。然而,额外的姿态估计模型不仅极大地影响了ReID性能,而且增加了模型复杂度。因此,更希望不涉及这种额外的语义模型。受这些观察的启发,我们引入了一种新的模型,该模型专门设计用于通过以下方式解决鸟视图ReID的这三个挑战:(i)提供交叉注意特征提取器以突出来自两个视图的图像之间共享的一些重要身体部位,(ii)将有区别的低级信息结合到最终表示中,以及(iii)在没有额外语义模型的情况下处理鸟瞰图下的“遮挡”问题。4.3. 我们的模型为了解决上述挑战,我们引入了一种新的模型,该模型学习用于鸟瞰ReID的基于多尺度交叉注意的全局特征表示。总体框架如图4所示。具体而言,遵循最先进的ReID方法[2,4,5,12,27,42],我们采用Resnet-50作为网络骨干,其中提出了一种称为交叉注意力(CA)的新型网络层,以利用IM来学习每个图像的注意力数据集训练查询#图像#ID #ID(80o/60o)画廊#图像#ID #ID(80o/60o)80H26,628 35000/07,4983,8523,852/051,11412,3130/060H26,628 35000/019,8837,4353,852/457972,98114,2850/080E四万一千八百五十四五千四百五十二1,952/02,8441,9001,900/040,54210,3610/060E66,847 7,6151,952/2,3796,6653,5291,900/2,20040,54210,3610/010947马FR01x1转换1x1转换0������−���11x1转换1中文( 简体)1x1转换1x1转换1x1转换不1x1转换CA马FR我J我J我√我我我我我我我·J∈{···}我损失图4-所提出的方法是一种基于全局特征的ReID方法,其包含三个新层以学习鸟瞰ReID的区分特征,包括交叉注意(CA)层、多尺度注意(MA)层和特征重建(FR)层。从水平视图和鸟瞰图中可以看出年龄。在骨干中使用多尺度架构。然后,我们引入了一种新的多尺度注意力(MA)层,有效地将低级别的功能到高级别的特征映射。我们进一步引入特征重构(FR)层以将多尺度特征的加权组合成具有可学习权重的一个全局特征表示。最后,给出了两种常用的损失函数,即:识别/分类损失和三重损失被用于以端到端的方式优化三个层。在推理过程中,只有全局要素制图表达用于相同的输入fl.由维度dK缩放的注意力分数Q1K1T用于激活其自身的注意力区域与Eq中的自我注意不同 (1),所提出的交叉注意使用xi的fl和具有j的xi的其他特征fl两者来学习注意。1,2,,,J和i,j,其中x,i和x,j是来自相同恒等式的不同图像。这学习跨图像自我注意力,强制执行该模型关注在相同身份的图像上具有相似外观的图像区域。形式上,我们的交叉注意力被定义为检索下面我们详细介绍每一层。11T−11T交叉注意层。我们建议交叉关注αQ·K我+ΣJ(1√α)Q·K将同一身份的不同图像关联到学习注意力地图是有效的,在所有这些IM-C(1)=C(ii jJi jDK)·Vl,(二)年龄这减少了相同身份的不同图像之间的注意力差异,这有助于减少来自水平视图和鸟瞰图的图像之间的对应差异。由于自我注意在许多应用中取得了巨大成功[1,7,18,30,42,44],我们的交叉注意建立在自我注意的基础上,但它们具有非常不同的能力。特别地,自我注意力被定义为Ql·KlT其中,J是小批量中属于与xi相同,α是超参数,默认设置为0.5。由方程式在等式(2)中,注意力分数基于f1和f2,这指示当来自f2的像素或区域与f2的像素或区域相似时,来自f2的像素或区域被激活。 这强制模型学习跨图像的细粒度特征。相同的身份,这有助于捕捉在水平视图和鸟瞰视图中拍摄的图像之间的相似性。请注意,此交叉关注图层仅在(1)A(我我DK )·Vl(一)训练阶段。 在推理过程中,我们将其用作法线Ql=Wlfl,Kl=Wlfl,Vl=Wlfl,自我关注层i Q iiK i iVi多尺度注意力层。为了更好地整合低-其中,f_l表示x_i在第l个卷积级上的特征信息到最终表示中的特征映射,我们是softmax操作,Wl、Wl和Wl是提出一个多尺度注意力层,它是一个额外的Q K V线性变换,以从特征图fl生成自注意力的查询、键和值,并且dK是Kl的维数Ql、Kl和Vl在等式(1)中(1)均来自注意层后的最后一个卷积层的背部骨。这一层采用了最后几个孔卷积层作为输入,然后应用多尺度注意力我我我特征10948····我−我不∈ID我我 C我我Q我我K我我V我(三)KVQ我我K我我我我我不我·我·Ql=Wl·fl,Kl−t=Wl −t·fl −t,Vl −t=Wl−1·fl−1,在这些层和最后一个卷积层之间,以分别将来自这些较低级特征中的每一个的特征合并到最终特征表示中。多尺度注意力可以被公式化为:Ql,·Kl−tT我其中z=φ(x;θt)表示x的最终特征表示,θt是所提出的三个层中的所有可学习参数,d(,)是两个样本的距离,m是预定义的裕度,并且[ ]+表示max(,0)。同一性损失定义为:MA(fl,fl−t)=soft(√i)·Vl−tNiidKi其中fl和fl−t分别是来自L=ΣCE((z;θ),y),(6)其中(zi;θc)是身份分类模块参数。我我骨干网的最后一级和第(l-t)级中的最后一个卷积层,Wl-t、Wl-t∈Rcl-t×c、Wl∈Rcl×c是线性投影,其中cl-t、cl和c是信道维度-fl−t,fl和隐藏特征的解。由θc和CE表示的是标准交叉熵损失。通过最小化以下总体损失函数来学习最终表示z我我QlKl−tT/√d是多个- 尺度注意力,其通过查询高级第l特征图Ql和低级(l t)第k特征图Kl-t的键来计算,以激活低级值Vl-t来形成多尺度注意力特征图。鸟瞰在图像中,头部或肩部等重要部位占据了大量的空间。因此,语义信息集中在高层特征上。相比之下,在头部或肩部较小的水平视图图像V1-t中的有效像素(即,具有高Q的那些(I Kl-tT)通过等式(1)中的加权求和被组合在一起。(3)创建一个新的特征,其中来自低级别特征图的细粒度信息被很好地保留。特征重建层。受金字塔重建方法[11,13]在不使用额外姿态估计模型的情况下成功用于遮挡ReID的启发,我们提出了一个特征重建层来处理上述第三个挑战。与这些复杂的金字塔匹配操作[11,13]不同,多尺度注意力图通过加权线性组合被集成到一个特征图中,其中可学习权重βt:fout=ΣβMA(fl,fl−t)·W(4)t=0L=L三联体+Lid。(7)在推理期间,仅z用于图像匹配。5. 实验5.1. 数据集和实施详细信息为了建立性能基准并评估我们的模型的有效性,我们在BV-Person-80 H,BV-Person-60 H,BV-Person-80E,BV-Person-60 E和BV-Person-60 E五个数据集上进行了大规模的实证研究,R. 我们的方法还在两个广泛使用的一般人ReID数据集Market 1501 [45]和DukeMTMC-ReID [47]上进行了这些数据集的详细信息见表1和表2。在[5,19,21,27,37,40]之后,我们使用秩1准确度(R-1)[10]和平均平均精度(mAP)[45]作为性能指标。我们的方法的实现建立在Fas-tReID [12]上,这是一种基于全局特征的SOTA方法。与大多数竞争方法类似,我们采用不带IBN的Resnet-50 [23]作为主干,所有其他设置与FastReID完全相同,以形成竞争基线。我们提出的三个神经网络层是添加到基线之上,以实现我们的模型(更多细节请参见补充材料)。请注意,由于我们的其中WRc×cout是线性投影(cout是fi-nal特征维度),并且T是在多尺度注意力图中使用的卷积层的数量 f_out融合多个MA(f_l,f_l_t)的重要信息以处理模型涉及自我注意/非局部[35],我们还报告了具有自我注意的基线的结果,称为基线跟踪。5.2. Bird-view ReID数据集我我自遮挡问题的鸟瞰图像,同时避免了复杂的金字塔匹配[11,13]。最后通过执行广义平均来获得最终全局特征z池化[12,42]和特征图fout上的归一化。为了对我们的鸟瞰ReID数据集进行全面评估,将所提出的方法与来自三类方法的11个SOTA模型进行了比较,包括训练与推理我两个广泛使用的ReID基于条带化(零件特征)的方法MGN [34]、BDB [5]和ABD [2];全局特征方法BoT [21]和AGW损失函数-三重损失和同一性损失-用于训练我们的模型。三重态损失如下给出:L三重态=[d(za,zp)-d(za,zn)+m]+,(5)我10949[42]; 闭 塞 / 黑 色 reid 方 法 FPR [13] 、 PGFA [22] 、HOReID [33]和HAA [38];以及上文第5.1节中描述的基线和基线*。我们特别关注10950表3-拟定的5个BV-人员数据集的R-1和mAP结果。最好的表现是粗体。R-1地图只有SOTA模型的源代码是公开的。报告的结果基于这些发布的代码,每种方法的所有参数设置与其各自论文中的相同。评价结果如表3所示。我们的观察如下。(i)我们的方法始终优于所有11个竞争的方法,在所有五 个 数 据 集 的 大 幅 度 。 (ii)BV-Person-80 H 和 BV-Person-60 H是两个最具挑战性的数据集,其中查询集包含所有鸟瞰图图像,而训练集和图库仅包含水平视图图像,使得所有模型在R-1和mAP中都然而,我们的模型在R-1中可以超过最佳竞争者4%-5%,在mAP中可以超过最佳竞争者2%-3%(iii)当如BV-Person-80 E和BV-Person-60 E中那样将一半的鸟瞰图身份分配给训练集时,鸟瞰图ReID任务变得不那么具有挑战性,并且因此,所有模型的性能都提高了。在这些数据集上,我们的模型保持了最佳性能,超过了最佳竞争模型(即,基线*)在R1和mAP中均降低5%- 9%。(iv)在最简单的数据集BV- Person-60 E-R上,查询集中只包含水平视图图像,与其他四个数据集相比,所有模型的性能都有了显著的提高。同样,我们的模型在BV-Person-60 E- R上表现最好注意,几乎所有方法对R-I的改进都比BV-Person-60 E-R上的mAP的改进大得多,表明改进主要基于水平视图图像搜索,而不是从水平视图图像一般化到鸟瞰图像。我们的模型相对于当前技术水平的一致优势主要是由于所提出的多尺度交叉注意层,其被专门设计用于解决鸟视图图像和水平视图图像之间的差异问题。 自注意对于鸟瞰ReID是有用的,正如基于自我注意力的方法所证明的那样-自我注意法(详见第5.5节)。请注意,表3中的结果都是基于没有蒙面的原始图像,但是当具有蒙面面部的数据集被移除时,获得(几乎)相同的结果。使用(详见补充资料)。5.3. 通用ReID数据集我们还将我们的模型与两个通用ReID数据集Market1501 [45]和DukeMTMC-ReID [47]上的各种类型的最先进ReID方法进行比较,以进一步验证有效性。竞争方法包括条带化方法PCB [27],MGN [34],ABD [2]和BDB [5];基于全局特征的方法IANet [15],BoT[21]和AGW [42];以及遮挡/黑色ReID方法FPR [13],PGFA [22],HOReID [33],PVPM [9]和HAA [38]。我们还报告了基线和基线*的结果以供比较。结果报告于表4。表4-一般ReID数据集上 的RMarket1501 DukeMTMCR-1 mAPPCB [27]92.581.384.470.1MGN [34]95.786.988.778.4美国[2]95.688.389.078.6BDB [5]95.386.789.076.0IANet [15]94.483.187.173.4BoT [21]94.585.986.476.4AGW [42]95.187.889.079.6FPR [13]95.486.688.678.4PCFA [22]91.276.882.665.5HOReID [33]94.284.986.975.6PVPM [9]93.182.384.971.8HAA [38]95.889.589.080.4基线[12]95.087.188.979.0基线*[12]95.488.289.679.8我们96.089.290.580.6很明显,一般ReID数据集上的结果优于BV-Person数据集上的结果。令人印象深刻的是,我们的模型可以实现比一般数据集上当前最先进的性能更好或非常接近的性能。具体地说,我们的模型达到了最好的R-1,方法方法源80H60HR-1 mAP80ER-1 mAP60ER-1 mAP60E-RR-1 mAPMGN [34]2018年春季15.611.531.519.537.327.147.929.366.939.4BDB [5]2019年ICCV12.67.827.118.042.630.052.335.667.841.5美国[2]2019年ICCV11.87.320.115.641.529.651.835.567.340.9[第21话]CVPR 201921.915.038.022.952.539.062.147.080.358.8AGW [42]TPAMI'202126.319.044.128.354.640.367.852.980.9862.37PCFA [22]2019年ICCV21.611.326.516.733.422.561.743.974.951.8FPR [13]2019年ICCV16.711.222.315.827.417.550.130.266.939.4HOReID [33]CVPR 202023.319.323.319.335.725.053.633.570.845.7HAA [38]2020年春季18.013.027.018.337.126.941.229.154.333.4基线[12]2020年艺术节22.115.138.823.353.039.965.350.280.661.8基线*[12]2020年艺术节27.619.945.029.755.140.669.954.681.962.4我们31.822.750.133.964.450.275.460.086.367.010951表5-我们的模型及其变体的R-1和mAP。原始我们基线 * 原始我们基线 *图5使用来自鸟瞰图和水平视图的四个人的图像DukeMTMC数据集上的mAP;它获得市场1501上的最佳R-1,同时具有非常接近最佳mAP的mAP结果(即,0.3%差异)。这表明我们的方法也可以很好地推广到纯水平视图图像的ReID任务这种能力对于涉及来自水平视图和提升视图的图像的真实世界应用是重要的5.4. 注意力地图我们通过使用Grad-CAM可视化方法[25]进行一组注意力可视化,该方法基于脊椎中的最后特征图产生注意力我们模型的结果如图5所示,Baseline*作为竞争方法。Baseline*忽略了鸟瞰ReID中头部和肩部的重要信息(见第2行和第4行)。相比之下,我们的方法很好地照顾到这些部分,因为它们是共同共享的鸟瞰图和水平视图图像,这有助于大大减少差异之间的图像这两个不同的意见。这导致鸟瞰ReID的显著改进的特征表示。此外,基线*突出单个身体部位或背景区域,而由于所提出的多尺度注意力层,我们的方法可以有效地关注不同的身体部位并忽略背景区域。5.5. 消融研究我们逐步添加三个建议的模块-层和特征重建(FR)层-在基线(BL)之上,以评估其对整体性能的重要性。我们还报告了在等式中定义的具有自注意(SA)层的基线的结果。(一).结果提供于表5中。 当将BL+CA与BL进行比较时,很明显CA在所有五个数据集上都有显著的改进这种改进在BV-Person-80 E和BV-Person-60 E上特别大,其中训练集包含鸟瞰图图像,因为交叉注意力有效地连接了相同身份的鸟瞰图和水平视图图像。相比之下,如4.3节所讨论的,自我注意机制无法做到这一点。因此,尽管可以添加SA以大大提高鸟瞰ReID性能,但它大大低于CA。MA和FR模块可以在捕获多尺度特征时彼此很好地工作,从而导致所有五个数据集的ReID性能的进一步大幅改善。6. 结论在本文中,我们介绍了一个新的但至关重要的人的ReID任务-为了促进和促进用于该任务的方法的开发,我们引入了大规模鸟瞰ReID数据集BV-Person。大规模的经验评估,评估了大量的SOTA ReID模型上的五个数据集来自BV-Person建立性能基准。结果显示鸟瞰图和一般ReID数据集的性能之间存在巨大差距。我们进一步提出了一种新的基于多尺度交叉注意的ReID模型,其模块专门设计用于解决鸟瞰ReID挑战。我们的模型在鸟瞰ReID数据集上始终优于所有这些当前SOTA竞争方法,并且在一般ReID数据集上也实现了与SOTA模型模块BLCAMAFRSACCCCCCCCCCcC80HR-122.127.628.130.931.8地图15.119.920.522.022.760HR-138.845.046.348.550.1地图23.329.731.232.633.980ER-153.055.159.962.364.4地图39.940.645.148.650.260ER-165.369.972.173.875.4地图50.254.656.258.260.060E-RR-180.681.983.885.386.3地图61.862.464.065.667.010952引用[1] 尼古拉斯·卡里昂、弗朗西斯科·马萨、加布里埃尔·辛纳夫、尼古拉斯·乌斯尼尔、亚历山大·基里洛夫和谢尔盖·扎戈鲁伊科。使用变压器进行端到端对象检测。以Eur.会议软件。目视,第213-229页。Springer,2020年。[2] 陈天龙、丁少金、谢静怡、叶远、陈武扬、杨阳、周仁、王张扬。细心但多样化的人重新识别。在国际会议计算中目视,第8351-8361页[3] Weihua Chen , Xiaotang Chen , Jianguo Zhang , andKaiqi Huang.除了三重态损失:一个深度的四元组网络用于人的重新识别。 在IEEE会议Comput. 目视模式识别,第403-412页[4] De Cheng , Yihong Gong , Sanping Zhou , JinjunWang,and Nanning Zheng.改进三重丢失的多通道基于零件的cnn的人员再识别。在IEEE Conf. Comput.目视模式识别第1335-1344页[5] Zuozhuo Dai,Mingqiang Chen,Siyu Zhu,and Ping Tan.用于人员重新识别和离开的批量落块网络。在国际会议计算中目视,2019年。[6] Shengyong Ding , Liang Lin , Guangrun Wang , andHongyang Chao.使用相对距离比较的深度特征学习进行人员重新识别。Pattern Recognition,48(10):2993[7] AlexeyDosovitskiy,LucasBeyer,AlexanderKolesnikov,Dirk Weissenborn,Xiaohua Zhai,ThomasUnterthiner , Mostafa Dehghani , Matthias Minderer ,Georg Heigold,Sylvain Gelly,et al.一张图片相当于16x16个单词:用于大规模图像识别的变换器. 国际会议学习。代表。,2021年。[8] Yang Fu,Yunchao Wei,Yuqian Zhou,Honghui Shi,Gao Huang,Xinchao Wang,Zhiqiang Yao,and ThomasHuang.用于人员重新识别的水平金字塔匹配在AAAI会议人工智能,第8295-8302页[9] 尚高、王静雅、卢沪川、刘子墨。基于姿态引导的遮挡人可见部位匹配。在IEEE Conf. Comput.目视模式识别,第11744- 11752页[10] 道格拉斯·格雷,谢恩·布伦南,海涛。评估识别、重新捕获和跟踪的外观模型在IEEE国际 跟踪和监视的性能评价讲习班,第3卷,第1-7页,2007年。[11] 何凌霄,梁健,李海青,孙振安。用于部分人重新识别的深度空间特征重建:无对准方法。在IEEE Conf.Comput.目视模式识别,第7073-7082页[12] Lingxiao He , Xingyu Liao , Wu Liu , Xinchen Liu ,Peng Cheng,and Tao Mei.Fastreid:一个pytorch 工具箱,用于一般实例的重新识别。arXiv预印本arXiv:2006.02631,2020。[13] Lingxiao He , Yinggang Wang , Wu Liu , He Zhao ,Zhenan Sun,and Jiashi Feng.前景感知金字塔重建,用于无对准的被遮挡人员重新识别。在国际会议计算中目视,第8450-8459页[14] 亚历山大·赫尔曼斯,卢卡斯·拜尔,巴斯蒂安·莱布,还有巴斯蒂安·莱布.在三胞胎丢失的辩护中重新进行了人的鉴定。arXiv预印本arXiv:1703.0773
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)