没有合适的资源?快使用搜索试试~ 我知道了~
205基于异构关系互补的车辆重识别赵嘉健1,†赵一凡1,†李佳1,4,*柯岩3田永红2,41北京航空航天大学虚拟现实技术与系统国家重点实验室2北京大学计算机科学与技术系3中国上海腾讯优图实验室4中国{zhaojiajian,zhaoyf,jiali}@ buaa.edu.cn,yhtian@pku.edu.cn,kerwinyan@tencent.com摘要车辆再识别中的关键问题是在从交叉视角相机查看该对象时找到相同的车辆身份,这对学习视点不变表示提出了更高的要求。本文提出从两个方面来解决这一问题:构建鲁棒的特征表示并提出相机敏感的评估。我们首先提出了一种新的异质关系互补网络(HRCN),通过将特定区域的功能和跨级别的功能作为补充原始的高级别输出。考虑到分布上的差异和语义上的不一致,我们提出了基于图的关系模块来将这些异构特征嵌入到一个统一的高维空间中。另一方面,考虑到现有措施中的跨相机评估的缺陷(即,,CMC 和 AP ) , 然 后 我 们 提 出 了 跨 相 机 泛 化 度 量(CGM),以通过引入位置灵敏度和跨相机泛化惩罚来改进评估。我们进一步用我们提出的CGM构建了现有模型的新基准,实验结果表明,我们提出的HRCN模型在VeRi-776,VehicleID和VERI-Wild中达到了新的最先进水平1. 介绍车辆再识别(Re-ID)在城市安全监控和智能交通系统中显示出广阔的应用前景。 给定图像库,车辆Re-ID算法旨在关联由不同相机捕获的相同车辆身份的图像。随着大型车辆数据集的建议[17,19,22,33,6]和深度学习方法[39,28,2,29,7,41],车辆重新识别取得了重大进展。虽然这些方法在现有的网络上实现了性能瓶颈,但是它们的性能仍然很差。†Jiajian Zhao和Yifan Zhao对本作品的贡献相当*Jia Li是通讯作者。网址:http://cvteam.net图1.我们两个互补关系的动机(a)跨区域互补:通过区域特征来细化高级嵌入,以集中于有区别的区域。(b)跨层次互补:来自多个层的特征通过它们的关系融合以并入多层次线索。使用评估措施,识别由交叉相机情况引起的具有大视点变化的身份仍然是一个巨大的挑战。现有的研究主要从两个方面来应对这一挑战,即:、数据驱动和功能互补。数据驱动方法将跨相机挑战视为数据分布的自然不足。据观察,由于缺乏类似的情况下,网络无法识别特定的样本。因此,最近的数十项研究倾向于使用基于3D的模型[29,36]或对抗学习[42,23,1,4]来合成更多的示例。在[36]中,VehicleX数据集由Unity 3D引擎渲染的合成车辆组成Lou等人。 [23]提出生成硬负样本和多视图样本作为训练数据补充。由于它们在合成不现实的样本时的不稳定性,这类方法没有明确地正则化特征206用于跨相机泛化的表示。第二类方法提出利用区分性区域特征作为对全局骨干特征的补充。最近对这些区域特征进行定位的研究通常采用额外的注释,包括关键点定位[31,44],边界框[7,37]和部分分割[25,20]。例如,He等人。 [7]引入部分正则化局部特征作为全局表示的补充。该类别的方法显示出两个主要益处:1)加强用于区分细微差异的区分区域,2)针对相同身份对齐交叉视图样本的部分然而,这些方法严重依赖于详尽和准确的部分注释。不准确的局部零件特征将导致特征嵌入的严重未对准。针对这些问题,在本文中,我们研究了两个必要的线索,构建强大的互补功能。受上述部件引导方法[31,7,25]的启发,我们提出在没有任何注释的情况下学习区域互补嵌入,其以圆形方式提取车辆部件(图11)。1(a))。我们认为,集中在先验的车辆部件是有益的各种观点的转换,并使高层次的功能知道的歧视性地区,这是细粒度的识别所需的另一方面,Re-ID中的高级特征通常集中在有限的局部区域或背景噪声上。与高层特征相比,低层特征虽然不能突出关键区域,但却包含了整车丰富的语义信息。为此,在Fig.在图1(b)中,我们将来自不同网络阶段的企业跨级别特征作为最终嵌入的补充。尽管融合这些跨区域和跨级别特征似乎是有意义的,但简单的聚合策略(例如,连接和求和)将导致严重的不对准,这是由于不同特征的不同语义和分布此外,与对象检测或分割任务不同,来自不同级别或甚至区域的特征不扮演静态角色(例如,图像中的特征)。提供清晰的边界)。不同客体身份的同一性在最终表征的构建中表现出其特征。考虑到这一点,我们提出了一种新的异构关系互补网络(HRCN)构建动态关系融合跨级别和跨区域的功能。为了学习这两种关系,我们提出了一个基于图的关系模块来学习动态投影到一个新的特征嵌入。在跨层次互补分支中,我们构建了一个由低到高的层次动态融合关系,鼓励高层语义互补。在区域互补分支中,在部分先验的项目之外,进行了跨层次的有限元分析的联合真实与区域部分特征,形成用于最终分类的联合从跨相机挑战的另一个角度思考,ReID中的现有措施,即。、CMC和AP,通常忽略检索到的摄像机ID的分布当检索到相似视点中的几个样本时,这些测量往往呈现高分针对现有度量方法的天然这一措施引入了两个主要考虑因素1)位置灵敏度:在每个相机无关查询中惩罚具有较高重要性的较早错误,2)跨相机泛化:将每个摄像机上的查询视为单独的检索任务。本文的贡献有三个方面:1)提出了一种新的异构关系互补网络,将高层特征与异构互补特征(即多层次特征和区域特征)基于它们之间的关系融合为一个鲁棒的表示特征。2)设计了一种新的度量方法--跨摄像机泛化度量,以更合理地评价3)我们进行了大量的实验,以揭示所提出的方法在VehicleID [17],VeRi-776 [19]和VERI-Wild [22]上的表现优于最先进的方法,并使用我们提出的措施CGM建立了现有模型的2. 相关工作车辆重新识别现有的车辆Re-ID方法可以分为四类。 (1)度量学习[2,38,3,5]:在[2]中,提出了GST损失,以通过将每个车辆标识内的样本划分为几个组来解决类内分歧。 Chu等人 [5]提出用于学习极端视点变化问题的视点感知度量。(2)多模型融合[28,31]:Shen et al. [28]将具有CNN和LSTM的Siamese网络引入车辆Re-ID,其采用辅助路径来探索复杂的时空正则化。(3)广告学习[42,23,1]:在[42]中,提出了视点感知注意生成模型,以生成特定角度的车辆,以帮助理解交叉视图特征。(4)部分补充[7,25,20]:在[31]中,使用车辆地标来提取局部方向不变特征。He等人 [7]使用检测模型来找到车辆中某些部件的边界框,这有利于解决车辆重新识别中的近似重复现象在[25,20]中,为了定位车辆的精确局部部件,提出了一种语义分割网络来获得像素级部件定位。虽然这些方法取得了更好的性能,它需要巨大的劳动力成本来标记额外的注释。在本文中,我们提出了跨级别和区域特定的功能作为补充,而不是注释的部分功能。207GGGI∈G Gk k=1图2.我们框架的管道。在跨层次互补分支中,从低层次到高层次逐步构建层次动态融合关系,促进高层语义互补。在区域互补分支中,除了部分先验的投影之外,建立跨级别特征与区域部分特征的结合,以形成用于最终分类的联合关系感知表示为了学习动态关系,基于图的关系模块被嵌入到两个分支中,以学习到新特征嵌入的动态投影。车辆重新识别措施。Re-ID中的现有措施[40,17]基于排名列表的查询结果。Zheng等人。[40]在Re-ID任务中提出了平均精度(AP),以结合两个经典的分类度量,即查准率和查全率。 Liu等人 [17]将累积匹配特征(CMC)引入车辆Re-ID。为了消除从同一相机捕获的图像的影响,Liu等人[19]提出了一种名为HIT的图像到跟踪度量。然而,这些前述措施忽略了检索到的相机ID的分布。图卷积网络图卷积网络已经拓宽了其在计算机视觉任务中的应用[32,9]。Kipf等人。 [13]提出了一种简单但有效的空间图卷积,这是谱图卷积的局部一阶近似文献[30]在图神经网络中引入了自注意机制,克服了GCN依赖于固定图结构的缺点。 李等人[15]利用一个剩余的连接,以处理梯度消失在深GCN。对于基于视频的重新识别,Yang等人。 [34]提出了一种时空图卷积网络来提取和组合时空信息,以解决遮挡和模糊问题。在本文中,我们提出了一个新的基于图的关系模型,以嵌入异构的功能到一个统一的高维空间的指导下的关系。3. 方法3.1. 概述在本节中,我们将介绍一种异构关系互补网络(HRCN),用于为区域和跨级别要素构建基于图的动态关系补充。与图2,我们的核心思想是为这些特定于区域和特定于层的特征建立 给定输入图像,设ViRN×C为第i个网络级中N我们首先在第3.2节中通过使用第3.4节中提出的基于图的关系模块来构建分层的跨级别关系。 然后我们从SEC中提取特征 第二阶段,形成2(V2)的跨层熔合。按照这种方式,还可以通过构建3(2(V2);V3)等来利用来自更高阶段的特征。(n)(V)。除了跨层级关系之外,我们还在第3.3节中提出了一个区域特征补充,用于在没有额外注释的情况下增强S先验区域特征因此,来自这两个分支的异构特征被融合以实现具有关系合取R(·)的最终嵌入E:E= R(G(n)(V);{fr}S)。(一)因此,异构特征的动态融合过程,可以建立利用可学习的图关系。它赋予网络一个自我导向的能力,以动态地选择基于语义关系的信息特征3.2. 跨级特征互补尽管缺乏突出显示特定区域的能力,但由于卷积核的操作导致的较少的信息损失,低级特征包含整个车辆的通过较低级别的补充,高级功能可以在两个方面进行改进:第一章208JI∈CKP·r高高LC(W1v1,… Wk vk)i= 2Mx,y=22L l=1高K k=1注意更多的区分区域。2)避免完全落入非关键区域。然而,在高层特征和低层特征的异质性下,它们之间存在分布差异和语义错位。如果直接采用连接、求和等常用的聚合方式,可能会导致语义混乱,而不是实现肯定补语。为了解决聚合问题,我们建议将跨级别的功能投影到一个统一的空间中,由它们之间的关系的紧密程度来指导。新的嵌入方法通过对相邻的层次设置较高的融合系数,并根据各层次的融合系数对不同层次的信息进行融合,既保留了原有的语义信息,又消除了各层次之间的差异。考虑到低层次的互补性,将低层次的特征作为高层次的特征,保证了高层次的优势。在这里,我们选择块中的最终输出特征作为对应的水平特征。为了减少计算和存储器成本,来自第i级中的第j个块的特征通过全局平均池化被挤压到向量vi中这些跨级别对齐的向量将被连接为一个整体,其定义为在复杂的情况下,正确的零件,这将导致灾难性的过度装配。值得注意的是,在车辆Re-ID中存在有意义的先验,即所有图像被严格裁剪和对齐以形成整体对象。从该先验开始,可以观察到关键区域通常存在于一个图像的中心。随着图1感受野的扩大。2、逐渐获得一个车辆的更丰富的特征,但引入更多的背景混淆。因此,我们用S个局部区域构造金字塔中心特征,然后采用ROI投影操作[7]来提取其区域特征,而无需任何额外的计算成本。中心池化操作以逐步的方式将有区别的区域包含到局部特征中。例如区域互补支路中的车辆图。图2聚焦于第一池化金字塔处的窗口区域,并且在第二金字塔处,注意区域被扩展到并入灯和侧面。在中心池化下,局部特征所包含的判别信息由少到多,由集中到泛化,使得局部特征具有泛化信息。假设左下角作为给定图像RW×H的坐标原点,第k个区域的圆形中心掩模区域M可以公式化为:.III IK.10如果(x-W)2+(y-H)2≤ R k2、0C(Wivi,… Wivi,WiGi−1(Vi−1))i >2否则11kkk+1(二)其中Rk表示第k个圆上的半径和前-其中k是第i阶段中所选择的块的数量,W是可学习的权重矩阵并且表示关联操作。然后将连接向量送入基于图的关系模块进行关系聚合,将异构特征嵌入到同一表示空间中。 在融合之后,融合的向量vi将作为低级互补特征进入下一阶段。 在最后的关系融合阶段中,我们将最终融合的向量vn分割成表示相应水平特征的几个向量。最高水平矢量vn的分割向量送入区域特征互补分支学习区域特征的互补信息,其余分割向量根据其重要性采用1× 1卷积投影到不同的子空间。3.3. 地域特色互补与以前使用额外的手工制作的符号[7,25,20]的作品不同,我们引入了一种新的渐进式中心池来对齐多个身份的不同区域。利用局部对齐的区域,模型有可能在一个统一的嵌入中测量跨视图特征。此外,使用检测或分割模型构建区域信息会导致语义一致性的不稳定性,即,,探测器通常无法定位对于提取的掩模区域,我们对全局特征Fg执行重新投影()以形成区域嵌入f:fr= Wk·φ(P(Fg,Mk))+Bk,k = 1. . . S,(4)其中Φ表示全局平均池化。Wk和Bk表示线性变换的可学习权重。然后,将这些区域特异性向量和压缩Fg产生的全局向量fg作为最高层融合向量vn的异源补向量从跨级互补分支。通过基于图的关系模块,构造跨层特征与区域特定特征的连接。采用其他较低级别,形成联合关系感知嵌入:E=C({vn}high−1,G(C(vn,fg ,{fr}S),(5)其中v(n)是来自第n级的第l个水平融合向量。3.4. 基于图的关系模型在这一节中,我们介绍了基于图的关系模块的构建过程,包括图的构建和关系融合,如图所示。3.第三章。图构造中的关键问题是如何计算动态关系边和确定边的连接方式。为了构造这个边,我们取Vi=、(3)209Jk=1Ji=1NΣ图3.基于图的关系模块的说明。该模块由图构造和关系融合两部分组成.在图的构造中,我们建立了不同特征之间的归一化关系矩阵。在关系融合中,我们设置了两个不同大小的权重矩阵。一个用于保持通道不变的关系融合,另一个旨在实现通道压缩的关系融合。两个特征之间的相似性作为它们的关系权重,其计算为:A(vi,vj)=vivT,(6)其中A∈RN×N,A(vi,vj)表示边权对于图1中的关系融合。3.提出了一种基于归一化关系矩阵A_∞和可学习权值矩阵的两步融合算法。在第一步中,异质特征将乘以关系矩阵,以消除统一高维空间中特征之间的差异。随后,权重方阵被设置为与关系特征相乘,以保持通道不变特性,从而避免在训练中丢失更多信息。在第二步中,我们不仅促进了第二次关系融合,而且通过调整权重矩阵的大小来压缩特征的维度。为了防止过拟合,在权重矩阵乘法之后添加dropout层。同时,我们在每一步的输入和输出之间采取一个残差连接,以抑制消失梯度。每个步骤中输出O的融合过程可以定义为:O=ReLU(BN(Dropout(A_V_W_r)+W_a_V_r(9)其中Wr是用于通道变换的权重矩阵,并且Wa是可学习的张量,将V中的特征通道与输出O对齐。4. 测量4.1. 当前措施累积匹配特性。CMC曲线指示查询标识在检索列表的不同大小的间隔中出现的概率。CMC曲线可以形式上表示为CMC@k=在第i个特征和第j个特征之间。ΣNm(qi,k)。表示查询的数量是被建造。然而,一个完整的关系图不仅需要很高的计算代价,而且由于失去了中间节点的传递效应,降低了图的表示能力为了稀疏完全图,我们通过设置阈值来消除一些关系边,该阈值可以公式化为:第i个查询的标识m(qi,k)是1,如果目标身份出现在排名列表的从top-1到top-k的间隔中,否则它等于0。CMC是一种二元度量,其关注的是查询身份是否存在于特定的区间内,它不能评估目标图像在整体排名列表中的分布尽管多种方法的细微性能,但CMC仅适用于A0(v,v)=. A(vi,vj)若A(vi,vj)≥α、 (7)每个身份只有很少的样本,但它可以-i j 0否则其中α是代表阈值的超参数。然后采用L1-归一化将每一行的边权值限制在(0,1)的范围内。为了避免丢失原有的语义信息,我们在关系矩阵A'中增加一个单位矩阵In∈RN×N,以保持根本不评估跨相机生成平均精密度。AP被提出来测量排名列表的分布。它为分类结果提供了查准率和查全率的联合描述。因此,AP的计算基于精确度-召回率(P-R)曲线的积分,其可以定义为AP(q)=NP(k)∆r(k)。P(k)是a处的精度优势本身,然后利用重新归一化技巧[13]来近似图形拉普拉斯算子:k图像的分割。k表示图库图像的总数,Δ r(k)是发生1 1在截止点k和k−1之间。基于精确度和再-A=D−2(A0+In)D−2,(8)其中A?是归一化关系矩阵,D是对角矩阵,Di,i=ΣNA0i,j+Ii,i.呼叫时,AP鼓励正确的匹配对并惩罚错误对,它平等对待列表中每个目标图像的精度因此,AP构造检索列表中所有目标图像的分布的全局范围。在计算边权重之后,完整图将NQI210NCiE(k)+1E(k)+1我ΣCGM(q,C)iNCE(k)+1对于具有N-查询N-C-相机设置的广义Re-ID任务,我们提出平均跨相机泛化度量(mCGM):ΣNCGM(q)图4. AP和CGM之间的跨相机泛化能力比较。这里,我们假设平均从10个相机捕获的100个正确样本的初始列表。(a)我们的设置说明:给定这10个摄像机子图库,我们从后到前顺序地将1个误差样本插入到每个单独的摄像机子图库中。(b)随着误差样本的增加,后向子图库的得分急剧下降,表明跨相机泛化的恶化。AP表现出细微的变化,而建议的CGM下降明显。在这里,我们探索了用于Re-ID任务的AP度量的两个缺陷:1)由于将所有目标图像作为整个列表来测量,AP忽略了对捕获目标图像的不同相机的考虑2)AP度量对错误发生在检索列表中的位置不敏感无论错误位置出现在排名列表中的哪个位置,AP都4.2. 交叉摄像机综合测量定义. 上述措施的问题是缺乏对跨相机泛化的考虑。为此,一项新的措施应该确保每一个摄像机时代执行独立的效果对最终得分。因此,所提出的CGM首先将从相同相机捕获的目标图像即CGM通过从排名列表中移除从其他相机捕获的目标图像来独立地测量每个相机的排名结果,从而形成单独的子图库。给定一个查询身份q和一个特定相机Ci,所提出的1-查询1-相机CGM具有以下形式:CGM(q,C)=1Σ1,(10)ik=1其中, NCi表示从Ci捕获的目标图像的数量 ,并且E(k)表示排名列表中的第k个目标图像之前的误差样本的总和考虑到所有摄像机的性能,1-查询NC-相机CGM可以定义为:NCCGM(q)=i=1。(十一)NCmCGM=q=1。(十二)N有了这个定义,在这里,我们阐述了两个见解,揭示测量车辆重新识别任务的调查结果。位置敏感能力。如上所述,检索表中的早期错误应该引起更多的重视。每个错误样本应在其位置后对所有样本产生负面影响。然而,AP专注于整个图库的正确性,因此对错误位置不敏感。为了解决这个问题,CGM采用折扣策略,该策略将目标样本之前的误差样本 的 总 和 作 为 惩 罚 因 子 ( 在 等 式 1 中 表 示 为 1(10))。 因此,通过采用该折扣策略引入了1)该算法能将惩罚线性传递到错误位置后的正确样本,避免了前向错误位置对后向位置的影响衰减。2)由1计算的惩罚因子的梯度随着误差样本的增加而逐渐减小。这改善了转发错误的影响,这使得测量对错误位置更敏感。跨相机泛化能力。为了考虑跨相机泛化,CGM通过在等式(1)中的最终排名列表中移除从其他相机捕获的目标图像来独立地计算每个相机上的分数。公式(10)中的每个摄像机的平均值,并且在公式(11)中对每个摄像机的平均值求平均值。(十一)、在图4中,我们示出了当错误被逐渐插入到正确列表中时CGM急剧下降,而AP以不明显的方式执行。与AP相比,所提出的CGM不仅关注整体排名分布,而且还关注每个相机上的错误位置和性能的敏感性。位置敏感性使得评估分数由正确的排名而不是整个列表的正确比例确定。每个摄像机的依赖性确保了CGM是一种摄像机级测量,能够可靠地满足跨摄像机泛化的需求。5. 实验5.1.实验设置数据集。1)VeRi-776 [19]是使用最广泛的车辆Re-ID基准,它拥有776辆车的50,000多张图像。VeRi-776中的车辆是从多个视点的20个摄像机捕获的,因此我 们 使 用 该 数 据 集 来 测 量 跨 摄 像 机 泛 化 。 2 )VehicleID [17]由211,763张图像组成,其中26,267辆车在前视点或后视点下。在评估中,三个测试子集(即(小、中、大)按其211∗×表1.VeRi-776基准测试的性能比较方法CMC@1CMC@5地图BOW-CN [40]0.3390.5370.122LOMO [16]0.2530.4650.096事实[18]0.5100.7350.185[35]第三十五话0.4980.7120.170RAM [21]0.8860.9400.615EALN [23]0.8440.9410.574VAMI [42]0.7700.9080.501OIFE [31]0.894-0.480AAVER [10]0.8900.9470.612PRN [7]0.9430.9870.743PVEN [25]0.9560.9840.795基线0.9540.9800.768唯一区域分支机构0.9660.9860.807仅跨级分支0.9640.9880.814我们的(不含GRM)0.9650.9840.803我们的(满)0.9730.9890.831表2.车辆ID的性能比较方法小介质大C@1C@5C@1C@5C@1C@5DRDL [17]0.4900.7350.4280.6680.3820.616RAM [21]0.7520.9150.7230.8700.6770.845EALN [23]0.7510.8810.7180.8390.6930.814VAMI [42]0.6310.8330.5290.7510.4730.703AAVER [10]0.7470.9380.6860.9000.6350.856OIFE [31]----0.6700.829PRN [7]0.7840.9230.7500.8830.7420.864PVEN [25]0.8470.9700.8060.9450.7780.920基线0.7620.8940.7630.8740.7310.848我们0.8820.9840.8140.9660.8020.944表3. VERI-Wild上的性能比较。:不删除与查询相同的身份和摄像机的图库图像。方法小介质大C@1 地图 mCGM C@1 地图 mCGM C@1 地图 mCGMFDA [22]0.640 0.351-0.578 0.298-0.494 0.228-AAVER [10] 0.758 0.622-0.682 0.537-0.587 0.417-简体中文[CN]0.842 0.705-0.782 0.628-0.700 0.516-SAVER [11] 0.945 0.809-0.927 0.753-0.895 0.677-PGGAN[37]0.951 0.836-0.928 0.783-0.892 0.706-[25]*0.967 0.825-0.954 0.770-0.934 0.697-我们0.940 0.852 0.759 0.916 0.800 0.692 0.880 0.722 0.601尺寸.对于每个子集,我们随机选择一个图像的每个身份到图库集和其余的图像作为查询集。3)VERI-Wild[22]是一个大规模数据集,包含来自174个摄像头的40,671辆汽车的416,314张图像。VERI-Wild中的图像涉及各种视点、天气和光照。测试集中有10,000个身份的138,517幅图像,该测试集由分别具有3,000、5,000、10,000个身份的三个子集组成培训详情。我们使用ResNet-50 [8]和在ImageNet上预训练的ibn-a blocks [26]作为我们的骨干。该模型使用SGD优化器训练了120个epoch表4.VeRi-776数据集上的11个模型和3个测量的基准。ExAns:额外注释。方法Ex Ans mCGM 地图 CMC@5S-基线[24]0.5110.7440.978+三重损失0.5430.7640.978公司简介0.5470.7690.975IDE [39]0.4150.6650.975DMML [3]0.5010.6970.955C0.5430.7750.981VDK [27]PAMTRI [29]RECT网络[43]C0.5030.5620.6840.7780.9680.968PVEN [25]C0.5600.7830.983基线0.5540.7680.980我们0.6300.8310.989我们在前20个epoch中将学习率从7.7e-5预热到1 e-2,并且主干在预热步骤中被冻结。1 e-2的学习速率保持到第60个时期,并且在其余时期中在余弦退火时间表下下降到7.7e-5。VehicleID和VeRi-776的批量为48(12个ID,4个实例),VERI-Wild的批量为120(30个ID,4个实例)。我们在图像边界上填充10个像素,然后随机将其裁剪为256 256。采用随机擦除来增加数据,并且阈值α被设置为1 e-3。5.2. 与最新技术水平的比较方法。BOW-CN [40]和LOMO [16]是基于特征的手工方法。FACT [18]融合了手工制作和深度CNN特征。DRDL [17],BW [14]和RAM [21]采用深度CNN从整体外观中学习视觉特征。在[23,42,22]中,对抗方案用于获得鲁棒特征。SAVER [11]在VAE [12]的辅助下提取车辆特定特征。AAVER [10]、OIFE [31]、PRN [7]、PGAN [37]和PVEN [25]利用额外的注释来训练特定的网络以定位感兴趣的区域,其包括车辆的区分特征VeRi-776基准。为了评价模型的有效性,我们采用了三种度量方法,即CMC@1、CMC@5和mAP,并将我们的模型与11种最先进的方法进行了比较。依靠额外的注释,这些方法[7,25]在VeRi-776上实现了大幅提升。然而,由于受标注质量和数量的限制,上述方法的性能难以进一步提高。我们所提出的方法采用异构互补的,tary功能,以帮助网络学习一个强大的表示,tation。如Tab.所示。1,我们提出的方法没有额外的注释优于所有的方法,即使只有一个跨级别的互补分支或区域互补分支的模型。与只有一个分支相比,两个分支的合并可以明显改善性能,特别是在mAP中。212表5.VeRi-776上跨级级的分析阶段2阶段3阶段4 mCGM mAP CMC@50.620 0.819 0.985C C C0.630 0.831 0.989CC0.623 0.825 0.986VehicleID基准测试和VERI-Wild基准测试。如Tab.所示。2,我们比较了我们的模型和8个国家的最先进的方法与两个标准,即。、CMC@1和CMC@5。在没有任何额外注释的情况下,我们的模型在三个测试子集上在CMC@1和CMC@5处优于PVEN [25]。实验结果表明,该方法在极端视点环境下具有良好的性能在VERI-Wild上,我们提出的方法与CMC@1和mAP中的6种最先进的方法进行了比较在选项卡中。3.在mAP上,我们的方法优于所有方法,这表明HRCN在大规模数据集上具有鲁棒的泛化能力。同时,我们展示了我 们 的 方 法 在 VERI-Wild 上 的 三 个 测 试 子 集 的mCGM。5.3. 联合措施为了证明我们提出的措施,我们构建了一个基准与CMC,mAP和mCGM在Tab。4.第一章我们收集开源模型,并遵循他们的官方训练策略,在VeRi-776中的训练数据集下从头开始训练它们S-Baseline [24]是一个ResNet-50主干,在softmax丢失之前具有批量归一化层。IDE是[40]提出的ID判别嵌入,它在我们提出的基准中由[36DMML [3]是一种Meta度量学习,它将具有相同身份的样本划分为几个元组。VDK [27]通过将基于视频的网络转移到基于图像的网络来进行自我升华。在[29]中,我们采用了由标识,颜色和类型标签训练的多学习网络。RECT-Net [43]代表ResNet主干,广义平均池化,循环损失和三重损失。在[25]中,采用额外的注释来训练特定的网络,以更精确地定位感兴趣的区域。根据Tab。4,很明显,我们提出的mCGM与mAP不正相关,并且是比mAP更难的测量。我们还可以观察到,诸如时空信息[27]和部分标签[7,25]的额外注释可以改善mAP,但是它们在跨相机泛化中不稳健与上述方法相比,我们的方法在mAP和mCGM上都达到了很高的性能。5.4. 性能分析跨级别阶段分析我们进行实验的有效性互补功能在不同的低级别阶段。在这些实验中,我们逐渐添加来自较低级别阶段的特征作为对表6. VeRi-776的区域划分方法分析池分区mCGM地图CMC@5网格0.6110.8170.985垂直0.6140.8180.985水平0.6220.8220.985进步中心0.6300.8310.989那些处于高级阶段的人。在选项卡中。5,很明显,随着级数的增加,所有措施的性能都得到了改善。结果表明,采用分阶段聚合策略,高层特征可以从低层特征中获取有意义的补充语义区域划分方法分析。 如图所示 在选项卡中。6、在实验中我们给出了四种划分方法,分别是网格划分、垂直划分、水平划分和我们的渐进式中心池划分。与传统的三个分区相比,我们提出的方法取得了显着的性能改善的三个措施,由于其更好的区域对齐的能力。基于图的关系模型分析。 为了验证GRM的有效性,我们在VeRi-776上用简单的级联操作(w/oGRM)代替它。如Tab.所示。1时,无GRM时的平均值显著低于有GRM时的平均值。为了解释为什么异构功能融合的GRM在一个自下而上的方式,我们设计了一个新的模型,融合期货到一个统一的图形,最终输出。这个新模型在VeRi-776数据集中达到了0.803mAP,与我们的底部相比有明显的下降。0.831 mAP的顶级模型。模型参数分析及可视化。详情见补充材料。6. 结论在本文中,我们提出了一种新的异构关系互补网络(HRCN),采取跨级别的功能和区域特定的功能作为补充的高层功能。利用这些异质互补特征,最终表示可以集中于更有区别的区域,这对于在不同视点中识别身份是至关重要的。实验结果表明,我们提出的方 法 达 到 了 新 的 国 家 的 最 先 进 的 VeRi- 776 ,VehicleID,和VERI-Wild基准。此外,我们提出了一种 新 的 和 有 效 的 措 施 , 称 为 跨 相 机 泛 化 措 施(CGM),以评估跨相机泛化能力,建立了一个基准的9个国家的最先进的方法和我们的方法。致谢本工作得到国家自然科学基金项目(61922006和61825101)的资助。213引用[1] Yan Bai,Yihang Lou,Yongxing Dai,Jun Liu,ZiqianChen,Ling-Yu Duan,and ISTD Pillar.用于车辆重新识别的解纠缠特征2020. 一、二[2] Yan Bai,Yihang Lou,Feng Gao,Shiqi Wang,YuweiWu,and Ling-Yu Duan.用于车辆重新识别的组敏感三元 组 嵌 入 。 IEEE Transactions on Multimedia , 20(9):2385-2399,2018。一、二[3] Guangyi Chen,Tianren Zhang,Jiwen Lu,and Jie Zhou.深度Meta度量学习。在IEEE国际计算机视觉会议论文集,第9547二七八[4] Seokeon Choi、Sumin Lee、Youngeun Kim、TaekyungKim和Changick Kim。Hi-cmd:用于可见-红外人员重新识别的分层交叉模态解缠。在IEEE/CVF计算机视觉和模式识别会议论文集,第10257-10266页,2020年。1[5] Ruihang Chu,Yifan Sun,Yadong Li,Zheng Liu,ChiZhang,and Yichen Wei.具有视点感知度量学习的车辆重新识别。在IEEE国际计算机视觉会议集,第82822[6] Haiyun Guo , Chaoyang Zhao , Zhiwei Liu , JinqiaoWang,and Hanqing Lu.学习由粗到细的结构化特征嵌入用于车辆再识别。在AAAI人工智能会议论文集,第32卷,2018年。1[7] 何冰,李佳,赵一凡,田永红。部分正规化的近似重复车辆重新识别。在IEEE计算机视觉和模式识别会议的论文集,第3997-4005页,2019年。一、二、四、七、八[8] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。7[9] Hanzhe Hu,Deyi Ji,Weihao Gan,Shuang Bai,WeiWu,and Junjie Yan.用于语义分割的类级动态图卷积。arXiv预印本arXiv:2007.09690,2020。3[10] Pirazh Khorramshahi , Amit Kumar , Neehar Peri ,SaiSakethRambhatla , Jun-ChengChen , andRamaChellappa.车辆再识别的自适应注意双路径模型。在IEEE计算机视觉国际会议论文集,第6132-6141页,2019年。7[11] Pirazh Khorramshahi , Neehar Peri , Jun-cheng Chen ,and Rama Chellappa.魔鬼就在细节中:车辆重新识别的自我监督注意力。在European Conference on ComputerVision中,第369-386页。Springer,2020年。7[12] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv:1312.6114,2013。7[13] Thomas N Kipf和Max Welling使用图卷积网络的半监督分类。arXiv预印本arXiv:1609.02907,2016。三、五[14] Ratnesh Kuma , Edwin Weill , Farzin Aghdasi , andParthasarathy Sriram.车辆重新识别:使用三元组嵌入的有效基线。2019年神经网络会议(IJCNN),第1-9页。IEEE,2019。7[15] Guohao Li,Matthias Muller,Ali Thabet,and BernardGhanem. Deepgcns:gcns能和cnns一样深吗?在IEEE计算机视觉国际会议的论文集,第9267-9276页,2019年。3[16] Shengcai Liao,Yang Hu,Xiangyu Zhu,and Stan Z Li.通过局部最大发生表示和度量学习进行个体再识别。在Proceedings of the IEEE conference on computer visionand pattern recognition,pages 2197-2206,2015中。7[17] Hongye Liu,Yonghong Tian,Yaowei Yang,Lu Pang,and Tiejun Huang.深度相对远程学习:说出相似车辆之间的差异。在CVPR,2016年。一二三六七[18] Xinchen Liu,Wu Liu,Huadong Ma,and Huiyuan Fu.城市监控视频中的大规模车辆再识别。在2016年IEEE多媒体和博览会国际会议(ICME),第1-6页。IEEE,2016. 7[19] Xinchen Liu,Wu Liu,Tao Mei,and Huadong Ma. 基于深度学习的城市监控渐进式车辆重新识别方法。在
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功