联合多细粒度特征实现车辆重识别

阵列14（2022）100152联合多细粒度特征用于车辆重识别徐艳*，荣雷雷 **，周晓磊，潘旭光，刘山东科技大学电子信息工程学院，山东青岛266590&A R T I C L EI N FO保留字：图像检索深度学习车辆再识别细粒度特征特征地图分割mINPA B S T R A C T在不同场景中识别同一车辆的过程称为车辆再识别。然而，由于监控摄像机的位置不同，在捕获的车辆图片中可能存在障碍物，并且多个视点可能使同一车辆看起来不同。为了有效降低障碍物遮挡、多视点等因素对车辆重新识别的干扰，提出了一种多细粒度特征提取网络。在保留车辆全局信息的同时，通过对车辆特征图进行分割，精确地提取车辆的细粒度特征。此外，我们引入了一个新的评价指标平均反向负惩罚（mINP），以更全面地评估车辆再识别模型。我们的方法在具有挑战性的车辆数据集：VeRi-776，VehicleID和VRIC上实现了优于最先进方法的准确性。1. 介绍车辆重识别是指从不同的场景中识别出同一车辆，属于图像检索的子任务。 随着深度学习技术的推广，车辆重新识别成为计算机视觉领域的热点。然而，由于现实世界中车辆数据库的产生是由不同的监控摄像机完成的，因此采集到的车辆图像存在运动模糊、背景暗、分辨率低、障碍物遮挡、多视点等干扰因素，如何削弱这些不利因素，提高车辆再识别的准确率成为该领域的一个重点研究方向近年来，研究人员主要基于卷积神经网络（CNN）设计了新的网络结构[1-早期的研究[11]集中于利用车辆的全局信息来完成重新识别任务，而忽略了车辆的局部信息。本地信息包含区分不同车辆的关键特征。为了获取车辆的局部特征信息，Liu等人[12]提出了一种区域感知的深度模型（RAM），不仅可以提取车辆的全局特征，还可以学习不同局部区域的判别特征。他等人[13]提出了一种简单有效的局部正则化方法，提高了网络差异，加强网络对局部特征的学习，进一步扩大相似实例之间的差异。Khorram- Shahi等人[14]采用了从粗到细的特征提取思想。在第一阶段，提出的自适应关键点选择模块用于从全局特征提取网络的初始层中选择具有最大信息量的关键点，以粗略地提取所选关键点周围的局部特征。在第二阶段，通过带跳连接的两层沙漏网络对第一阶段的车辆特征进行细化，并将得到的较精细的车辆特征用于车辆特征匹配。因此，利用局部特征信息进行车辆再识别，可以使网络模型提取出更精细的车辆特征，并与车辆的全局特征相结合，可以显著提高模型区分外观相似但身份不同的车辆的能力，提高车辆再识别的准确率。后来，学者们[15]将全球和本地信息结合在一起。虽然有效地提高了车辆再识别的准确性，但他们未能充分利用车辆的本地信息。为了解决这个问题，我们对车辆特征图进行水平分割同时保持车辆的全局信息。卷积神经网络的优势在于感知图像中的局部信息通过特征图分割，一方面可以使特征提取网络更加关注车辆的细粒度特征（如车标、车灯* 通讯作者。** 通讯作者。E-mail地址：x1y5@163.com（Y.Xu），rong15305385721@163.com（L. Rong）。https://doi.org/10.1016/j.array.2022.100152接收日期：2021年10月14日;接收日期：2022年2月3日;接受日期：2022年4月1日2022年4月15日网上发售2590-0056/© 2022作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表阵列期刊主页：www.sciencedirect.com/journal/arrayY. Xu等人阵列14（2022）1001522Fig. 1. 车辆再识别算法模型的总体框架。(a)CAM代表一种渠道注意机制;（b）多细粒度特征提取网络的图示。（最佳彩色照片图二. 深度残差网络特征图的可视化。年检标志、车身装饰等）。另一方面，它可以有效地减少原始图像中的障碍物和其他不利因素对车辆特征学习的影响。此外，我们还引入了通道注意机制，进一步加强了网络对特征图分割后的车辆细粒度特征的识别。在主流开放数据集（VeRi-776 [16]、VehicleID [17]和VRIC [18]）上的E x实验表明，在特征图四分法中获得了最佳结果，如图所示。第1段（b）分段。本文的其余部分组织如下：第2节介绍了车辆重识别的具体过程，并提供了一个概述多细粒度特征提取网络和损失函数。第3节介绍了新的评估指标：mINP。第四节介绍了实验结果和分析，第五节得出结论。2. 该方法2.1. 车辆重新识别的具体过程首先，将训练集的图像导入多细粒度特征网络。经过多次迭代，最优模型为得到了然后将该模型放入测试集（Query set和Gallery set）中，计算Query set中的目标车辆与Gallery set中的待检索车辆之间的欧氏距离，计算车辆之间的相似性并按距离排序。排名越高，相似度越高。最后，检索结果按行打印。绿色边框表示正确的检索，红色边框表示不正确的检索。2.2. 多细粒度特征提取网络为了充分提取车辆的细粒度特征，提高车辆再识别的准确性，我们提出了一种多细粒度特征提取网络（MFG-Net），如图1（b）所示。从图中可以看出。 2（b）与其他深度残差网络[19]相比，ResNet50网络在提取车辆特征方面更具针对性。 同时，从图中可以看出。 2（a）网络的Conv_5层侧重于车辆区域的特征，因此我们以ResNet50作为我们的骨干网络，在Conv_5层之后建立了两个特征提取分支：全局分支和局部分支。在全局分支中的全局平均池化（GAP）增加1*1的目的Y. Xu等人阵列14（2022）1001523Xi+×∑=I=GAP后增加了1*1卷积模块，GAP后的特性将Q1Q1Xij=1，...，表1损失函数的参数和意义参数含义Ni每批Nid车辆标识xj是第j个恒等式的全连接层的输出y输入车辆图像Ai锚钉Pi阳性Nj阴性3. mINP：一种新的车辆Re-ID由于以往的车辆re-id模型评价指标mAP和Rank-n不能客观评价模型的检索能力，我们引入了一个新的模型评价指标：mINP（meanInverse Negative Penalty）[21]，用于表征网络模型最难和最正确的检索能力到目前为止，我们是唯一一个将样本检索能力作为车辆再识别领域指标的团队δ最小边缘NP=Xi-Gi（i=1，2，α权重β权重IXiGAP之前的卷积模块是为了在保持特征图规模不变的情况下，大大增加非线性特性，使网络能够充分发挥深度优势。当INPi=1-NPi=GimINP=1∑Q1-NPi=1∑Q1-Xi-Gi（五）（六）不直接经过分类层，而是先进行融合，并对融合后的特征进行分类。这样，在不影响模型推理速度的情况下，可以大大提高精度。在局部分支中，将车辆特征图（h*w*c）按其高度分为4块，每块大小为（h/ 4*w*c），有效降低遮挡等不利因素对特征提取的影响。同时，在全局分支和局部分支中分别嵌入了渠道关注模块，使网络更加关注车辆的个性化特征。该模块的工作原理如图所示。 1（a）.在训练阶段，全局分支和局部分支不共享权重，单独训练。但在测试时，所有分支信息将被组装成一个综合功能，以提高网络性能。2.3. 损失函数在MFG-Net网络的全局分支中，我们引入了两个损失函数：硬挖掘三元组损失[20]和softmax交叉熵损失;同时，在局部分支中，我们只使用softmax交叉熵损失，最终通过加权得到总损失在车辆重识别中，G和X分别为车辆检索结果中目标车辆的数量和检索最后一辆目标车辆的次数;X-G为干扰车辆的数量;NP和INP依次为检索结果中干扰车辆和目标车辆的占用情况mINP表示搜索结果中Q个目标车辆的平均占有率因此，mINP可以更客观地评估模型的性能，有效地避免了mAP/CMC评估中简单匹配的优势。它不仅可以反映车辆re-id模型的相对性能，而且可以为广泛使用的mAP和CMC度量提供补充。4. 实验4.1. 数据集和设置我们进行了广泛的实验上的三个公共基准车辆re-id，即，VeRi-776，VehicleID，和VRIC。 数据集的详细信息见表2。此外，软件工具包括PyTorch、CUDA11.1和V8.0.4.30。硬件设备是配备AMD锐龙5 3600X CPU 32G，NVIDIA GeForce RTX 3080和256 GB 2 TB记忆LNi（exp.xy）（1）4.2. 评估协议和实施细节Softmax=-∑Nidexp（x）i=1j=1∑Q∑KJ最硬的正向=在训练阶段，车辆图像被调整大小为384 128，然后通过随机擦除和水平翻转来增强。同时，使用Amsgrad优化器对模型进行优化的最难的消极情绪L硬采矿三元组=i=1的1Pm1，a... x，K Ai - P i2⎢⎣-NminK1，scin=jAi-Nj⎦+（二）Ltotal=α*LSoftmax+β *Lhard mining trip（3）其中（1）、（2）和（3）的参数的含义列于表1中。初始学习率为0.0003。α、β和δ设置为1、0.1和0.3。在测试阶段，在参考文献中提出的协议。[8，16]然后。我们计算三个数据集的累积匹配特征（CMC）曲线，并进一步计算平均精度（mAP）和Rank1。此外，我们还计算了一个新的评价指标mINP的三个数据集。这样，我们就可以更客观地评估我们的模型。⎥Y. Xu等人阵列14（2022）1001524+++正+ ++表2数据集的详细信息。200表32,8116,532/80011,395/1,60017,638/2,400在MFG网络中实现了车辆的自动识别，有效地提高了车辆识别的性能。此外，我们选择具有softmax交叉熵损失的ResNet 50作为基线，然后基于基线设计了四个车辆re-id网络框架：1)+全局分支（w/oL硬采矿三元组）;2)+全局分支（w/L硬采矿三元组）;3)+当地分支机构;4)+CAM。MFG-Net在VeRi-776数据集上的消融研究结果如表4所示。VeRi-776数据集上特征图水平分割次数的结果水平分裂时间mAP mINP R1171.1125.5893.68272.0528.4592.603（我们的）77.1536.8296.72473.1030.0194.82570.8825.3290.98图3. VeRi-776数据集上消融研究的CMC曲线。表4MFG-Net在VeRi-776数据集上的消融研究结果+全球分支（w/L硬采矿三联体）70.68 33.00 93.78+当地分行+CAM77.15 36.82 96.724.3. 消融研究为了研究MFG-Net中水平四分之一的特征图的有效性和贡献，我们对VeRi-776数据集进行了消融研究。评价结果示于表3中。该数据集上消融研究的CMC曲线如图3所示，其中 从等级1到20可视地比较从表3和图3中我们可以看到，水平四分之一（水平分割数等于3）的特征图优于其他特征图。比较结果表明，特征图水平四分法更适合于充分提取细粒度特征从表4中可以看出，与“基线”相比，“基线+全局分支（w/o L硬挖掘三元组）“在VeRi-776数据集上提高了6.12%的mAP，4.91%的mINP和1.47%的Rank 1。结果表明，全局分支有效地提高了车辆识别的准确率。 （w/L硬采矿三联体）“优于 “基线 +全球分支（w/oL硬采矿三联体）这一结果验证了硬挖掘三重态丢失优化正负样本对之间距离的有效性。在添加局部分支后，网络在VeRi-776数据集上提高了4.42%的mAP，2.54%的mINP和1.10%的Rank 1。 我们可以清楚地看到，特征图分割可以减少背景信息的干扰，提高车辆re-id的准确性。通过添加CAM，网络在VeRi-776上的mAP，mINP和Rank 1分别提高了2.05%，1.28%和1.84%。实验结果表明，CAM可以提高网络的特征提取能力。4.4. VeRi-776在VeRi-776上的训练阶段期间，学习率在第10和第20个时期之后降低0.1倍，直到第30个时期结束。训练和测试的批量都是48。MFG-Net在VeRi-776上的训练损失如图所示。 四、我们的研究提出了拟议的DAVR [1]、VRSDNet [22]、VAMIST[2]、RAM [12]、GRFGGL [15]，BS [23]，CCA [3]、MRM [4]、SPAN w/CPDM [24]、TCL[26]第二十五话和MsDeep [5]）在VeRi-776上。根据表5中的实验结果，与不使用任何辅助信息的第二好方法UMTS（例如使用车辆的时空信息的VAMI ST）相比，我们的方法在mAP和Rank1上分别提高了1.25%和1.11%。新指标mINP首次应用于车辆再识别领域，在VeRi-776上达到36.82%。4.5. 车辆ID在VehicleID上的训练阶段期间，在第15和第30个时期之后，学习率降低0.1倍，直到第40个时期结束。 训练和测试的批量分别为24和32。MFG-Net在VehicleID上的训练损失如图所示。 五、VehicleID有三个测试集，即Test800、Test1600和Test2400。VAMI [2]、DAVR [1]、RAM [12]、CCA [3]、MRM [4]、TCLSL[25]，GRF[15][27][28][29在我们的比较列表中。表6显示了VehicleID三个测试集的比较结果。与目前最好的结果相比，我们的模型MFG-Net在mAP上提高了约2.18%-3.01%。同时，mINP度量分别达到68.32%、64.38%和60.03%。这表明MFG-Net需要更少的努力来找到所有正确的车辆匹配，验证了mINP的能力。数据集VeRi-776VRIC车辆ID图像51,03560,430221,763IDs7765,62226,267培训37,778/54,808/110,178/13,134集合/ID5762,811查询/ID1,678/2,811/画廊/ID11,579/2,811/800/800 1，600/2,400/2002,8111,6002,400方法地图mINPR1基线62.4322.7189.70+全局分支（不含L硬采矿三元组）68.5527.6291.17Y. Xu等人阵列14（2022）1001525表5图四、 在VeRi-776上的MFG网络的训练损失。(a)时代的损失。（b）迭代损失。VRIC上的MFG网络如图所示。第六章为了进一步验证我们提出的方法，我们进行了实验，与VeRi-776的最新方法进行比较。方法mAP mINP Rank1DAVR [1] 52.36[22] 2016年12月15日VAMI+ ST [2] 61.32RAM [12] 61.50GRF+ GGL [15] 61.7BS [23] 67.55共同国家评估[3] 68.05MRM [4] 68.55SPAN w/CPDM [24] 68.9TCL+ SL [25] 68.97[5]2016年10月15日UMTS [26] 75.9MFG-净77.15 36.82 96.724.6. VRIC在VRIC上的训练阶段期间，在第15和第30个时期之后，学习率降低0.1倍，直到第40个时期结束。和 训练和测试的批量都是32。培训损失在VRIC数据集上，它包含了更具挑战性的训练示例。从表7中可以看出，我们的方法MFG- Net的性能优于表7中列出的所有其他方法，包括MSVF [18]，GLAMOR [6]，BS [23]和PGAN [7]对mAP和Rank 1度量的性能。此外，mINP达到55.81%，表明我们的模型具有更好的检索能力。5. 讨论在我们的工作中，我们主要使用特征图分割结合通道注意机制来提取车辆的多个细粒度特征，以提高车辆识别的准确性。与我们认为的[24，28，29]不同，采用特征对齐将图像调整到同一尺度，有利于相似特征匹配。最后，这些方法提高了re-id模型的性能为了证明MFG-Net的鲁棒性和通用性，我们的检索结果在VeRi-776，VRIC和VehicleID上可视化，如图7所示。我们可以看到，MFG网络更强大，并且适用于不同姿态的车辆。图五、MFG-Net在VehicleID上的 训 练 损 失 。（a）历元损失;（b）迭代损失。Y. Xu等人阵列14（2022）1001526表6与VehicleID的最新方法进行比较。方法测试800测试1600测试2400mAP mINP Rank1 mAP mINP Rank1 mAP mINPRank1VAMI [2]- - 63.12 - - 52.87 - - 47.34DAVR [1] 72.40RAM [12]共同国家评估[3] 78.89MRM [4] 80.02TCL+ SL [25] 80.13GRF+ GGL [15][27] 80.31- 77.55 77.11 - 74.41 75.55 - 72.91BS [23] 86.19北京赛车pk10开奖结果[5] 84.30制造业净值88.37 68.32 82.02 84.70 64.38 78.69 81.01 60.03 75.16表7图第六章MFG网络在VRIC上的 训 练 损 失 。（a）时间损失。（b）迭代损失。尝试将行人和车辆结合起来进行重新识别。这一思路将为智慧城市建设提供坚实的技术支撑与VRIC的最新方法进行比较。方法mAP mINP Rank1[18]2016年12月28日GLAMOR [6] 76.48BS [23] 78.55[7]2019 - 05MFG-净84.86 55.81 79.566. 结论本文提出了一种有效的多细粒度特征提取网络用于车辆再识别。使用所提出的MFG网络，可以充分利用车辆的细粒度特征，这提供了对车辆障碍物的鲁棒性。我们的实验表明，所提出的MFG网络是优于多种国家的最先进的车辆重新识别方法的VeRi-776，VehicleID和VRIC数据集。此外，我们引入了一个新的评价指标：mINP。实验验证不仅证实了该模型的检索能力，而且验证了新度量的有效性今后，我们不仅要丰富车辆种类，作者贡献声明严旭：写作&荣雷雷：方法论，软件，形式分析，写作&周晓蕾：调查、写作&潘旭光：验证、形式分析、可视化、监督;刘香兰：验证，资源，可视化，监督。竞合利益作者声明，他们没有已知的可能影响本文所报告工作本课题得到了国家自然科学基金（11547037，11604181）、山东省研究生教育优质课程项目（SDYKC 19083）、山东省研究生教育联合培养基地项目（SDYJD 18027）、海信集团研发中心项目、山东科技大学奖学金基金的资助Y. Xu等人阵列14（2022）1001527见图7。VeRi-776、VRIC和VehicleID上MFG网络检索结果的可视化。绿色和红色框分别表示正确匹配的车辆和错误匹配的车辆。引用[1] 彭健，王宏，徐芳，付晓.基于双分支对抗网络的跨领域知识学习在车辆再识别中的应用。神经计算2020;401：133-44.https://doi.org/10.1016/j.neucom.2020.02.112网站。[2] 周毅，邵良.基于视点感知的车辆再识别注意多视图推理。在：IEEEComputerConf ComputerVision Pattern Recognit; 2018。第6489-98页。https://doi.org/10.1109/CVPR.2018.00679网站。[3] 彭军，姜刚，陈丹，赵涛，王宏。 消除车辆重新识别的交叉摄像机偏差。2020年多时间工具应用：1-17。https://doi.org/10.1007/s11042-020-09987-z.[4] 彭杰，王宏，赵涛，付晓.基于上下文排序的车辆识别多区域特征学习方法。神经计算2019;359：427-37.https://doi.org/10.1016/j.neucom.2019.06.013网站。[5] 程勇，张春，顾凯，齐玲，甘志。多尺度深度特征融合在车辆识别中的应用。In：IEEE int conf acoust speech signal process proc; 2020.第1928- 1932页。https://doi.org/10.1109/ICASSP40776.2020.9053328网站。[6] Suprem A，Pu C. Looking Glamorous：车辆Re-id在具有全局和局部关注的异构相机网络中。arXiv预印本arXiv：2002.02256，https：arxiv.org/abs/2002.02256; 2020。[7] 张X，张R，曹J，龚D，游M.用于车辆再识别的部分引导注意学习。2019.arXiv预印本arXiv：1909.06023。[8] Shen Y，Xiao T，Li H，Yi S.学习深度神经网络的车辆识别与视觉-空间-时间路径建议。IEEE Int Conf Comput Vision 2017：1900-9.https://doi.org/10.1109/ICCV.2017.210。[9] 姜南，徐燕，周忠，吴伟。多属性驱动车辆时空重排序再识别。In：IEEE int confimage process; 2018.第858- 862页。https://doi.org/10.1109/ICIP.2018.8451776。[10] Jin W.基于时空信息和视觉特征的端到端多摄像机车辆跟踪。ACM Int Conf ProcSer 2019：227-32. 网址：//doi. org/10.1145/3374587.3374629。[11] 顾军，姜伟，罗宏，于宏.一个有效的全局表示约束的角度三重损失的车辆重新识别。Pattern Anal Appl 2021;24（1）：367-79.https://doi.org/10.1007/s10044-020-00900-w网站。[12] 刘X，张S，黄Q，高伟.区域感知深度模型在车辆识别中的应用。在：IEEE intconf on multimedia and expo（ICME）; 2018。第1-6页。https://doi.org/10.1109/ICME.2018.8486589。[13] 何乙，李军，赵勇，田勇。部分正规化近似重复车辆重新识别。在：IEEE/CVF计算机视觉和模式识别会议论文集; 2019。第3997-4005页。https://doi.org/10.1109/CVPR.2019.00412网站。[14] [10]张文辉，张文辉.车辆再识别的自适应注意双路径模型。在：IEEE/CVF计算机视觉国际会议论文集; 2019。第6132-41页。https://doi.org/10.1109/ICCV.2019.00623。[15] 刘晓，张S，王晓，洪瑞.基于组-组损失的全局-区域特征学习在车辆再识别中的应用。IEEETransImageProcess2019;29：2638-52.https://doi.org/10.1109/TIP.2019.2950796。[16] 刘X，刘伟，梅婷，马华.一种基于深度学习的城市监控车辆再识别方法。在：欧洲计算机视觉会议; 2016。第869- 884页。https://doi.org/10.1007/978-3-319-46475-6_53网站。[17] 刘宏，田英，杨英，彭丽，黄天.深度相对距离学习：分辨相似车辆之间的差异。在：IEEE计算机视觉和模式识别会议论文集; 2016年。第2167- 2175页。https://doi.org/10.1109/CVPR.2016.238.[18] 作者：Zhu X，Gong S.车辆在上下文中重新识别。在：德国模式识别会议; 2018年。第377- 390页。https://doi.org/10.1007/978-3-030-12939-2_26.Y. Xu等人阵列14（2022）1001528[19] 何克，张X，任S，孙杰，深度残差学习图像识别。在：IEEE计算机视觉和模式识别会议论文集;2016年。第770- 778页。https://doi.org/10.1109/CVPR.2016.90网站。[20] Hermans A，Beyer L，Leibe B.为三胞胎的损失辩护，重新确认身份。1703.07737.我的天啊！2017年，https://arxiv.org/abs/1703.07737。[21] Ye M，ShenJ， Lin G，Xiang T，Shao L，Hoi SC. Deep learning for person re-identification：a survey and outcome. IEEE Transactions on Pattern Analysisand Machine Intelligence，2021。https://doi.org/10.1109/TPAMI.2021.3054775网站。[22] ZhuJ， Du Y，Hu Y，Zheng L，Cai C. VRSDNet：使用短而密集连接的卷积神经网络进行车辆重新识别。Multimed Tool Appl2019;78（20）：29043-57.https://doi.org/10.1007/s11042-018-6270-4网站。[23] Kumar R，Weill E，Aghdasi F，Sriram P.使用深度三重嵌入的车辆重新识别的强大 而 有 效 的 基 线 。 J Artiff Intell Soft Comput Res 2020;10 （ 1 ） ： 27-45.https://doi.org/10.2478/jaiscr-2020-0003网站。[24] 孟东，李良，刘新，李英，杨松，查志杰，黄庆。基于解析的视角感知嵌入网络车辆再识别。上一篇：Proceedings of IEEE/CVF计算机视觉和模式识别会议;2020年。p. 7103-12 网址：http：//doi.org/10.1109/CVPR42600.2020.00713[25] 何X，周Y，周Z，白S，白X。多视角三维物体检索中的三重中心丢失。在：IEEE计算机视觉和模式识别会议论文集; 2018年。第1945- 1954页。https://doi.org/10.1109/CVPR.2018.00208网站。[26] 金X，兰C，曾伟，陈志.基于图像的目标重识别的不确定性感知多镜头知识提取。Proc AAAI Conf Artif Intell 2020;34（7）：11165-72。https://doi.org/10.1609/aaai.v34i07.6774网站。[27] Zheng A，Lin X，Dong J，Wang W，Tang J，Luo B.多尺度注意车辆重新识别。神经计算应用2020;32（23）：17489-503.https://doi.org/10.1007/s00521-020-05108-X。[28] 郑智，郑玲，杨燕.行人路线网络，用于大规模的人员重新识别。IEEE Trans CircSystVideoTechnol2018;29 （ 10 ） ： 3037-45.网 址 ： http ：//doi.org/10.1109/TCSVT.2018.2873599[29] 刘新，刘伟，郑军，严春，梅涛.超越零件：学习多视图跨零件相关性以进行车辆再识别。在：第28届ACM多媒体国际会议论文集; 2020年。第907- 915页。https://doi.org/10.1145/3394171.3413578.