没有合适的资源?快使用搜索试试~ 我知道了~
13235在野外硬性负面CNN正负硬性负面VERI-Wild:一个大数据集和一种新的野外楼一航1、4闫白1、5刘军2王世奇3段凌玉1、4刘军1北京大学,中国北京2新加坡南洋理工大学3香港城市大学4深圳鹏程实验室5Hulu,北京,中国{yihanglou,yanbai,lingyu}@ pku.edu.cn,jliu029@ntu.edu.sg,shiqwang@cityu.edu.hk摘要车辆再识别对智能交通和公共安全具有重要意义。然而,现实世界场景中车辆ReID的许多挑战性问题高视点变化、极端照明条件、复杂背景和不同的照相机源。为了促进野外车辆ReID的研究,我们收集了一个名为VERI-Wild的新数据集,具有以下独特特征:1)车辆图像由一个大型监控系统捕获,该系统包含174个摄像头,覆盖一个大的市区(超过200平方公里)。2)摄像头网络每天24小时连续拍摄车辆,持续时间为1个3)这是从无约束条件1收集的第一个车辆ReID数据集。VERI-Wild包含超过40万张4万个车辆ID的图像。本文还提出了一种新的车辆ReID方法,将ReID模型耦合到特征距离对抗网络(FDA-Net)中,并设计了一种新的特征距离对抗方案,在线生成特征空间中的硬负样本,以便于ReID模型的训练。综合结果表明,我们的方法对建议的数据集2和其他两个现有的数据集的有效性。1. 介绍车辆再识别(Vehicle Re-Identification,ReID)是从大规模的车辆数据库中检索出查询车辆的最直接的方法是通过识别车牌来识别车辆[10][4]。段凌玉为通讯作者。1.无约束条件来自城市规模区域的真实监控摄像机网络中的数据收集,覆盖视点、分辨率、照明、摄像机源、天气、遮挡、背景、野外车辆模型等的巨大差异。2数据集可在https://github.com/PKU-IMRE/ VERI-Wild上查阅。图1.左图:我们的数据集是通过一个大规模的真实视频监控系统收集的,该系统由分布在市区(>200平方公里)的174个摄像头组成。右图:提出了一种硬否定生成方法,以提高车辆ReID性能。然而,在许多情况下,车牌不能被清晰地捕捉到,有时甚至被移除、遮挡或伪造。因此,对基于视觉外观的车辆ReID技术的需求呈指数级增长。深度学习的发展和现有的注释数据集极大地促进了车辆ReID研究。然而,在视点、背景和照明变化方面的多样性对现实世界应用中的车辆ReID模型提出了巨大的在车辆ReID中,数据集对于客观公正地评估ReID方法的性能至关重要。然而,据我们所知,所有现有的车辆ReID数据集[9][26][10]都是在约束条件下捕获的,并且通常在以下方面存在局限性:1)车辆识别和图像的数量不足以满足实际应用的需要。2)有限的摄像机数量和覆盖区域不涉及各种真实世界场景中的复杂和变化的背景。3)摄像机的视野受到高度限制。对于大多数车辆数据集,样本是从仅捕获前后视图的检查点摄像机收集的,并且严重的遮挡也13236没有考虑到。4)目前大多数数据集都是由短时监控视频构建的,没有明显的光照和天气变化。这些限制可能会过度简化ReID任务的实际挑战,并且在此类数据集上开发和评估的ReID模型可能不可避免地会受到关于野外通用化能力的质疑。上述问题促使我们在野外创建一个新的车辆ReID数据集(VERI-Wild),具有以下独特功能:1)数据集通过大型闭路电视(CCTV)系统捕获,该系统包含174个监控摄像头,覆盖面积超过200平方公里的大型城区。2)无约束的捕获条件涉及复杂的背景、各种视角和闭塞。 3)174个摄像头捕捉到 24h× 30d,以考虑各种天气和光照条件。4)从1200万车辆图像中清理,VERI-Wild 包 含 40 , 671 个 ID 的 416 , 314 个 图 像 。VERI-Wild是目前最受欢迎的-在真实场景中使用车辆ReID数据集(见图①的人。由于大量的车辆ID和图像,拟议的VERI-Wild数据集对车辆ReID提出了重大挑战。其中一个挑战是相似车辆问题,其中具有不同ID的许多车辆可能具有非常相似的外观,特别是当这些车辆属于相同的车辆模型时(见图1)。①的人。因此,区分这种相似外观的剩余视觉线索是局部特征细节,例如装饰和定制标记。为了提高模型捕捉细微差异的能力,提供这种硬负对进行训练是一种明智的选择以前的尝试[6,28]专注于通过从训练集中挖掘它们来看到更多的硬否定。然而,从整个训练集中选择它们导致高计算成本。此外,硬负样本是有限的,并且迭代地训练它们可能导致过拟合。提 出 了 一 种 基 于 特 征 距 离 的 对 抗 网 络 ( FDA-Net),该网络在嵌入空间中设计了一种基于特征距离的对抗在该方案中,生成器从视觉外观和特征距离两个角度在线生成硬负样本以欺骗嵌入判别器,而嵌入判别器则试图判别它们。对生成器施加相似性约束,使生成的硬否定在视觉上与真实输入相似,同时设计额外的注意正则化,使其呈现细微的差异。此外,车辆ReID的特征表示模型(特征提取器)无缝耦合到FDA-Net作为嵌入式网络,可以实现端到端的优化。随着对抗训练的进行,生成的硬否定将变得更难,这反过来又促进了对抗变得更难。更具歧视性。生成硬负样本的关键思想显著提高了车辆ReID基准测试的最新性能。我们的主要贡献总结如下:(1) 一 个 大 规 模 的具 有 挑 战 性 的 数 据 集 , VERI-Wild,提出了在野外车辆ReID评估。VERI-Wild是第一个从未控制的大规模真实世界相机网络捕获的车辆ReID数据集。(2) 我们设计了一个FDA-Net,通过引入一个新的特征距离adversary来促进ReID模型学习。在FDA-Net中,硬否定是连续在线生成的,以便于学习更具鉴别力的嵌入算法。(3) FDA-Net在所有评估的车辆ReID数据集上实现了优于最先进方法的性能。VERI-Wild数据集和特征距离对抗方案有望从找出野外ReID性能瓶颈的角度促进大规模车辆ReID研究2. 相关工作车辆ReID数据集。最近的车辆ReID方法主要在两个公共数据集VehicleID [9]和VeRI-776 [10]上进行评估。尽管在这些数据集上取得了令人印象深刻的结果,但车辆ReID问题在现实世界中仍然远远没有得到解决。VehicleID [9]或其扩展[26]中未充分考虑实际挑战因素,因为它们都包含非常有限的视点(只有两个视图,即前视图和后视图)。此外,它们不包含复杂的背景.它们几乎不考虑遮挡或照明变化VeRI-776 [10]中的样本由18台摄像机在1.0km2区域的环形道路上短时间(仅一天内的下午4:00至下午5:00)捕获。同样,VeRI-776的局限性还在于车辆ID数量少、场景简单、分辨率低等。车辆重新识别。车辆ReID在过去两年中吸引了更多的研究工作。刘等[10]亲-提出了一个“PROVID”ReID模型,该模型利用视觉特征、车牌信息和时空信息来解释ReID任务。Shen等人。 [18]提出了一个两阶段框架,该框架包含复杂的时空信息,用于有效地正则化ReID结果。最近的方法[9][29][10]专注于学习嵌入模型,该模型将样本映射到嵌入空间中,其中相同ID的样本比不同ID的样本更接近,并且车辆之间的相似性通过特征距离来测量。Liu等人 [9]介绍了一种使用车辆模型和ID信息的混合差分网络,以加强特征表示。Zhou等人。 [31]设计了一种多视图推理方案来生成全局视图特征表示,以改进车辆ReID。与上述方法不同,我们的工作目标是13237探索在特征空间中生成硬否定,以提高ReID模型的区分能力。GAN和GAN在ReID中。 GAN拥有在许多任务中取 得 了 巨 大 的 成 功 , 如 图 像 生 成 [15][5] 和 翻 译[32][2][3]。最近的ReID方法还在车辆和人员ReID字段中探索GAN [30][22][13][12]。Zheng等人。 [30]通过使用高斯噪声在训练之前生成未标记的人物图像来采用DC- GAN [15]。Wei等人。 [22]提出了一种PTGAN,用于在不同风格视角变化光照变化用于减小畴隙。Zhou等人 [25]设计了一个GAN模型来生成交叉视图车辆图像,以改进交叉视图ReID。Lou等人。 [12]提出从相同视图和交叉视图生成所需的车辆图像,以促进ReID模型训练。其他一些方法专注于不同数据集之间的图像传输[22][3]或生成不同的人体姿势[13],但它们不适用于车辆。学习实例。从困难的考试中学习一直是一个热门的研究课题[11][12][28]。Loshchilov等人 [11]提出在SGD优化中根据损失在线选择硬样本。Yuan等人[28]提出了一种硬感知的级联方法来选择硬样本进行有效的训练。然而,与真实世界中的硬样本相比,训练集中的硬样本的多样性不足Wang等人。 [20]提出添加掩码以获得硬阳性,以提高检测中对遮挡的鲁棒性。3. VERI-Wild数据集3.1. 关于VERI Wild我们收集了一个大规模的车辆ReID数据集(VERI-Wild),该数据集是在不受约束的情况下从现有的大型CCTV摄像机系统(由174个摄像机组成)中捕获的,为期一个月(30×24小时)这些摄像机分布在一个大的城市地区,200平方公里YOLO-v2 [16]用于检测车辆的绑定框。我们的原始车辆图像集包含1200万张车辆图像,并邀请11名志愿者对数据集进行为期1个月的清理。经过数据清洗和标注,共采集到40,671个身份的416,314幅车辆图像.我们在图中呈现VERI-Wild的统计数据。图3中还比较了VERI-Wild的样本图像。2.出于隐私考虑,车牌在我们的数据集中被屏蔽。VERI-Wild的显著特点概括为以下几个方面:野外无限制的捕获条件。VERI-Wild数据集是从一个由174个监控摄像机组成的真实CCTV摄像机系统中收集的,其中无约束的捕获条件带来了很大的挑战。复杂的捕获条件。174个监控摄像头分布在一个超过200平方公里的市区,背景变化闭塞极端情况(46台摄像机)#1 #2 #3 #4 #5 #6 #7 #8 #46…VehicleID [9]、VeRI- 776 [10]和VERI-Wild数据集样本之间的比较我们收集的VERI-Wild数据集为车辆ReID带来了更多的实际挑战,例如,显著的视点、照明和背景变化,以及严重的遮挡。我们数据集中的另一个挑战是,一辆车可能会出现在多个摄像头上,例如,在一个极端的情况下,同一辆车出现在46个监控摄像头中。表1. VehicleID [9]、VeRI-776 [10]和针对车辆ReID创建的VERI-Wild数据集之间的比较。数据集车辆IDVeRI-776VERI-Wild图像221,76349,360416,314身份26,26777640,671相机1218174捕获时间N/A18h125 280 h查看26无约束时空关系注释×CC跨越轨道相机××C照相机ID××C时间戳××C闭塞××C复杂背景××C早上C×C下午CCC晚上××C阴雨天气××C大雾天气××C呈现各种背景,分辨率,视点,和遮挡在野外,如图所示。2.在极端情况下,一辆车甚至出现在40多个不同的摄像头中,这对ReID算法来说是非常具有挑战性的。时间跨度大,涉及严重的照明和天气变化。VERI-Wild的采集时间为174×24×30=125,280个视频小时。图图3(b)示出了24小时的4个时隙中的车辆分布,即、上午,中午,下午,晚上跨越30天此外,VERI-Wild包含恶劣的天气条件,如下雨,VERI-Wild车辆IDVeRI-77613238轿跑SUV厢式MPV巴士卡车皮卡其他白色黑色银红色黄色灰色金色蓝色绿色棕色紫色(a)(b)第(1)款(c)第(1)款(d)其他事项图3. VERI-Wild数据集。 (a)不同摄像机上的身份数量,即,1-174个摄像机;(b)数目(c)车辆类型的分布;(d)车辆颜色的分布模糊的等,这是不包含在以前的数据集。丰富的上下文信息。我们提供了丰富的上下文信息,如摄像机ID,时间戳,摄像机之间的轨迹关系,这是潜在的促进摄像机网络中行为分析的研究,如车辆网络。摄像机建模[14]、跨摄像机跟踪[7]和基于图形的检索[24]。3.2. 评价方案VERI-Wild随机分为两部分进行训练和测试,如表2所示。为了更好地评估ReID方法,我们进一步将测试集分为三个子集,如表3所示。表2.训练集和测试集的划分。(ID/图片)数据集火车探针画廊车辆ID [9]13,164/100,1822,400/2,4002,400/17,638VeRI-776 [10]576/37,778200/1,678200/11,579VeRI野生30,671/277,79710,000/10,00010,000/128,517表3.测试集子集的描述测试大小小介质大身份3,0005,00010,000图像41,81669,389138,517在ReID过程中,对于每个给定的查询,从数据库返回一个根据查询和参考图像之间的特征距离排序的候选列表。平均精度(mAP)和累积匹配特征(CMC)被用作性能度量。平均精密度:mAP评估ReID的整体性能,定义如下:图4.一个真正的硬负对的例子这两种车辆看起来非常相似,只能观察到细微的差异挡风玻璃后面的细节其中,当q图像的真值出现在秩k之前时,gt(q,k)等于1。4. 该方法在学习嵌入模型时,硬负样本在促进嵌入模型的辨别能力方面发挥着主导作用嵌入空间中的相似性度量由特征距离表示。如图4,一般来说,每个实硬负对中的两个样本通常是相似的(仅观察到细微的差异)。受此启发,我们设计了一种新的特征距离对抗方案,用于生成用于增强车辆ReID模型的硬负样本。相似约束和注意正则化。给定一个输入车辆,相似性约束的目的是强制生成的硬否定是视觉上类似的输入。为了进一步提高对细微差异的处理能力,提出了一种注意力正则化方法来约束输入车辆的注意区域,nP(k)×gt(k)AP= k=1,mAP=NgtQQq=1AP(q)Q(一)很难否定不一样。以这种方式,生成的硬底片倾向于呈现视觉上相似的,但具有其中k是大小为n的召回列表中的排名,并且Ngt是相关车辆的数量。P(k)是截止点k处的查准率,gt(k)表示第k次查全率是否正确. Q是查询图像的总数。此外,在实验中还报告了Top K匹配率。累积匹配特征:CMC曲线显示了查询标识出现在不同大小的候选列表中的概率。秩k处的累积匹配特征可以计算为:QQgt(q,k)CMC@k=q=1,(2)Q4%3%2%百分之四百分占6%百分之五十五百分之二十一百分之三占6%3%3%2%1%百分之二十九百分之八百分之九百分之十五百分之二十一13239输入的细微差别作为广告的反面在该方案中,利用更多的可用硬否定,将该方法提升为更具歧视性。为此,本文设计了一种特征距离自适应网络(FDA-Net),它包括一个硬负生成器G和一个嵌入式的特征距离自适应网络D。4.1. 硬负发生器相似性约束。为了获得与输入视觉上相似的否定,我们的目标是将生成的硬否定约束为比其真实采样否定更接近其肯定53240孔夫斯pn训练生成器训练判别器真实训练集位置... 否定...图5.拟议FDA网络的图示。在生成器G和嵌入的CMDD之间施加特征距离对抗方案。G试图在相似性约束和注意力正则化下生成一个硬负样本,而D试图区分它们。发电机和整流器交替优化。我们使用生成的硬负G(x)以及训练集来训练更具鉴别力的嵌入模型D。此外,生成的样本应该与输入不同给定真实输入车辆图像x,为了生成这样的硬负样本G(x),G的相似性约束可以用公式表示如下:进一步施加注意力规则化。为了促进局部区域的差异,x和G(x)之间的关注区域应该在特征距离上相对较远。我们设计了一个注意模块ATT来执行fea,22中间特征f(x)∈<$H(x),H(xp)<$2+β≤< $H(x),H(G(x))<$2(三)RH×W×C,则输出注意力映射被公式化为:≤H(x),H(xn2)2−β,A(x)=AT T(f(x);θatt),A ∈ Rh×w×1.(五)其中H(·)表示em中的特征表示床上空间 xp和xn表示实数正,分别为输入x的负数。这种限制可以解释如下:生成的G(x)被约束为在最小余量间隙β处远离x,同时也被约束为在A(x)中的每个补丁ai,j(x)指示f(x)在(i,j)处的关注值(重要性分数)。A(x)用softmax函数归一化为非负。然后,f(x)和f(G(x))由A(x)加权并馈送到全连接(FC)层中,以获得如下的关注特征表示:最小容限间隙β,如图2所示六、等式(3)中的右边部分强制G(x)更类似于x,相比之下,F(x)=FC(f(x)<$A(x)),F(G(x))= FC(f(G(x))<$A(x))。(六)到采样的实负数,而等式(3)中的左部分约束G(x)以避免呈现与x相同的外观。为了确保注意区域在x上一致,G(x),f(x)和f(G(x))都被A(x)加权。正则化强制F(x)和F(G(x))大于最小余量γ,如下所示:L=E[max{γ− <$F(x),F(G(x))<$2,0}]。(七)G注册x2图6.相似性约束的说明。期望的G(x)位于围绕x的环形带区域中。这样的特性允许生成的G(x)在优化嵌入模型时更有可能打破距离约束,这也是真实硬否定在训练中的关键作用。最后,G上的相似性约束的损失可以公式化为:LG sim=F或明确地,我们使用H(·)和F(·)来表示具有/不具有注意力正则化的所获得通过使用注意正则化,生成器显式提升在某些地方制造细微的差别。4.2. 嵌入鉴别器在生成器的训练过程中,采用固定的嵌入参数来计算特征距离以进行相似性度量相比之下,在训练过程中,G是固定的,以生成D的硬负值。因此,D旨在通过三重距离约束扩大它们的距离来区分硬负G(x)与x,并且损失对于LDemb,可以用公式表示为:2 2[max{<$H(x),H(x)<$− <$H(x),H(G(x))<$+β,0}]X2 2 2p22+Ex[max{H(x),H(G(x))<$22- H(x),H(x )β2+β,0}]。(四)LDemb=Ex[max{<$(H(x),H(x)<$2−{<$H(x),H(G(x))<$2+α,0}],α≥2β,(八)(特征提取关注模块孔夫斯乌普萨拉(GG相似性约束注意力正规化特征距离附加值三重距离约束FC关注模块FC中文(((E53241注意正规化。加强对局部细微差别的处理能力(见图)。4)、其中,α是最小边际差距。为了使训练更加高效和稳定,我们混合生成的63242G(x)和实负数xn从训练集优化嵌入的嵌入矩阵D。此外,我们将额外的softmax损失纳入我们的训练过程,这在ReID中得到了广泛的应用因此,对于D,总损失LDemb由方程式(8)由下式给出:4.6.实现细节网络架构。对于生成器网络,使用两个步幅2卷积、9个残差块和两个步幅1/2解卷积。 训练图像的大小为224×224。 有两个子网可用于LDemb= Ex[−log Dcls(I|x)]+Emax{H(x),H(xp)<$2−H(x),H(z)<$2(九)网络 对于真的假的,我们使用一个补丁-X2 2+α, 0},z∈ {G(x)<$xn},其中I是真实输入样本x的ID标签,Dcls是D的另一个分类目标。在D的训练期间,样本z交替地从G(x)和xn的并集中选择。我们还将LDemb应用于F(x)来训练注意模块。嵌入式特征提取器可以被认为是车辆ReID的特征提取器。4.3. 真/假贴附除了满足距离约束外,生成的硬底片还应显示为真实的车辆。因此,进一步实施了真/假对抗方案输出表示图像x是真实图像的概率。Drf(x)的损失可以用公式表示为标准交叉熵损失:Lrf=Ex[logDrf(x)+log(1− Drf(G(x)]。(十)4.4. 总损失函数最后,优化发电机和逆变器的总损失函数可以表示如下:70×70尺寸的GAN [32]。对于嵌入判别器,我们使用VGG CNN M1024(VGGM)作为基础网络进行公平比较,这也被采用[9]。注意力模块由一个2层CNN和1×1过滤器构成,顶部是ReLU激活超参数。对于x2,三元组边界约束中的α被设置为0。六、 对于生成器,β 相似性约束设置为0。3,注意力正则化中的γ被设置为0。7 .第一次会议。将损失重量λ设定为1。学习率从0开始。001用于嵌入鉴别器,并且从0开始。00002其他类型和性别发电机学习率在前50个epoch中保持恒定,并在接下来的50个epoch中衰减到零。5. 实验结果5.1. 实验装置我们通过遵循[10]和[9]中的评估协议,对我们提出的VERI-Wild数据集和两个现有数据集VehicleID和对于VERI-Wild中的匹配率计算,我们遵循标准CMC协议 , 即 给 定 查 询 的 所 有 引 用 都 在 图 库 中 。 但 在VehicleID [9]数据集中,LG=λLrf+LG sim+LG regLD= −λLrf+ LDemb.(十一)在图库中只有一个给定查询的引用。在VeRI-776 [10]中,仅执行跨相机搜索。为其中λ是用于平衡两个对抗方案的超参数。对于整个网络,G和D以对抗的方式交替优化。4.5. 培训和测试详情特征距离对抗学习使我们能够将ReID模型和ReID作为FDA-Net中的嵌入式ReID。在更新G的过程中,G被优化以生成一个负样本,该负样本满足与嵌入空间中的输入的硬负在更新D时,对每个输入样本,G生成一个硬负样本,并将其与真实训练样本结合,然后用D优化它们的特征距离进行判别。因此,该生成器能够在训练过程中不断生成硬否定以适应迭代更新的嵌入向量,同时这些生成的硬否定可以用于进一步促进D.因 此 , 在 测 试 阶 段 , 车 辆 样 本 被 送 入 嵌 入 式CRDD,以获得车辆特征代表。表示F(·)在ReID中执行特征匹配为了更好地评估,我们进行如下比较:1) 这个网络是一个传统的嵌入网络,有三重和softmax损失。2) FDA-Net:这是拟议的FDA-Net。3) FDA-Net的结构类似于FDA-Net,但没有注意力正则化。5.2. 定量结果5.2.1VERI-Wild的评价为了验证所提出的VERI-Wild方法具有挑战性且接近真实场景,我们对近2年来发表的现有方法进行了在车辆ReID中,在VehicleID和VeRI-776数据集发布我们在表4和表5中给出了实验结果。显然,与现有VehicleID和VeRI数据集上的结果相比,这些方法在VERI-Wild上的性能都大幅下降例如,HDC [28]实现了63.1%的mAP,这是VehicleID数据集上的最佳结果63243(a)(b)(c)第(1)款图7.VERI-Wild(测试大小= 10000)、VeRI-776和VehicleID(测试大小= 2400)测试集的CMC比较表4.VERI-Wild数据集上的mAP性能设置小介质大[27]第二十七话24.2724.1521.53[第17话]15.6913.349.93Softmax [10]26.4122.6617.62CCL [9]22.5019.2814.81HDC [28]29.1424.7618.30GSTE [1]31.4226.1819.50[32]第三十二话29.8624.7118.23EN28.7724.6319.48FDA-网络认证32.4027.1021.13FDA网络35.1129.8022.78然而,它在VERI-Wild上仅实现了29.14%的mAP这种每分钟的变化表明VERI-Wild是一个具有挑战性的数据集,对车辆ReID研究很有价值。请注意,VERI-Wild和VehicleID上的匹配率协议是不同的,我们提出的FDA-Net优于其他比较方法。与基线EN相比,FDA-Net的渐进式改进和FDA-Net的渐进式改进表明,特征距离对抗方案可以显著提高嵌入式系统的区分能力。丁模型更具体地说,FDA-Net优于FDA-Net的性能,表明注意力正则化的有效性。与使用高斯噪声随机生成否定的Unlabled GAN [30]相比,我们的FDA-Net通过explor提供了更多的改进这是一个很大的挑战。上的CMC曲线表5.VERI-Wild数据集上的匹配率设置小介质大方法R = 1R = 5R = 1R = 5R = 1R = 5[27]第二十七话57.1675.1353.1671.144.6163.55[第17话]44.6763.3340.3458.9833.4651.36Softmax [10]53.475.0346.1669.8837.9459.89CCL [9]56.9675.051.9270.9844.660.95HDC [28]57.178.9349.6472.2843.9764.89GSTE [1]60.4680.1352.1274.9245.3666.5[32]第三十二话58.0679.651.5874.4243.6365.52EN57.1377.3352.8673.1843.0266.3FDA-网络认证61.9380.4855.6275.6446.4868.36FDA网络64.0382.857.8278.3449.4370.48∗ 任何给定查询的所有引用都在图库中。表6.VehicleID数据集上的性能设置测试规模=1600测试规模=2400方法地图R=1R=5地图R=1R=5LOMO [8]-18.8529.18-15.3225.29决定指导文件[23]-40.2565.31-37.3357.82[27]第二十七话42.8543.4063.8640.3938.2759.39事实[10]-44.5964.57-39.9260.32[25]第二十五话-49.5571.39-44.8966.65CCL [9]44.839.9462.9838.635.6856.24混合差异[9]48.145.0568.8545.541.0563.38HDC [28]63.1--57.5--VAMI [31]-52.8775.12-47.3470.29EN55.7851.7373.0852.2047.6267.81FDA-网络认证62.7157.2376.1459.2652.0672.41FDA网络65.3359.8477.0961.8455.5374.65∗ 对于CMC,任何给定查询只有一个引用在图库中VERI-Wild大型测试集如图所示第7(a)段。我们的方法实现了更高的秩1值比比较的方法。5.2.2车辆ID评价VehicleID的结果见表6。我们的FDA- Net在1600和2400的测试规模中始终获得比其他方法更好的性能。VAMI [31]和XVGAN [25]都涉及GAN,它们专注于从车辆的输入视图生成交叉视图车辆图像,以改善交叉视图ReID。然而,我们的方法实现了优越的性能,从硬底片生成的角度来看。HDC [28]也关注硬否定,而他们专注于在训练集中挖掘硬与HDC相比,我们的生成方案实现了更优越的性能。值得一提的是,HDC级联了一组GoogleNet,这是一个比VGG M更深的网络 。该 模 型 进 一 步 证 明 了 该 方 法 的 有 效 性 。VehicleID数据集上的CMC曲线比较第7(b)段。其他GAN相关的ReID方法专注于人物图像风格转换[22][3]或姿势生成[13],这些方法不适合进行公平比较或应用于车辆。5.2.3关于VeRI的评价表7显示了VeRI-776数据集的结果。所提出的方法优于最先进的方法VAMI [31] 5.36% mAP。特别是,VAMI使用GAN83244生成的真实输入注意力图硬性阴性真实硬阴性(不同ID)生成硬阴性生成实输入硬负片图8.硬负生成结果的示例生成的硬否定(第3列)与真实输入(第1列)相似这些具有差异的区域是从相应注意力图(第2列)中具有较大响应的注意力模块中学习的。同时,我们着重于通过硬否定方案来提高对细微细节的表示能力。与OIFE图9.生成的硬负对的比较示例训练这样的车辆在现实世界中并不存在,当干扰足够强时,这样的样本对于促进模型训练的意义较小。α、β和γ的选择。我们设置α=0。在ReID中广泛使用的三重边距设置中为6我们也曾-实验中,α从0. 四比零。7,表演是[21],它使用车辆特征rep-p中的关键点对齐2近了 根据等式(3)和等式(8),H(x)= H(x),H(x)=2+表示,提出的FDA-Net实现了更好的n2个p2性能VeRI-776数据集上的CMC曲线为2β ≤H(x),H(xH(x)<$2和<$H(x)<$2+α≤还提供了图。7(c). 我们的方法还实现了H(x),H(xn2)<$2,已知2β≤α,因此我们设置更优越的性能,特别是在排名1匹配率(84.27% vs.最先进的77.03%VAMI),这意味着敌手方案可以显著提高ReID模型对细微差异的区分能力表7.VeRI-776数据集上的性能比较方法地图r = 1R = 5LOMO [8]9.6425.3346.48决定指导文件[23]17.9250.7067.52[27]第二十七话17.8152.1266.79事实[10]18.7351.8567.16[25]第二十五话24.6560.2077.03OIFE [21]48.0065.9287.66[18]第十八话29.4841.1260.31FACT +平板+ STR [1]27.7761.4478.78VAMI [31]50.1377.0390.82EN47.8579.6789.45FDA-网络认证53.4683.9791.59FDA网络55.4984.2792.435.3. 定性结果硬阴性的可视化。图8和图在图9中,成对地示出了输入和生成的硬负片。可以观察到,硬底片与输入车辆具有非常相似的外观,并且为了区分而进行了和谐的与真正的硬否定相比,我们生成的硬否定也提出了具有挑战性的辨别困难。6. 讨论真实/虚假损失的意义。“真/假”损失允许生成的图像看起来更像真实的图像,也用于[22][30][3][13]。在没有真假丢失的情况下,FDA- Net在完成β= 0。3 .第三章。与α和β等边缘约束不同,γ的约束类似于验证损失[19],我们发现γ=0。7在我们的实验中效果很好。7. 结论在这项工作中,我们贡献了一个大规模的VERI-Wild数据集,它提供了丰富的背景,照明,遮挡和视点等变量。VERI-Wild有望促进现实场景中ReID方法的开发和评估特别是,我们提出了一种新的用于车辆ReID的FDA-Net,它能够在嵌入空间中优雅地生成硬负样本,以训练更具区分力的ReID模型。将ReID模型耦合到FDA-Net中,可以使用特征距离对抗方案进行端到端优化。随着更多的可用硬否定,嵌入模型鸣谢:本工作得到了国家自然科学基金61661146005和U1611461的资助,获国家基础研究计划资助2015CB351806,部分获香港研 究 资 助 局 早 期 研 究 计 划 资 助 9048122 ( 城 大21211018)。引用[1] Y. Bai,Y.Lou,F.Gao,S.Wang,Y.Wu和L.段。用于车辆重新识别的组敏感三元组嵌入。IEEE Transactionson Multimedia,2018。[2] Y.崔,M。崔,M。金,J. - W.哈,S。金和周杰伦Stargan:用于多人的实数输入83245域图像到图像的翻译。arXiv预印本,1711年,2017年。[3] W. 邓小平说,L. 小郑:G. 康Y. 小杨,Q. Ye和J. Jiao.具有保留的自相似性和域不相似性的图像-图像域适应,用于人的重新识别。计算机视觉与模式识别,2018年。[4] S.杜,M。易卜拉欣,M。Shehata和W.巴达维自动车牌识 别 ( alpr ) : 一 个 国 家 的 最 先 进 的 审 查 。 IEEETransactionsonCircuitsandSystemsforVideoTechnology,23(2):311[5] I. J·古德费洛 J. Pouget-Abadie, M. 米尔扎 B. 许、D.沃德-法利,S。奥扎尔A. Courville和Y.本吉奥。生成性对抗网。在Proc. of International Conference on NeuralInformation Processing Systems,第2672-2680页[6] A. Gordo,J. Almaz a'n,J. R ev aud和D. 拉勒斯深度图像检索:学习图像搜索的全局表示。在proc 欧洲计算机视觉会议,第241-257页,2016年。[7] O. Javed,K. Shafique,Z. Rasheed和M. Shah.对相机间的空间-时间和外观关系进行建模,以用于跨非重叠视图进行跟踪。计算机视觉与图像理解,109(2):146[8] S. 廖,Y.Hu,X.zhu和S.Z. 李基于局部最大发生表示和度量学习的人物在Proc. of Computer Vision and PatternRecognition,第2197-2206页[9] H. Liu,Y.田氏Y.王湖,加-地Pang和T.煌深度相对远程学习:分辨出相似车辆的区别。计算机视觉与模式识别学报,第2167-2175页,2016年[10] X. Liu,W. Liu,T. Mei和H. MA.基于深度学习的城市监控渐进式车辆重新识别方法。 在proc 欧洲计算机视觉会议,第869-884页。施普林格,2016年。[11] I. Loshchilov和F. 哈特在线批量选择用于更快地训练神经网络。arXiv预印本arXiv:1511.06343,2015。[12] Y.卢,Y。Bai,J. Liu,S. Wang和L.- Y.段。嵌入式对抗学习用于车辆再识别。IEEE Transactions on ImageProcessing,2019。[13] L.马角,澳-地孙习乔治古利斯湖范古尔湾schiele和M.弗里茨分解的人物形象生成。 计算机视觉和模式识别,第99-108页,2018年[14] B. T. Morris和M. M. 特里维迪 从实时视频中学习、建模 和 分 类 车 辆 轨 迹 模 式 。 IEEE Transactions onIntelligent Transportation Systems,9(3):425[15] A.拉德福德湖,澳-地Metz和S.钦塔拉使用深度卷积生成对抗网络进行无监督表示学习计算机科学,2015年。[16] J. Redmon和A.法哈迪。Yolo9000:更好,更快,更强。arXiv预印本,2017年。[17] F. Schroff,K. Dmitry和J.菲尔宾Facenet:用于人脸识别和聚类的统一嵌入。在计算机视觉和模式识别中,第815-823页[18] Y.沈,T. Xiao,H. Li,S. Yi和X.王.学习深度神经网络用于车辆识别和视觉时空路径建议。IEEEInternationalConference on Computer Vision , 第 1918-1927 页 。IEEE,2017年。[19] Y. 太阳,Y.Chen,X.Wang和X.唐通过联合识别-验证的深度学习神经信息处理系统进展,第1988-1996页,2014年[20] X. Wang,中国山核桃A. Shrivastava和A.古普塔。快速回复:通过对手进行目标检测的硬阳性生成。在计算机视觉和模式识别,2017。[21] Z.王湖,加-地唐,X. Liu,Z. Yao,S. Yi,J.Shao,J.Yan,S. Wang,H. Li和X.王.基于方向不变特征嵌入和时空正则化的车辆再识别。 在proc 计算机视觉和模式识别,第379-387页,2017年。[22] L. Wei,S. Zhang,W. Gao和Q.田人员转移甘桥梁域差距的人重新识别。 在proc 计算机视觉和
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功