没有合适的资源?快使用搜索试试~ 我知道了~
人物再识别中的域适应方法
3143广义人物再识别辛进1 <$兰翠玲2 <$曾文俊2 <$陈志波1 <$李章31中国科学技术大学2中国北京微软亚洲研究院3牛津大学jinxustc@mail.ustc.edu.cn{culan,wezeng} @ microsoft.comlz@robots.ox.ac.ukchenzhibo@ustc.edu.cn摘要域名缺口现有的全监督人再识别(ReID)方法普遍存在领域缺口导致泛化能力差的问题。解决这个问题的关键在于过滤掉身份无关的干扰和学习领域不变的人表示。在本文中,我们的目标是设计一个可推广的人ReID框架,该框架在源域上训练模型,但能够在目标域上推广/表现良好。实现这一照明色调对比度饱和…质量…为了实现这一目标,我们提出了一个简单而有效的样式规范化和恢复(SNR)模块。具体地说,我们过滤掉风格变化(例如,照明,颜色对比度)。然而,这样的过程不可避免地去除了区别性信息。我们建议从删除的信息中提取身份相关特征,并将其恢复到网络中,以确保高度区分。为了更好地解纠缠,我们在SNR中强制执行双重因果关系损失约束,以鼓励分离身份相关特征和身份无关特征。大量的实验表明,强大的基因,样式规范化ReID引导的风格恢复身份相关身份无关……我们框架的可扩展性。我们的模型由SNR模块提供动力,在多个广泛使用的人ReID基准测试中显着优于最先进的域泛化方法,并且在无监督域自适应方面也表现出优越性。1. 介绍人员重新识别(ReID)旨在跨相机、时间和位置匹配/识别特定人员它促进了许多应用程序,并吸引了很多关注。已经为受监督的人ReID提出了丰富的方法,其中模型在相同数据集的不同分割上进行训练和测试[51,38,54,8,34,53,18,17]。它们通常集中于解决由姿势/视点的多样性引起的图像之间的几何未对准的挑战。总的来说,它们在这项工作是辛金在微软亚洲研究院实习时完成的†通讯作者。图1:动机和我们的想法的说明人从不同相机和环境捕获的图像呈现风格变化,这导致域间隙。我们使用样式规范化(实例规范化)来消除样式变化。然而,这也导致一些区别性(身份相关)信息的丢失。我们建议从原始信息和归一化信息的残差中进一步恢复这样的信息,以用于可推广和有区别的人ReID。训练的数据集,但是当在先前看不见的数据集上测试时遭受显著的性能通常存在跨域/数据集的风格差异,这阻碍了高泛化能力的实现。图1显示了来自不同ReID数据集的一些示例图像1人的图像是由不同的相机在不同的环境下捕获的(例如,例如,在一个实施例中,照明,季节)。它们在照明、色调、颜色对比度和饱和度、质量/分辨率等方面呈现出很大的风格差异。对于ReID1图像中的所有面孔都被掩盖以进行匿名化。3144系统,我们希望它能够识别相同的人,即使在不同的环境中捕获,并区分不同的人,即使他们的外观相似。泛化能力和区分能力虽然相互冲突,但对鲁棒ReID非常重要。考虑到域间隙的存在和较差的通用化能力,完全监督的方法或设置对于真实世界的广泛ReID系统部署是不实际的,其中在目标域数据上的现场手动注释近年来,研究了一些无监督域自适应(UDA)方法,以使ReID模型从源域适应到目标域[43,40,26,33,5,50,48]。UDA模型使用未标记的目标域数据进行更新,从而完成标记工作。然而,仍然需要收集数据和更新模型,增加了额外的费用。本文主要研究更经济、更实用的领域可推广人ReID。领域泛化(DG)旨在设计可泛化到以前看不见的领域的模型[31,16,36],而无需访问目标领域数据和标签,也无需更新模型。大多数DG方法假设源域和目标域具有相同的标签空间[19,22,31,35],并且它们不适用于ReID,因为ReID的目标域通常具有与源域不同的标签空间可推广的人ReID是具有挑战性的,其目的是实现对可能具有大范围差异的不可见关于域泛化ReID的研究很少[36,16],仍然是一个开放的问题。Jia等人[16] Zhouet al. [61]在网络中集成实例规范化(IN),以减轻由于外观风格变化而导致的域差异。然而,IN不可避免地导致一些区分特征的丢失[14,32],阻碍了高效ReID的实现。在本文中,我们的目标是设计一个通用的ReID框架,实现高泛化能力和歧视能力。关键是找到一种方法来解开身份相关特征和身份无关特征(例如,图像样式)。图1说明了我们的主要思想。考虑到图像样本之间存在的领域空白,我们采用IN方法进行风格归一化,消除风格差异。然而,规范化不可避免地丢弃一些区别性信息,从而可能妨碍ReID性能。从残差信息(原始信息和归一化信息之间的差)中,我们进一步提取身份相关信息作为对归一化信息的补偿。图2显示了我们的框架,其中嵌入了建议的样式规范化和恢复(SNR)模块。为了更好地从残差中分离身份相关特征,通过确保身份相关特征的恢复之后的特征更具区分性,以及身份无关特征的补偿之后的特征更少区分性,来添加因果损失约束。我们将主要贡献总结如下:• 我们提出了一个实用的领域可推广的人ReID框架,该框架可以很好地推广以前未见过的领域/数据集。特别是,我们设计了一种风格,归一化和恢复(SNR)模块。SNR简单而有效,可用作现有ReID架构的即插即用模块,以增强其泛化能力。• 为了便于从在风格规范化阶段丢弃的特征中恢复身份相关特征,我们在SNR中引入了双重因果损失约束,以更好地进行特征解纠缠。我们在多个广泛使用的基准和设置上验证了所提出的SNR模块的有效性我们的模型显著优于最先进的领域可推广的人ReID方法,并且还可以提高ReID的无监督域自适应的性能。2. 相关工作监督人员ReID。在过去的十年中,完全监督的人ReID已经取得了很大的进展,特别是基于深度学习的方法[38,21,54,8,34,53]。这些方法通常在源数据集的测试集上表现良好,但由于域之间的风格差异,这些方法对不可见的域/数据集的推广效果很差这尤其在实际应用中是有问题的,其中目标场景通常具有与源域不同的风格,并且没有现成的目标域数据或注释用于训练。用于Person ReID的无监督域自适应(UDA)。当目标域数据可访问时,即使没有- out注释,也可以为域adap探索它。用于增强ReID性能。这需要目标域数据收集和模型更新。基于UDA的ReID方法可以大致分为三类:风格转换[3,44,26],属性识别[43,49,33],以及目标域伪标签估计[5、37、58、40、52、50]。对于伪标签估计,最近,Yuet al.提出了一种称为多参考学习(MAR)的方法,该方法通过将一对图像与一组已知的参考个人进行比较来评估它们的相似性,以挖掘硬负样本[50]。我们提出的域可推广SNR模块也可以与UDA方法(例如,例如,在一个实施例中,通过插入到UDA主干中)以进一步增强ReID性能。我们将在4.5小节中通过将其与MAR的UDA方法相结合来证明其有效性。域泛化(DG)。 Domain Generalization是3145(b)(c)图2:总体流程图。(a)我们的可推广的人ReID网络,其中在一些卷积块之后插入了所提出的风格规范化和在这里,我们使用ResNet-50作为我们的主干进行说明。(b)拟议的信噪比模块。实例归一化(IN)用于消除一些样式差异,然后是身份相关特征恢复(由红色实线箭头标记)。注意,具有绿色虚线的分支仅用于强制执行损失约束,并且在推断中被丢弃(c)双重因果关系损失约束鼓励将剩余特征R分解为身份相关特征(R+)和身份不相关特征(R-),这通过将它们添加到风格规范化特征F中来增强和降低区分度(参见第3.1节)。学习模型的一个具有挑战性的问题,可以推广到看不见的领域[31,35]。 Muandet等人通过最小化源域之间的差异来学习不变变换[31]。一个学习理论分析表明 , 减 少 相 异 度 提 高 了 在 新 领 域 的 泛 化 能 力 。CrossGrad [35]通过对域分类器和类别分类器的损失梯度进行扰动来生成伪训练实例。大多数DG方法假设源域和目标域具有相同的标签空间。然而,ReID是一个开集问题,其中目标域通常具有与源域不同的身份,使得一般DG方法不能直接应用于ReID。最近,通过简单地组合多个源数据集并训练单个CNN [20],提出了域可泛化的个人ReID的强基线Song等人[36]通过使用元学习管道来使模型域不变,提出了一个可推广的人员ReID框架为了克服不同数据集之间标签空间的不一致性,该算法维护了一个共享训练数据集的样本库.实例规范化(IN)已被广泛用于图像风格转换[14,42],并证明它实际上执行了一种风格规范化[32,14]。Jia等人[16] Zhouet al. [61]将这一思想应用于ReID,以减轻域差异并提高泛化能力。然而,智能网不可避免地丢弃了一些识别信息。在本文中,我们研究如何设计一个通用的ReID框架,可以利用智能网的优点,同时避免损失的歧视性信息。3. 建议的可推广人员ReID我们的目标是设计一个通用的和强大的人ReID框架。在训练过程中,我们可以访问一个或多个带注释的源数据集。经过训练的模型将直接部署到看不见的领域/数据集,预计将具有很高的泛化能力。图2显示了我们框架的整体流程图。特别是,我们提出了一个风格规范化和恢复(SNR)模块,以提高ReID模型的泛化和区分能力,特别是在未知领域。SNR可用作现有ReID网络的即插即用模块。以ResNet-50 [10,1,28]的广泛使用的ReID网络为例(见图2(a)),在每个卷积块之后添加SNR模块。在信噪比模块中,我们首先通过实例归一化(IN)消除样本之间的然后,提出了一个专用的恢复步骤来从IN先前丢弃的那些特征中提取身份相关(鉴别)特征此外,对于信噪比模块,我们设计了一个双重因果损失约束,以促进身份相关的功能,从丢弃的信息IN的蒸馏。3.1. 样式规范化和恢复(SNR)ReID的人物图像可以在不同的场景和环境下由不同的相机捕获(例如,例如,在一个实施例中,室内/室外、商场、街道、晴天/多云)。如图1所示,它们呈现出风格差异(e. 例如,在一个实施例中,在照明、色调、对比度、饱和度、质量中),尤其(一)1x20481x512ConvConv块1SNR1块2信噪比2公司简Conv块3信噪比3Conv块4信噪比4FC里德损失样式规范化和恢复(SNR)双重因果损失��� +=��� +���+联系��� +=��� +���+���输入���公司简介输出1 −()��� −=��� +���−双因果关系损���−������ −=��� +���−实例规范Conv+Max合并平均合并3146˜SNR˜˜˜ ˜˜˜ ˜ ˜K一一n˜˜˜对于来自两个不同数据集/域的样本。源域和目标域之间的域差异通常会阻碍ReID模型的泛化能力。学习理论分析表明,减少不相似性可以提高新领域的泛化能力[31]。实例规范化(IN)执行某种类型的风格规范化,减少实例/样本之间的差异/不相似性[14,32],因此它可以增强网络的泛化能力[32,16,61]。然而,IN不可避免地去除了一些区分信息,并导致较弱的区分能力[32]。为了解决这个问题,我们提出从IN移除的信息中恢复任务特定的区分特征,通过将其分解为具有双重因果关系损失约束的身份相关特征和身份无关特征(参见图2(b))。本文将详细介绍信噪比模块的设计.对于SNR 模块,我们用F ∈ Rh ×w×c表示输入(它是一个特征图),用F+∈Rh×w×c 表 示 输 出,其中h,w,c分别表示通道的高度,宽度和数量。样式规范化阶段。在SNR中,我们首先尝试通过执行实例归一化[41,4,42,14]来减少输入特征的域差异,F−µ(F)其中R(:,:,k)∈Rh×w表示特征映射R的第k个通道,k= 1,2,···,c。我们期望通道注意向量a能够实现身份的自适应蒸馏恢复的相关功能,并通过SE类[13]通道注意力将其导出为a=g(R)=σ(W2δ(W1pool(R),(4)它由一个全局平均池化层和两个FC层组成,FC层的参数分别为W2∈R(c/r)×c和W1∈Rc×(c/r),其后分别是ReLU激活函数δ(·)和sigmoid激活函数σ(·)。 为了减少参数的数量,使用减速比R并将其设置为16。通过将提取的身份相关特征R+添加到风格归一化特征F,我们获得SNR模块的输出特征F+,如下所示:F+=F+R+。(五)双重因果损失约束。为了便于身份相关特征和身份无关特征的分离,通过比较还原前后特征的区分能力,设计了一个双重因果损失 如图2(c)所示,(1)N(N)=N()+β,(1)σ(F)其主要思想是:将身份相关特征R+还原为归一化特征F+后,其中,µ(·)和σ(·)表示平均值和标准偏差对于每个通道和每个样本/实例,跨空间维度独立地计算,γ,β∈Rc是参数。另一方面,在休息之后,将身份不相关特征R-应用于归一化特征F-,该特征应变得不太具有区分性。从数据中学习可以过滤掉一些实例-我们通过定义一个双重因果关系损失LSNR来实现这一点内容中的特定样式信息。在服用其中包括澄清损失L+和破坏在特征空间中的位置,Huanget al.”[14]他说。损失L−,岛例如,LSNR+SNRSNR叶老实验表明,IN具有更深远的影响,它比简单的对比度标准化更有效,并且它通过标准化特征统计来执行一种形式的风格标准化样式恢复阶段。 IN减少了风格差异,提高了泛化能力。然而,由于数学运算是确定性的和与任务无关的,它不可避免地抛弃了一些有区别的(任务),ReID的相关信息。我们建议通过从残差特征R中提取身份相关特征来将其恢复到网络。R定义为R=F-F,(2)其表示原始输入特征F和风格标准化特征F之间的差异。给定R,我们进一步将其分解为两部分:与身份相关所有特征R+ 通过由学习的信道注意向量a=[a1,a2,···,ac]∈Rc来掩蔽R,R+(:,:,k)=aR(:,:,k),在一个小批处理中,我们对三幅图像进行了采样。例如,锚定样本A、具有与锚定样本相同身份的阳性样本P、以及具有与锚定样本不同身份的阴性样本N为了简单起见,我们用下标区分三个样本。例如,样本a的样式归一化特征由Fa表示。直观地说,将身份相关特征R+添加到归一化特征F,我们称之为增强特征F+=F+R+,导致更好的区分能力-具有相同身份的样本特征更接近,而具有不同身份的样本特征更远。我们计算样本之间的距离在一个空间平均汇集的功能,以避免分心所造成的空间不对齐的样本(e。例如,在一个实施例中,由于不同的姿势/视点)。我们表示空间平均池化F和F+的特征分别为f=pool(F),f+=pool(F+)。因此,澄清损失定义为:L+=Softplus(d(f+,f+)−d(fa,fp))KR−(:,:,k)=(1−a)R(:,:,k),(三)SNR一+Softplus(d(f,f)p)−d(f+,f+)),(六)=L+L−n3147˜SNR−−−−−˜˜˜L= LReID+λb L,(8)其中d(x,y)表示x和y之间的距离,其被定义为d(x,y)=0。5−xTy/(2xy)。Softplus(·)=ln(1+exp(·))是一个单调递增的函数,旨在降低优化难度避免负损失值。另一方面,我们预计将身份无关特征R−添加到归一化特征F中,我们称之为污染特征F=F+R,可能会降低区分能力。与补偿前的归一化特征F相比,我们预计增加R−会将具有相同身份的样本特征我们将F的空间平均汇集特征表示为=pool(F)。销毁损失为:4.1. 数据集和评估指标为了评估我们方法的泛化能力,并与之前的性能比较工作保持一致,我们对常用的公共ReID数据集进行了广泛的实验,包括Market 1501 [55],DukeMTMC-reID [57],CUHK 03 [24],大规模MSMT 17 [44]和PRID [12],GRID [27],VIPeR[9]和i-LIDS [45]的四个小规模ReID数据集。为了简单起见,我们将Market 1501表示为M,将DukeMTMC-reID表示为Duke或D,将CUHK 03表示为C。我 们 遵 循 通 常 的 做 法 , 并 使 用 累 积 匹 配 特 征(CMC)在秩-1,平均平均精度(mAP)来评估性能。4.2. 消融研究--−LSNR=Softplus(d(fa,fp)−d(fa,fp))(七)我们进行了全面的消融研究--−+Softplus(d(fa,fn)−d(fa,fn)).3.2.联合训练我们使用常用的ResNet-50作为基础ReID网络,并插入建议的SNR模块af-每个卷积块(总共四个卷积块/阶段)(见图2(a))。我们以端到端的方式训练整个总损失是4bSNRb=1其中Lb表示第b个SNR模块的对偶因果关系损失。LReID表示广泛使用的ReID损失(分类损失[39,7]和批量硬挖掘的三重损失[11]关于ReID特征向量。λb是控制在阶段b正则化的相对重要性的权重。考虑到阶段3和阶段4的特征与任务(高级语义)更相关,我们实验性地将λ3、λ4 设 置为0.5,并且将λ1、λ2设置为0.1。4. 实验在本节中,我们首先描述子节4.1中的数据集和评估指标。然后,对于可推广的ReID,我们验证了子部分中的SNR的有效性4.2并在第4.3小节中研究其设计选择。我们在第4.4小节中进行可视化分析。 款图4.5示出了我们的方案与最先进的方法分别用于可推广的人ReID和无监督域自适应ReID的比较。在第4.6小节中,我们进一步验证了将SNR模块应用于另一个骨干网络和跨模态(RGB)人员ReID的有效性。我们使用ResNet-50 [10,1,53,28]作为基线和方案的基础网络我们建立了一个强大的基线基线与一些常用的技巧集成。论证了SNR模型及其对偶因果损失约束的有效性。我们模拟了可推广的人ReID的真实场景,其中模型在一些源数据集A上训练,同时在以前看不见的数据集上测试数据集B.我们把它记为A→B。我们有几个实验设置,以 评 估 泛 化 能 力 , e 。 例 如 , 在 一 个 实 施 例 中 ,Market1501→Duke 及 其 他 , Duke→Market1501 及 其他,M+D+C+MSMT17→其他。我们的设置涵盖用于训练的单源数据集和多源数据集数据集用于训练。SNR的有效性。这里我们比较几种方案。基线:基于ResNet的强大基线-50. Baseline-A-IN:一个简单的模型,我们将Baseline中 的 所 有 Batch Normalization ( BN ) [15] 层 替 换 为Instance Normalization(IN)。Baseline-IBN:与IBN-Net(IBN-b)[32]和OSNet [61]类似,我们仅将IN分别添 加 到 Baseline 的 Conv 1 和 Conv 2 块 的 最 后 一 层Baseline-A-SN:一个模型,我们通过可切换归一化(SN)替换Baseline中的所有BNSN [29]可以被视为IN、BN和LN(层归一化)[2]的归一化技术的自适应集成版本。Baseline-IN:在Baseline的前四个卷积块/阶段之后分别添加四个IN层。基线SNR:我们的最终方案,其中四个SNR模块分别添加在基线的前四个卷积块/阶段之后(见图2(a))。为了简单起见,我们也将其称为SNR。表1示出了结果。我们有以下意见/结论:1)基线-A-IN通过以下方式改善基线:百分之四点三Market1501→Duke的mAP和Duke→Market1501的mAP为4.7%。其他与IN相关的基线也带来了收益,这证明了IN对IM的有效性。证明ReID的泛化能力但是,IN也不可避免地丢弃了一些区别性(身份相关)信息,并且我们可以看到它明显降低了Baseline-A-IN、Baseline-IBN和Baseline-IN的性能,相 同 域 的 ReID ( e. 例 如 , 在 一 个 实 施 例 中 ,3148Market1501→Market1501)。3149SNRSNR表1:我们的方案和其他方案的性能(%)比较,以证明我们的SNR模块对可推广的人ReID的有效性。行表示用于训练的源数据集,列对应于用于测试的不同目标数据集。我们通过灰色来掩盖监督ReID的结果,其中测试域已经在训练中看到由于篇幅所限,我们只在此展示部分结果,更多比较可参阅补充资料。源方法目标市场:市场1501mAP等级-1目标:杜克mAP等级-1目标:PRIDmAP等级-1目标:全球资源网mAP等级-1目标:VIPeRmAP等级-1目标:iLIDmAP等级-1基线82.893.219.835.313.76.025.816.037.628.561.553.3基线-A-IN75.389.824.142.733.921.035.627.238.129.164.255.0基线-IBN81.192.221.539.219.112.027.519.232.123.458.348.3市场1501(M)基线-A-SN83.293.920.138.035.425.029.022.032.223.453.443.3基线-IN79.590.925.144.935.025.035.727.835.127.564.054.2基线信噪比(我们的)84.794.433.655.142.230.036.729.042.332.365.656.7基线21.848.371.283.415.711.014.58.837.026.968.358.3基线-A-IN26.556.064.578.938.629.019.613.635.127.267.456.7杜克大学(D)基线-IBN基线-A-SN24.625.352.555.069.573.081.485.927.441.419.032.019.918.812.012.832.831.323.424.163.564.861.763.3基线-IN27.258.568.980.440.527.020.313.234.626.370.665.0基线信噪比(我们的)33.966.772.984.445.435.035.326.041.232.679.368.7M + D +中大03基线72.488.770.183.839.028.029.620.852.141.589.085.0公司简介基线信噪比(我们的)82.393.473.285.560.049.041.330.465.055.191.987.0Baseline-A-SN学习训练数据集中IN、BN和LN的组合权重,因此在同一领域具有优异的性能,但它没有专门的设计来提高泛化能力。2) 由于通过所提出的恢复步骤补偿身份相关信息,我们的最终方案Baseline-SNR实现了卓越的泛化能力,其显著优于所有基线方案。特别是,基线SNR优于对于M→D、D→M和D→GRID,mAP的基线IN分别增加8.5%、6.7%和15.0%3) 在以前看不见的目标域上的泛化性能随着源数据集增加。当使用所有四个源数据集(也包括大规模MSMT17 [44])时,我们有一个非常强大的基线(即 ,例如, VIPeR数据集 上的mAP 为52.1%,当Market1501单独用作来源时,为37.6%)。有趣的是,我们的方法仍然显著超过强基线基线,甚至在PRID数据集上的mAP中超过21.0%4) 由于PRID/GRID数据集与其他数据集之间存在较大的风格差异 对于这种具有挑战性的情况,我们的方案在M→PRID和D→PRID的mAP中仍然显著优于基线IN7.2%和4.9%。5) 对于有监督的ReID(被灰色掩盖),我们的方案在M→M和D→D的mAP中也分别明显优于基线1.9%和1.7%。这是因为在源域中也存在风格差异。双重因果损失约束的影响。我们研究了所提出的双重因果关系损失LSNR的有效性M→D和D→M的mAP分别为7.5%和4.7%。这样的约束促进了身份相关/身份无关特征的解开。此外,两个澄清损耗L+和破坏损耗L−对SNR至关重要,它们是互补的,共同有助于获得优异的性能。复杂性我们最终方案SNR的模型大小与基线非常相似(24.74 M vs. 24.56米)。4.3. SNR的设计选择在哪个阶段增加SNR?我们比较了将单个SNR模块添加到不同卷积块/级以及添加到所有四个级(即,阶段-14)的ResNet-50(见图2(a))。该模块添加在卷积块/级的最后一层。如表2b所示,与基线相比,增加SNR的改善在阶段3和阶段4上是显著的,并且在阶段1和阶段2上稍小当SNR被添加到所有四个阶段时,我们实现了最佳性能。解缠设计的影响。在我们的SNR模块中,如小节3.1的(3)(4)中所述,我们使用g(·)及其互补的1-g(·)作为掩码来提取身份相关特征R+和身份不相关特征R-从残差特征R。在这里,我们研究的影响,不同的解纠缠设计的信噪比。SNRconv:我们通过1×1卷积层解开残留特征R,然后进行非线性ReLU活动。瓦申岛例如,R+=ReLU(W+R),R−=ReLU(W−R)。SNRg(·)2:我们使用两个非共享的gatesg(·)+,g(·)−来获得R+和R−。 表2c显示了结果。我们观察到:(1)我们的方法在M→D和D→M的mAP中分别比SNRconv高出3.9%和4.5%,demon-其中包括澄清损失L+和破坏内容自适应设计的好处;(2)我们的外-损失L−SNR叶老表2a显示了结果。我们的最终方案SNR与双重因果关系损失LSNR优于没有这样的约束(即。例如,方案SNR w/oLSNR),在mAP中,在看不见的情况下,执行SNRg(·)22.4%/2.9%目标Duke/Market 1501,展示了鼓励R+和R-之 间 相 互 作 用 的 设计 的 好 处。3150SNRSNR˜˜˜˜−−˜˜˜˜ ˜˜表2:双重因果关系损失约束的有效性(a),以及SNR设计选择的研究(b)和(c)。(a) 对偶因果损失约束研究。M−→DD−→M(b) 研究在哪一级增加信噪比。M−→DD−→M(c) SNR中的解纠缠设计M−→D D −→M方法地图 秩-1 mAP等级-1方法地图 秩-1 mAP等级-1方法地图 秩-1 mAP等级-1基线基线SNR(不含LSNR)SNR w/oL+26.1 45.0 29.2 57.428.8 48.9 30.2 59.8第一期23.7 42.8 27.6 57.7第二期24.0 44.4 28.6 58.8三级26.4 46.3 29.5 60.7基线SNR转换29.7 51.1SNR w/oL−28.0 48.1 30.3 59.1信噪比33.6 55.1 33.9 66.7第四阶段26.2 45.8 29.4 59.7全阶段 33.6 55.1SNRg(·)231.252.9信噪比33.6 55.1 33.9 66.7输入������ −=��� +���−���+=��� +���+原始对比度更改照明更改SNR模块的输入SNR在SNR模块中的后IN缓冲区Output tmountain +ofSNRmodule���(((a)(b)(c)图4:使用该工具在SNR模块之前/之内/之后显示中间特征图3:(a)SNR模块(SNR 3)内不同特征的激活图。结果表明,信噪比可以很好地区分身份相关/不相关特征。(b)我们方案的激活图(底部)和强基线基线(顶部)对应于不同风格的图像。我们的映射对样式变体更加一致/不变。4.4. 可视化特征图可视化。为了更好地理解SNR模块是如何工作的,我们将第三个SNR模块(SNR 3)的中间特征图可视化。在[61,56]之后,我们通过总结沿通道的特征图,然后进行空间归一化来获得每个激活图。图 3 ( a ) 分别显 示 了归 一 化 特 征 F 、 增 强 特 征F+=F+R+ 和污染特征F=F+R的激活图。我们看到,在添加身份无关特征R-之后,污染特征F-主要在背景上具有高响应。相比之下,具有身份相关特征R +的恢复的增强特征F+对人体的区域具有高响应,更好地捕获有区别的区域。此外,在图3(b)中,我们通过改变输入图像的样式(e.例如,在一个实施例中,对比度、照度、饱和度)。我们可以看到,对于不同风格的图像,我们的方案的激活图比基线的激活图更一致/不变。相比之下,Baseline的激活图更加混乱,并且很容易受到风格变体的影响这表明我们的方案对风格变化具有更强的鲁棒性。特征分布的可视化。在图4中,我们使用t-SNE [30]可视化了我们网络的第三个SNR模块的特征分布。它们表示SNR模块的(a)输入F、(b)风格归一化特征F和(c)输出F+的特征分布。我们观察到,(a)在SNR之前,从[30]第30话 “红色”/“绿色”节点:来源样本dataset Market 1501/看不见的目标数据集Duke。两个数据集('红色':源训练数据集Market 1501;“绿色”:看不见的目标数据集Duke)在很大程度上是单独分布的,并且具有明显的域差距。(b)在SNR模块内,在IN之后,该域间隙已经被消除。但是相同身份的样本(c)经过身份相关特征的恢复,不仅缩小了特征分布的域间隙,而且具有相同身份的样本的特征分布比(b)中的特征分布更紧凑。4.5. 与艺术由于减少风格差异和恢复身份相关特征的能力,我们提出的SNR模块可以增强ReID网络的泛化能力并保持其区分能力。它可以用于可推广的人ReID,即。例如,域生成(DG),并且还可以用于构建用于个人ReID的无监督域自适应(UDA)的骨干网络。我们通过与表3中的最新方法进行比较,评估了DG-ReID和UDA-ReID上SNR的有效性。领域可泛化人ReID在实际应用中非常有吸引力,它支持“一次训练,到处运行”。然而,这方面的工作很少[36,16,61,20]。由于对风格归一化和恢复的探索,我们的方案SNR(Ours)显著优于第二好的方法OSNet- IBN[61],对于Market 1501 →Duke和Duke→Market1501在mAP中分别。OSNet-IBN增加了实例规范化(IN)到其亲层的较低层[32 ]第32话。然而,这并没有克服IN的固有缺点,并且不是最佳的。Song等人[36]第三十六话相同ID相同ID源目标相同ID相同ID基线我们3151表3:分别针对域可泛化人员ReID(顶行)和无监督域自适应人员ReID(底行)与现有技术方法的性能(%)比较。“(U)”表示“未标记的”。我们通过灰度屏蔽使用我们的基线和使用我们的SNR模块的方案,这提供了公平的比较。目标:杜克泰吉特:市场1501领域泛化(不使用目标数据)无监督域自适应(使用未标记的目标数据)基线+MAR [50]这项工作MSMT17 + Duke(U)46.266.3MSMT17 + Market1501(U)39.466.9SNR(Ours)+ MAR[50]这项工作MSMT17 + Duke(U)61.678.2MSMT17 + Market1501(U)65.985.5person ReID的基础上,提出了一种域不变映射网络(Domain-Invariant Mapping Network,DIMN),通过元学习流水线学习个人图像与其身份分类器之间的映射。我们遵循[36]并在相同的五个数据集(M+D+C+CUHK 02 [23]+CUHK-SYSU[47])上训练SNR在 PRID/GRID/VIPeR/i-LIDS 上 , SNR 在 mAP 中 优 于DIMN14.6%/6.6%/1.2%/11.5% , 在 Rank-1 中 优 于12.9%/10.9%/1.7%/13.9%。ReID的无监督域自适应已经得到了广泛的研究,其中未标记的目标数据也用于训练。 我们遵循最常用源→目标设置[59,26,61,50,48]进行比较。我们将SNR(见图2(a))作为骨干,然后是域自适应策略MAR [50]自适应,我们将其表示为SNR(Ours)+MAR[50]。为了进行比较,我们将我们的强基线作为主干,然后是MAR,我们将其表示为基线+MAR,以评估所提出的SNR 模 块 的 有 效 性 。 我 们 可 以 看 到 SNR ( Ours )+MAR[50]显著优于 的 二好 UDA 里德 法市场1501 +Duke(U)→Duke的mAP为3.8%,3.4%,Duke+Market1501(U)→Market1501,分别地。此外,SNR(Ours)+MAR 优于Baseline+MAR通过22.9%,百分之二十四点五 在地图类似可 以 发 现 MSMT17+Duke ( U ) →Duke 和MSMT17+Market1501(U)→Market1501的趋势。一般来说,作为即插即用模块,SNR明显增强了ReID网络的泛化能力。4.6. 延伸在其他主干上的性能。我们将SNR添加到最近提出的轻量级ReID网络OSNet [61]中,并观察到通过在在OS块中,新方案OSNet-SNR在mAP中对于M→D和D→M分别优于它们的模型OSNet-IBN5.0%和5.5%(参见补充)。RGB-红外交叉模态人员ReID。进一步展示SNR处理图像的能力,大的风格变化,我们在基准数据集SYSU-MM 01上对更具挑战性的RGB-红外交叉模态人员ReID任务进行实验[46]。我们的方案将SNR集成到基线,在4种不同设置下,在mAP中的性能显著优于基线8.4%、8.2%、11.0%和11.5%,并且还实现了最先进的性能(更多详细信息请参见补充材料5. 结论在本文中,我们提出了一个可推广的人ReID框架,以 实 现 有 效 的 ReID 。 引 入 了 样 式 规 范 化 和 恢 复(SNR)模块,利用实例规范化(IN)的优点,滤除样式变化的干扰,恢复被IN丢弃的身份相关特征为了有效地分离身份相关和无关特征,我们进一步设计了信噪比的双重因果损失约束。在几个基准/设置上的广泛实验证明了SNR的有效性。我们的嵌入SNR的框架在域泛化和无监督域自适应ReID方面都取得了最佳性能。此外,我们还验证了信噪比6. 致谢这项工作得到了国家自然科学基金U1908209,61632001 和 中 国 国 家 重 点 研 究 发 展 计 划2018AAA0101400的部分支持。方法会场源地图秩-1源地图秩-1OSNet-IBN [61]ICCV'19Market150126.748.5公爵26.157.7基线这项工作Market150119.835.3公爵21.848.3基线-IBN [16]BMVC'19Market150121.539.2公爵24.652.5信噪比(我们的)这项工作Market150133.655.1公爵33.966.7[20]第二十话ArXiv'19MSMT1743.364.5MSMT1736.664.8OSNet-IBN [61]ICCV'19MSMT1745.667.4MSMT1737.266.5基线这项工作MSMT1739.160.4MSMT1733.859.9信噪比(我们的)这项工作MSMT1750.069.2MSMT1741.470.1ATNet [26]CVPR'19Market1501 + Duke(U)24.945.1Duke + Market1501(U)25.655.7CamStyle [60]TIP'19Market1501 + Duke(U)25.148.4Duke + Market1501(U)27.458.8ARN [25]CVPRW'19Market1501 + Duke(U)33.460.2Duke + Market1501(U)39.470.3ECN [59]CVPR'19Market1501 + Duke(U)40.463.3Duke + Market1501(U)43.075.1[52]第五十二话ICCV'19Market1501 + Duke(U)54.372.4Duke + Market1501(U)54.678.4SSG [6]ICCV'19Market1501 + Duke(U)53.473.0Duke
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 构建智慧路灯大数据平台:物联网与节能解决方案
- 智慧开发区建设:探索创新解决方案
- SQL查询实践:员工、商品与销售数据分析
- 2022智慧酒店解决方案:提升服务效率与体验
- 2022年智慧景区信息化整体解决方案:打造数字化旅游新时代
- 2022智慧景区建设:大数据驱动的5A级管理与服务升级
- 2022智慧教育综合方案:迈向2.0时代的创新路径与实施策略
- 2022智慧教育:构建区域教育云,赋能学习新时代
- 2022智慧教室解决方案:融合技术提升教学新时代
- 构建智慧机场:2022年全面信息化解决方案
- 2022智慧机场建设:大数据与物联网引领的生态转型与客户体验升级
- 智慧机场2022安防解决方案:打造高效指挥与全面监控系统
- 2022智慧化工园区一体化管理与运营解决方案
- 2022智慧河长管理系统:科技助力水环境治理
- 伪随机相位编码雷达仿真及FFT增益分析
- 2022智慧管廊建设:工业化与智能化解决方案
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)