没有合适的资源?快使用搜索试试~ 我知道了~
598不变性问题:领域自适应人物再识别的范例记忆Zhun Zhong1,2,Liang Zheng3,Zhiming Luo5,Shaozi Li1,YiYang2,41厦门大学认知科学系2悉尼科技大学人工智能中心3澳大利亚国立大学计算机科学研究院4百度研究5厦门大学摘要本文研究了领域自适应的人再识别问题:从一个标记的源域和一个未标记的目标域学习一个再识别模型传统的方法主要是减小源域和目标域之间的特征分布差距。然而,这些研究在很大程度上忽略了目标域中的域内变异,而域内变异包含着影响目标域测试性能的关键因素。在这项工作中,我们全面研究了目标域的域内变化,并提出将re-ID模型推广为三种类型的潜在不变性,即,样本不变性、相机不变性和邻域不变性。为了实现这一目标,一个样本记忆被引入到存储目标域的功能,并容纳三个不变性。内存允许我们在全局训练批处理上执行不变约束,而不会显著增加计算成本。实验表明,三个不变性和所提出的记忆是有效的动态适应系统所不可缺少的。三个re-ID域的结果表明,我们的域自适应精度优于现有技术的状态,一个 很 大 的 幅 度 。 代 码 可 从 以 下 网 址 获 得 :https://github.com/zhunzhong07/ECN1. 介绍人员重新识别(re-ID)[38,41,31,14]是一个跨相机图像检索任务,其目的是从数据库中找到给定查询的匹配人员在通讯作者(szlig@xmu.edu.cn)。这项工作是在Zhun Zhong(zhunzhong007@gmail.com)作为悉尼科技大学的访问生时完成的。杨毅(yee.i. gmail.com)在他的专业体验计划期间访问百度研究院时完成了部分工作尽管监督学习在re-ID社区中取得了令人印象深刻的成就,但学习在目标域上很好地泛化的re-ID模型仍然是一个挑战[7,29]。在目标域中获得足够的未标记数据相对容易,但是很难学习没有注释的深度re-ID模型。本文研究了无监督域自适应问题,其中我们提供了标记的源域和未标记的目标域。我们的目标是学习目标集的判别表示。在UDA的传统设置中,大多数方法都是在闭集场景下进行分解的,假设源域和目标域共享完全相同的类[27,10]。然而,这种假设不能应用于UDA的个人re-ID,因为来自两个域的类完全不同。UDA in person re-ID是一个开集问题[3],比闭集问题更具挑战性在UDAin person re-ID期间,如现有闭集UDA方法中那样直接对齐源和目标域的分布是不合适的。相反,我们应该学会从目标域中很好地分离看不见的类。最近的先进方法解决了UDA问题主要通过减少图像级别[7,30,1]或属性特征级别[29,16]上的源域和目标域之间的差距来进行重新识别。这些方法只考虑了源域和目标域之间的总体域间变化,而忽略了目标域的域内事实上,目标的变化是关键的影响因素的人重新识别。在这项研究中,我们明确地考虑了目标域的域内变化,并研究了三个潜在的不一致性,即,示例不变性、相机不变性和邻域不变性,如下所述。首先,给定一个在标记集上训练的深度re-ID模型,我们观察到排名靠前的检索结果总是更有可能与查询在视觉上相关在图像分类中观察到类似的现象[33]。这599推挽个人样本第三个样本第一个样本(a) 示例不变性(b)相机不变性(c)邻域不变性图1.三个基本不变性的例子(a)样本不变性:一个样本被强制与其他样本分开(b)相机不变性:鼓励样本及其相机风格转移(CamStyle)图像彼此靠近,以及CamStyle图像应该远离其他图像。(c)邻域不变性:样本和它的邻居被迫彼此靠近表明深度re-ID模型已经从视觉数据中学习了表观相似性而不是语义信息。在现实中,每个人的样本可以显着不同的其他样本,甚至属于同一身份。因此,可以使re-ID模型能够通过学习区分个体样本来捕获人的表观表示在此基础上,引入样本不变性,通过强制每个人样本靠近自己而远离其他人样本来学习未标记目标数据的表观相似性其次,作为人的重新识别的关键影响因素,相机风格变化[44]可能会显著改变人的外观然而,通过摄像机式传输生成的人物图像仍然属于原始身份.考虑到这一点,我们在假设人物图像和相应的相机风格传输图像应该彼此接近的情况下强制执行相机不变性[43]第三,假设我们提供了一个在源域和目标域上训练的适当的re-ID模型。目标样本及其在目标集中的最近邻可能具有相同的标识。考虑到这一特点,我们提出了邻里不变性,鼓励一个ex-emplar和其对应的可靠邻居彼此接近。这有助于我们学习一个更鲁棒的模型,以克服目标域的图像变化这三个不变性的例子如图所示。1.一、基于以上几个方面,本文提出了一种新的非监督域自适应的身份识别方法。在训练过程中,样本记忆被引入到网络中,以记忆目标集的每个样本的最新表示。存储器使我们能够在整个/全局目标训练批次而不是迷你批次上实施不变性约束。这有助于我们在网络优化过程中有效地执行目标域的不变性学习。总之,这项工作的贡献有三个方面:• 我们全面研究了目标域的三个潜在的不变性。实验表明,这些性能是改善材料性能所不可缺少的re-ID模型的可转移性。• 我们提出了一个内存模块,有效地执行到系统的三个不变性。记忆有助于我们利用样本相似性-全局训练集上的larity。有了内存,可以显着提高精度,只需要非常有限的额外计算成本和GPU内存。• 我们的方法在三个大的问题缩放数据集:Market-1501、DukeMTMC-reID和MSMT 17。2. 相关工作无监督域自适应。解决UDA问题的一个有效方法是调整两个域之间的特征分布。这种对齐可以通过减少域之间的最大平均离散度(MMD)[11][17,35]或训练对抗域分类器[2,27]来实现,以鼓励源和目标域的特征无法区分。上述方法是在闭集场景的假设下设计的,其中源域和目标域的类完全相同。然而,在实践中,有许多场景在目标域中存在未知的类.来自目标域的未知类样本不应与源域对齐。这个任务是由Busto和Grall [3]引入的,称为开集域自适应。为了解决这个问题,Busto和Grall [3]开发了一种通过丢弃未知类目标样本来学习从源域到目标域的映射的方法最近,提出了一种对抗性学习框架[22],将目标样本分为已知和未知类,并在特征对齐期间拒绝未知类。在本文中,我们研究的问题,UDA的人重新身份证,其中类是完全不同的源和目标域之间。这是一个更有挑战性的开集问题。无人监督的人员重新识别。艺术监督方法在人的再识别方面取得了很大的成就[14,26,39,25],依赖于丰富的标记数据和成功的深度网络[18,12,8]。 但业绩600输入分类图2.建议方法的框架在训练期间,标记的源数据和未标记的目标数据被前馈到深度re-ID网络中以获得最新的表示。随后,设计了两个组件来优化网络与源数据和目标数据,分别。第一个组件是计算标记源数据的交叉熵损失的分类模块。第二组件是示例性存储器模块,其保存目标数据的最新特征,并计算未标记目标数据的不变性学习损失。在看不见的数据集上测试时可能会显著下降。为了解决这个问题,几种方法使用标记的源域来学习深度re-ID模型作为初始化的特征提取器。 然后,这些方法学习一个度量,[36]或通过无监督聚类来细化re-ID模型[9]在目标域上。然而,这些方法没有利用标记的源数据作为一个有益的监督过程中的为了克服上述缺点,许多领域自适应方法被开发出来,以适应模型与标记的源域和未标记的目标域。这些方法主要是为了减少图像级[7,30,1]和属性特征级[29,16]数据集之间的域偏移。尽管它们的有效性,这些方法在很大程度上忽略了目标域中的域内变化最近,Zhong et al. [43]首先提出了一种HHL方法来学习目标域的摄像机不变网络。然而,HHL忽略了目标域中的潜在阳性对。这可能导致re-ID模型对目标域中的其他变化(诸如姿态和背景变化)敏感。与以前的作品不同。实际上,在已有的工作中,三个不变性和记忆模块已被然而,我们的工作是与他们不同。范例不变性和范例模块已经在自监督学习[33],少镜头学习[23,28,32]和监督学习[34]中提出然而,我们探索了这种想法在非监督域自适应和克服目标域中的变化的可行性。邻域不变性类似于深度关联学习(DAL)[4]。与DAL的不同之处在于,我们设计了一个软分类损失来对齐前k个邻居,而不是计算相互的前1个邻居之间的三重损失。重要的是,与HHL[43]和DAL [4]相比,我们综合考虑了三个不变性约束。这三个不变性之间的互补性是值得探索的。3. 该方法初步的。在人re-ID中的无监督域自适应(UDA)的上下文中,我们被提供有完全标记的源域{Xs,Ys},包括Ns个每个图像。每个人图像xs,i与身份ys,i相关联。身份的数量是M,用于源域。此外,我们提供了一个未标记的目标域Xt,包含Nt个人的图像。身份和-目标域的符号不可用。我们的目标是使用标记的源域和未标记的目标域来学习可转移的深度re-ID模型,该模型在目标测试集上很好地泛化。3.1. 框架概述我们的方法的框架如图所示。二、在我们的模型中,在ImageNet [6]上预训练的ResNet-50 [12]被用作骨干。具体来说,我们将ResNet-50的层新的FC层被命名为FC-4096,后面是批处理规范化[13],ReLU [19],Dropout[24]有两种成分。第一个组件是一个分类模块,用于对标记的源数据进行监督学习。 它有一个M维的FC层(名为作为FC-#id)和softmax激活函数。我们使用交叉熵损失来计算源域的损失。另一个组件是一个范例记忆模块,用于对未标记的目标数据进行不变性学习。样本存储器用作特征存储器,用于保存每个目标图像的FC-4096层的最新输出我们通过估计小批量目标样本与样本存储器中保存的整个目标样本之间的相似性来计算目标域标记源数据深度re-ID网络SoftmaxLsrc…示例内存密钥存储器L(a)范例不变性TGTID 1id 7 idi未标记目标数据(b)摄影机不变性…img 1 img 2 imgj源流目标流量源+目标流值存储器(c)邻域不变性n…J…212012年12月2日��� ......这是什么?���n不变性学习img Aimg Bimg C推拉A的邻居的CamStyle601ns3.2. 源域的监督学习由于源图像的身份是可用的,我们将源域的训练过程视为分类问题[38]。交叉熵损失用于优化网络,公式为,3.4. 目标域的不变性学习仅用源域训练的深度re-ID模型通常对目标域的域内变化敏感这些变化是影响性能的关键因素。因此,在图像传输过程中,需要考虑目标区域的图像变化Lsrc= −1Σnsi=1logp(ys,i|xs,i),(1)从源域到目标域的知识在这项研究中,我们调查了三个潜在的不变性的目标数据的UDA在人的重新识别,即,范例不变性,其中ns是训练批次中的源图像的数量p(ys ,i|xs,i)是源图像xs,i属于身份ys,i的预测概率,其由分类模块获得。使用标记的源数据训练的模型在相同的分布式测试集上产生高精度。然而,当测试集与源域的分布不同时,性能会严重下降。接下来,我们将介绍一种基于范例记忆的方法来克服这个问题,通过考虑目标域在网络训练中的域内变化。3.3. 示例内存为了提高网络在目标测试集上的泛化能力,我们提出了在目标测试集上加强网络的泛化能力。摄像机不变性和邻域不变性。样本不变性。每个人的形象的外观可能与其他人甚至共享相同的身份非常不同。换句话说,每个人的形象可以接近自己,而远离其他人。因此,我们通过学习区分个人图像来将样本不变性强制到re-ID模型中。这允许re-ID模型捕获个人的表观表示为了达到这个目的,我们把Nt 个目标图像作为Nt 个不同的类,并将每个图像分类到它自己的类。给定目标图像xt,i,我们首先计算xt,i的特征与保存在密钥存储器中的特征之间的余弦相似度然后,使用softmax函数计算xt,i属于类别i不通过估计SIM,将方差学习到网络p(i|xt,i)=exp(K[i]f(xt,i)/β)、(3)目标图像之间的相似性。 为了实现这一目标,我们Ntj=1 exp(K[j]Tf(xt,i)/β)首先建立一个样本存储器,用于存储所有目标图像的最新特征。范例记忆是- 键值结构[34],其具有键存储器(K)和值存储器(V)。在示例存储器中,每个插槽将FC-4096的L2规范化特征存储在密钥部分,而将标签存储在值部分。给定一个包含Nt幅图像的未标记目标数据,我们将每幅图像实例看作一个独立的类别.因此,样本存储器包含Nt个槽,其中每个槽存储目标图像的特征和标签。在初始化中,我们将密钥存储器中所有特征的值初始化为零。为了简单起见,我们将相应的索引分配为目标样本的标签,并将它们存储在值存储器中。 例如,第i个目标图像在值存储器中,被分配给V[i]=i。值记忆中的标签在整个训练过程中是固定的在每次训练迭代期间,对于目标训练样本Xt,i,我们通过深度reID网络将其转发,并获得FC-4096的L2归一化特征f(xt,i)。 在反向传播过程中,我们更新训练样本xt,i的密钥存储器中的特征,K[i]←αK[i]+(1−α)f(xt,i),(2)其中K[i]是第i个槽中的图像xt,i的密钥存储器超参数α∈[0,1]控制更新速率。然后通过K[i] ←<$K[i]<$2对K[ i]进行L2归一化。其中β∈(0,1]是平衡分布尺度的温度事实。样本不变性的目标是最小化目标训练图像上的负对数似然,Lei=−logp(i|xt,i)。(四)相机不变性相机风格的变化是一个重要的因素,在人的re-ID。一幅人物图像在不同的摄像机下可能会出现明显的外观变化。使用标记源数据训练的re-ID模型可以捕获源域的相机不变性,但可能会受到目标相机引起的图像变化的影响。因为两个域的相机设置将非常不同。为了克服这个问题,我们建议为网络配备目标域的相机不变性[43],基于图像及其相机风格的传输对应物应该彼此接近的假设。 在本文中,我们假设相机ID由于当从视频序列中收集人物图像时可以容易地获得摄像机ID,因此每个图像的ID是已知的。给定未标记的目标数据,我们将每个相机视为一个风格域 , 并 采 用 StarGAN [5] 为 目 标 域 训 练 相 机 风 格(CamStyle)传递模型[44]。利用学习的CamStyle传递模型,从相机c收集的每个真实目标图像被增强为C−1图像在其他相机的风格,而保持-602Kntjt,it我t我t我原来的身份。C是目标域中的摄像机数量。为了在模型中引入相机不变性,我们认为每一幅真实图像及其风格转换的对映体具有相同的身份。因此,相机不变性的损失函数被解释为,Lci=−logp(i|(i),(5)其中,Xt,i是从Xt,i的风格转移图像中随机选择的目标样本。 以这种方式,同一样本的不同相机风格的图像被迫彼此接近。邻域不变性对于每个目标图像,在目标数据中可能存在多个正样本。如果我们能够在训练过程中利用这些阳性样本,我们就能够进一步提高re-ID模型在克服目标域变化方面为了实现这一目标,我们首先计算余弦sim-f(xt,i)与存储在密钥存储器K中的特征之间的相似性。然后,我们找到xt,i在K中的k-最近邻,并将它们的索引定义为M(xt , i,k)。k是M(xt,i,k)的大小。M(xt,i,k)中最近的一个是i。我们赋予网络邻域不变性在假设目标图像xt,i应该长于M(xt,i,k)中的候选类别的情况下。因此,我们分配xt,i属于3.5. 网络最终损耗通过结合源域和目标域的损失,网络的最终损失被公式化为,L=(1−λ)Lsrc+λLtgt,(9)其中λ∈[0,1]控制源损失和目标损失的重要性。为此,我们引入了一个UDA人重新ID的损失函数,其中,源域目的是保持人的基本代表性。同时,目标域的丢失试图从标记的源域中获取知识,并将目标域的不变性属性纳入网络。3.6. 关于三个不变性的讨论分析了每种不变量的优缺点.范例不变性强制每个范例彼此远离。这有利于扩大不同身份的样本之间的但是,同一身份的前雇员也会相距甚远,这对制度是有害的。与此相反,邻域不变性鼓励每个样本和它的邻居彼此接近.这有利于减少相同身份的样本之间的距离。然而,邻域不变性也可能拉近不同身份的图像,因为我们不能保证J类AS,wi,j=.1、j/=i1,j=i,n∈M(xt,i,k).(六)每个邻居与查询示例共享相同的身份因此,在样本不变性和邻域不变性之间存在一种权衡,前者的目的是使来自不同身份的样本远离邻域不变性的目标被公式化为一个软标签的损失,而后者则试图鼓励具有相同身份的典范相机不变性L妮Σ=−wj/=ii、jlogp(j|Xt我),则n∈M(xt我,k)。(七)具有与样本不变性相似的效果,也导致样本及其相机式转移样本注意,为了区分样本不变性和邻域不变性,在等式(1)中,xt,i7 .第一次会议。不变性学习的整体损失。通过联合考虑样本不变性、相机不变性和邻域不变性,目标训练图像上的不变性学习的总体损失可以写为,分享相同的代表性。4. 实验4.1. 数据集我们在三个大规模的人员重新识别(re-ID)基准上评估所提出的方法:Market-1501 [37],DukeMTMC-reID [21,40]和MSMT 17 [30]。每-Ltgt= −1nt Σi=1wi,jlogp(j|(8)通过累积匹配特征(CMC)和平均精度(mAP)来评估平均值。其中j∈M(x∈ K,k). x*是一个随机的图像t我t我4.2. 实验设置从xt,i和它的相机风格的联合集合中提出来转移图像。 nt是训练批次中的目标图像的数量。由方程式8,当i=j时,采用样本不变性学习对网络进行深度re-ID模型。我们采用ResNet-50 [12]作为模型的主干,并使用ImageNet [6]上预训练的参数初始化我们解决前两个问题和通过分类x,到其残留层,以节省GPU内存。输入图像自己的课。 当i/=j时,网络被优化为256×128。在训练中,我们随机引导x方向的在M(x,k)中的近邻。603是翻转,随机裁剪和随机擦除[42]用于数据增强。退出的概率设置为0.5。我们604807060504030200.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 145403530252015100.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1表1.在等式中使用不同β值进行评估3 .第三章。在前40个epoch中,ResNet-50基本层的学习率为0.01,其他基本层的学习率为0.1。接下来的20个epoch的学习率除以10。SGD优化器用于训练模型。我们将源图像和目标图像的小批量大小设置为128。我们将密钥存储器的更新速率α初始化为0.01,并使α随epoch数线性增加,即, α = 0。01× epoch. 在没有指定的情况下,我们设置温度因子β=0。05,候选正样本数k=6,损失权重λ=0。3 .第三章。 我们用样本不变性和相机不变性训练模型在前5个时期学习,并为其余时期添加邻域不变性学习。在测试中,我们提取了Pooling-5层的L2归一化输出作为图像特征,并采用欧氏距离来度量查询图像和图库图像之间的相似性。基线。我们将模型设置为仅使用分类组件训练网络时的基线4.3. 参数分析我们首先分析了我们的方法对三个重要超参数的敏感性,温度事实β、损失的权重λ和候选正样本的数量k。默认情况下,我们改变一个参数的值,而保持其他参数不变。温度系数β。在表1中,我们研究了方程中温度因子β3 .第三章。使用较低的β值会导致较低的熵,这通常会获得更好的结果。然而,如果温度事实太低,例如,网络不收敛。,β=0。01.当β在0.05左右时产生最佳结果源损耗和目标损耗的权重λ。在图3中,我们比较了等式中λ的不同值。9 .第九条。当λ=0时,我们的方法减少到只使用标记源数据训练模型的基线。它清楚地表明,当考虑目标域(λ >0)的不变性学习时,我们的方法在所有值上都显着改善了基线。值得注意的是,即使只使用未标记的目标数据(λ=1)训练模型,我们的方法也大大优于基线。这证明了我们的方法的有效性和克服目标域中的变化的重要性当λ在0.3至图3.在等式中使用不同λ值进行评估9 .第九条。807060501 2 4 6 8 10 12 14 16 18 20K45403530251 2 4 6 8 10 12 14 16 18 20K图4.邻域不变性学习中不同数目候选正样本的评估。0.8时,我们的结果仅受到轻微影响,并获得了最佳结果。这表明我们的方法在适当的范围内对λ阳性样本数k。 在图4中,我们显示了在邻域不变性学习中使用不同数量的正样本的结果。当k=1时,我们的方法简化为使用样本不变性和相机不变性学习训练的模型。当在系统中加入邻域不变性学习(k >1)时,我们的结果得到了一致的改善。秩-1精度和mAP首先随着k的增加而提高,并且当k在6至8之间时达到最佳结果。 如果k的值太大,则结果会降低。这是因为过量的假阳性样本可能包括在邻域不变性学习期间,这可能会导致延迟。对性能的严重影响。根据上面的分析,我们设置β=0。05,λ=0的情况。在下面的实验中,k=64.4. 评价基线性能。表2报告了基线的结果。当使用标记的目标训练集进行训练并在目标测试集上进行测试时,基线(称为Su- pervised Learning)实现了高精度。然而,当基线仅使用标记的源集(称为Source Only)进行训练并直接应用于目标测试集时,我们观察到性能严重下降。例如,当在Market-1501上进行测试时,基线在杜克大学->市场市场->杜克杜克大学->市场市场->杜克杜克大学->市场市场->杜克73.975.174.373.572.170.171.368.968.167.363.163.36360.661.162.161.460.658.157.85653.94341.640.439.143.842.740.339.142.338.841.340.137.336.837.53638.134.737.833.529.728.4最大平1级准确度(%)1级准确度(%)β杜克→市场-1501市场-1501 →杜克1级mAP1级mAP0.0147.3 20.029.1 13.20.0372.3 40.359.7 35.70.0575.1 43.063.3 40.40.171.4 36.859.3 35.80.552.3 23.145.4 24.21.047.8 20.840.2 19.3最大平均接入605DukeMTMCMarket-1501方法Market-1501dukemtmc-ReidSrc.R-1R-5R-10转轴-20地图Src.R-1R-5R-10转轴-20地图监督学习N/A87.695.597.298.369.4不适用75.687.390.692.957.8源仅43.158.867.374.317.728.944.050.957.514.8我们的w/E48.767.474.080.221.034.251.35864.218.7我们的w/E+C63.179.184.689.128.453.970.876.180.729.7我们的w/E+N58.069.975.680.427.739.753.058.162.923.6我们的w/E+C+N75.187.691.694.543.063.375.880.484.240.4表2.在Market-1501和DukeMTMC-reID上测试时的方法比较。监督学习:使用标记的目标数据训练基线模型。仅源:仅使用标记的源数据训练的基线模型。E:示例不变性。 C:相机不变性。N:邻域不变性。Src. :源域。标记的Market-1501训练集实现了87.6%的rank-1准确率。然而,当在标记的DukeMTMC-reID训练集上训练基线时,rank-1准确率下降到43.1%。在DukeMTMC-reID上进行测试时,可以观察到类似的下降。这种准确性的下降主要是由数据集之间的域转移引起的。不变性学习的消融实验。为了研究所提出的针对目标域的不变性学习的有效性,我们在表2中进行消融研究。首先,我们通过将范例不变性学习添加到基线中来显示范例不变性学习的效果。如表2所示,具体来说,在Market-1501和DukeMTMC-reID上测试时,这表明,范例不变性学习是一种有效的方法,以提高目标领域的人的描述符的歧视。接下来,我们验证了相机不变性学习在样本不变性学习(我们的w/ E)训练的模型上的有效性在表2中,我们观察到在系统中添加相机不变性学习时的显着改进。例如,当将DukeMTMC-reID作为源域并在Market-1501上测试时,“Ours w/ E+C”达到了63.1%的rank- 1准确度。这比“我们的w/ E”在rank-1准确度上高14.4%。改进后的算法表明,目标摄像机引起的图像变化严重影响了测试集的性能。在模型中加入相机不变性学习,可以有效提高系统对相机风格变化的鲁棒性。我们还评估了邻域不变性学习的效果。如表2所示,在训练过程中使用样本不变性和邻域不变性,当使用Market-1501作为源域并在DukeMTMC-reID上进行测试时,该模型(我们的w/ E+N)具有39.7%的rank-1准确度和23.6%的mAP。这使“Ours w/ E”的结果在rank-1准确度上增加了5.5%,在mAP上增加了4.9%。此外,当整合方法DukeMTMC-reID →市场-1501R-1时间(分钟)内存(MB)我们的w/mini-batch67.259.3元5000英镑我们的记忆75.160.6元5,260英镑表3.范例记忆体的计算成本分析。通过将邻域不变性学习转化为更好的模型(我们的w/E+C),我们的方法将在性能上获得更大的改进。例如,当在DukeMTMC- reID上测试时,观察到类似的改善。这是因为通过将邻域不变性学习集成到更具鉴别力的模型中,可以从未标记的目标集合中挖掘出更可靠的正样本。范例记忆的好处。我们分别使用所提出的样本记忆和小批量来实现所提出的不变性学习。对于基于小批量的方法,输入样本由目标样本、对应的CamStyle样本和对应的k-近邻样本组成。如表3所示,基于示例内存的方法明显优于基于小批量的方法。值得注意的是,使用前-与使用mini-batch相比,emplar内存引入了有限的额外训练时间(10+1.3分钟)和GPU内存(10+260 MB)4.5. 与现有技术方法的我们将我们的方法与最先进的非监督学习方法进行了比较,并在Market-1501,DukeMTMC-reID和MSMT17上进行了测试。表4报告了在Market- 1501和DukeMTMC-reID上进行测 试 时 的 比 较 在Market-1501 上 测 试 时 , 我 们 使用DukeMTMC-reID作为源集,反之亦然。我们比较了两种没有迁移学习的手工制作的基于特征的方法:LOMO [15]和BOW [37],这三种无监督方法使用标记的源数据来初始化模型,但在初始化模型时忽略标记的源数据。606方法市场-1501 DukeMTMC-reIDR-1R-5R-10地图R-1R-5R-10地图LOMO [15]弓[37]27.235.841.652.449.160.38.014.812.317.121.328.826.634.94.88.3UMDL [20]34.552.659.612.418.531.437.67.3PTGAN [30]38.6-66.1-27.4-50.7-PUL [9]45.560.766.720.530.043.448.516.4SPGAN [7]51.570.176.822.841.156.663.022.3骆驼[36]54.5--26.3----MMFA [16]56.775.081.827.445.359.866.324.7SPGAN+LMP [7]57.775.882.426.746.462.368.026.2[29]第二十九话58.274.881.126.544.359.665.023.0CamStyle [45]58.878.284.327.448.462.568.925.1HHL [43]62.278.884.031.446.961.066.727.2我们的(ECN)75.187.691.643.063.375.880.440.4表4. 无监督人员re-ID性能与Market-1501和DukeMTMC-reID上最先进的方法进行比较。目标域的学习功能:CAMEL [36],ULDL[20]和 PUL [9], 以及 六 种无 监 督 域自 适 应方 法 :[29][我们首先与手工制作的基于特征的方法进行比较,这些方法不需要在标记的源集和未标记的目标集上进行学习。这两个手工创建的特征在小数据集上证明了有效性,但在大规模数据集上未能产生有竞争力的 结 果 。 例 如 , 当 在 DukeMTMC-reID 上 测 试 时 ,LOMO的秩-1准确度为12.3%。这远远低于基于学习的方法。接下来,我们比较了三种非监督的方法。这三种无监督方法分别利用标记源数据初始化模型和未标记目标数据学习模型,结果均优于手工方法。例如,当使用DukeMTMC-reID作为源集并在Market-1501上测试时,PUL获得45.5%的rank-1准确度,在rank-1准确度上超过BOW9.7%与最先进的领域自适应方法相比,我们的方法在两个数据集上的表现明显优于它们。具体地说,当使用DukeMTMC-reID作为源集并在Market-1501 上 测试 时, 我 们的 方 法获 得 了 rank-1准 确率 =75.1%和mAP = 43.0%,并且当使用Market-1501作为源集并在DukeMTMC-reID上测试时,获得了rank-1准确率= 63.3%和mAP = 40.4%。军衔-在Market-1501和DukeMTMC-reID上测试时,1的准确度分别比当前最佳结果(HHL [43])高12.9%和16.4%。方法Src.MSMT17R-1R-5R-10地图PTGAN [30]市场10.2-24.42.9我们的(ECN)市场25.336.342.18.5PTGAN [30]公爵11.8-27.43.3我们的(ECN)公爵30.241.546.810.2表5. 在MSMT17上测试时的性能评价。当使用DukeMTMC-reID作为源集时,方法产生秩1准确度= 30.2%和mAP = 10.2%。这比PTGAN在秩1准确度上高18.4%,在mAP上高6.9%。5. 结论在本文中,我们提出了一种基于范例记忆的无监督域自适应(UDA)方法的人重新识别任务。有了样本记忆,我们可以直接评估目标样本之间的关系。从而有效地将目标域的不变性约束引入到网络训练过程中。实验证明了不变性学习对提高深度re-ID模型可移植性我们的方法在三个大规模域上产生了UDA准确性的新状态。鸣谢本论文得到了国家自然科学基金(No.61876159号我们还评估了我们的方法在一个更大,更chal-challing数据集,即,MSMT17.由于这是一个新发布的数据集,因此MSMT17上仅报告了一种无监督方法(PTGAN [30])。如表5所示,当使用Market-1501和DukeMTMC-reID作为源域时,我们的方法明显优于PTGAN。比如我们61806172号61572409号U1705286&61571188),福建省2011年中医药健康管理协同创新中心、中国乌龙 茶 产 业 协 同 创 新 中 心 - 福 建 省 协 同 创 新 中 心(2011)。仲准感谢李文静的鼓励。607引用[1] Slawomir Bak,Peter Carr,and Jean-Francois Lalonde.通过合成进行主适应,用于无监督的人重新识别。Proc.ECCV,2018。[2] Konstantinos Bousmalis , George Trigeorgis , NathanSilber-man,Dilip Krishnan,and Dumitru Erhan.域分离网络。在Proc. NIPS,2016中。[3] Pau Panareda Busto和 Juergen Gall。开 集域 自适应 。InProc. ICCV,2017.[4] 陈燕北,朱夏天,龚少刚。无监督视频人物再识别的深度关联学习。在Proc. BMVC,2018。[5] Yunjey Choi,Minje Choi,Munyoung Kim,Jung-WooHa2 Sunghun Kim,and Jaegul Choo. Stargan:用于多域图像到图像翻译的统一生成对抗网络。在Proc. CVPR,2018中。[6] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。在Proc.CVPR,2009中。[7] Weijian Deng , Liang Zheng , Qixiang Ye , GuoliangKang,Yi Yang,and Jiabin Jiao.具有保留的自相似性和域不相似性的图像-图像域自适应用于人重新识别。在Proc. CVPR,2018中。[8] 董轩逸和杨毅。在4个GPU小时内搜索一个强大的神经结构。在Proc. CVPR,2019中。[9] 范呵呵,梁铮,严成刚,杨毅。无人监管人员重新识别:聚类和微调。ACM TOMM,2018.[10] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督在Proc.ICML,2015中。[11] Arthur Gretton,Karsten M Borgwardt,Malte Rasch ,Bern-hardScho¨ l k opf,andAl e xJSmola. 两样本问题的核方法NIPS,2007年。[12] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proc. CVPR,2016中。[13] Sergey Ioffe和Christian Szegedy。批次标准化:通过减少 内 部 协 变 量 偏 移 来 加 速 深 度 网 络 训 练 。 在Proc.ICML,2015中。[14] Wei Li,Xiatian Zhu,and Shaogang Gong.和谐的关注网络,人的再认同。在proc CVPR,2018年。[15] Shengcai Liao,Yang Hu,Xiangyu Zhu,and Stan Z Li.通过局部最大发生表示和度量学习进行个体再识别。在Proc.CVPR,2015中。[16] Shan Lin , Haoliang Li , Chang-Tsun Li , and AlexChichung Kot.用于无监督跨数据集人员重新识别的多任务中级特征对齐网络。在普科。BMVC,2018年。[17] Mingsheng Long , Yue Cao , Jianmin Wang , andMichael I Jordan.使用深度适应网络学习可转移特征。在Proc.ICML,2015中。[18] 罗亚伟,郑良,关涛,于俊青,杨毅。让我们仔细看看Domain Shift:语义一致域适应的类别级对手。在Proc.CVPR,2019中。[19] Vinod Nair和Geoffrey E Hinton。修正线性单元改进受限玻尔兹曼机。InProc. ICML,2010.[20] Peixi Peng,Tao Xiang, Yaowei Wang ,MassimilianoPon- til,Shaogang Gong,Tiejun Huang,and YonghongTian.用于人员重新识别的无监督跨数据集转移学习。在Proc.
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子与电力传动专业《电子技术基础》期末考试试题
- 电力电子技术期末考试题:电力客户与服务管理专业
- 电力系统自动化《电力电子技术》期末考卷习题精选
- 电力系统自动化专业《电力电子技术》期末考试试题
- 电子信息专业《电子技术》期末考试试题解析
- 电子与信息技术专业《电子技术》期末考试试题概览
- 电子信息工程《电子技术》期末考卷习题集
- 电子信息工程专业《电子技术》期末考试试题解析
- 电子信息工程《电工与电子技术》期末考试试题解析
- 电子信息工程专业《电子技术基础》期末考试计算题解析
- 电子技术期末考试题试卷(试卷B)——电子技术应用专业
- 电子科技专业《电力电子技术》期末考试填空题精选
- 2020-21秋《电力电子技术》电机电器智能化期末试题解析
- 电气工程及其自动化专业《电子技术》期末考试题(卷六)
- 电气工程专业《电子技术基础》期末考试试题解析
- 电气自动化专业《电子技术》期末考试试题解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)