平滑对抗域攻击和p-记忆重组的跨域人员身份再识别方法

1平滑对抗域攻击和p-记忆重组的跨域人员身份再识别中山大学数据与计算机科学学院2广东省信息安全技术3机器智能与先进计算教育部重点实验室{wanggc3，liangwq8，wanggrun}@ mail2.sysu.edu.cn，stsljh@mail.sysu.edu.cn摘要现有的大多数人重新识别（re-ID）方法在监督的方式下实现了有希望的准确性，但是它们假设目标域的身份标签是可用的这极大地限制了人员re-ID在真实场景中的可扩展性。因此，当前的per-son re-ID社区关注于跨域person re-ID，其旨在将知识从标记的源域转移到未标记的目标域，并利用来自目标域的数据分布的特定知识为了减少源域和目标域之间的差距，我们提出了一种平滑对抗域攻击（SADA）方法，该方法通过使用训练好的相机分类器来引导源域图像对齐目标域图像为了稳定跨领域知识迁移的记忆痕迹，提出了一种p-记忆再整合（pMR）方法，该方法在目标领域的自训练过程中以小概率p重新整合源知识。使用SADA和pMR，所提出的方法显着提高了跨域的人re-ID。在Market-1501和DukeMTMC-reID基准上的广泛实验表明，我们的pMR-SADA的性能大大优于所有最先进的方法。1. 介绍人员重新识别（re-ID）旨在在给定查询图像的情况下跨非重叠相机视图重新瞄准每个图像。最近，大多数现有的人重新ID的方法实现了显着的改善，使用大量的注释。然而，这些人员重新标识系统通常假设目标域的大规模标识标签是可用的，这极大地限制了它们的规模。*通讯作者在现实世界中的能力。当应用于新的s-cenario时，它们遭受严重的性能下降，例如，在Market-1501数据集上从92.0%降至47.5%[52]。如何将已标记的源域的知识转移到未标记的目标域进行人员再识别，以及如何利用未标记的目标域的特定知识来提高人员再识别方法成为当前人员再识别领域的研究热点。它通常被称为跨域人员重新ID。近年来，许多跨领域的身份识别方法取得了可喜的进展。解决这个问题的一种常见方法是将源域的预训练模型直接应用于目标域进行评估。然而，由于不同的光照、背景、姿态和摄像机视角，源域和目标域之间存在很大的域间隙。为了处理大的域间隙问题，提出了几种基于GAN的方法[6，19，4，18]例如，[6]提出直接使用循环生成对抗模型来减少域间隙问题。然而，由于人的图像的多样性，生成的图像的人的身份信息是很难保持没有任何身份约束。在[6]的基础上，[19，44，4]使用人物分割工具提取人物面具作为额外信息，以帮助GAN保留人物身份信息。虽然它们可以大大提高跨域人员重新识别的性能，但它们在很大程度上取决于隐含地需要人员掩码注释的人员分割任务这些额外的注释也可能限制它们在实践中的可伸缩性。一些研究者不再关注基于图像的知识传递，而是试图通过个人身份聚类来利用目标域的底层例如，提出了一种渐进式非监督学习方法[8]，该方法迭代k均值聚类和CNN微调，以学习人员重新识别的区分特征根据[8]，几个聚类1056810569方法[31，23]使用DBSCAN和层次聚类方法来挖掘目标域的阳性和阴性样本，然而，这些方法简单地使用源域的预训练模型作为目标域的特征学习的初始模型经过几次迭代后，由于卷积神经网络（CNN）的记忆保持能力下降，从源域传递的知识逐渐被遗忘针对这两个问题，我们提出了一种新的途径，缩小领域差距和加强源转移知识。具体来说，为了减少源域和目标域之间的域偏差，我们提出了一种平滑域攻击方法，在图像级将源域对准目标域 给定具有Ns个相机（标记为作为1，2，...， Ns）和具有Nt 个相机（标记为Ns+1，Ns+2，.，N s+N t）的分类器，通过预测这些相机。给定源图像，我们随机生成一个目标摄像机标签作为源图像的新标签来对齐目标域。这是通过固定分类器的权重并允许平滑梯度改变源图像的像素来实现的为了避免源知识记忆保持率的下降，我们提出在目标领域的自我训练过程中以小概率p我们不是直接将源预训练模型应用于目标域，而是建议选择源数据集，用遵循伯努利分布的随机变量重新整合源记忆。利用SA-DA和pMR，所提出的方法显著地改善了跨域人员re-ID。总体而言，本文的贡献是：• 我们提出了一种平滑对抗域攻击（SADA）方法来强制源图像对齐在图像级对目标图像进行处理，以减小源域和目标域之间的差距。• 我们提出了一种p-记忆重组（pMR）方法，该方法具有小概率p，以避免源知识的记忆保持下降。• 在Market-1501和DukeMTMC-reID基准测试上的大量实验表明，我们的pMR-SADA优于所有最先进的方法大幅度地。2. 相关工作监督人员重新识别。由于神经网络的显着表示能力[11，42，40]，目前大多数人的重新ID方法都集中在基于深度的模型[41，36，37，56]上。早期作品[51，46，7，21，39，5，3]设计了不同的网络结构和损失函数来提高re-ID的性能。最近，一些基于身体部位的 方法[33，50，49，32，35，10，38]和注意力-已经提出了基于方法[9，17，34，55]以进一步提高精度。基于部分的模型将最后一个卷积特征图分成几个部分，通过考虑人体结构来学习区分性的局部特征表示。基于注意力的方法旨在强调信息区域而贬低有害区域。虽然这些方法实现了高性能，但它们需要目标域中的大规模标记数据集，这限制了它们在现实世界场景中的可扩展性。无监督跨域人员重新ID。无监督跨域人员再识别的目的是将知识从已标记的源域转移到未标记的目标域，减少了目标域上耗时的标记工作。目前的方法可分为两类。在第一组中，一些方法试图通过设计一致的域损失来减少图像或特征级的域间隙。例如，Lin etal.[22] 提 出 通 过 最 小 化 两 个 域 的 最 大 平 均 差 异（MMD）来减少源域和目标域之间的数据分布差异。Lei等人[28]扩展到相机级差异，并使用梯度反转层来减少分布差异。最近的方法集中在基于GAN的风格转换方法[6，44，4，18，25]，它可以将图像从源域风格 转 换 为 目 标 域 风 格 。 例 如 ， M2M-GAN [19] ，PTGAN [44]和CR-GAN [4]通过添加基于掩码的人物身份丢失来转换图像样式，以保留身份信息。然而，这些方法中大多数需要其他额外信息（例如，人物面具），其隐含地使用其他昂贵的注释，并且因此可能限制它们在实践中的可缩放性。在第二类方法中，一些方法专注于利用目标域的数据分布特性并估计目标数据集的标签以进行自训练。例如，[8，31，23]使用K-means，DBSCAN或分层聚类方法来挖掘目标域的阳性和阴性样本。我们提出的方法属于这一组，是建立在基于聚类的算法。主要的区别在于，我们的方法考虑了平滑域攻击来对齐源域和目标域，并引入了一种新的p-记忆重合并算法来解决源转移知识的记忆保持率下降的不断学习。持续学习（CL）通过一系列任务来执行学习，并且通常假设CL一次访问一个任务。CL旨在改善先前、当前和未来的学习任务，特别是由于灾难性遗忘而导致的先前学习任务[26]。为了减少灾难性遗忘，早期的作品[2，30]专注于研究线性模型以保留知识。最近，很多10570i=1j=1i=1不深度模型[1，29]使用共享的骨干和n个特定的对准目标相机类，这满足了这一要求。学习任务的分支此外，[26，14，13]建议是的。 设Ds={（I i，zi）}Ms表示源域，调整学习目标Ns个摄像机（zi∈[1，Ns]）和Dt={（Ij，zj）}Mt表示来防止灾难性的遗忘 我们提出的pMR dif-CL在几个方面。首先，pMR侧重于单向学习（源→目标），而CL必须平衡先前和新的学习任务。第二，pMR可以同时访问所有的任务，而CL一次访问一个任务。此外，pMR专注于类似的学习任务，而CL没有这样的约束。第三，pMR只专注于恢复共享知识，而CL试图记忆所有的前知识。前学习任务，这导致不同的优化算法。具有Nt个摄像机的目标域（zj∈[Ns+1，Ns+Nt]），其中z表示摄像机标识，其在源域和目标域。Ms和Mt分别是源图像和目标图像的数 量 我 们 训 练 了一 个 （ Ns+NT ） - 类 别 分 类 器 g（·;Θ），它可以区分（Ns+Nt）基于相机的分布。如果有消息来源-age（Ii，zi）（为了简单起见，下面省略了I的下标i源域和目标域由迭代对抗攻击者[16]实现，其可以用公式表示为{ Adv0Iadv=I=剪辑I，{Iadv−Iadv}（一）3. 该方法k+1k k其中Iadv是第k次迭代的对抗结果跨域人重新ID是为了传递知识从标记的源域到未标记的目标域。在本节中，我们首先概述3.1节中提出的方法。然后我们关注两个K裁剪I，R表示执行每像素裁剪的函数图像的Ping。梯度计算如下Iadv=αsign（K K我们的方法的主要组成部分在第3.2节和第三点三之后，在第3.4节中提供了完整的算法。3.1. 拟议框架概述我们提出的方法的概述如图1所示，它由两个主要组成部分组成，即，平滑对抗域攻击（SADA）和p-记忆重组（pMR）。具体地，SADA模块用于强制源图像在图像级对准目标域分布。之后，对齐的源图像用于预训练深度模型。然后将预训练的模型转移到目标域，以进行基于密度的空间聚类（DBSC）。由于卷积神经网络没有记忆能力，人们会认为，如果从卷积神经网络是目标域的随机相机ID。 J（I，z）是神经网络的交叉熵函数，J（I，z）=−logp（z|g（I;Θ））。注意，我们在攻击过程中固定了Θ。等式（1）和（2）尝试在图像级将源域推向目标域，直到引导源域被分类为给定目标。把摄像机Z J拿来。Eq的一个缺点（2）由于梯度的不准确位置，符号函数的输出可能导致不均匀的像素变化这些孤立点违反了自然图像的平滑度，因此可能增加域攻击迭代以将源相机ID z i反转为目标相机ID z j。为此，我们提出了一种平滑的迭代对抗域攻击方法，可以表示为：Iadv=α符号（平滑（K K源域将在自我训练过程中被遗忘，目标域。为了解决这个问题，自然引入pMR模块。pMR模块以概率p将对齐的源图像作为输入，并以概率1-p获取目标图像。与建议的pMR方法，我们发现，pMR获得一致的im-在所有的实验中都证明了这一点。3.2. 平滑对抗域攻击SADA是一种迭代对抗攻击器，旨在其中，smooth（·）表示平滑函数。在本页中-因此，我们使用均值滤波器作为s_mot_h（·）的选择。我们将展示平滑对抗算法的快速收敛性实验区主攻。3.3. p记忆跨域迁移学习3.3.1基于聚类的跨域Re-ID研究综述我们提供了一个简单的介绍，传统的聚类为基础的跨域的人重新识别方法。让′D={}Ms 表示标记的源域，对准源图像的基于相机的分布s（Ii，yi）i=1成为目标图像的图像。 我们需要确保Dt={Ii}Mt表示未标记的靶结构域，其中′在对齐的源域中的每个人ID包含不同的-输入目标相机类，这使得跨相机功能学习相机视图差异。 在这yi表示个人身份，Ii表示对齐的图像ii。 可以使用监督学习算法来预训练初始特征提取器f（·;W0）参数。纸，每个人ID的源图像是随机的用W0表示Ds。设xi=F（I;w0）和Xt=我10571an图1.我们提出的方法的概述它由两个主要部分组成，即， 平滑对抗域攻击（SADA）和p-记忆重组（p MR）。首先，我们使用源图像和目标图像来训练（Ns + NT）类基于相机的分类器。其次，这种基于相机的分类器迫使源图像对齐目标图像。第三，对准的源图像用于预训练深度模型作为被应用于目标域以用于基于密度的空间聚类（DBSC）的转移模型。由于在目标分布挖掘过程中，源域传递的知识会被遗忘，因此自然引入pMR模块pMR模块以概率p将对齐的源图像作为输入，以概率1-p将目标图像作为输入。{x1，x2，...，xMt}是目标特征向量的集合，并且图像被采样。 m表示一种混合物。dist（·）表示t t t表示聚类算法。我们执行算法距离度量。xi对应于第j个特征向量∗¯ ∗∗¯∗jC并获得{Xt，Xt}=C（Xt），其中Xt<$Xt=<$且XX=Xt。X表示置信实例，第i个人的名字当量（4）针对目标领域的自我训练。监督学习和t tt伪标签y 和X表示在电流下的噪声聚类交替地迭代。tt迭代我们构造一个伪标记子集Dt，X的相应索引和它们的伪标签y。t*t最后给出了Dt上的一个有监督学习算法[12]如下哈德-圣普塞泰韦¸3.3.2p-内存重新整合直接将在源图像上训练的预训练模型应用于目标域通常为目标域的进一步学习提供良好的初始化。我们PLt=∑K [m+ Maxx `dist（xi，xi）为简单起见，将此管道称为直接传输三重i=1a=1p=1…Ka p直接转移隐含地假设，-mindist（xi，xj）]+j=1…Pn= 1…K源域可以完全转移到目标域，而不需要另一次转移。然而，这样的假设并不成立，因为残差卷积-j=i联系我们最硬底片（四）传统的神经网络没有像递归神经网络那样的记忆单元，因此在长期迭代之后不能记忆所传递的知识，特别是在自学习中。其中xa、xp和xn分别表示锚实例、正实例和负实例。P去注释人的类/身份。对于每个人的身份，K训练可能会花费太多的时间来进行特征学习和聚类之间的交替因此，对转移知识的记忆会逐渐地源凸轮1源凸轮2相机分类器SADA目标凸轮1目标凸轮2目标凸轮CNN间隙FC512源凸轮1源凸轮i相机分类器预测目标FC凸轮内源cam目标凸轮1re-ID网络目标凸轮jCNNGAPFC512源（对齐）目标凸轮损失PMR三重对准损耗目标输出平滑计算梯度CNN间隙伪标号FC512DBSCĉ ĉĉ ĉĉ ĉĉ ĉĉĉĉ ĉĉĉĉ∑ĉ10572匹配（%）i=1′三重不三重i=1j=1算法一：平滑对抗域攻击算法输入：Ds={（Ii，zi）}Ms，Dt={（Ij，zj）}Mt，75记忆再巩固i=1z i∈ {1，2，.，N s}，j=160转移性遗忘z j∈ {N s+1，N s+2，.，N s+ N t}，Ds={（Ii，yi）}Ms输出：对齐的源数据集D′={（I，y）}Ms45KKk =11训练（Ns+Nt）类别相机分类器g（·;Θ）{Ds<$Dt};w/O pMR，rank−1 w/ pMR，rank−1 w/OpMR，mAP2D=0;3对于i= 1：Msdo4随机选择一个目标摄像机标签z∈ {Ns +1，Ns+2，.，N s+ Nt};5I=Ii;6当g对I的预测不是z时，7.根据Eq.（3）;8I←ClipI，{I−I};9端部w/ pMR，mAP301 2 3 4 5 6迭代图2.转移失忆症问题。我们在Market- 1501数据集上进行自训练期间，在DukeMTMC-reID数据集的测试集上评估了秩1准确 度 和 平 均 平 均 精 度 （ mAP ） 。 自 训 练 模 型 使 用DukeMTMC-reID上的预训练模型初始化。′10D′←D（I，yi）或遵循伯努利的伪标记目标数据集概率为p的概率分布到巩固记忆中。11端部在目标领域的自我训练中被遗忘。我们称之为转移健忘症问题。图2表明，当采用传统的基于聚类的跨域模型从DukeMTMC-reID数据集转移到Market-1501数据集时，存在转移遗忘问题。我们在Market- 1501上进行自我训练 期 间 ， 在 DukeMTMC-reID 自 训 练 模 型 使 用DukeMTMC-reID上的预训练模型进行初始化。据观察，在不使用任何约束的情况下，rank-1精度和mAP都随着迭代次数的增加而逐渐降低，这表明所传递的知识在目标域的自训练中丢失。这一发现与人类记忆的获得曲线是一致的3.4. 算法在本节中，我们提供了所提出的算法的概述，如算法2所示。具体来说，我们训练了一个（Ns+NT）类别的基于相机的分类器，并使用它来指导源图像对齐目标图像的基础上SADA算法在图像级。利用对齐的源图像，我们训练一个特征提取器作为模型初始化。当在自训练过程中交替迭代聚类和特征表示学习时，提出了pMR方法来解决迁移遗忘问题，并进一步提高跨域人员重新识别。算法二：算法概述输入：Ds={（Ii，zi）}Ms，Dt={（Ij，zj）}Mt，Ds={（Ii，yi）}Ms，Dt={Ii}Mt为了解决转移遗忘问题，我们提出了一个p-i=1输出：特征提取器f（·;W_）i=1小概率1 计算对齐的源图像，′在初始转移后稳定记忆痕迹的p。我们将其表述为算法1返回D′2 在D;得到W0;L=（1−1）Lts三重态（五）3初始化f（·;W），W为0;4fori= 1：itersdo5对Dt执行聚类算法C其中，k服从伯努利分布B（1，p），概率为p。一个小的p可以重新整合跨领域转移的知识，自我训练，因为源数据集通常很大-并构造伪标记数据集D*;6，对于j=1：epochsdo7通过等式 优化f（·;W）（5）;端8比置信伪标记集更好 Ls类似9端部t三重峰，但在源域上定义。 对于每个e-poch，我们优化Eq. （5）通过对源数据集进行采样公司简介到L105734. 实验在本节中，我们在两个大规模的人员重新ID基准数据 集 上 评 估 我 们 提 出 的 方 法 Market- 1501 [52] 和DukeMTMC-reID [53]。我们将我们提出的方法与第节中的最新方法进行4.1 第4.2节。然后，我们在第4.3节中介绍了消融研究，以揭示我们方法中每个主要成分/因素的重要性。实施. 为了对齐源域和目标域，我们使用Adam opti-mizer训练了一个基于相机的分类器，小批量大小为32。学习率设置为0.0003，并在30和50个epoch后除以10。我们训练网络70个epochs。在进行平滑对抗域攻击时，我们将源图像归一化，年龄，并设置=0。对于“Market-1501›→DukeMTMC-reID”，为02，并且= 0。001用于最大攻击迭代为50。当执行时-在自我训练中，我们使用SGD优化器。学习率设置为6e-5。我们训练10次迭代。对于每次迭代，我们训练70个epoch。小批量大小为128。我们设置p=0。3、伯努利分布我们使用DBSCAN聚类方法进行自训练。评估指标。我们采用标准的累积匹配特征（CMC）和平均精度（mAP）作为评估指标。数据集。Market-1501数据集是在清华大学收集的。不同摄像机之间存在重叠。总体而言，该数据集包含32，668个标注的边界框，其中包含1，501个身份。其中，来自751个身份的12，936张图像用于训练，来自750个身份的19，732张图像用于画廊。在查询方面，采用了750个身份的3,368个手绘边界框。每个注释的身份存在于至少两个相机中。DukeMTMC-reID有8个摄像头。有1，404个身份出现在两个以上的摄像机中，408个身份（干扰者ID）只出现在一个摄像机中。特别地，选择702个ID作为训练集，并且将剩余的702个ID用作测试集。在测试集中，为每个摄像机中的每个ID挑选一个查询图像，并将剩余的图像放入图库中。以这种方式，存在702个身份的16，522个训练图像、其他702个身份的2，228个查询图像和17，661个图库图像（702个ID + 408个干扰项ID）。4.1. 与市场上最先进的1501数据集的我们将我们提出的方法与Market-1501数据集上现有的各种最先进的方法进行了比较。实验结果报告于表11.一、令人鼓舞的是，我们的建议表现出色-It’所有最先进的方法都有很大的优势。具体而言，竞争方法可分为-分成两组。第一组包括五个手工制作的模型，即，[20][22][24][25][26][27][28][29][29][29]][”[27]《明史》：与最佳手工特征表示DIC相比，该模型在rank-1、rank-5和mAP指标上分别获得在Market-1501数据集上的实验结果清楚地表明了我们的方法相对于其他手工制作的特征表示的优越性，即使我们只使用源域的标签进行迁移学习和未标记目标域的自训练。第二组包括10个最先进的深度方法，即，[43]第四十七话：一个人，一个人，一个人[48]，ATNet [25]，UCDA-CCE [28]，CR-CAN+TAUDL[4]（表1中表示为CR-CAN+）、CASCL [45]、ECN [54]和PDA-Net [18]。在这些深度 模型中，UCDA-CCE[28]，ATNet [25]，CASCL [45]专注于域适应，而忽略了目标域的底层分布，这导致性能中等。TJ-AIDL [43]和PDA-Net [18]利用额外的信息来提高性能，例如，属性和姿势。CR-CAN +TAUDL（以及目标域上的特征 学 习 ） [4] 和 PDA-Net [18] 使 用 生 成 对 抗 网 络（GAN）来生成目标风格的图像，并获得了良好的性能。CAMEL [47]，PUL [8]，MAR [48]和ECN [54]试图使用自我训练方法探索目标域的分布这些方法提供了可用的自我空间技术，并产生了竞争性的结果。我们提出的方法也属于这种管道，但优于所有这些。与第二好的方法CR-GAN+TAUDL相比，我们的模型在rank-1，rank- 5，rank-10和mAP指标上分别获得了5.3%，2.1%，1.4%和5.8%的改进。mAP是多摄像机网络监控中最重要的度量，因为它可以衡量查询时所有目 标 人 物 图 像 的 检 索 情 况 。 请 注 意 ， CR-GAN+TAUDL使用分割方法来帮助图像生成，该方法隐式使用分割注释。我们提出的方法不需要额外的信息。我们的模型的显着改善可以归因于p-记忆方法的部署和图像级域的对齐，这可以处理转移遗忘问题并缩小图像级的域间隙。4.2. 与DukeMTMC reID数据集我们将我们提出的方法与DukeMTMC-reID数据集上的十三种最先进的方法进行比较，这些方法在第4.1节中进行了描述。实验结果报告于表2中。据观察，我们的方法优于所有的国家的最先进的。与最好的手工特征表示UDML相比，该模型在10574表3.消融研究的重要性，我们提出的方法的每个主要组成部分/因素。主要组成部分包括基线、LMP/RNN操作、平滑对抗域攻击（表示为SADA）和p-内存重新整合方法（pMR），请参阅第4.3节了解详细分析。组件DukeMTMC-reID›→市场-1501市场-1501›→DukeMTMC-reID基线LMP/LMPSADApMR秩-1秩-5十阶地图秩-1秩-5十阶地图✓✗✗✗71.481.684.946.352.262.667.236.5✓ ✓✗✗78.188.291.655.571.081.685.050.5✓ ✓✗✓80.390.393.157.770.180.984.146.7✓ ✓✓✗80.790.192.757.471.982.986.452.3✓ ✓✓✓83.091.894.159.874.585.388.755.8表1.与Market-1501数据集上最先进的无监督结果进行比较。红色表示最好，蓝色表示第二好。以%计。方法参考Market-1501秩-1秩-5十阶地图LOMO [20]CVPR'1527.2 41.649.18.0[第52话]ICCV'1535.8 52.460.314.8[第15话]BMVC'1550.2 68.8-22.7ISR [24]TPAMI'1540.4 62.2-14.3[27]第二十七话CVPR'1634.5 52.659.612.4骆驼[47]ICCV'1754.5 73.1-26.3PUL [8]ToMM'1845.5 60.766.720.5[43]第四十三话CVPR'1858.2 74.881.126.5三月[48]CVPR'1967.7 81.9-40.0ATNet [25]CVPR'1955.7 73.279.425.6[28]第二十八话ICCV'1964.3--34.5CASCL [45]ICCV'1964.7 80.285.635.6ECN [54]CVPR'1975.1 87.691.643.0[18]第十八话ICCV'1975.2 86.390.247.6CR-CAN+[4]ICCV'1977.7 89.792.754.0pMR-SADA这项工作83.0 91.894.159.8表2.与DukeMTMC-reID数据集上最先进的无监督结果进行比较红色表示最好，蓝色表示第二好。以%计。方法参考dukemtmc-Reid秩-1秩-5十阶地图LOMO [20]CVPR'1512.3 21.326.64.8[第52话]ICCV'1517.1 28.834.98.3[27]第二十七话CVPR'1618.5 31.437.67.3骆驼[47]ICCV'1740.3 57.6-19.8PUL [8]ToMM'1830.0 43.448.516.4[43]第四十三话CVPR'1844.3 59.665.023.0三月[48]CVPR'1967.1 79.8-48.0ATNet [25]CVPR'1945.1 59.564.224.9[28]第二十八话ICCV'1955.4--36.7CASCL [45]ICCV'1951.5 66.771.730.5ECN [54]CVPR'1963.3 75.880.440.4[18]第十八话ICCV'1963.2 77.082.545.1CR-CAN+[4]ICCV'1968.9 80.284.748.6pMR-SADA这项工作74.5 85.388.755.8秩 -1 、 秩 -5 和 mAP 度 量 。 与 第 二 好 的 方 法 CR-GAN+TAUDL相比，我们的模型在rank-1，rank-5，rank-10和mAP指标上分别获得了5.6%，5.1%，4.0%和7.2%的改进。显著的改进证明了所提出的方法的优越性。4.3. 消融研究和进一步分析在本节中，我们通过隔离该组件/因素来进一步研究我们的方法的每个主要组件/因素具体来说，我们提出的方法的主要组成部分包括基线，局部最大池（LMP的缩写）[6]，域攻击（Attack的缩写）和p-Memory方法。我们将局部最大池扩展为局部平均池（LocalAverage Pooling，缩写为LMP），它类似于LMP。我们将每个部分的LMP/LMP的输出连接起来作为最终的特征表示。该程序仅用于测试阶段。在我们的实验中，我们根据经验发现，在Market-1501上，LMP更好，在DukeMTMC-reID上，所以我们在所有实验中使用这些设置。消融研究的实验结果如表3所示。LMP/ESTA的有效性。 为了显示有效性对于LMP/LMP，我们通过比较表3中的第一行和第二行来进行消融研究。据观察，使用LMP/ESTA，使用四个度量（秩1、秩2、秩3、秩4），性能分别有6.7%、6.6%、6.7%和9.2%的改进5，rank-10，和mAP）在Market-1501上。DukeMTMC-reID的改善分别为18.8%、19.0%、17.8%和14.0%四个指标。这种显著的改进可以归因于LMP/SVM可以通过源域和目标域的差异来减少噪声信号的影响，从而为自训练提供良好的初始化，从而导致显著的改进。平滑对抗域攻击（SADA） 为了显示SADA的效果，我们通过从所提出的方法中删除该分量来设置基线，如表3的第三和第五行所示。我们可以看到，在域攻击下 ， 该 模 型 在 Market 上 的 四 个 指 标 分 别 有 2.7% 、1.5%、1.0%和2.1%的改进10575表4.平滑对抗域攻击的效果70605040市场，排名-130公爵，等级-1市场，mAP杜克，mAP200.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1p图3.参数记忆系数p的影响。1501，4.4%，4.4%，4.6%和9.1%，DukeMTMC-reID上有四个指标。该消融研究证明了域攻击的有效性。这表明，SA- DA可以引导源图像在图像级对齐目标图像。p-内存重组（pMR）的有效性。 为了证明pMR的有效性，我们研究了该分量的重要性，将其从所提出的方法中删除。 如表的第四行和第五行所示，3，使用p内存重新整合，性能提高了2.3%，1.7%，1.4%和2.4%，四个指标均为市场-1501，2.6%，2.4%，2.3%和3.5%，DukeMTMC-reID的四个指标。实验分析表明，pMR能有效地整合基于transmitting聚类的跨领域人员再识别的源知识，提高跨领域人员再识别的效率。域攻击和p -内存的有效性。 我们还研究了域攻击和p-内存相结合的好处，如第二行和第五行所示我们观察到，在域对准和p存储器的情况下，性能大大提高，即，4.9%、3.6%、2.5%和4.3%，市场上有四个指标1501，3.5%，3.7%，3.7%和5.3%，DukeMTMC-reID上有四个指标。参数记忆再整合因子p. 参数p是控制方程中的随机变量的概率。（5），用于控制回忆起源域记忆我们将p从0.0到1.0，其中p=0。0表示在目标域的自我训练期间没有记忆重新巩固，并且p=1。0表示在目标域上没有自我训练。秩-1和mAP精度如图3所示。据观察，当p=0。3、我们的模型得到了最好的结果。平滑对抗域攻击的效果。我们研究了平滑算子的快速收敛性sarial域攻击，通过比较传统的迭代对抗攻击方法。我们采用了一个评价指标，计算平均迭代次数的成功域攻击的图像。实验结果报告于表4中。实验结果表明，在将DukeMTMC-reID图像与Market-1501图像进行比对时，s平滑对抗域攻击方法对每幅图像只需要当对齐DukeMTMC-reID到Market-1501的图像时，我们的方法需要1.9次迭代，而传统方法需要4.8次迭代。比较SADA与基于GAN的方法。与基于GAN的方法相比，SADA易于训练。SADA只需要训练一个摄像机分类器（大约2小时），并要求每个图像几个域攻击。基于GAN的方法很难收敛（CycleGAN为16小时）。在表5中，我们删除了自我训练以进行公平比较。SADA achieves a competitive accuracy with two GANs [6].表5.比较SADA与GANs forDuke→市场（%）CycleGAN [6]SPGAN+LMP [6]SADA +LMPrank-1/mAP48.1/20.758.1/26.959.6/27.1训练时间16小时16小时2小时5. 结论在本文中，我们提出了一种平滑对抗性do-main攻击方法，迫使源图像对齐目标图像在图像级。通过域攻击，在图像级别缩小了源域和目标域之间的差距，从而实现了更好的跨域迁移学习。为了避免转移遗忘问题，我们还提出了一种p-记忆再整合方法，该方法具有小概率p来重新整合转移的源知识。在Market-1501和DukeMTMC-reID基准测试上的大量实验表明，我们的pMR-SADA的性能大大优于所有最先进的方法。致谢本项目得到国家自然科学基金项目（U1611461，61573387，61672544）和广东省重点领域研发计划项目（2019B010155003）的资助。迭代次数Duke›→市场市场›→Duke无平滑39.44.8w/平滑18.31.9匹配（%）10576引用[1] R. Aljundi，P. Chakravarty，and T. Tuytelaars专家门：通过专家网络进行终身学习。在CVPR中，第3366-3375页3[2] J·巴克斯特归纳偏差学习模型。人工智能研究杂志，12：149-198，2000。2[3] W. Chen，X. Chen，J. Zhang，and K.煌除了三重态损失：一个深度的四元组网络用于人的重新识别。在CVPR，第403-412页，2017年。2[4] Y. Chen，X. zhu和S.龚用于跨域人员重新识别的实例引导上下文在ICCV，第232-242页，2019年。一、二、六、七[5] D.郑，Y.贡，S. Zhou，J. Wang，and N.郑基于改进三重损失函数的多通道部分cnn的个体再识别。在CVPR，第1335-1344页，2016年。2[6] W. 邓小平说， L. 小郑： Q. 叶 G. 康 Y. Yang和J. Jiao.具有保留的自相似性和域不相似性的图像-图像域适应，用于人的重新识别。 在CVPR中，第994-1003页，2018年。 一、二、七、八[7] S.丁湖，澳-地Lin，G. R. Wang和H.赵 深度特征学习与相 对 距 离 比 较 ， 用 于 人 员 重 新 识 别 。 PatternRecognition，48（10）：2993-3003，2015. 2[8] H. 范湖，澳-地郑氏C.Yan和Y.杨无人监管人员重新识别 ： 聚 类 和 微 调 。 ACM Transactions on MultimediaComputing，Communications ，andApplications（TOMM），14（4）：83，2018. 一、二、六、七[9] P. Fang，J. Zhou，S. K.罗伊湖Peterson和M.哈兰迪用于人物检索的双线性注意网络。在ICCV，第8030-8039页，2019年。2[10] Y. 傅，Y。Wei，Y.Zhou，H.Shi，G.Huang，X.Wang，Z.Yao和T.煌水平金字塔匹配用于人员重新识别.在AAAI，第33卷，第8295-8302页2[11] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年。2[12] A.赫尔曼斯湖Beyer和B. Leibe为三胞胎的丢失辩护，进行人员重新鉴定。arXiv预印本arX- iv：1703.07737，2017年。4[13] H. Jung，J.朱，M。Jung和J.Kim. 深度神经网络中的少遗忘arXiv预印本arXiv：1607.00122，2016。3[14] J. 柯克帕特里克河Pascanu，N.Rabinowitz，J.Veness，G.Des- jardins ， A. A. Rusu ， K. Milan ， J. Quan ， T.Ramalho，A. Grabska-Barwinska等人克服神经网络中的灾难性遗忘。美国国家科学院院刊，114（13）：3521-3526，2017。3[15] E. Kodirov，T.Xiang和S.龚字典学习与迭代拉普拉斯正则化用于无监督的人重新识别。在BMVC，第3卷，第8页，2015中。六、七[16] A. 库拉金岛Goodfellow和S.本吉奥。物理世界中的对抗性考试arXiv预印本arXiv：1607.02533，2016。3[17] W. Li，X. zhu和S.龚和谐关注网对人的重新识别。在CVPR中，第2285-2294页，2018年。2[18] Y. J. Li，C.C. Lin，Y.B. Lin和Y.F. 王. 通过无监督姿态解缠和自适应进行跨数据集人员重新识别。在ICCV，第7919-7929页，2019年。一、二、六、七[19] W. Liang，G. Wang，J. Lai，and J.竹M2m-gan：多对多生成对抗性迁移学习，用于人员重新识别。arXiv预印本arXiv：1811.03768，2018。一、二[20] S. 廖，Y.Hu，X.zhu和S.Z. 李基于局部最大发生表示和度量学习的人物在CVPR，第2197-2206页，2015年。六、七[21] L. Lin，G. R. Wang，W.左，X. Feng和L.张某基于广义相 似 性 测 度 和 特 征 学 习 的 跨 域 视 觉 匹 配 。 IEEETPAMI，39（6）：10892[22] S. Lin，H. Li，C. T. Li和A. C.科特用于无监督跨数据集人员重新识别的多任务中级特征对齐网络。arXiv预印本arXiv：1807.01440，2018。2[23] Y. Lin，X.东湖，澳-地Zh