攻击引导感知数据生成用于真实世界再识别

215用于真实世界再识别的攻击引导感知数据生成Yukun Huang*Xueyang Fu*Zheng-JunZha†中国科学技术大学，中国kevinh@mail.ustc.edu.cn，{xyfu，zhazj} @ustc.edu.cn摘要在不受约束的现实世界监视场景中，个人重新识别（Re-ID）模型通常遭受不同的低级感知变化，例如，交叉分辨率和照明不足由于训练数据的变化范围有限为了解决上述问题，在本文中，我们提出了两种不相交的数据生成方法来补充现有的训练样本，以提高Re-ID模型的鲁棒性。首先，考虑到样本在感知空间中的稀疏性和不平衡性其次，为了挖掘更多有代表性的生成样本用于身份表示学习，我们引入了基于图的白盒攻击者来指导数据生成过程，并使用批内排名和区分注意力。此外，在Re-ID训练中引入了两个合成到真实的特征约束，以防止生成的数据带来领域偏差。我们的方法是有效的，易于实现，并独立于特定的网络体系结构。将我们的方法应用于ResNet-50基线已经可以实现有 竞争力的结 果，在 MLR-CUHK 03数据集 的Rank-1上超过最先进的方法+1.2%。1. 介绍人物再识别（Re-ID）的目的是在不重叠的摄像机中识别出样本人物，它可以被看作是图像检索的一个子任务然而，由于与身份无关的剧烈变化，在不受约束的情况下学习真实世界Re-ID的鲁棒且有区别的身份表示是具有挑战性的。一般来说，这些变化可以大致分为两类：低级感知变化（称为视觉退化），例如分辨率和照明;以及包括视图、姿态、遮挡等的高级语义变化。*共同第一作者。†通讯作者。(a) 一个轻量级的图像调整器，可以预测输入图像的分辨率质量分数（红线），并根据给定值调整图像分辨率（绿线）。(b) 以数据源的整体分辨率分布作为先验知识，可以对每个样本执行全局感知的密集分辨率增强（绿线）。进一步引入批内白盒攻击者以提供来自高级视觉任务（红线）的指导。图1.本文综述了全局感知数据生成和背包感知数据生成.与前者相比，现有的Re-ID方法已经充分挖掘了语义的变化，例如预定义的区域划分[36，35，30]和人体部位对齐[18，51]。在这项工作中，我们专注于低层次的感知变化，并采取交叉分辨率Re-ID作为主要任务。由于强大的表示学习能力，基于深度卷积神经网络的Re-ID模型[26，43，29]可以有效地处理约束场景中的这些变化然而，由于现实世界的应用程序更加多样化和不可预测，这些严重依赖训练数据的深度模型很难推广到看不见的情况。虽然收集足够的标记数据是一种可行的解决方案，但建立一个涵盖所有可能情况的手动标记数据库过于昂贵且不切实际。因此，许多作品试图补充216通过调整原始样本[25，48]或合成新样本[47，28，46]来训练数据。常规的增强，例如，随机裁剪和随机水平翻转已广泛用于Re-ID任务。因此，我们主要讨论基于综合策略的数据增强方法，并将其分为两类：（1）基于引擎的生成。基于3D渲染引擎，具有不同姿势、背景等的可控制的人生成[2，1，34]，可以实现虽然这些方法促进了视觉因素如何影响Re-ID系统的定量分析，但由于与真实世界数据在风格和外观上的(2) 基于GAN的生成。生成对抗网络（GANs）[11]也广泛用于数据生成。据我们所知，Zheng等。[47]首先将GANs引入Re-ID中，用于无标记数据的生成。通过内插或交换解开的中间特征，[28，46]实现了足够逼真的图像生成。然而，由于提供先验信息的原始样本的数量有限，合成图像缺乏足够的多样性。在本文中，为了减轻低层次的感知变化在现实世界的监控场景中的干扰，我们提出了一种新的全局Aware和Atack-G引导的感知数据生成方法（GAAG）相结合的解纠缠图像生成和对抗性攻击。具体而言，我们设计了一个轻量级的解纠缠生成模型（在图1中表示为Adjuster），该模型具有两个函数来预测输入图像的感知质量分数并基于给定分数调整输入图像。第一个函数旨在估计数据源中感知变化的总体分布，而第二个函数将估计的分布作为先验知识，以对每个训练实例执行全局感知的密集增强。以这种方式，可以在不改变身份语义的情况下丰富训练数据的感知多样性。然而，直接将该增强用于Re-ID不是最佳的，因为尚未引入任务相关的知识。受深度神经网络漏洞研究的启发[3，31]，我们认为白盒攻击可以作为调节器和Re-ID主干之间的桥梁。因此，我们进一步利用它为我们的数据生成提供与任务相关的指导。此外，我们观察到，虽然大多数增强的样本有自然的外观，其中许多不可避免地包含文物和噪声。这些微妙的缺陷给身份表示学习带来了歧义，并且不能通过流行的域自适应方法来消除[1，44]。为了解决这个问题，我们进一步引入合成到真实特征约束，同时缩小范围差距，提高身份特征的鲁棒性几种跨分辨率re-id基准测试确认我们方法的有效性总结起来，我们的主要贡献如下：• 我们提出了一种新的全局感知和攻击引导的感知数据生成框架，以补充现有的训练数据Re-ID对低层次的感知变化。• 我们设计了一个轻量级的解纠缠生成模型，它可以估计和操纵图像的分辨率分量。它可以很容易地应用到其他感知类型，很少的修改。• 为了减轻由合成样本引起的域偏差，我们引入合成到真实特征约束以缩小域间隙和正则化身份特征流形。• 所提出的方法可以很容易地集成到现有的深度模型，而不会带来任何推理成本。只有与经典的ResNet- 50相结合，它才能在具有挑战性的跨分辨率Re-ID基准测试中实现与最先进的方法相比具有竞争力的性能。2. 相关工作常规人员重新识别。在真实世界场景中存在各种影响视觉的因素，包括语义变化（例如，视图、姿态、遮挡）和感知变化（例如，分辨率、照明），这使得每个Re-ID成为具有挑战性的任务。早期的作品利用局部特征来缓解视点、姿势变化和遮挡的问题。这些方法采用注意机制[23，6，4]，预定义的区域划分[36，35，30]和语义部分解析[18，51]来实现这一目标。然而，局部特征通常无法处理具有近似全局均匀性的低水平感知变化结果，Jiaoet al. [17]首先将图像超分辨率和Re-ID相结合，解决分辨率失配问题。为了减轻这种方案中梯度反向传播的困难，Cheng等。[9]提出了一种训练正则化策略，称为INTACT，以最大化SR与Re-ID匹配的兼容性除了与辅助图像恢复方法相结合之外Chen等人[7]尝试用对抗学习来提取分辨率不变的特征。Huang等人. [16]提出了一个退化不变性学习框架，以解开识别内容和低层次的视觉退化。Re-ID的数据生成 为了缓解Re-ID任务的数据短缺问题，一些工作尝试使用生成方法来补充训练数据。使用功能强大的3D引擎[34]，具有不同姿势、背景或照明的可控人物生成可以217CDrecCDCD这促进了视觉因素如何影响Re-ID系统的定量分析。Bak等人[1]采用游戏引擎来模拟在不同的真实照明条件下的数百个对象的外观，收集新的合成Re-ID数据集，即，SyRI。由于GANs在人脸生成方面取得了显着进展[20]，一些作品[47，28，46]试图使用GANs来增强Re-ID的训练数据。Zheng等[47]是第一个将GANs引入Re-ID用于无标记样本生成的人，并且还提出了标签平滑正则化以利用无监督数据。Ma等人[28]建议通过将输入分解为弱相关因素来生成自然人图像另一方面，通过中间特征插值，也可以获得具有不同姿态和背景的增强样本例如，Zhenget al.[46]将生成性学习和区分性学习统一到一个框架中。利用动态软标记分配，合成的样本可以用于训练，尽管类间的变化。3. 方法我们的方法旨在通过调整样本的感知退化来补充训练数据，以便提高Re-ID模型对真实世界视觉退化的鲁棒性。与传统方法不同，所提出的数据扩充是数据依赖和任务驱动的[48]。我们使用两种互补的方式来生成辅助数据，即，全局感知增强用于密集地重新采样感知变化以处理未被训练数据覆盖的可能场景，ReID驱动攻击用于使用任务相关知识来指导感知对抗样本的生成，其模拟Re-ID上的视觉退化的干扰。为了更有效地改进身份特征学习，这些辅助数据在每次迭代中在线生成，并且通过设计用于减轻合成域和真实世界域之间的样本偏差的特定约束来利用。降级攻击者Ad是具有短连接的堆叠图卷积网络（GCN）[21]。以降级特征和分批亲和矩阵作为输入，期望攻击者预测最侵入性的感知质量分数。生成器G是具有自适应实例正常的CNN。在一些实施例中，图像处理系统可以包括一个或多个化（AdaIN）[15]层，其可以融合内容和退化特征以形成图像。鉴别器D采用多尺度结构Patch-GAN [50]用于区分生成的图像并鼓励合成分布接近真实分布。3.2. 全局感知增强为了实现服从数据源的现实感知分布的全局感知数据增强，我们尝试测量图像退化的程度为此，我们首先需要从图像中分离出退化分量。配方。给定输入图像I，可以通过内容编码器和劣化编码器来获得对应的解纠缠特征f_c和f_dfc=Ec（I），fd=Ed（I），（1）而重建图像Irec可以由生成器产生：I rec= G（fc，fd）。（二）约束如图3所示，为了学习这样的解纠缠生成模型，我们采用图像三元组（Ihr，Ilr，Ide）作为输入，其中Ihr表示高分辨率（HR）图像，Ilr表示低分辨率（LR）图像，而Ide是由不可微退化函数产生的Ihr的退化版本，例如，针对交叉分辨率设置的下采样通过交换输入Ihr和Ide的内容特征，重新生成的图像可以用于提供解纠缠的约束，即，逐像素交换重建损失：Lswap=G（fhr，fde）−Ide23.1.网络架构rec c d(3)+G（f de，f hr）−I hr2。如图2所示，所提出的方法由多个子模块组成，其详细网络结构在补充中给出。Identity EncoderEid是ResNet-50 [14]主干用BNNeck [27]进行身份特征提取。只为了确保解纠缠模型能够重建输入图像，我们使用逐像素自重建损失：Lself=G（fhr，fhr）−Ihr2该模块参与最终推理阶段。+G（flr，flr）−Ilr2(4)Content EncoderEc是一个轻量级的卷积c d神经网络（CNN）与ASPP [5]用于提取内容相关的图像特征。Degradation EncoderEd是一个多层CNN，用于提取退化特征并估计输入图像的感知质量分数的归一化线性层。+G（f de，f de）−I de2。此外，我们可以估计感知质量得分s在退化编码器中使用归一化线性层：s=L范数（fd）=fd·wT，（5）218D一图2.所提出的具有合成到真实特征约束的全局感知和攻击引导感知数据生成 通过用等式（1）调整输入图像I的退化特征，(8)，全局感知增强和ReID驱动的攻击可以被执行以分别生成I’和I”这些辅助数据有助于身份表征学习，并提高Re-ID模型对低水平感知变化的鲁棒性其中w是受评分回归损失约束的线性权重L reg=s hr−12+s lr+12。（6）图像解纠缠发生器的总目标其中，fd’是调整后的de灰度特征，s’是从真实世界劣化分布d采样的感知质量分数。最后，输入图像I的增强图像I’可以通过以下步骤产生：I′=G（E（I），f ′）.（九）公式为：LGen=λ（L交换+L自）+λL、（7）讨论 类似于DI-REID [16]，我们的方法重新-总recrecrecregreg在于内容退化解缠。然而，在这方面，其中λrec 和λreg 是平衡损失的砝码DI-REID旨在明确学习退化不变的身份特征，而我们的方法利用全局感知和降解操作。 受工作的启发[32]发现GANs的潜在特征在线性变换后变得分散和可控，我们使用类似的操作通过以下方式可控地调整图像的退化分量：fd′=fd+（s′−fd·wT）·w，（8）攻击引导的数据生成，以补充训练数据，这是更灵活和轻量级的。3.3. ReID驱动的感知攻击虽然可以通过全局感知感知增强来获得不同的样本，但是这样的过程独立于高级任务并且在改进Re-ID性能方面非常低效我们期望任务相关信息可以作为先验知识来指导退化分量的调整，从而模拟真实世界感知变化对Re-ID任务的干扰。这启发我们引入白盒攻击机制，使用分批降级攻击器来预测最佳调整值。配方。具体来说，我们通过一个与Eid结构相同的训练良好的教师模型提取身份特征嵌入e，然后通过归一化的欧氏距离计算度量函数：一个ijeiej= 1−0。5·¨−¨，（10）ei图3.所提出的轻量级分解生成模型的训练过程。其中ei和ej表示第i个和第j个的单位嵌入。第j个样本。219一----N埃NAdvΣ我yk=yiyj=yi我SCNJ2al（Ii′′）尽管简单，自我中心的损失只集中使用作为图邻接矩阵，然后我们将小批量的退化特征输入到攻击者Ad中，以获得用于攻击的理想感知质量得分：s′′=Ad（fd，A），（11）其 用 于 调 整 退 化 特 征 并 生 成 类 似 于 Eq.(8) 和 等 式（九）、注意，s’’由训练数据的感知得分集的上界和下界缩放，避免不合理的数值范围。约束为了模拟感知变化引起的身份特征的错位和辨别线索的干扰，我们引入了两个感知攻击约束来优化攻击者。为了使身份特征不对齐，采用误排序损失函数来最小化不匹配对的距离并最大化匹配对的距离：N3.4. 鲁棒表示学习在获取生成的样本后，我们可以利用它们与原始样本一起训练Re-ID模型。然而，生成样本与真实样本之间不可避免地存在领域偏差，这使得学习到的身份表征偏离理想分布。为了缓解这个问题，我们考虑更合理的合成到真实的功能约束。假设Ns生成样本 I1*，I2*，...， In*s基于已经产生的输入i，它们也可以被编码为身份嵌入e*1，e*2，…，e*Ns . 注意生成的样本的身份标签相同与输入的相同。让我成为一个锚，所有我*作为积极的，我们试图保持锚固定，并鼓励积极的更接近锚。该策略利用生成的样本来正则化特征流形，同时最小化它们对原始身份特征分布的影响具体地，我们引入两个损失函数，即，自我L三 =Σ[maxEid（I′′）−Eid（Ik）i=1中心损失和Wasserstein损失，这迫使模型（十二）以缩小生成的样本与-minEid（I′′）−Eid（Ij）+∆]+，在样本级和实例级的原始样本分别 自我中心的丧失明确地鼓励了其中N是小批量中的样本数量，y是的标识标签是模型，以将生成的样本推到更接近身份嵌入空间中的原始i-第i个样本，∆为排序边际。在为了提高训练的稳定性，我们计算了训练的偏差对抗样本和原始样本之间的距离，而不是[38]中对抗样本内的距离。L=1Σi=1Max||第二章，（十七）||2,(17)S作为一个细粒度的检索任务，Re-ID中的身份识别依赖于本地注意力，这启发我们使用注意力攻击损失：其中N是批大小，e（i）是第i个样本。最大操作被用作硬样本挖掘，以加快训练过程。注意，梯度反向传播的自中心损失到原来ΣΣ¨Advi=1La（I′′） 我a（I）−1al（Ii）嵌入e应该被分离以减轻偏差Latt=¨−¨、（十三）由生成的样本引起。其中A1表示第L层的注意力图福尔-在[19]之后，层1的注意力图被公式化为：在单样本情况下，不考虑内部实例级的类变体。此外，计算-自中心损耗的定位成本将随Ns线性增加a l（I）=|FCl，c（一）|第二条，（十四）变得更大。 为了解决这些问题，我们进一步介绍-减少Wasserstein损失，以使生成样本和原始样本的分布尽可能相似其中，fl，c表示特征图w.r. t的第c个通道层1中的操作，以及Eq. (14)都是明智的。预期该约束会使对抗样本及其对应的原始样本的注意力图不对齐每个身份。假设身份特征服从正态分布，我们能够执行在线估计[39]以获得身份特征的均值和协方差矩阵：此外，采用鉴别器来强制生成的图像与真实图像相似：e~N（µ，Σ），eN（µ，Σ）.（十八）L gan=E[log（D（I））+log（1-D（I′′））]。j =1，2，…NLL 我220（15）总之，感知攻击的总目标是：2-Wasserstein距离用于测量这两个高斯分布的相似性，这导致Wasserstein损失：攻击三三attatt211Ltotal=λadvLadv+λadvLadv + λganLgan。（十六）LwW2（e~，e~）为||µ−µ||2个以上||Σ2−Σ二个||F. （十九）221→∞×× ×补充中给出了相应的数学推导注意，损失Lw测量生成的样本和原始样本的特征分布之间的距离，因此它可以近似理想的情况下，其中Ns+。因此，身份表征学习被公式化为：采用学习率为0.01的Adam优化器对攻击者Ad进行10000次迭代优化。对于身份表示学习阶段，使用权重衰减为0.0001且Nesterov动量为0.9的SGD算法来训练Eid达60个时期。初始学习率为0.02，在40个epoch之后衰减到0.002。所有平衡损失权重λrec、λreg、λtri、λatt、λgan、λcls、λsc和λw adv advID总计=λcls Lcls+λsc Lsc+λw Lw，（20）分别设置为2.0、1.0、2.0、0.1、1.0、1.0、5.0和5.0增广倍数Ns默认设置为4。有关优化和结构的更多详细信息，请参见其中Lcls是标准交叉熵损失，λcls、λsc和λw是平衡重量。4. 实验4.1. 数据集为了评估我们的方法针对低水平感知变化的Re-ID性能，我们对四个广泛使用的Re-ID数据集进行实验，包括三 个交叉分 辨率基准： MLR-CUHK 03 [22]、MLR-VIPeR [12]以及CAVIAR [8]用于分辨率变化，以及用于多种变化的常规基准MSMT 17 [41]。MLR-CUHK 03和MLR-VIPeR是分别基于人Re-ID基准CUHK 03和VIPeR的合成交叉分辨率数据集。MLR-CUHK 03由来自1，467个身份的14，097张图像组成，具有5个不同的相机视图，而MLR-VIPeR包括由两个相机捕获的632个人物图像对。在SING [17]之后，对来自一个相机的每个图像进行下采样从{1，1，1}中随机选取一个比率来模拟补充.4.3. Re-ID评价和比较遵循相应数据集的标准评价方案，采用平均累积匹配特性（CMC）和平均平均精度（mAP）来评价Re-ID性能。根据分辨率变化重新鉴定。 我们将我们的方法与广泛的最先进的交叉分辨率或常规Re-ID方法进行比较，包括（1）基于SR的方法：[40]第十七章：我的天[9]，PRI [13];（2）基于分辨率不变表示的方法：RAIN [7]，DI-REID [16]，（3）混合方法：CAD [24].其它Re-ID方法，例如，[49]和[49]，也是一种比较。如表1所示，我们的方法在所有三个交叉分辨率基准测试中实现了卓越的具体而言，我们的方法在MLR-CUHK 03数据集上的Rank-1达到了87.6%，将基线提高了9.5%，并将最佳竞争对手INTACT的性能我们使用的识别特征提取器是基本的ResNet-50网络交叉分辨率的情况。2三、四没有任何多头或多尺度设计，因此CAVIAR是一个真正的交叉分辨率数据集，包括由两个不同的摄像机在里斯本的室内购物中心捕获的72个身份的1,220个图像。该数据集提供了多分辨率的真实图像，因此它非常适合于评估真实世界的交叉分辨率人Re-ID。MSMT17是一个非常具有挑战性的数据集，它涵盖了不同的日期、时间段、天气条件、照明等。它由32，621/93，820个用于训练/测试的边界框组成，由校园内的15个监控摄像头收集由于剧烈的感知变化，我们使用这个数据集来评估我们的方法对多种变化。4.2.实现细节我们的方法在PyTorch中使用NVIDIA 1080Ti GPU实现。将所有训练和测试图像的大小调整为256 128 3，并将批次大小N设置为8。对于解纠缠生成阶段，使用学习率为0.0001的Adam优化器来训练Ec、Ed和G，迭代50000次。对于感知攻击阶段，性能增益很大程度上受益于感知数据生成和合成到真实特征约束。我们发现DI-REID [16]由于其针对真实场景的指定特征解纠缠而在CAVIAR数据集上获得了最佳的Rank-1得分，而其他方法是基于难以推广到真实域的下采样操作而设计的。即便如此，我们的方法仍然在rank-5和rank-10上取得了最好的结果，并且在所有三个数据集上达到了最佳的准确性-泛化平衡。根据其他变体重新识别。虽然不是主要的示范，所提出的方法显示出潜在的，以提高对不同类型的感知变化的特征鲁棒性仅考虑光照变化，我们的方法在具有挑战性的MSMT 17数据集上带来了显著的由于我们的方法不依赖于特定的网络架构，因此预计将与现有的最先进的深度模型结合使用，以进一步提高性能。我们还评估我们在市场上的方法L222方法MLR-CUHK03一品五品十品秩-1MLR-VIPeR五品十品秩-1鱼子酱秩-5十阶CamStyle [49]69.189.693.934.456.866.632.172.385.9FD-GAN [9]73.493.897.939.162.172.533.571.486.5SING [17]67.790.794.733.557.066.533.572.789.0CSR-GAN [40]71.392.197.437.262.371.634.772.587.4雨[7]78.997.398.742.568.379.642.077.389.6加拿大元[24]82.197.498.843.168.277.542.876.291.5完整性[9]86.497.498.546.273.181.644.081.893.9DI-REID [16]85.797.198.650.377.987.351.283.694.4[13]85.297.598.8---43.278.591.9基线78.193.396.033.559.269.925.862.280.0基线+随机-DS76.393.096.531.358.270.321.457.576.5我们的：天真†75.292.896.429.746.555.724.159.979.7我们的：不带垫块84.896.997.849.774.784.243.884.995.4我们的：无攻击86.197.498.551.377.584.841.682.092.8我们87.697.599.352.279.788.044.084.893.6†朴素意味着将标准交叉熵损失直接应用于生成的数据表1.分别在MLR-CUHK 03、MLR-VIPeR和CAVIAR基准上与最先进方法相比的交叉分辨率Re-ID性能（%）。我们使用的基线是使用RandomCrop，RandomHorizontalFlip，RandomErasing [48]和BNNeck [27]训练的ResNet-50主干。Rand-DS表示概率为0.5的随机下采样训练样本。表2.通过我们的方法产生的MSMT 17数据集上的常规Re-ID性能（%），该方法采用不同的降级函数。1501 [45]数据集针对更多类型的感知变化。这些实验结果在附录中给出。消融研究。我们研究了我们的方法的每个组成部分的贡献，如表1所示。可以观察到，直接使用我们生成的数据与标准的交叉熵损失不能提高Re-ID性能。在引入自中心损失Lsc和Wasserstein损失Lw之后，可以实现显著的性能增益，在MLR-CUHK 03数据集上的Rank-1处超过朴素实现更多的损失和超参数的分析在补充中给出。图4.在三个Re-ID基准上的交叉分辨率图像增强，其中所有增强样本通过线性内插分辨率质量得分来获得4.4. 可视化增强图像生成。为了证明我们的解纠缠生成模型的潜力，在图4和图5中给出了具有分辨率和照明操作的生成样本的大量通过线性采样感知质量分数，所生成的样本序列具有连续的分辨率（照明）变化，这为Re-ID训练提供了丰富的数据多样性。与直接特征插值不同的是，该方法基于定量特征操作，无需选择两个样本作为线性插值的端点，即可实现单样本增强。方法秩-1秩-5十阶地图[37]第三十七话47.665.071.823.0ResNet-50 [14]57.472.978.429.2PDC [33]58.073.679.429.7GLAD [42]61.476.881.634.0PCB [36]68.281.285.540.4基线64.078.183.036.6我们的照明73.384.988.546.6我们的解决方案71.184.087.644.3我们的模糊71.983.887.445.4223图5.增强图像对照明变化。(a) MLR-CUHK 03（b）MSMT 17（照明）图6.感知质量分布。水平轴表示感知质量分数，并且垂直轴表示样本的数量。实线和虚线分别指示分辨率和照明的估计的感知分数分布感知质量分布。事实上，作为副产品，我们的方法能够定量分析Re-ID数据集中存在的低级视觉变化。如上所述，图像的感知质量分数可以用等式（5）来估计。因此，我们可以计算数据集中所有训练样本的质量得分并绘制直方图，如图6所示。我们发现，低层次的视觉质量分布的真实世界的数据是非常接近的正态分布，因此，这是合理的使用高斯分布来近似真实世界的分布，基于重采样的数据增强。学习身份特征。通过我们提出的感知数据生成，可以定量分析不同低级视觉因素对身份特征的影响与基线相比，该方法提取的身份特征在连续变化的分辨率和光照下表现出优异的稳定性，这进一步解释了为什么我们的方法可以显着改善基线。感知攻击分析。为了分析我们的感知攻击的效果，我们计算攻击之前和之后的样本之间的归一化欧氏距离，如图8所示。可以观察到，攻击后，对抗样本与其原始版本之间的距离显著增加（用红色标记），而与否定样本之间的距离则略有减少（a）交叉分辨率。（b）交叉照明。图7.学习身份特征的可视化。上图：输入图像，中图：基线生成的特征，下图：框架生成的特征。图8. ReID驱动的感知攻击的可视化。表中的值表示样品之间的归一化欧几里得距离。第一行：攻击前距离，第二行：攻击后距离。（标记为绿色）。这些由攻击引导产生的硬失配对有望促进鲁棒的特征学习并提高训练效率。5. 结论在本文中，我们提出了全局感知和攻击引导的感知数据生成，以补充现有的训练数据的人Re-ID对低层次的感知变化。具体来说，我们设计了一个轻量级的解纠缠生成模型来估计和操纵图像的感知变化。我们还采用基于GCN的白盒攻击者来引入用于数据生成的任务相关知识。为了减轻由合成样本引起的域偏差在四个基准测试上的实验表明，该方法有效地提高了Re-ID在不同低层次感知变化下的性能。确认本工作得到了国家重点研发计划项目2020 AAA0105702、国家自然科学基金项目U19 B2038、安徽省高校协同创新计划项目GXXT-2019-025的支持224引用[1] Slawomir Bak，Peter Carr，and Jean-Francois Lalonde.通过合成进行主适应，用于无监督的人重新识别。在ECCV，2018。[2] Igor Barros Barbosa，Marco Cristani，Barbara Caputo，Alek-sander Rognhaugen，and Theoharis Theoharis.展望未来：用于深度cnns再识别的合成训练数据。计算机视觉和图像理解，2018。[3] Joan Bruna 、 Christian Szegedy 、 Ilya Sutskever 、 IanGoodfel-low、Wojciech Zaremba、Rob Fergus和DumitruErhan。神经网络的有趣特性。见ICLR，2014年。[4] Binghui Chen，WeiongDeng，and Jani Hu.混合高阶注意网络用于人的再识别。在ICCV，2019年。[5] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义PAMI，2017年。[6] 陈天龙、丁少金、谢静怡、叶远、陈武扬、杨阳、周仁、王张扬。细心但多样化的人重新识别。在ICCV，2019年。[7] Yun-Chun Chen ， Yu-Jhe Li ， Xiaofei Du ， and Yu-Chiang Frank Wang.学习分辨率不变的深度表示，用于人员重新识别。在AAAI，2019年。[8] Dong Seon Cheng ， Marco Cristani，Michele Stoppa，Loris Bazzani，and Vittorio Murino.用于重新识别的自定义图形结构。在BMVC，2011年。[9] Zhiyi Cheng，Qi Dong，Shaogang Gong，and XiatianZhu.跨分辨率人员重新识别的任务间关联评论器。在CVPR，2020年。[10] Yixiao Ge，Zhuowan Li，Haiyu Zhao，Guojun Yin，Shuai Yi，Xiaogang Wang，et al.Fd-gan：用于稳健的人重新识别的姿势引导特征在NIPS，2018年。[11] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。[12] 道格拉斯·格雷和海涛。具有局部特征集合的视点不变行人识别ECCV，2008年。[13] 柯寒，黄炎，陈泽瑞，王亮，谭铁牛。用于自适应低分辨率个人重新识别的预测和恢复在ECCV，2020年。[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。[15] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。InICCV，2017.[16] Yukun Huang，Zheng-Jun Zha，Xueyang Fu，RichangHong，and Liang Li.通过退化不变性学习的真实世界的人重新识别。在CVPR，2020年。[17] Jiening Jiao ， Wei-Shi Zheng ， Ancong Wu ， XiatianZhu，and Shaogang Gong.深度低分辨率人物重新识别。在AAAI，2018。[18] MahdiMKalayeh 、 EmrahBasaran 、 MuhittinGo¨kmen 、Mustafa E Kamasak和Mubarak Shah。人的语义分析，用于人的重新识别。在CVPR，2018年。[19] G.康湖，澳-地Zheng，Y.郑氏，中国科学院植物研究所所长。Yan和Y.杨无监督领域自适应的深度对抗性注意对齐：目标期望最大化的好处。2018年。[20] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在CVPR，2019年。[21] Thomas N Kipf和Max Welling图卷积网络的半监督2017年。[22] Wei Li ， Rui Zhao ， Tong Xiao ， and Xiaogang Wang.Deep- reid：深度过滤配对神经网络，用于人物重新识别。CVPR，2014。[23] Wei Li，Xiatian Zhu，and Shaogang Gong.和谐的关注网络，人的再认同。在CVPR，2018年。[24] Yu-Jhe Li，Yun-Chun Chen，Yen-Yu Lin，Xiaofei Du，and Yu-Chiang Frank Wang.Recover and Identify ： AGenerative Dual Model for Cross-Resolution Person Re-identification.在ICCV，2019年。[25] Jiawei Liu，Zheng-Jun Zha，Di Chen，Richang Hong，and Meng Wang.用于跨域人员重新识别的自适应转移网络。在CVPR，2019年。[26] Jiawei Liu，Zheng-Jun Zha，Xuojin Chen，Zilei Wang，and Yongdong Zhang.用于视频中人物重新识别的密集3d卷积神经网络。ACM TOMM，2019年。[27] Hao Luo，Youzhi Gu，Xingyu Liao，Shenqi Lai，andWei Jiang.一袋技巧和一个强大的基线深度重新识别人。在CVPRW，2019年。[28] Liqian Ma，Qianru Sun，Stamatios Georgoulis，Luc VanGool，Bernt Schiele，and Mario Fritz.解纠缠的个人图像生成。在CVPR，2018年。[29] Dechao Meng ， Liang Li ， Xuejing Liu ， Yadong Li ，Shijie Yang ， Zheng-Jun Zha ， Xingyu Gao ， ShuhuiWang，and Qing-ming Huang.基于解析的视点感知嵌入网络车辆再识别。在CVPR，2020年。[30] 苗佳旭、吴宇、刘平、丁宇航、杨毅。用于被遮挡人重新识别的姿势引导特征对准。在ICCV，2019年。[31] Seyed-Mohsen Moosavi-Dezfoooli ， Alhussein Fawzi ，and Pascal Frossard. Deepfool：一种简单而准确的欺骗深度神经网络的方法。在CVPR，2016年。[32] Yujun Shen，Jinjin Gu，Xiaoou Tang，and Bolei Zhou.语义人脸编辑中gans潜在空间的解释。在CVPR，2020年。[33] Chi Su，Jianing Li，Shiliang Zhang，Junliang Xing，Wen Gao，and Qi Tian.用于个人重新识别的姿势驱动的深度卷积模型。InICCV，2017.[34] 孙笑笑和梁正。从视点的角度剖析人的再认同。在CVPR，2019年。[35] Yifan Sun，Qin Xu，Yali Li，Chi Zhang，Yikang Li，Shengjin Wang，and Jian Sun. 感知重点在哪里：学习可见性感知的部分级特征以用于部分人重新识别。在CVPR，2019年。[36] 孙一凡、郑良、杨毅、齐天、王胜金。超越零件模型：225使用精化的人员检索226部分池化（和强卷积基线）。在ECCV，2018。[37] Christian Szegedy ， Wei Liu ， Yangqing Jia ， PierreSermanet ， Scott Reed ， Dragomir Anguelov ， DumitruErhan，Vincent Vanhoucke，and Andrew Rabinovich.更深的回旋。CVPR，2015。[38] Hongjun Wang ， Guangrun Wang ， Ya Li ， DongyuZhang，and Liang Lin.可转移的、可控的和不明显的对具有深度错误排名的人重新识别的对抗性攻击。在CVPR，2020年。[39] 王玉林、潘旭然、宋世济、张宏、郜黄、吴成。深层网络的隐式语义数据扩充。在NIPS，2019。[40] 郑王、莽野、范阳、项白、佐藤真用于尺度自适应低分辨率个人重新识别的级联sr-gan在IJCAI，2018。[41] Longhui Wei，Shiliang Zhang，Wen Gao，and Qi Tian.人员转移甘桥梁域差距的人重新识别.在CVPR，2018年。[42] Longhui Wei，Shil