基于退化不变性学习的人员重新识别方法的研究

14084基于退化不变性学习的黄玉坤1，查正军1，付学洋1，洪日昌2，李亮31中国科学技术大学2合肥工业大学，中国3中国科学院计算技术研究所kevinh@mail.ustc.edu.cn，{zhazj，xyfu}@ustc.edu.cn，gmail.com @liang.li ict.ac.cn摘要真实世界场景中的人员重新识别（Re-ID）低分辨率、弱光照、模糊和不良天气。一方面，这些退化导致了严重的辨别信息丢失，严重阻碍了- s的身份表征学习;另一方面，由低级视觉变化引起的特征失配问题大大降低了检索性能。一个直观的解决方案是利用低级别的图像重建方法来提高图像质量。然而，由于各种限制，现有的恢复方法不能直接用于参考样品的要求，合成和真实之间的领域差距，以及低级和高级方法之间的不兼容性。 针对上述问题，本文提出了一个真实世界中人的退化不变性学习框架Re-ID。通过引入自监督的非纠缠表示学习策略，我们的方法能够同时提取身份相关的鲁棒特征，并消除现实世界的退化，而无需额外的监督。我们使用低分辨率的图像作为主要的演示，实验表明，我们的方法是能够实现国家的最先进的性能在几个Re-ID基准。此外，我们的框架可以很容易地扩展到其他现实世界的退化因素，如弱照明，只有一些修改。1. 介绍人重新识别（Re-ID）是一个行人检索任务的非重叠摄像机网络。这是非常有挑战性的，因为由不同相机捕获的相同身份通常在人的姿势、视图、照明条件、分辨率等方面具有显著变化。为了抵抗身份无关变异的干扰，主要是*通讯作者。图1.现有方法[28，20，18]仅使用简单的合成技术，例如低分辨率的下采样或低照明的伽马校正，以缓解Re-ID中的图像退化问题。这与现实场景中的复杂退化相差甚远，后者导致了域缺口。人Re-ID主要目标是提取鲁棒的身份表示。凭借强大的表示学习能力，基于深度卷积神经网络的方法在公开可用的基准测试中取得了显着的性能。例如，Market-1501 [57]上的rank-1准确率已经达到94.8% [58]，这非常接近人类水平的表现。然而，对于真实世界的监控场景，仍然存在一些需要解决的实际问题，各种退化因素导致的低质量图像就是其中之一。之前的几项工作[18，38]已经证明，这种退化对人的Re-ID任务有严重的负面影响。一方面，这些退化导致了视觉表象的池化和区分信息的丢失，使得表征学习更加困难;另一方面，也带来了特征不匹配的问题，大大降低了检索性能。14085集中于减轻低水平退化问题的现有方法可以分为三种类型：1) 数据扩充。这类方法[1]在不同的低层视觉条件下合成更多的训练样本，以提高模型的泛化性能。然而，在合成数据和真实世界数据之间存在着一个领域差距。比如多数跨分辨率的人Re-ID作品使用简单的下采样算子来生成低分辨率图像。而现实世界的低分辨率图像通常包含更多的退化，如噪声和模糊。2) 与低水平视觉任务相结合。 这种类型的方法[20，49，38，18]通常由两级流水线组成，即，将Re-ID主干与现有的图像恢复或增强模块相结合，以消除退化的影响。然而，大多数现有的低级视觉算法需要对齐的训练数据，这在现实世界的监控场景中是不可能收集的3) 解缠结表示学习在 近年来，一些研究试图利用生成对抗网络（GAN）来学习解纠缠表示，其对某些干扰因素是不变的，例如，人的姿态[8]或分辨率[5，28]。Ge等人。 [8]提出FD-GAN用于姿势不变特征学习，而无需对训练集进行额外的姿势注释。为了指导解纠缠特征的提取，通常需要引入辅助信息，这不可避免地导致额外的估计误差或域偏差。基于上述观察，我们认为，缺乏监督信息的真实退化是解决现实世界的Re-ID的主要困难。这启发我们思考如何在有限的低级别监督信息的情况下自适应地捕获真实世界的退化。在这项工作中，我们提出了一个退化不变的表示学习框架，为现实世界的人的Re-ID，命名为DI-REID。通过自我监督和对抗训练策略，我们的方法能够保留身份相关的特征并去除退化相关的特征。DI-REID包括：（a）内容编码器和退化编码器，用于从每个行人图像中提取内容和退化特征;（b）解码器，用于从先前特征生成图像;（c）用于提供域约束的现实约束和退化约束。为了有效地捕捉真实世界的退化，我们通过切换自退化图像对和真实图像对的内容或退化特征来生成图像。真实性度量用于缩小合成与真实性之间的域差距，而退化度量用于估计输入的退化程度。利用这两个鉴别器有利于退化不变表示学习。由于退化程度可能没有一定的离散划分，因此我们使用rankGAN [29]作为退化模型来解决这个问题。总之，我们的贡献有三个方面：• 我们引入了一个新的方向，以提高在现实世界的场景中的各种图像退化我们该方法可以减轻现有图像恢复方法中对大量标记数据的需要。• 我们提出了一个退化不变性学习框架，以提取鲁棒的身份表示的真实，世界人物重新识别。通过自监督和非纠缠表示学习，我们的方法能够在没有额外标记数据的情况下捕获和去除真实世界的退化。• 在几个具有挑战性的Re-ID基准点上的实验表明，我们的方法有利地执行，与最先进的方法进行对比通过一些修改，我们的方法能够处理不同种类的退化图像在现实世界的场景。2. 相关工作由于我们的工作与特征表示学习和GAN有关，我们首先简要总结这两个方面的工作。2.1. 特征表示学习人的重新识别，包括基于图像的Re-ID [24，57]和基于视频的Re-ID [54，31]，由于人的姿势、摄像机视图、遮挡、照明、分辨率等的显著变化，是一项非常艰巨的任务。Re-ID的一个重要目标是学习身份表示，其对于上述干扰因素足够鲁棒。这些干扰因素大致可分为高水平变化和低水平变化。针对高级变化的特征学习。这些变化包括姿态、视图、遮挡等。 由于这些变化往往是空间敏感的，一个典型的解决方案是，是利用当地的特点，即，预定义区域划分[39，42，43，34]，多尺度特征融合[33，4，60]，基于注意力的模型[2，3，25，35，56]和语义部分提取[11，39，22，55]。这些方法通常需要辅助任务，例如姿势估计或人工解析。上文所述的研究路线已得到充分探讨，将不再详细讨论。在这项工作中，我们专注于低层次的变化问题。针对低水平变化的特征学习。这些变化包括照明、分辨率、天气等。低水平的变化往往具有全球一致性，可以通过诸如超分辨率或低光增强的图像恢复方法来缓解。大多数现有的Re-ID方法，这是为低水平的变化，专注于交叉分辨率的问题。14086DDDDDJiao等[20]建议以端到端的方式同时优化SRCNN和Re-ID这是首次将超分辨率方法引入低分辨率Re-ID。为了提高SR方法的尺度适应性，Wang et al. [49]采用级联的SRGAN结构，逐步恢复丢失的细节。Mao等人[38]提出了前景聚焦超分辨率模块，迫使SR网络聚焦于人体前景，然后采用双流模块提取分辨率不变特征。 另一方面，几种方法[5，28]利用对抗学习来提取分辨率不变表示。与分辨率问题类似，照明是现实世界场景中的另一个常见问题照明变化的主要影响是颜色分布的变化，这已经在[45，23]中进行了研究鉴于当前重新识别数据集中缺乏照明多样性，Baket al.[1]介绍SyRI数据集，它提供了100个使用不同照明贴图渲染的虚拟人。基于Retinex理论，Huanget al. [18]提出了Retinex分解和人Re-ID的联合框架来提取光照不变特征。2.2. 生成对抗网络生成对抗网络首先由Goodfellow等人提出。 [9]用于估计生成模型，然后产生大量变体和应用。对于人员Re-ID，GAN的使用大致可以分为三类：域转移[59，50，7，1，30，48]，数据增强[37，26，40，58，16]和特征表示，[2018 - 05 - 28]第二节学习方法Liu等人。 [30]利用多个GAN来执行因子式子传输，并实现了优于其他无监督域自适应方法的性能Zheng等人。 [58]将判别模型和生成模型整合到一个统一的框架中，以使两个任务相互受益。Hou等人。 [16]提出STCnet基于时间上下文明确恢复遮挡区域的出现。t信息。与STCnet类似，Li等人。 [28]提出了交叉分辨率对抗双网络，以同时重建缺失的细节并提取分辨率-从一个单一的图像。这是一个不适定的问题，并且非常困难，因为在真实世界场景中没有退化注释或参考图像。因此，本文通过自降质图像的合成，利用降采样、伽玛校正等自监督方法提供先验知识和指导，在降质不变性学习阶段，依次使用对齐的自降质图像对和未对齐的真实图像对训练DDGAN，缩小了合成与实际之间的领域差距.对于身份表示学习，我们发现仅使用退化不变表示并不会导致更好的Re-ID性能。这是因为退化不变性迫使网络放弃那些有区别但对退化敏感的特征，例如，颜色提示照明不变性。因此，我们设计了一个双特征提取网络，同时提取这两种类型的特征。此外，一个注意力机制引入退化引导的特征选择。3.2. 网络架构Content EncoderEc.内容编码器Ec用于提取用于图像生成的内容特征以及退化不变的身份表示，并且DDGAN和DFEN共享相同的内容编码器。特别是，多尺度结构采用Ec，以促进梯度反向传播。降级编码器Ed和E′。由于真实图像和自退化图像之间存在域差，我们设计了退化编码器E d和自退化编码器E′，分别捕获d e灰度信息。请注意，Ed和E'的权重不共享，并且鼓励E'将合成的de渐变特征转换为真实世界的退化特征。解码器G.与[58]类似，我们利用自适应物体归一化（AdaIN）层[17]来融合图像生成的内容和退化特征。现实中的R。真实感增强器迫使解码器生成接近真实分布的图像这可以间接地促进不变特征自显影灰度编码器E′来产生真实世界的降解，3. 该方法3.1. 概述如图2和图3所示，我们提出的DI-REID包括两个阶段：通过退化分解生成对抗网络（DDGAN）的退化不变性学习和通过双特征提取网络（DFEN）的鲁棒身份表示学习。为了学习退化不变表示，我们试图捕获和分离真实世界的退化dation特征。DegradationD.降级判别器解析输入的降级程度，鼓励编码器学习解纠缠的内容和降级表示。身份编码器Eid.作为预训练的Re-ID骨干网络，身份编码器为退化不变性学习提供身份保留约束。该编码器用于在身份表示学习阶段提取有区别但对退化敏感的特征。14087ReconD侦察c d cd图2. Degradation Decomposition Generative Adversarial Network，DDGAN。自退化图像对{xi，xj}和真实图像对{xi，xk}交替地用于训练DDGAN。对于每一对，输入图像被分解为内容特征fc和退化特征fd，然后交换和组合它们以生成四个重构图像，例如，{xii，xjj，xij，xji}。3.3. 退化不变性学习使用不变内容损失的约束：我们的目标是提出一个通用的退化不变性学习网络，以应对各种现实世界的退化-sinvc为||E c（xi）−E c（xj）||1 .一、（一）在有限的监督信息下。 在本节中，我们只描述最常见的无监督DDGAN。补充资料中给出了关于未配对数据的半监督DDGAN的更多细节此外，我们可以用a重建图像xii和xji。逐像素重建损失：Ls=||G（f i，f i）−xi||1个以上||G（fj，f i）−xi||1 .一、（二）配方。我们提出的DDGAN交替由自退化图像对ps={x，x}训练，以及请注意，Ls不应适用于重建i j 图像xij和xjj，由于自适应效应真实图像对pc={xi，xk}，其被称为自退化生成和交叉退化生成。状态。例如，如图2所示，在自降级生成阶段期间，输入对{xi，xi}被降级。组成为内容特征{fi，fj}，并且降级d e灰度编码器E′。为了确保重建的脚的外观三角形图像没有显著改变，则采用身份特征保持损失：C cij′L s=||E（G（f i，f j））−E（x）||特征{fd，fd}由编码器Ec，Ed和Ed。后预idcdID I1（三）所有特征都成对组合以生成新的IM。+的||Eid（G（fj，f i））−Eid（xj）||1 .一、由解码器G生成{xi，xi j，xij，xij}，其中xij是gen-cd由G（f i，f j）表示。如前所述，自我监督退化Cd函数Fdeg倾向于引入不期望的域偏置，现实和综合之间，这导致了学习的fea-3.3.1自降解生成给定自退化图像对ps={xi，xj}，其中xj=Fdeg（xi），自监督降级的类型试图偏离真实世界的分布。为了解决这个问题，我们引入了一个现实对抗性损失：Ls=E[ log（ Dr（ xi））+ log（1− Dr（ G（ fi，fj）]函数F取决于具体的现实世界降解-房CD（四）L14088deg+E[log（Dr（xk））+log（1-Dr（G（fj，fj）））]，影响因素由于xj和xj是逐像素对齐的，因此它们的内容特征应该是一致的。我们提供这个骗局-Cd其中xi和xk都是真实世界的图像。14089房deginvID最后，我们的主要目标是学习一个退化的非依赖表示。换句话说，在切换输入图像对的内容特征之后，重构图像的劣化分数排名应该与原始排名一致。为了提供这样的约束，我们引入了降级排名损失：Ls=max（0，（Dd（xi）−Dd（G（fi，fj）<$γ+<$）degCD（五）+max（0，（Dd（G（fj，fi））−Dd（xj））<$γ+<$），C d其中，γ=1是输入图像对的等级标签，并且裕度γ控制退化分数的差异。更高的降级分数意味着更低的图像质量。3.3.2交叉降解生成对于交叉退化生成，我们还对输入真实图像对pc={xi，xk}执行图像编码和解码，其中xi和xk直接从真实世界数据采样。为了提供正则化约束-t，我们还引入了自重建损失：Lc=||G（f i，f i）−xi||1个以上||G（f k，f k）−xk||第一条第（六）项图3.概述了提出的双特征提取网络（DFEN），用于鲁棒的身份表示学习。其中等级标签γ取决于真实世界图像xi和xk的预测退化分数。通过这种方式，可以学习解纠缠的内容和降级特征，以近似真实世界的分布，而无需额外的监督信息。3.3.3优化对于自降解发电，总目标是：侦察c d c dLs=λinvcLs+λreconLs+λpre Ls现实对抗性的损失总invcRecon预（十一）Lc=E[log（D（x））+log（1−D（G（fi，f k）]+λrealLs+λ deg L s。真正的rircD（七）+E[log（D（x））+log（1-D（G（f k，fi）]，对于交叉退化生成，总目标是：RkrcdLc=λidLc+λreconLc+λpre Lc和身份特征保持损失：总ID+λrealLcRecon+ λ deg L c.预（十二）L c=|| E（G（f i，fk））− E（x）||房deg预IDCDID我1+的||E （G（fk，fi））−E（八）（x）||-是的这两个优化阶段交替执行。idc dIDK1与自退化生成不同，这里的xi和xk具有完全不一致的内容信息，这意味着不变的内容丢失不再适用。由于退化不变性学习的目的是改善现实世界中的人Re-ID，因此我们使用标准的识别损失来提供任务驱动的约束：L c=E[−log（p（y|x））] +E[−log（p（y|（x））]、（9）3.4. 身份表征学习如3.1中所述，DFEN提取退化不变特征finv和退化敏感特征fsen作为身份表示，其中退化不变特征是没有降维的内容特征。给定正常图像，finv和fsen都应该IDI我Kk被保持;而对于退化图像，它应当保持f_inv其中，预测概率p（y，|x i）和p（y k|x k）是分别基于内容特征fi和fk为了实现这一目标，我们引入了一个退化引导的注意力模块，它输入cc降级提示并输出对于无监督退化不变性学习，真实世界的训练数据不具有任何与退化相关的监督信息。为了利用真实数据对真实世界的退化分布进行建模，我们还引入了退化排名损失：f sen.虽然Ed和Dd都可以提供退化信息，但我们选择Dd以获得更好的可解释性。给定输入图像xi，最终的身份表示被公式化为：Lc=max（0，（Dd（xi）−Dd（G（fi，fk）<$γ+<$）i=concat（fi宜森 （Dd（xi），（13）度c d+max（0，（Dd（G（fk，fi））−Dd（xk））<$γ+<$），.C dγ= −1，如果Dd（ xi）> Dd（ xk）F，f14090inv森两γ= 1，如果D d（x i）

下载后可阅读完整内容，剩余1页未读，立即下载