特征级模态补偿下的VI-ReID文件

7349SSSpppeeecccififififificicicic icMMMoodddallliiittttyyySSSppppeciecieciecifffiiicccFMCNet：特征级模态补偿的可见-红外人员再识别张强1，赖昌洲1，刘建安1，黄念昌1，韩俊功21西安电子科技大学机电工程学院2英国qzhang@xidian.edu.cn，{chzhlai，jianan liu，nchuang *}@ stu.xidian.edu.cn，jungonghan77@gmail.com摘要对于可见光-红外人脸识别（VI-ReID），现有的基于模态信息补偿的模型试图从现有的模态图像中生成缺失模态的图像，以减少跨模态的不确定性。然而，由于可见光和红外图像之间存在很大的模态差异，Visible Modalityityity-SpeSpeSpecifiifi cureseses模态共享功能红外模块化化化-光谱仪光谱仪光谱仪（一）可见模态-VI-ReID网络Generati ng生成缺失图像生成（b）第（1）款红外VIVI-ReIReIDD我的工作工作工作经认证的图像通常质量较低，具体特征模态特定功能更多的干扰信息（例如，颜色不一致）。这大大降低了后续的VI-ReIDIIn fared莫莫莫达利特特特-特殊功能模态共享Matchinnn g可视模态-特定功能模态共享性能另外，本文提出了一种新的用于VI- ReID的特征级模态补偿网络（FMCNet），其目的是补偿漏失，特征我们的模型Generati ng（c）第（1）款生成特征我们的模型在特征级而不是图像级中使用模态特定信息从另一模态的现有模态共享特征直接生成一个这将使我们的模型能够主要生成一些有区别的人相关的模态特定特征，并丢弃那些无区别的特征，以使VI-ReID受益。为此，首先设计了一个单模态特征分解模块，将单模态特征分解为模态特定特征和模态共享特征。然后，提出了一个特征级模态补偿模块，用于从外部模态共享特征中生成那些缺失的模态特定特征。最后，提出了一个共享特定的特征融合模块，结合现有的和生成的特征VI-ReID。在两个基准数据集上验证了我们提出的模型的有效性。1. 介绍人物再识别（ReID）的目的是从不同相机拍摄的图像库中匹配给定的行人。大多数现有的ReID模型关注可见-可见图像匹配（即，VV-ReID）。然而，在这方面，*同样是通信作者。图1.说明我们的模型和现有的VI-ReID模型。(a)现有的模态共享特征学习模型。(b)现有的基于图像级补偿的模型。（c）我们提出的基于特征级补偿的当可视摄像机不能很好地捕获信息时，例如在夜间，这些模型可能具有较差的性能。与可见光摄像机相比，红外摄像机在恶劣的光照条件下仍能拍摄到清晰的图像.此外，现代监控系统中的大多数摄像机支持在不同照明条件下在可见光和红外模式之间自动切换。因此，可见-红外ReID（即，VI-ReID）最近引起了越来越多的关注。VI-ReID的主要挑战在于可见光和红外图像之间的模态差异。同时，它也可以从大人物的变化，如观点和姿势上网.如图1（a），大多数现有模型[1-虽然已经取得了很大的改进，这些模型不可避免地丢弃了大量的歧视性的人相关的特定模态的信息，这也可能有利于VI-ReID。考虑到这点7350一些工作[8，9]提出了模态特定信息补偿的思想，其试图首先从现有模态生成那些丢失的模态特定信息，然后将生成的信息和原始信息联合用于VI-ReID。然而，现有的特定模态的信息补偿为基础的模型通常实现较差的结果相比，那些模态共享的特征学习为基础的模型。这可能归因于现有模型的图像级补偿。也就是说，如图1（b）所示，现有模型首先从现有模态的图像中生成缺失模态的图像，然后从用于VI-ReID的配对图像中提取有区别的人特征。然而，由于可见光和红外图像之间的大的模态差异，从一种模态生成另一种模态的高质量图像特别地，当从红外图像生成可见图像时，更多的噪声信息（例如，颜色不一致性），而不是区别性个人特征，将被引入VI-ReID。此外，这些现有的基于模态特定信息补偿的模型通常遵循两阶段结构并且不是端到端可训练的，其中图像生成子网络和VI-ReID子网络是独立训练的。实际上，与可见光和红外图像的模态差异相比，由于一些共同的语义信息通常共存于单峰的可见光和红外特征中，因此，它们的特征因此，在特征级中的可见光数据和红外数据之间的转换可以比在图像级中的转换更容易。 同时，如在一些现有的著作[ 10 - 12 ]中所讨论的，单模态特征（例如，单峰可见特征或红外特征）可以被分解成它们自己的模态特定特征和模态共享特征。跨模态翻译的困难可以通过从现有的模态共享特征而不是从整个单模态特征生成那些缺失的特定模态特征来进一步减少。更重要的是，与图像级的翻译相比，特征级的翻译可以通过设计一些专用的损失函数来灵活地控制那些丢失的模态特定特征的例如，我们只能生成一些有区别的人相关模态特定特征，并丢弃那些无区别的特征以使VI-ReID受益。考虑到这一点，我们将提出一种新颖的基于端到端特征级模态特定信息补偿的模型，即，本文介绍了一种 用 于 VI-ReID 的 神 经 元 级 模 态 补 偿 网 络（FMCNet）。如图1（c）所示，我们提出的FMCNet旨在补偿特征级别而不是图像级别中缺失的模态特定信息，即，直接生成-从其他模态的现有模态共享特征中提取一个模态的那些缺失的模态特定特征。为此，首先利用单模态特征分解（SFD）模块将输入的单模态特征分别分解成它们自己的模态特定特征和模态共享特征。同时，模态分解损失的设计，以促进这些单模态特征的分解。然后，设计了一个图像级模态补偿（FMC）模块，用于从一种模态的现有模态共享特征中为每幅样本图像生成另一种模态的缺失模态特定特征最后，共享特定特征融合（SFF）模块被设计为联合使用现有的模态共享和模态特定特征以及针对VI-ReID生成的模态特定特征类似地，cm-SSFT [13]还试图同时利用VI-ReID的模态共享和模态特定特征。通过对不同样本间的相似度建模，实现了共享特征的传递特别地，那些在cm-SSFT中缺失的模态特定特征是从图库中的其他模态的所有样本中转移的。这还可能引入其他身份的更多与cm-SSFT不同的是，我们提出的模型不依赖于其他样本，并且能够直接灵活地从其自身的模态共享特征中生成那些缺失的模态特定特征。综上所述，本工作的主要贡献如下：(1) 提出了一种新的FMCNet，它提出了特征级，而不是图像级的模态特定的信息补偿VI-ReID。这使得我们的模型能够专注于生成一些所需的缺失模态特定特征（例如，区别性的人相关的）用于VI-ReID。(2) 我们提出的FMCNet提供了一个统一的端到端的框架，实现了单峰特征分解，模态特定的特征补偿和模态共享特定的特征融合VI-ReID通过建议的SFD，FMC和SFF模块，分别。(3) 我们的模型显着优于那些图像级补偿为基础的模型，并获得竞争力，甚至比一些国家的最先进的模态共享特征学习为基础的更好的结果。2. 相关工作VV-ReID已经研究了很多年，并取得了重大进展。总结大量关于VV-ReID的现有工作超出了本文的范围，我们建议感兴趣的读者参考[14- 16 ]以了解最近的最近，VI-ReID引起了越来越多的关注7351我--k，pSFD模块FMC模块SFF模块EFVVEVSPFsp，VFsp，VFsp，IDI真/假？F'sp，IGVICF'L LLIIIFsp，IGAN FC ICsh，VFsh，VEsh我操，我我操，我LMCC3LFIDLFsp，VDII真/假？mdid的 LF'sp，VGIVCFF'sp，VEEIsp，ILILILIVGAN FC IC我FSPFsp，I我图2.拟议的企业级模态补偿网络（FMCNet）框架由于其在实际应用中的潜力[5大多数现有的VI-ReID模型可以分为两类，即，基于模态共享特征学习和基于模态特定信息补偿的方法。基于模态共享特征学习的模型旨在将来自不同模态的特征嵌入到相同的特征空间中，并通过使用一些特征级约束来减少跨模态差异[1，4，7，12，17]。例如，[4]提出了一种双路径网络，通过使用一个共享的网络，并设计了一个新的双向双约束的顶级损失，学习人的歧视性特征的VI-ReID。相应地，基于模态特定信息补偿的模型试图从现有模态中弥补缺失的模态特定信息[8，9，18例如，[8]首先设计了两个跨模态图像转换子网络，分别将红外图像转换为可见光图像，并将可见光图像转换为红外图像。在此基础上，提出了一种ReID网络，通过引入特征级约束来减少外观差异。在本文中，我们提出的模型遵循特定模态信息补偿的思想。然而，不同于现有的模型，在图像级补偿丢失的模态特定的信息，我们提出的模型采用特征级补偿。3. 方法如图2所示，所提出的模型，即，特征级模态补偿网络（FMCNet）主要由三部分组成，单模态特征分解（SFD）模块、模态级模态组件、补偿（FMC）模块和共享特定特征融合（SFF）模块。具体地说，SFD模块首先从输入图像中提取单模态特征，然后将其分解为模态特定特征然后，提出的FMC模块生成丢失（或补偿）的可见（红外）模态特定的功能，从这些现有的分解红外（可见）模态共享的功能，在一个对抗的方式。最后，原始模态特定特征和模态共享特征以及它们的补偿模态特定特征将被组合在用于VI-ReID的所提出的SFF模块中。关于这些模块的细节将在以下内容中讨论。假设训练集（XV，XI）包含P个恒等式，每个恒等式包含K个样本.X V={xV，k = 1，..，K; p = 1，… P表示可见样品图像，并且Xi=xk，p，k=1，.，K;p=1，…去注释红外样本图像.3.1. SFD模块如图2.给定输入可见光图像XV或红外图像XI，所提出的SFD模块首先提取它们的单模态特征，然后将那些提取的单模态可见光（红外）特征分解成它们自己的模态特定特征和模态共享特征。在这里，提取和分解这些单模态可见光和红外特征的方法是相同的。因此，我们以输入的可见光图像XV为例，详细介绍了相应的过程。具体地，首先通过使用可见特征提取子网络EV（E）从XV中提取单模态特征FV。然后，一个可见的模态特定特征7352ID 1ID 2-2KKsp，m∗SP∗PDSPpDJSPSPSPSP∗∗ ∗∗PJD联系我们sp，mKsp，msh，mKsh，mminCsp，V−Csh，V2+ρ 1，0SP∥−--去相关损失（Ldc）旨在将模态特定特征推离模态共享特征。为此，它首先计算每个身份的模态特定特征中心以及模态共享特征中心，方法是Cp=1<$Fk，pk=1，Cp=1Fk，pk=1.（三）提取子网络EV（E）和模态共享的fea，这里，Cp表示第p个恒等式的中心，pSP在FV上执行真实提取子网络Esh（）以将它们分解成它们对应的可见模态。特定特征Fsp、V和可见模态共享特征Fsh，V，即，FV= EV（X V），Fsp，V= EV（FV），Fsh，V= Esh（FV）.（一）最后，在Fsp，V上执行特定的可见身份分类器PV（）以预测相应的身份得分Ssp，V. 同时，一个共享的身份分类器Psh（n）是特定模态的特征。类似地，Csh，m表示第p个恒等式然后，为了将模态特定特征推离模态共享特征，它约束不同模态特定特征中心之间的最大距离（例如，11）应该小于从模态特定特征中心到模态共享特征中心的最小距离（例如，图3中的12），即，L dc= 100最大最大值Cp−C2−执行Fsh，V，输出其预测身份p=1dsp，Vsp，V得分Ssh，V. 从数学上讲，这些过程可以是前-按压Pj，J（四）Ssp，V= PV（Fsp，V），Ssh，V= Psh（Fsh，V）.（二）MaxMaxDP2Csp，I-Csp，I ∥2−类似地，我们可以通过使用以下公式从XI获得单模态特征FI、红外模态特定特征Fsp，I和红外模态共享特征Fsh，I：最小CpCjsp，Ish，I∈2+ρ1，0，，.EI（）、EI（）和Esh（）。因此，通过使用特定的红外身份分类器PI（PI）和红外身份分类器PI（PI）来获得相应的身份得分Ssp，I和Ssh，I。共享身份分类器Psh（k），在这里，EV（）和EI（）遵循与ResNet-50的前三个块相同的结构[21]。 同样，EV（）和E1（）遵循与ResNet-50的最后两个块相同的结构，并进一步分别附加额外的全局平均池化层。 此外，这些子网-工程 Esh（）SP这里，d，j = 1，2，… P. ρ1表示相应的边际，并根据经验设定为1。如右图所示3、模态特征分离损失（Lsps）试图根据模态特征的同一性分离模态特征。为此，它扩大了不同身份（例如，11），即，Lsps=最大值最小值最大值最小值最小值最大值最小值最大值最小值具有与E-V（E-V）相同的网络结构。然而，在这方面，p=1jpsp，Vsp，V（五）它的参数是共享的单模态可见和frared功能，以提取他们的模态共享功能。损失函数：为了便于分解单个-+最大值 2minCsp，Id p-Csp，I=2，0，，.将模态特征Fm（mV，I）分解为模态特定特征Fsp，m和模态共享特征Fsh，m，进一步设计了一种新的模态分解（MD）损失如图 3、MD损失的目的是将模态共享特征从模态特定特征中分离出来，同时使分解后的模态特定特征和模态共享特征具有身份可区分性。因此，建议的MD损失包括三项，包括去相关损失（Ldc），模态特定的特征分离损失（Lsps）和模态共享的特征分离损失（Lshs）。这里，j，d = 1，2，...，P. ρ2表示相应的边际，其根据经验设定为0.7。如图3的左侧部分所示，模态共享特征分离损失（Lshs）试图同时使分解的模态共享特征是身份可区分的和模态不变的。为此，L shs试图从相同的身份（例如，4），同时扩大可见（红外）模态共享特征中心与可见（红外）模态共享特征中心之间的距离，D--ID-1LL14IDL3L2模态共享特征可见光和红外模态共享特征可见光或红外模态特定特征模式特有特征特色中心p图3.拟议MD损失的图示。+.7353Σ。L=αCshspp∗∗∗∗联系我们∗J psh，V2Dpsh，我PK(a)（b）第（1）款图4.模态共享特征和模态特定特征的分布。（a）没有MD损失的FMCNet（b）具有MD损失的FM-CNet。以及来自不同身份的红外模态共享特征中心（例如，13），即，P（例如，图4（b））。这意味着，与设计的网络结构和MD损失的合作，输入的单模态特征将被成功地分解为模态共享的和特定的模态。3.2. FMC模块如本节前面部分所述，FMCNet的下一步是通过所提出的FMC模块在特征级而不是图像级直接生成那些缺失的模态特定信息同时，如图2所示，从现有的可见模态共享特征Fsh ，V生成缺失的红外模态特定特征F′sp，I的过程类似于生成缺失的可见模态特定特征Faa的过程。psh，Vp=1-我...2+ max（ρ3−图F′sp，V从现有的红外模态共享fea，图雷斯岛我们采用由下式生成F′sp，I的过程：最小Cp−C，0，+max-minC−以Fsh，V为例，详细介绍了我们提出的FMC模块.具体而言，拟议的FMC模块由一个sh，m=2，0，D（六）特征级生成器GV− I（）和特征级模态DV− I（）。可见模态共享特征Fsh，V首先被馈送到特征级生成器这里，j，d = 1，2，...， P. ρ3表示相应的余量，并且也被设置为0.7。α是用于平衡不同损耗的预定义权衡参数，并且被设置为2。因此，建议的MD损失完全表示为通过LMD=Lshs+λ1Ldc+λ2Lsps，（7）其中λ1和λ2是用于平衡不同损耗的预定义折衷参数，并且都被设置为0.5。此外，采用身份分类（ID）损失以便于提取那些人相关特征并丢弃那些背景信息，即，GV− I（）以生成缺失的（或补偿的）红外模态特定特征F′sp，I，即，F′sp，I=GV− I（Fsh，V）.（十一）这里，特征级生成器GV− I（）是通过使用三个堆叠的全连接层来构造的。然后，给定所生成的红外模态特定特征F′sp，I和现有的真实红外模态特定特征Fsp，I，特征级模态判别器DV-I（）旨在准确地区分这两种类型的模态特定特征。它是通过使用一个层全连接层堆叠一个Sigmoid函数来构造的LID=L CE（S sh，V，YV）+L CE（Ssh，I，Y I）（八）并输出分类分数St用于区分+LCE（Ssp，V，YV）+LCE（Ssp，I，YI），其中，YV和YI表示地面真值。这里，通过使用交叉熵损失L CE来构造ID损失，即，两种特征。St值越大，表明输入特征越可能是对应的真实红外模态特征。特征级生成器GV−I（k）和特征级生成器G V − I（k）分别是：1N水平模态DV-I（）在AD中训练LCE（X，Y）=−Nyilog（xi），（9）对抗的方式具 体 地说，GV− I（）试图欺骗dis-i-ii=1犯罪者DV−I （二）通过产生缺失的红外线其中X=x1，…xN和Y=y1，...， yN. xi表示第i个样本的预测分类分数，yi表示相应的基础事实。这里，N是X中包含的样本的总数。因此，用于训练SFD模块的总损耗L SFD为LSFD=LMD + LID。（十）如图4（a）所示，在不使用所提出的MD损失的情况下，尽可能接近真实红外模态特定特征而鉴别器DV−I（）则试图尽可能准确地区分生成的模态特定特征和真实特征。因此，所生成的红外模态-具体特征F′sp，I最终将接近真实特征Fsp，I。在数学上，对抗性损失定义为不同的身份混杂在一起。 而凭借最小值最大值LV−I=1ΣΣ.洛戈JCsh，m37354sh，V.DV−I（Fk，p）建议的MD损失，这些模态共享和模态-GV−IDV−IGANPK p=1k=1sp，I（十二）特定特征有效地彼此分离+log.1−DV−I（GV−I（Fk，p））的。7355∗p∥ ∗∥IC∗ICSP∗Ppfp，mΣFFC图5.两种模态的现有模态特异性特征、模态共享特征和模态特异性特征的分布。除了Eq。 （12），生成器GV− I（）也由特征一致性损失L V− I和恒等一致性损失L V− I监督。 L V−IF′sp，我作为辅助信息。因此，我们首先通过加权融合的方式将Fsp，V和F′sp，I组合以获得融合的模态特定特征Ffu，V，即，Ffu，V=ω 1 Fsp，V + ω 2 F′sp，I.（十五）这里，ω1和ω1分别是Fsp，V和F′sp，I的权重，它们也是可学习的参数。然后，模态共享特征Fsh，V和融合的模态特定特征Ffu，V被级联以获得可见图像的最终融合的人特征Ffp，V，即，Ffp，V=Cat（Fsh，V，Ffu，V），（16）其中Cat（n）表示级联操作。 的IC FC 旨在使生成相应的身份得分S因此通过馈送获得特征接近于相同身份的红外模态特定特征fp，V将融合特征Ffp、V送入共享身份分类器Pfp（n）。P类 似 地，最终融合的人的特征F是LV−I=1F′k，p−C（13）fp，I本币主键p=1k=1sp，Isp，I1通过融合Fsh，I，Fsp，I和F′sp，V以同样的方式。 相应的身份评分其中1表示向量或矩阵的L1范数。虽然，LV−I强制生成的特征被取消，身份识别的刑事犯罪，即，因此，通过将Ffp，I馈送到共享身份分类器Pfp（）中来获得S fp，I。损失函数： 类似于Eq。（6）一个十字架─模态中心（MC）损失也被用来使LV−I=LCE（Ss′p，I，YI），（14）有学问的人特征fp，V和Ffp，I有区别其中S′p，I 表示预测的同一性得分和模态不变，即，通过将F′sp，I输入特定的红外分类器PI（）。类似地，给定红外模态共享特征，LMC= 1.pfp，V-Cfp，I2我操，我，其相应的可见模态特异性fea-+MaxJ2002年，0ρ4−minCp- -C键特征级生成器G（一）一个特征级的差异，j=pfp，Vfp，m犯罪者DI− V（V）.I-V+Maxρ4−min02，0，，.图5表明，FMC模块生成的可见（红外）模态特定特征的分布与现有可见（红外）模态特征的分布非常接近。d pfp，I这里，j，d = 1，2，...，P，C pfp，mK1k，pKfp，m. ρ4特定模态的特征。此外，现有的并且生成的模态特定特征是身份-表示相应的裕度，βk=1是所述预定义的可辨别的这意味着，凭借所提出的FMC模块，丢失的模态特定信息将在特征级得到有效补偿。3.3. SFF模块在此基础上，进一步设计了一个共享特征融合（SFF）模块，用于挖掘原始的模态特定特征和模态共享特征，以及为VI-ReID生成的模态特定特征。本文以可见光模态共享特征Fsh，V、可见光模态特定特征Fsp，V和红外模态特定特征F′sp，I的融合为例，介绍了融合的步骤。在我们提出的SFF模块中，模态共享特征Fsh，V被认为是VI-ReID的主要信息，而那些模态特定特征Fsp，V和β-羟甲基纤维素D=F′sp，V可以用同样的方法得到，（十七）∫、7356权衡参数，以平衡不同的损失，分别设置为0.7和2此外，还对融合后的特征进行身份分类损失L FID= L CE（S fp，V，Y V）+L CE（S fp，I，YI）。（十八）因此，训练我们提出的SFF模块的总损失是LSFF =LMC + LFID。（十九）4. 实验4.1. 数据集和评价方案两个公共可用的跨模态VI-ReID数据集（SYSU-MM 01 [1]和RegDB [31]）用于评估我们的模型。在SYSU-MM 01中，使用了7357方法SYSU-MM01RegDB全搜索室内搜索可见-红外可见光单发多激发单发多激发秩-1地图秩-1地图秩-1地图秩-1地图秩-1地图秩-1地图HAT [17]55.2953.89--62.1069.37--71.8367.5670.0266.30[22]第二十二话49.9250.73------62.2150.18--MICT [23]61.7158.06------61.7158.06--cm-SSFT [13]61.6063.2063.4062.0070.5072.6073.0072.4071.0071.3072.3072.90GECNet [24]53.3751.83--60.6062.89--82.3378.4578.9375.58[25]第二十五话60.0258.80--66.0572.98--73.2071.6071.8070.10[第26话]57.3455.13--63.1169.20--83.9273.7881.5971.65NFS [27]56.9155.4563.5148.5662.7969.7970.0361.4580.5472.1077.9569.79[28]第二十八话61.9960.0268.6853.4567.0172.9576.4865.1184.5480.3282.5778.31[29]第二十九话62.2259.5665.8353.3469.6871.0076.2764.0781.0278.73--SFANet [7]65.7460.83--71.6080.05--76.3168.0070.1563.77D2RL*[8]28.9029.20------43.4044.10--AlignGAN*[18]42.4047.4051.5033.9045.9054.3057.1045.3056.3053.4057.9053.60JSIA*[30]38.1036.9045.1029.5043.8052.9052.7042.7048.1048.9048.5049.30[19]第十九话58.3055.1055.9039.7062.1071.3059.7050.90----MTGAN*[9]41.1040.50------65.6060.0065.8059.60FMCNet*（我们的）66.3462.5173.4456.0668.1574.0978.8663.8289.1284.4388.3883.86表1.与SYSU-MM 01数据集和RegDB数据集上的一些最先进的模型进行比较训练同时，对3803幅红外图像和301幅随机选取的可见光图像进行了测试.在[13，22]之后，在SYSU-MM 01中，我们的模型在两种不同的设置下进行了测试，即，全搜索模式和室内搜索模式。RegDB包含412个身份，随机选择206个身份进行训练，其余206个身份进行测试。RegDB还具有两种测试模式，包括可见光到红外设置，其从可见光图像检索红外图像，以及红外到可见光设置，其从红外图像检索可见光图像。累积匹配特征（CMC）[32]和平均精度（mAP）[33]被用作评估指标。4.2. 实现细节我们通过使用单个NVIDIA GeForce 2080Ti GPU在PyTorch框架上实现了我们的模型在每一批中，我们随机抽取4个身份和每个身份的8个图像。采用SGD优化器进行训练，其中动量设置为0.9。我们将总训练周期设置为80，并将初始学习率设置为0.1，并使用预热策略[34]。学习率在第20个时期衰减0.1，在第50个时期衰减0.01。特征提取子网络中的所有参数都在Ima-geNet上进行了预训练[35]，而其他参数则通过使用Kaiming初始化[36]进行初始化。 所有火车上的画面-测试集和测试集的大小调整为288×144。在训练阶段，输入图像将通过随机翻转和擦除来增强[37]。4.3. 与SOTA方法的比较我们提出的FMCNet与一些SOTA模型进行了比较，包括X-Modal [22]，MICT [23]，cm-SSFT [13]，HAT[17]，FMI [25]，SFANet [7]，NFS [27]，MLC[29]，GECNet [24]，DGTL [38]和CM-NAS [28]。如表1所示，我们提出的FMCNet在SYSU-MM 01上的性能优于大多数现有的SOTA模型。而对于RegDB，我们提出的模型优于这里提到的所有SOTA模型，同时在红外到可见光模式和可见光到红外模式下实现了接近的结果。这表明了我们提出的FMCNet的有效性。特别地，与那些基于模态共享特征学习的模型相比，那些基于图像级信息补偿的模型（例如，D2RL [8]、AlignGAN [18] 、 JSIA [30] 、 mtGAN [9] 和 TS-GAN[19]）取得较差的结果。同时，我们提出的基于特征级补偿的模型，FMCNet，实现了显着的改进，这些基于图像级补偿的模型，甚至获得更好的结果比那些模态共享的基于特征学习的模型。这进一步表明了我们提出的基于特征级信息补偿的VI-ReID模型的有效性。7358∗ ∗∗设置秩-1地图基地57.0953.11基础+SFD63.1658.83底座+SFD+FMC65.5062.32基础+SFD+FMC+SFF66.3462.51表2.评估我们提出的模型中的每个组件。设置秩-1地图FMCNet+LID58.6854.33FMCNet+LID+Lshs63.9658.64FMCNet+LID+Lshs+Lsps64.6859.34FMCNet+LID+Lshs+Lsps+Ldc66.3462.51表3.我们建议的MD损失中不同项目的有效性设置秩-1地图不含FMC63.1658.83FMC+LIC+LFC57.7855.56FMC+LGAN62.5658.40FMC+LGAN+LIC65.6162.17FMC+LGAN+LIC+LFC66.3462.51表4.FMC模块中不同损耗的评估结果4.4. 消融研究在本小节中，我们在SYSU-MM 01数据集上评估了我们提出的模型的每个组件。每个模块的有效性：如表2所示，我们首先从我们的模型中删除SFD和FMC作为此外，“Base”仅通过使用ID丢失来训练。“Base+SFD”表示采用所提出的SFD模块的模型，并且通过使用MD损失和ID损失来联合训练。同样，'Base+SFD'仅使用VI-ReID的分解模态共享特征。“基础+SFD+FMC”进一步采用所提出的用于VI-ReID的FMC模块，其中现有的模态共享和模态特定特征以及所生成的模态特定特征被简单地级联。‘Base+SFD+FMC+SFF’ then at- taches the proposed SFFmodule as the final可以看出，与“Base”相比，“Base+SFD”可以显著提高性能。这表明模态共享特征通过SFD与单峰特征很好地分离，这大大减少了可见光和红外图像之间的模态差异，从而有利于VI-ReID。“Base+SFD+FMC”的结果最后，通过对“Base+SFD+FMC+SFF”的计算结果利用这些现有和生成的特征进一步提高了VI-ReID的性能。验证提出的MD损失中每个项目的有效性：如表3所示，模态共享特征分离损失Lshs可以显着提高我们模型的性能。这表明，Lshs可以有效地减少模态共享的可见光和红外特征之间的模态差异。类似地，特定于模态的特征分离损失Lsps可以通过根据它们的身份将不同的特定于模态的特征彼此分离来进一步提高我们的模型的性能。此外，去相关损失Ldc也增加了我们的模型的性能。这意味着模态共享特征和模态特定特征利用Ldc彼此很好地分离，这进一步有利于后续缺失的模态特定特征补偿和VI-ReID。验证所提出的FMC模块中不同损失函数的有效性：在表4中，“w/oFMC”意味着仅使用VI-ReID的分解模态共享特征。 这表明，在不使用对抗性损失的情况下，无法很好地生成缺失的模态特定特征，从而导致性能下降 。 相 反 ， 对 于 对 抗 性 损 失 （ 即 ， “FMC+ LGAN”），FMC确保生成的模态特定特征与真实特征之间的相似性。利用所提出的身份一致性损失LIC和特征一致性损失LFC，进一步增强了那些生成的模态特定特征的可辨别性，从而导致性能改进。5. 结论在本文中，我们提出的FMCNet投资的特征级，而不是图像级的模态特定的信息补偿VI-ReID，这是通过使用所提出的SFD，FMC和SFF模块。与图像级相比，本文提出的特征级模态信息补偿方法避免了干扰信息的引入，同时能够灵活地生成更具鉴别力的人相关模态特征，从而有效地提高了VI-ReID的性能.实验结果表明，我们的方法显着优于现有的图像级模态特定的信息补偿为基础的模型。此外，它甚至比一些基于SOTA模态共享特征学习的模型取得了更好的结果。局限性和社会影响：我们的模型所补偿的缺失的模态特定特征仍然缺乏空间结构信息，这可能对VI-ReID进一步有益此外，所有使用的数据集都是公开的，不涉及任何伦理问题。7359引用[1] A.吴文S.郑，H.- X. Yu，S. Gong和J. Lai，5380-5389.一、三、六[2] M.是的Z Wang，X. Lan和P.C. Yuen，1092-1099. 1[3] Y. Hao，N.王湖，加-地Jie和X.高，“HSME：超球面流形嵌入可见热的人重新识别，”页。8385-8392，2019年。1[4] M.是的，X。兰，智-地Wang和P.C. Yuen，407-419，2020年。第1、3条[5] Z. Wei，X. Yang，N. Wang和X. Gao，“Flexible bodypartition-based adversarial learning for visible infrared per-son re-identification.”IEEE Transactions on Neural Net-works and Learning Systems，2021。第1、3条[6] J. 太阳，Y.Li，H.Chen，Y.彭、X。Zhu和J.Zhu，1-11，2021年。第1、3条[7] H. Liu，S.Ma，D.Xia和S.Li，一、三、七[8] Z. Wang， Z. Wang，Y. Zheng，Y.郑氏，中国科学院植物研究所所长。Y. Chuang和S. Satoh，618-626. 二、三、七[9] X.范，W。Jiang， H. Luo和W. Mao，计算机视觉，pp。2020年1月16日。二、三、七[10] S.崔，S。李，Y。金，T. Kim和C. Kim，“Hi-CMD：可见光-红外线人员重新识别的分层交叉模态解纠缠”，pp.10 257-10 266，2020年。2[11] K. Kansal 、 A. Subramanyam ， Z. Wang 和 S. Satoh ，3422-3432，2020。2[12] Z. Feng，J. Lai，and X.谢，579- 590，2019年。二、三[13] Y. Lu，Y. 吴湾，澳-地 Liu，T. 张湾，澳-地 李角 楚N. Yu，13 379二、七[14] M. Ye，J.Shen，G.Lin，T.Xiang和S.Hoi，2021年1月1日。2[15] Q.冷，M。Ye和Q. Tian，1092-1108，2019年。2[16] D. Wu，S.J. Zheng，X.P. Zhang C.，中国古猿科A. Yuan，中国植物志F.程先生，Y. Zhao ， Y.J. 林 ， Z.Q. Zhao ， Y.L. Jiang 和 D.S.Huang，Apr.14，pp. 354-371，2019年。2[17] M. Ye，J. Shen，and L. Shao，728-739，2020. 三、七[18] G. Wang，T. Zhang，J. Cheng，S. Liu，Y. Yang和Z.侯，3623-3632. 三、七[19] Z. Zhang，S.江角，澳-地Huang，Y.黄氏Y.Li和R.Y. 徐达，三、七[20] Y. Yang，T.张，J.郑，Z.Hou，P.蒂瓦里H.M. Pandey等人，294-304，2020。3[21] K. 他，X。Zhang，S.Ren和J.Sun，770-778. 4[22] D. Li，X. Wei，X. Hong和Y. Gong，4610-4617. 7[23] X. Hu和Y. Zhou，557-568. 7[24] X.钟氏T. Lu，W. Huang，M.是的，X。Jia和C.- W.林，2021年1月1日。7[25] X.田镇Zhang，S. Lin，Y. Qu，Y. Xie和L. Ma，1522-1531. 7[26] H. Liu，Y.柴，X. Tan，D. Li和X. Zhou，653-657，2021。7[27] Y. 陈湖，澳-地万，Z.李角Jing和Z.Sun，587-597. 77360[28] C.傅，Y。Hu，X. Wu，H.施，T. Mei和R. 他，7[29] Z.太阳，Y. Zhu，S. Song，J. Hou，S. Du和Y. Song，1-6，2020. 7[30] G. Wang，T. Zhang， Y. Yang，J. Cheng，J. Chang，X.Liang和Z.侯，12 144-12 151. 7[31] N. Dat，H.洪，K. Ki和P. Kang，6[32] H. Moon和P.J. Phillips，303-21，2001年。7[33] L.郑湖，澳-地申湖，澳-地Tian，S. Wang，J. Wang，and Q. Tian，7[34] H.罗，W. Jiang，Y. Gu，F. Liu，X. Liao，S. Lai和J.Gu，2597-2609，2020。7[35] O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S. 妈Z。Huang，黄背天蛾A.卡帕西A.Khosla，和M。Bernstein，1-42，2014年。7[36] K.他，X。Zhang，S. Ren和J. Sun，7[37] Z.钟湖，加-地Zheng，G.康，S. Li和Y. Yang，7[38] Y.孙湖，澳-地Zheng，Y.郑氏，中国科学院植物研究所所长。扬角，澳-地Tian和S. Wang，501-518 7