基于身份和协变量特征的半监督非纠缠表示学习步态识别

1公司简介基于身份和协变量特征的半监督非纠缠表示学习步态识别向莉1、2牧原靖2池旭1、2八木靖2明武仁11南京理工大学2大坂大学{lixiangmzlx，xuchisherry}@ gmail.com{makihara，yagi}@ am.sanken.osaka-u.ac.jprenmingwu@mail.njust.edu.cn摘要公司 简介S1ID身份证盖现有的步态识别方法通常集中于学习对协变量不变的身份特征（例如，携带状态、服装、行走速度和视角），并且很少涉及从协变量方面学习特征，当由于协变量引起的变化压倒由于身份引起的变化时，这可能导致故障模式。因此，我们提出了一种步态识别的方法，通过解开表示学习，同时考虑身份和协变量的功能。具体地说，我们首先对输入步态模板进行编码以获得解纠缠的身份和协变量特征，然后对特征进行解码，以半监督的方式同时重建输入步态模板和同一受试者的无协变量的规范版本，以确保成功解纠缠。最后，我们将解开的身份特征馈送到用于验证/识别任务的对比/三重损失函数中。此外，我们发现，新的步态模板可以合成的协变量功能从一个主题到另一个。三个公开的步态数据集上的实验结果表明，与其他国家的最先进的方法相比，所提出的方法的有效性。1. 介绍步态是在一定距离处用于人类身份识别的重要生物特征，面部、指纹和虹膜）。此外，步态是一种不自觉的特征，通常不会被人掩饰。因此，基于步态的识别具有许多潜在的应用，例如监视系统、取证和犯罪调查[6，20，31]。以往的步态识别研究主要是根据提取的特征进行分类，身份证盖图1.给定两个受试者（S1和S2）具有不同携带状态的两个步态模板，该方法隐式地分离出它们的身份和协变量特征（fid和协变量fcov），并仅利用身份特征重构出没有任何携带状态的步态模板.此外，我们可以交换的主体基于方法[47，53，27，5，10，54，2]和外观-基于方法[15，32，44，24，48，4，37，29，59]。基于外观的方法由于其有效性和效率而在步态识别社区然而，由于存在许多协变量，如携带状态，服装，姿势变化和视角，他们遭受大的受试者内差异。基于外观的步态识别需要提取对协变量不变的身份特征。这种不变方法分为两类：区分方法[15，52，30，12，13，33，41，50，51，43，58，7，26]和生成方法[23，32，34，38，35，1、11、55、56、16]。前者的目的是直接从原始步态表示中提取一个不变的身份特征子空间，后者的目的是将不同协变量条件下的步态然而，它们都专注于学习身份特征子空间或图像空间，这些子空间对协变量是不变的，很少涉及从协变量方面学习特征，这可能导致当协变量引起的变化压倒身份引起的变化时为了解决上述问题，我们提出了一种方法，13309S2退纠缠ID13310基于外观的步态识别，使用解纠缠表示学习（DRL）来考虑身份和协变量特征。该想法受到先前工作的启发[60]，其中姿势和外观特征从RGB图像中分离出来，并且基于LSTM的姿势特征随时间的整合用于步态识别。虽然成功地消除了服装的颜色和纹理等外观特征的影响，但我们认为RGB图像的使用首先，Zhanget al.[60]提出了两个条件来区分姿态特征和外貌特征;一个是序列内的外观特征是一致的，而另一个是每个训练对象应该包括至少两个具有完全不同外观特征的序列。然而，这些条件可能并不总是被满足，从而导致姿态因子污染作为示例，如果照明条件在序列期间突然改变（包括身体表面法线通过肢体运动相对于入射光方向改变的情况），则第一条件可能不满足;如果训练对象仅部分地改变衣服或改变成不同颜色但类似质地的衣服，则第二条件可能不满足。其次，来自RGB输入的颜色和纹理信息被[60]视为一种类型的协变量，可以简单地使用基于轮廓的表示来处理，正如许多步态识别工作所做的那样。因此，我们扩展了[60]的解纠缠思想，以直接从基于轮廓的步态表示中解纠缠身份和协变量特征。我们将协变量分为两类，对步态表示有不同的影响，可能需要不同的解缠策略。具体来说，第一类包括身体上改变主体体型的运载状态和服装，这一类具有一种明确的规范条件;也就是说，没有协方差的步态模板。作为示例，我们将步态模板视为没有携带对象（CO）并且具有足够紧身的衣服（例如，穿紧身衣的主体）作为携带状态和服装的规范条件第二类包括引入所有对象中常见的变化的视角，并且该类别不具有用于所有视角的清楚且合适的规范条件。本文主要讨论第一类。同样对于步态表示，我们选择步态能量图像（GEI）[15]，这是步态识别社区中最广泛使用的步态表示具体来说，我们首先使用编码器将输入GEI分解为低维身份和协变量特征。然后，我们使用解码器来执行两个重传;一个是从解纠缠的身份和协变量特征的输入GEI的自重构，而另一种是从解纠缠的恒等式和零填充协变量特征重建与输入GEI具有相同恒等式但没有协变量（规范条件）的另一GEI，其中我们给出没有协变量的地面实况GEI通过这种设计，我们可以成功地将输入GEI分解为恒等和协变量特征。最后，我们将一对或三重身份特征输入到用于验证/识别任务的对比/三重丢失中为此，（1）我们使用基于轮廓的步态表示来避免不必要的颜色和纹理协变量;(2)我们探索DRL以解开身份和更常见但困难的协变量，例如携带状态和服装;以及（3）我们通过以半监督方式同时重建输入GEI及其规范版本来克服污染问题（即，我们将协变量标签给予没有协变量的GEI（例如，此外，我们发现，给定来自一个主题S1的解纠缠的身份特征和来自另一个主题S2的解纠缠的协变量特征，解码器可以重建具有从S1表征的相同身份和从S2表征的相同协变量的新GEI样本，如图所1.一、因此，我们可以将协变量特征-从一个主题到另一个主题自由地生成新的GEI，我们称之为GEI编辑。我们将我们的贡献总结如下。1) 基于身份和协变量特征的步态识别解缠网络（ICDNet）我们引入半监督DRL来解开identangle，首次提出了基于特征和协变量的步态识别方法。解纠缠后，身份特征是纯粹的和区分的步态识别。2) GEI编辑：协变量从一个主题转移到另一个主题。我们可以通过转移地生坦来产生新的GEI-从一个受试者到另一个受试者的协变量特征。这可能是有益的，为未来的研究数据增强的步态识别。3) 最先进的表演。我们在三家酒吧实现了最先进的性能-现有步态数据库：OU-ISIR大型人群步态数据库（含真实CO）（OU-LP-Bag）[46]、OU-ISIR步态数据库（含Bag β版本的大型人群数据集）（OU-LP-Bag β）[33]和CASIA-B步态数据库[57]。2. 相关工作基于外观特征的步态识别方法基于外观 步态 识别 方法 是主要分为判别法和生成法。第一类是利用传统的度量方法，13311(a) 解缠模块重建编码解码GTL重建输入副本L重建：身份特征：协变量特征：零填充协变量特征查询探针真正Lsim画廊L连续L跳闸冒名顶替者(b)验证(c)识别图2.拟议的ICDNet概览。（a）解纠缠模块使用编码器来从输入GEI解纠缠潜在身份和协变量特征，并且使用解码器来执行两个重建;一个是原始输入GEI的自重建（由实线表示），而另一个是没有任何协变量的输入GEI的重建（由虚线表示）。(b)验证场景：一对（探针和廊道）首先通过解缠结模块（A）的编码器，然后解缠结的身份特征用于验证丢失。(c)识别情景：三元组（查询、真实和冒名顶替者）首先通过解纠缠模块（A）的编码器，然后解纠缠的身份特征用于识别丢失。学习技术（例如，线性判别分析[15]、具有张量表示的判别分析[52]、随机子空间方法[13]以及联合强度和空间度量学习[33]）或当前的深度神经网络。特别是，基于深度学习的方法由于其更高的性能而更受例如 ， Shiraga et al.[41] 提 出 了 一 种 轻 卷 积 神 经 网 络（CNN），用于对具有交叉熵损失的单输入GEI进行分类。此后，几项研究[51，43，26]对一对或三对输入GEI进行了相似性学习，并进行了对比或三重损失。而不是使用GEI作为网络输入，沃尔夫等人。[50]Chao et al. [7]直接为轮廓帧设计CNN。第二类旨在使用子空间分析技术[23，32，34，38，35，1]或生成对抗网络将不同协变量条件下的步态表示生成为相同协变量条件下的步态表示。作品（GANs）[55，56，16]。 例如，Makihara etal.[32]提出了一种视图转换模型，用于将步态特征从图库视图条件转换为探头视图条件。Yu等人。[55，56]提出了名为GaitGAN和GaitGANv2的基于GAN的生成网络，它们从具有协变量的任何输入GEI生成正常状态下侧视图的不变GEI然而，上述方法集中于学习识别特征子空间或对协方差不变的图像空间ates，很少考虑从协变量方面学习特征，当协变量引起的变化压倒身份引起的变化时，这可能导致故障模式相比之下，我们的方法同时考虑了身份和协变量特征学习，并在协变量特征的消融下实现了身份特征的明显收益。解纠缠表示学习DRL预计将通过将数据的底层结构分离为不相交的有意义的变量来提供收益，这有助于澄清深层模型并确定实际学习的隐藏特征类型。 Zhang et 等人[60]首次将DRL引入步态识别领域，其中从RGB图像中分离出虽然DRL在步态研究中是新的，但在其他生物特征的研究中已经得到了很好的探索（即，人脸识别）。例如，Tran等人[45] Peng et al.[40]从人脸图像中分离姿态变化以进行姿态不变人脸识别，而Zhao等人。[61]通过年龄变化的解纠缠生成年龄不变的面部特征。与[60]相比，我们的方法避免了RGB信息解纠缠的困难，并给出了新的有意义的解纠缠变量（即，身份和协变特征）用于基于轮廓步态表示。在人脸识别中与DRL进行比较[45，40，61]，这需要额外的协变量标签（例如，姿势或年龄标签），13312我们的方法被设计用于无显式标记（除了我们在文件中所针对的携带状况和服装）没有明确的标签。例如，即使对于相同的携带包，携带状态（例如，形状和位置）在很大程度上取决于主题。只有规范条件的标签（即，“no3. 该方法3.1. 概述我们提出了一种步态识别的方法，适用于[fid，fc ov]，利用该函数来重构输入GEI_X_S本身。另一个接收串联的身份和零填充协变量特征[fid，f0]，用其重建GEI与输入GEI中相同的训练主题的X=0，以及也没有协变量。直觉上说，从零开始-填充协变量特征向量，我们可以剔除协变量特征或使其无效，以确保协变量因子永远不会污染身份因子，在没有变量的情况下重建GEIX100;即，一种纯化的GEI仅含有识别因子。两重建的GEI可以表示为X=D（[fid，fcov]）DRL将身份和协变量特征从GEI1中分离出来。在我们的问题设置中，我们假设每列火车-X0=D（[fid，f（二）0]），受试者具有没有协变量的步态模板（例如，没有CO的GEI），而我们没有其他步态模板的协变量条件的标签（例如，受试者可能携带背包、公文包、手提箱，甚至什么都没有，但我们永远不会事先知道，这也提供了一个测试案例）。因此，我们尝试使最部分的标签拟议的ICDNet的概述见图1。二、一个基本的解纠缠模块，它有一个编码和两个解码流，处理训练集中的所有GEI。一对（探针P和图库G）或三重（查询其中f0=0是具有相同di的零填充特征作为fcov. 请注意，输入GEI X是否实际涉及协变量并不重要;也就是说，网络只是尝试输出没有协变量的GEI，如果输入GEI不涉及协变量，则输入两个重建的GEIX1和X20被认为类似于它们对应的地面实况GEIX（参考图1）。输入GEI）和X0（GEI与X相同，但没有协变量）。为此，我们将重建损失定义为Lreconst（E，D）=<$X−X<$$>2+<$X0−X<$0<$2。（三）Q，真实G，冒名顶替者I）的身份特征，则为22输入验证或识别丢失功能，分别进行鉴定或鉴定培训在测试用例中，仅使用解纠缠模块的编码器来解纠缠每个输入GEI的身份和协变量特征计算两个主体的身份特征之间的欧几里得距离我们最终通过将得分与验证场景的接受阈值（一对一匹配）进行比较来判断主题是相同还是不同，或者在识别场景的画廊中找到最小的相异得分（一对多匹配）。3.2. 解缠模块解缠模块是儿童疾病信息网的重要组成部分。如图如图2（a）所示，该模块具有编码器E和解码器D。编码器E具有一个编码流，该编码流接收输入GEIX并输出潜在身份特征f_id和协变量特征f_cov，其可以表示为[fid，fc ov]=E（X）。（一）同时，解码器D具有两个解码流。一个接收串联的身份和协变量特征1关于如何从轮廓序列中提取GEI的详细信息，读者可以参考[15通过最小化Lrecostt，我们确保去纠缠的f id和f cov分别仅包含输入GEI的身份和协变量信息，并且预定义的零填充f 0指示不存在协变量。在这种半监督的方式中，我们确保了所提出的方法的解纠缠特性。3.3. 基于身份特征的步态识别我们使用解开身份特征的步态识别。通常有两种类型的生物识别任务：验证和识别。验证任务（即，一对一匹配）的目的是判断给定的一对探针和图库是否识别任务（即，一对多匹配）的目的是在给定探测的情况下从多个登记的图库中找到正确的匹配查询）。先前的研究[43]详细讨论了两种不同生物识别任务的合适网络架构和损失函数。因此，我们为这两个任务设计了两个不同的网络和损失函数，如下所示。验证任务。（参见图2（b））我们首先从一对GEI（P，G）及其相应的二进制标记y（其中值1和0意味着该对来自相同和不同的受试者，分别）;然后我们将这些特征输入对比损失函数[14]。13313我我我假设存在N对身份特征{Mi|Mi=（f Pi，f Gi），i =1，2，.，N}及其相应的标签（Ns=PK（K−1））和不同受试者对的数量（Nd=PK（PK−K）），我们修改等式（4）以便ID id{yi|yi={0，1}，i=1，2，.， N}个。我们定义一个对比度ive损失函数为将相同和不同受试者对的损失标准化作为1ΣNLcont（E）=Ni=1{yi di+（1−yi）max（ m-di，0）}，（四）Lcont（E）=1ΣNNi=1yidi+1ΣNNi=1（1− y i）max（m −d i，0）.（七）其中，di=fPi−fGi2是ID ID2给定一对（Pi和Gi），m是余量。我们通过最小化Lcont，使P和G的同一性特征在来自同一主题对的情况下更接近，在来自不同主题对的情况下更远离，这更适合于验证任务而不是识别任务。识别任务。（参见图2（c））我们首先从GEI（Q，G，I）的三元组制备解纠缠的身份特征，其中Q和G来自相同的受试者，而Q和I来自两个不同的受试者。然后我们将这些特征输入到三重损失函数中[49]。假设 那里 是 N三胞胎 的 身份特征{Ti|Ti=（fQi，fGi，fIi），i=1，2，.， N}个。我们定义一个3.4.联合损失函数同时考虑到解纠缠和识别两个方面，我们通过上述损失函数的加权和来定义联合损失函数，并以端到端的方式训练它们。具体而言，对于验证任务，联合损失函数定义为L（E，D）=λreconstL reconst（E，D）+λ<$L<$（E），（八）其中λreconst和λ是两个超参数。对于识别任务，联合损失函数被解-ID ID ID三重态损失函数1ΣNLtrip（E）=Ni=1最大值（m−d−+d+，0），（5）罚款为L（E，D）=λreconstL reconst（E，D）+λtripL trip（E）+λsimLsim（E），（九）其中，d+=fQi−fGi2是其中λrecostt，λtrip，λsim是三个r型参数。我查到ID2-QI最后，E和D的参数被优化，同一受试者对（Qi和Gi）和d=fi−fi=2，我查到ID2最小化联合损失函数L（E，D）。不同受试者对的相异性得分（Q1和Q2），Ii），并且m是余量。我们通过最小化Ltrip来迫使Q和G的身份特征比相同Q和其他I的身份特征更接近，这更适合于识别任务而不是验证任务。Ltrip仅限制相同对象与不同对象对之间的相对距离，并且因此不强制相同对象对的距离彼此绝对接近。考虑到来自同一主体的解纠缠身份特征应该相似的解纠缠原则，我们定义了另一个称为身份相似性损失Lsim的损失函数，以迫使同一主体对（Q和G）的身份特征彼此接近：1ΣN4. 实验4.1. 数据集我们在三个公开可用的步态数据库上评估所提出的方法：OU-LP-Bag [46]、OU-LP-Bag β [33]和CASIA-B[57]。在全球可用的任何步态数据库中，OU-LP-Bag的受试者数量最多（62，528例受试者），并包含真实生活CO的协变量。按照与[46]相同的方案，训练集包含29，097名受试者，其中有两个序列，有和没有CO，测试集包含其他29，102名不相交的受试者。在测试集中准备了两个版本的探针和图库集，合作和不合作的设置。 对于合作社来说-Lsim（E）=Ni=1d+。（六）在特定的设置中，图库集仅包含没有CO的序列，而探针集包含具有七个CO的序列。成对和三胞胎的取样。我们采用批次所有采样[17]用于对比和三重损失。对于每个批次，我们首先随机选择P个受试者，每个受试者K个样本因此，总共有PKsam-一批一批地来。然后，我们选择该批次中所有的配对和三联体组合，得到PK（PK−1）配对和PK（PK−K）（K−1）三联体。考虑到相同受试者对数量之间的严重不平衡SD13314按运载地点标注的产地来源证类型;对于非合作设置，图库和探针集合随机交换序列，并且两者都具有具有和不具有CO的序列。OU-LP-Bagβ包含4，140个序列，2，070个亚碱基，含和不含CO。训练集包含1，034个主题，而测试集包含其他1，036个不相交的主题。图库集包含不含CO的序列而探针组包含具有CO的序列。13315编码解码图3.编码器和解码器的详细架构。 “Conv”和“Deconv”后面的数字#kernelw/#stride/#padding;CASIA-B包含来自11个视图的124个主题。每个主题和视图有10个序列其中，六个是正常行走（NM），两 个 是 背 着 包 （ BG ） ， 其 余 两 个 是 穿 着 外 套（CL）。按照[51]，NM下的前四个序列被选为图库（NM #1 其他六个序列用作三个探针组：（1）Set-NM包含两个NM序列（NM#5 -6），（2）Set-BG包含两个BG序列（BG#1 -2），以及（3）Set-CL包含两个CL序列（CL#1 - 2）。输入重建[id，cov][id，0]输入重构[id，cov][id，0]4.2. 实现细节网络架构。编码器和解码器的详细架构如图所示3 .第三章。编码器采用大小为1×64×64的输入GEI，并输出潜在身份和协变量特征，这些特征分别被实验设置为96维和32维向量。编码器的主干是基于GoogLeNet [42]中的Inception模块设计的，以提取多个尺度的特征解码器将潜在身份和协变量特征作为输入，并输出重建的GEI，该GEI使用反卷积（转置卷积）层设计。培训战略。我们采用两种培训策略：一种是为每个数据集从头开始训练模型而另一种是在最大的数据集上预训练模型（即，OU-LP-Bag），然后在其他两个较小的数据集上微调预训练模型，这利用了最大数据集上更好的泛化能力对于第一种策略，我们应用额外的数据增强（即，从-5到5像素的平移，垂直和水平轴的步长均为2），考虑到其相对较少的样本数量，在OU-LP-Bagβ和CASIA-B对于第二种策略，我们只使用原始数据集。参数设置。我们使用Adam优化器以端到端的方式训练所提出的ICDNet[21]。 对于从头开始训练策略，初始学习率设置为0.0002，动量项（β1，β2）设置为（0. 5，0。999）。在100，000次迭代之后，我们将学习率降低到0.00002，并再运行50，000次迭代。对于微调策略，OU-LP-Bag上150，000次迭代的模型用于初始化。我们将初始学习率设置为0.00002，只运行10，000次迭代。批次所有采样参数（P，K）均已设置(a)（b）（c）（d）（e）（f）图4.自我重建的例子。每一行都是同一个主题。左侧和右侧分别显示了具有和不具有CO的输入GEI的结果。列（a）和（d）是输入GEI;列（b）和（e）由[fid，fcov]重构;列（c）和（f）由[fid，fo]重构。至（300，2）、（100，2）和（8，16），对于OU-LP-袋、OU-LP-Bagβ和CASIA-B。 方程中的裕度m（5）（7）设为3。联合损失函数的权重参数在等式中设置为λreconst=100和λreconst=1并且λreconst=1000，λtrip=1，并且λsim=0。1在Eq。（9）对于所有数据集，除了λsim被设置为0.0001，CASIA-B4.3. 评估指标根据生物识别性能标准[19]，对于验证任务，我们报 告 了 错 误 匹 配 率 （ FMR ） 和 错 误 非 匹 配 率（FNMR）的等错误率（EER），以及描述接受阈值变 化 时 FNMR 和 FMR 之 间 权 衡 的 检 测 错 误 权 衡（DET）曲线。对于识别任务，我们报告秩1识别率（用秩1表示）和描述每个秩内识别率的累积匹配特征（CMC）曲线4.4. 重建GEI我们定性地评估所提出的方法可视化重建结果的OU-LP-Bag。我们首先在图中展示了几个自重构的例子4.第一章是输入重构1×64×641×64×64Conv-32x3x3/1/1ReLu入侵-64最大池化2x2/2怀孕-128最大池化2x2/2中国-256最大池化2x2/2中国-512最大池化2x2/296Conv-128x4x4/1/0Deconv-512x4x4/2/0BN+ReLu32Deconv-256x4x4/2/1BN+ReLuDeconv-128x4x4/2/1BN+ReLuDeconv-64x4x4/2/1BN+ReLuDeconv-1x4x4/2/1TanH13316FNMRDMGEINetJITNGEI w/LDASIAME提出GEI w/RSVMLBGERFdiff/2diff110.20.20.020.020.0020.002 0.02 0.210.0020.002 0.02 0.211.0FMR(a) DET曲线1.0FMR0.80.8图5.两个不同主题的交叉重建示例（GEI编辑）。 在每个重建示例中，身份特征f_id来自最左边的对象，并且协变量特征f_cov来自最上面的对象。0.60.40.20.60.40.2显然，我们可以成功地重建输入GEI0.01 10 100秩0.01 10100秩从编码特征[fid，fc ov]，无论输入GEI是否具有CO（参见图11），4（b）和（e））。我们还对同一受试者的GEI进行了完全重建，但没有CO（见图1）。4（c）和（f）），这是类似的输入GEI没有CO（见图。4（d）），重建结果在图。4（c）和（f）彼此相似，这意味着无论输入GEI是否具有CO，对于相同主体都获得相似的身份特征f_id。此外，我们还发现，不仅CO本身，而且一些位置的变化（例如，由携带状态引起的手抬起和身体弯曲）可以被视为协变量特征，这一点从以下事实中可以看出：它们在没有CO的重建GEI中也被消除（见图2）。4（c））。接下来，我们将来自两个不同受试者的身份和协变量特征结果示于图五、与我们的预期一致，重新构建的GEI样本对于每一行具有相似的身份特征，并且对于每一列具有相似的协变量特征。此外，我们进一步证实，转移的协变量特征包含许多协变量，包括CO，姿势和衣服。通过评估，我们验证了所提出的方法可以解开身份和协变量特征。4.5. 与最新方法的OU-LP-Bag。我们评估了原始数据库研究[46]中报告的基准和当前最先进的方法[26]以及通过遵循[46]中的原始实验方案提出的方法。所有结果呈现于图1B中。6和表1。对于每个合作/非合作设置和识别任务，我们匹配最先进的性能，并以较大幅度优于第二好的基准[26]（例如，EER低于0.3%以上，Rank-1比率高于（b）临界胶束浓度曲线图6. OU-LP-Bag上的DET和CMC曲线。左侧/右侧显示了合作/不合作设置的结果。表1.合作和不合作设置下OU-LP-Bag的EER和Rank-1 [%]模型是从零开始训练的粗体和斜体粗体分别表示最佳和次佳结果。这一惯例在整个文件中始终使用方法合作不合作EER秩-1EER秩-1DM [15]18.4617.7429.8915.90[39]第三十九话7.3540.7914.4031.44[36]第三十六话9.5824.6614.6918.28[25]第二十五话7.9738.4811.3531.24GEINet [41]11.2922.2614.6818.52SIAME [9]2.1749.802.2250.27LB [51]1.6874.391.6670.53[43]第四十三话1.3673.141.3572.75JITN [26]1.2574.441.2574.03提出0.8987.040.9086.4912%高），这显示了我们的方法在识别性能方面的优势OU-LP-Bagβ. 现有的方法采用两种不同的训练策略的数据集。如第4.2节所述，一种是[33，58]中采用的从头开始训练，另一种是在较大数据集上对预训练模型进行微调（即，OU-LP-Bag），考虑到OU-LP-Bagβ中的受试者数量相对较少，在[26]中首次采用。为了公平比较，我们将我们的方法与使用每种策略的其他基准进行比较。所有结果呈现于图1B中。7和表2。结果表明，我们的方法对这两种策略都有更好的表现。CASIA-B 由于我们的方法目前没有针对视角协变量，因此我们将CASIA-B的实验集中在侧视图（或近侧视图）上。 我们使用这些实验的两个方案。协议1取自[8]，其中前24个受试者被视为火车-罗夫科夫阿卡德FNMR识别率识别率13317表4.方案2的CASIA-B等级-1 [%]10.20.021.00.80.60.40.0020.0020.02FMR0.210.2110秩100表5.在合作设置下，OU-LP-Bag的EER和Rank-1 [%]图7. OU-LP-Bagβ上的DET和CMC曲线。表2. OU-LP-Bagβ的EER和Rank-1 [%]。“-”表示未提供。“*”表示模型是从OU-LP-Bag上的预训练模型微调的。该约定在整个文件中一致使用。方法EER秩-1[44]第四十四话10.4846.4[39]第三十九话8.1054.6[28]第二十八话11.4743.3[36]第三十六话10.8128.3[25]第二十五话6.6758.3JIS-ML [33]5.4557.4GEINet [41]9.7540.7JUCNet [58]-79.3提出2.0386.6黎巴嫩 *[51]1.5387.9[43]第四十三话1.3187.8JITN*[26]1.2788.1拟议 *0.7797.2表3.方案1的CASIA-B等级-1 [%]方法设置-NM设定血糖集合-CL是说GEI [15]99603063.0GEnI [3]98.380.133.570.6[22]第二十二话95.460.95269.4GEINet [41]97.584.571.884.6L-CRF [8]98.690.285.891.5提出10082.073.085.0拟议 *10010093.097.7将剩余的100名受试者作为测试集。本方案仅使用侧视角度。方案2取自[18，51，8，58，60]，考虑了行走条件（BG或CL）和视角变化。前34个被试作为训练集，其余90个被试作为测试集。在我们的例子中，我们将视角的变化限制在接近侧视的角度（探头与gallery：90kilogram72度和90度对108分）。表3和4分别给出了方案1和2的结果。由于EER几乎不针对任何基准进行报告，因此仅报告1级比率。结果表明，我们的方法在从头开始训练的策略下性能较差。我们认为，这可能是因为与其他两个数据集相比，CASIA-B的方案1和2的训练集中的子样本数量有限，表示不适用。认列损失解缠损耗EER秩-1L连续-0.98N/AL连续L重建0.89N/AL跳闸-N/A84.02L跳闸L重建N/A86.37L跳闸L重建+L模拟N/A87.04我们的方法缺乏泛化能力。然而，一旦我们应用了微调策略，我们就实现了最佳性能。4.6. 损失函数我们分析了每个损失函数如何影响我们的方法在OU-LP-Bag 上的性能 在保持识别损失（L_c_n_t或L_t_r_ip ）不变的情况下，加入或去掉解纠缠损失（L_r_c_t和L_s_im ），对它们各自的性能进行了评价。 表5表明，增加解纠缠损耗提高了性能，这表明我们的解纠缠方法的有效性。5. 结论本文提出了一种步态识别方法ICDNet，该方法采用半监督DRL分解身份和协变量特征。我们设计了一个自动编码器，它将输入GEI编码为身份和协变量特征，并使用协变量上的部分标签重建输入GEI和没有协变量的同一受试者的GEI。我们提出了定性和定量的评估，以显示身份和协变量特征的成功解纠缠以及解纠缠性能的改善我们还证实了所提出的方法使交叉重建成为可能，这显示了步态数据增强在未来工作中的潜力。此外，因为我们目前排除了视角，这将是另一个未来的工作，设计一个更全面的网络，处理所有协变量。致 谢 本 工 作 得 到 了JSPS 科 学 研 究 资 助 金 （ A ） JP18H04115的支持，JSPS创新领域科学研究资助项目19H05692和国家自然科学基金（批准号：61727802）。GEI w/LDAGEI w/RankSVMGERFLB*拟议 *嘉宝GEIJIS-MLJUCNetdiff/2diff*GEI w/2DLDAGEINet拟议的JITN*FNMR识别率方法(901992年，72岁）(90108年）是说BGCLBGCLBGCLRLTDA [18]75.363.276.572.175.967.7LB [51]93.378.388.975.691.177.0L-CRF [8]94.488.589.285.791.887.1JUCNet [58]95.9-95.9-95.9-[60]第六十话95.694.287.486.591.590.413318引用[1] N. Akae，A.Mansur，Y.Makihara和Y.八木 视频来自几乎静止：应用于低帧速率步态识别。 在proc 第25届IEEE Conf. 计算机视觉和模式识别（CVPR 2012），第1537 -1543页，Providence，RI，USA，Jun. 2012. 第1、3条[2] G. Ariyanto和M.尼克松用于三维步态生物特征识别的木偶质量弹簧模型。 在proc 第五届IAPR生物识别国际会议，第354-359页，2012年3月。1[3] K. Bashir，T.Xiang和S.龚基于步态熵图像的步态识别在第三届国际犯罪侦查和预防成像会议，第1-6页，12月。2009. 8[4] K. Bashir，T. Xiang和S.龚 无主体合作的步态识别。Pattern Recognition Letters，31（13）：2052-2060，Oct.2010. 1[5] A. Bobick和A.约翰逊使用静态活动特定参数的步态识别 。在 Proc. of the 14th IEEE Conference on ComputerVision and Pattern Recognition，vol.1，pages 423-430，2001中。1[6] I. Bouchrika，M.Goffredo，J.Carter和M.尼克松步态在法医生物识别中的应用。Journal of Forensic Sciences，56（4）：882-889，2011. 1[7] H.曹，Y. He、J.Zhang和J.峰步态集：将步态视为用于跨视图步态识别的集合在AAAI人工智能会议上，2019年。第1、3条[8] X. Chen，J. Weng，W. Lu，and J. Xu.基于属性发现的多步态识别。IEEE Transactions on Pattern Analysis andMachine Intelligence，PP（99）：1-1，2018。七、八[9] S.乔普拉河Hadsell和Y.乐存。学习相似性度量有区别地，与应用到人脸验证。2005年7[10] D.库纳多湾Nixon和J.卡特用于识别的人体步态模型的自动提取和描述。计算机视觉与图像理解，90（1）：11[11] B. Decann和A. Ross.用于夜间环境中人体识别、背包检测 和 轮 廓 校 正 的 步 态 曲 线 。 在 proc参 见 SPIE ，Biometric Technology for Human Identification VII ， 第7667卷，第1-13页，2010。1[12] B. DeCann，A.罗斯和M。卡尔普对人类步态模式进行2014年第22届国际模式识别会议，第1794-1799页，2014年8月。1[13] Y.关角，澳-地T. Li和F.罗莉关于减少步态识别中协变量因素的影响：分类器集成方法。IEEE Transactions onPattern Analysis and Machine Intelligence，37（7 ）：1521-1528，2015年7月。第1、3条[14] R. Hadsell，S.Chopra和Y.乐存。通过学习不变映射来降低维数。在IEEE计算机协会计算机视觉和模式识别会议（CVPR4[15] J.Han和B.巴努利用步态能量图像进行个体识别。IEEETransactionsonPatternAnalysisandMachineIntelligence，28（2）：316- 322，2006. 一二三四七八[16] Y. He，J. Zhang，H. Shan和L. 王. 步态识别中用于特定视角特征学习的多任务gans。IEEE Transactions onInformation Forensics and Security ， 14 （ 1 ） ： 102-113，Jan 2019。第1、3条[17] A. 赫尔曼斯湖Beyer和B.Leibe 为三胞胎的丢失辩护CoRR，abs/1703.07737，2017。5[18] H.胡基于正则化局部张量判别模型的增强型gabor特征分类多视角步态识别。IEEE Transactions on Circuitsand Systems for Video Technology ， 23 （ 7 ） ： 1274-1286，2013年7月。8[19] ISO/IEC 19795-1：2006（en）。信息技术.技术报告，国际标准化组织，ISO/IEC JTC 1/SC 37，瑞士日内瓦，2006年。6[20] H. Iwama，D. Muramatsu，Y. Makihara和Y.八木刑侦步态 识 别 系 统 IPSJ Transactions on Computer Vision andApplications，5：1631[21] D. P. Kingma 和 J. BA. Adam ： 一 种 随 机 优 化 的 方法.arXiv预印本，arXiv：1412.6980（2014），2014年。6[22] W. Kusakunniran 。 时 空 特 征 域 步 态 识 别 IEEETransactions on Information Forensics and Security ， 9（9）：1416-1423，2014年9月。8[23] W. Kusakunniran，Q. Wu，J. Zhang，and H.李基于局部运动特征选择的支持在Proc. of IEEE Computer Societyconference on Compu