基于时态部分的步态识别模型——GaitPart

142252GaitPart：一种基于时态部分的步态识别模型范超1，3，彭云杰2，3，曹春水3，刘旭3，侯赛辉3，迟建南1，黄永珍3，李庆1，何志强4，1北京科技大学2北京航空航天大学，3WATRIX.AI，4联想有限公司s20180566@xs.ustb.edu.cn，YunjiePeng@buaa.edu.cn，{chunshui.cao，xu.liu，saihui.hou}@watrix.ai，ustbjnc@ustb.edu.cn，hyz@watrix.ai，liqing@ies.ustb.edu.cn，hezq@lenovo.com摘要步态识别是一种基于视频的生物特征识别技术，用于远距离识别个体的行走模式。目前，大多数步态识别方法都是以整个人体为单位建立时空表示。然而，我们已经观察到，人体的不同部位在行走过程中具有明显不同的视觉外观和运动模式。在最新的文献中，采用部分特征描述人体已被证实有利于个人识别。综合以上观点，我们假设人体的每个部分然后，我们提出了一种新的基于部分的模型GaitPart，并得到了两个方面的提高性能的效果：一方面，提出了卷积的一种新应用--聚焦卷积层，以增强局部空间特征的细粒度学习;另一方面，提出了微运动捕捉模块（MCM），在步态部分中有多个并行的MCM分别对应于人体的预定义部分。值得一提的是，MCM是一种新颖的步态任务时间建模方法，它关注的是周期步态的短期在两个最流行的公共数据集CASIA-B和OU-MVLP上的实验充分证明了我们的方法在多个标准基准上达到了新的最先进水平。源代码将在https://github.com/ChaoFan96/GaitPart 上提供。1. 介绍步态是一种身体和行为的生物特征，描述了一个人的行走模式。与其他生物识别模式相比，例如，脸，鳍-*通讯作者图1. (a)人在行走过程中，步态的不同部位具有明显不同的形态和运动规律。(b)介绍了由帧级部件特征提取器（FPFE）和微动捕捉模块（MCM）组成的步态部件gerprint和iris，它可以很容易地在远距离捕获，并且不需要感因此，步态识别在犯罪侦查、门禁控制和社会安全等方面具有巨大的应用潜力.作为视觉识别任务，步态识别的基本目标是学习唯一和不变的表示，从人体形态的时间变化特征出发，然而，在实际场景中，由于人体的拎包、穿外套以及摄像机视角等变化，步态的外观会发生很大的变化，这给步态识别带来为了缓解这些问题，许多基于深度学习的方法提供了有前途的解决方案[30，25，5，26，18、29、21、14]。Thomas等人[25]应用3D-CNN提取时 空 信 息 ， 试 图 找 到 人 类 步 态 的 通 用 描 述 符 。GaitNet[30]提出了一个自动编码器框架，从原始RGB图像中提取步态相关步态序列的时间变化。”[5]《明史》：“以其人之道还治其人之身。14226位置信息，从而将步态视为一组来提取时间信息。这些现有方法将整个人体形状作为一个单元来提取时空信息以用于最终识别。然而，我们观察到，人体的不同部位在行走过程中具有明显不同的形状和运动模式，如图所示。第1（a）段。文献[6，15，20，5，12，13，19，28]中更多的证据表明，人体描述的部分特征可以提供细粒度的信息，这有利于个体识别任务。对于时间变化特征，这些现有技术中的一些方法没有明确地对时间特征进行建模，这导致时间序列中重要的不变特征的丢失[23，7，3，26]。一些其他方法通过深度堆叠3D卷积或递归操作对长距离依赖性进行建模，以表示对步态序列的全局理解[25，30]。然而，这些方法被认为保留了周期性步态的不必要的长范围顺序约束，从而失去了步态识别的灵活性[5]。基于上述研究结果，我们假设人体的每个部分都需要自己的表达，其中局部的短程时空特征（微动特征）是对人体步态最具鉴别力的特征因此，我们提出了一种新的时间部分为基础的框架称为GaitPart。如图1（b）所示，步态-部分由两个新颖的精心设计的组件，即。、帧 级 零 件 特 征 提 取 器 （ FPFE ） 和 微 动 捕 捉 模 块（MCM）。GaitPart的输入是步态轮廓序列FPFE是一种特殊但简洁的堆叠CNN，首先将每帧作为输入，然后对输出特征图进行预定义的通过这种方式，我们可以获得图中着色的部分级空间特征的多个序列。图1（b）中所示的微运动模式，每个微运动模式对应于人体的某个预定义部分，并且其微运动模式将由相应的MCM捕获。注意，这些并行MCM之间的参数是独立的，这反映了GaitPart是一种部分独立的方法。最终的步态表示是通过简单地协调这些MCM的所有输出而形成的。具体而言，我们做出以下三大贡献。• 在FPFE中，我们提出了一种简单而有效的卷积应用，称为焦点卷积（FConv），以增强部分级别空间的细粒度学习。功能.其核心思想是使顶级卷积核能够专注于输入帧的每个特定部分内的更多局部细节，直观地利用更细粒度的部分信息。• 在MCM中，我们认为，局部短距离时空特征（微运动模式）是周期性步态最具鉴别力的特征，而长距离时空特征（微运动模式）是周期性步态最具鉴别力的特征范围依赖性是冗长且低效的。 和提出了一种基于注意力的多模型方法，对步态序列的局部微运动特征和全局理解进行• 我们提出了一种新的时间部分为基础的框架步态识别，称为GaitPart。大量的实验在 广 泛 使 用 的 步 态 数 据 库 CASIA-B [17] 和 OU-MVLP[21]上进行的研究表明，GaitPart在很大程度上优于现有的最先进方法，显示出其优越性。在CASIA-B上进行的大量严格的消融实验[17]进一步证明了GaitPart中每个组件的有效性。2. 相关工作步态识别。大多数最先进的作品都将空间特征提取和时间建模作为焦点[16，23，7，3，26，2，1]。对于第一个问题，先前基于CNN的研究通常对整个特征图执行常规的2-D[30，5]或3-D[25，27]卷积操作虽然这种在空间维度上的统一操作是自然和广泛使用的，但这些方法忽略了步态任务中人体部位之间的显著差异。为了得到时空表示，许多工作倾向于显式地对时间变化进行建模[30，25]。 或直接将整个步态序列压缩到一帧中[5，23，7，3，26，29]。然而，基于RNN的方法被认为保留了周期性步态的不必要的顺序约束[5]，而另一种基于GEI的方法[23，7，3，26]对现实世界场景中的变化敏感，尽管它们具有简单性优势。基于零件的模型。将特征图分割成条带并将它们汇集到列向量中已经在非常相关的领域中被例如，人Re-ID[6，20，15]。在忽略空间对齐的情况下，这些方法假设每个列向量可以表示人体的某个对应部分[20]。与人的Re-ID领域不同，我们认为步态任务中的基于部分的图式应该以部分依赖的方式设计。由于在步态任务中人体各部位在外观和运动模式方面存在显著差异，而人体的不同部位完全可能具有共同的属性，例如，，颜色和纹理在人Re-ID1。因此，GaitPart被设计为部分依赖的方法，其参数在生成时空表示的阶段是部分依赖的。此外，本文还提出了一种新的卷积方法--聚焦卷积（F-Conv），它构成了FPFE。更具体地说，FConv首先将输入特征映射切片为几个部分，然后分别对这些部分执行常规卷积。当1我们猜测这14227图2. GaitPart的框架。Block1、2和3由FConv和池化层组成。HP代表水平汇集，MCM代表微动捕捉模块。特别地，MCMj负责聚合部件表示矩阵中的行j处的所有向量以生成用于最终识别的时空特征vj通过对FConv进行深度堆叠，顶层神经元的感受野将受到限制，并且有望集中于输入帧的相应部分内的更多局部细节。时间模型。 时态建模方法步态的变化一般可分为三种类型，[25]、基于LSTM的[30，14]和基于集合的[5]。其中，基于3DCNN的方法[2，1，22，25]直接提取时空特征用于步态识别，但这些方法通常难以训练，并且Zhang等人[30]提出了一种新的自动编码器框架，从原始RGB视频中提取姿势特征，并使用三层LSTM按时间序列聚合这些姿势特征，以生成最终的步态特征[30]。然而，基于LSTM的方法被认为保留了周期性步态的不必要的顺序约束[5]。GaitSet[5]提出将步态视为一个集合，通过假设轮廓的外观包含了其位置信息，并以时间池的方式提取时空特征这种方法足够简洁有效，但与上述相反，我们观察到具有类似视觉外观的帧可能在周期性步态中周期性地出现这种现象意味着长范围依赖性（例如，长于完整的步态周期）对于步态识别可能是冗余的并且无效的因此，GaitPart将注意力转向局部短距离时间建模，并提出了微运动捕获模块。更多细节将在第二节讨论。三点三3. 该方法在本节中，我们首先介绍GaitPart的流水线，然后是帧级部件特征提取器（FPFE），最后是时间特征聚合器（TFA）和实施细节。框架如图所示。二、3.1. 管道如图2，将包含t帧的步态轮廓序列逐帧地馈送到GaitPart中帧级部分特征提取器（FPFE）是一种专门设计的卷积网络，用于提取每帧fi的空间特征FiFi=FPFE（fi）（1）其中i∈1，2，…，t表示步态序列中帧的索引，FPFE的细节将在第二节中介绍。3.2. 以这种方式，表示为当SF={Fi|i=1，… t}，其中Fi是三维张量，即通道、高度和宽度尺寸。然后，水平池化（HP）模块，旨在提取部分人体的有区别的部分通知特征，将特征图Fi水平地分割成n个部分。 对于Fi，Fj，i的第j部分，HP模块通过全局平均池化和全局最大池化将其下采样为列向量pj，ipj，i=Avgpool2d（Fj，i）+ Maxpool2d（Fj，i） （2）在[5，6，20，15]中通常使用类似的操作。作为中间结果，SF中的每个特征图可以被转换成n个部件级特征向量，从这些部件级特征向量可以获得部件表示矩阵（PR矩阵），表示为P=（pj，i）n×t。 如图所示。2，ob-PR矩阵中的对应向量行，记为Pj，·={Pj，i|i=1，2，…t}被期望代表部分j的步态变化。因此，很自然地，可以通过将Pj·聚合到特征向量vj中来提取部分j的时空特征，其公式为v j = MCM j（P j，·）（3）14228图3. (a)：深层网络中顶层神经元感受野的扩展上一篇：常规案例底部：使用FConvs。(b)：FConv的插图，特征图按尺寸显示，例如、C × H × W.其中MCMj表示第j个微动捕获模块（MCM）。该算法由n个参数相互独立的并行MCM构成时间特征聚集器（TFA）.最后，采用多个独立的FC层将从TFA中提取的特征向量映射到度量空间，以实现最终的个体识别。3.2. 帧级零件特征提取器帧级局部特征提取器（FPFE）由三个块组成，每个块由两个聚焦卷积层（FConv）组成，用于提取每帧的局部空间特征。接下来，将首先详细描述FCon-v，然后描述FPFE的确切结构定义. FConv是卷积的一种新应用，它可以首先将输入特征图按水平方向分成几个部分，然后分别对每个部分执行常规卷积。设p为预定义部分的数量，特别地，当p=1时，FConv等同于常规卷积层。动机为了增强部分信息空间特征的细粒度学习，开发了FConvD.如图如图3（a）所示，随着网络深入，通过在FConv中设置超参数p，顶层神经元的感受野将被限制为比正常情况更窄，这使得顶层神经元即使在深度网络中也可以关注输入帧的相应部分这种对感受野的约束有望为每个部分提取更细粒度和更精确的特征。操作 如图3（b），输入特征图 首先将其水平地分成P个预定义部分，然后分别对这些部分执行常规卷积运算。之后，输出的特征图将被水平连接并用作F的最终输出表1.框架级零件特征提取器的确切结构在C中，Out C、Kernel和Pad分别表示FConv的输入通道、输出通道、内核大小和填充。特别地，p指示FConv中预定义部分的数量框架级零件特征提取器块层用C输出C内核垫pBlock1FCv1132521FCv23232311MaxPool，内核大小=2，步幅=2Block2FCv33264314FCv46464314MaxPool，内核大小=2，步幅=2Block3FCv564128318FCv6128128318Conv.此外，FPFE的确切结构如表1所示。1和设置每个FConv的超参数p的消融研究将在第2节讨论。四点三。3.3. 时态特征聚合器如第3.1中，时间特征聚合器（TFA）由n个并行的微运动捕获模块（MCM）组成，并且每个MCM负责对相应部分的短程时空表示进行建模。接下来，我们把MCM的细节作为焦点，从而忽略预定义部分的索引。MCM包括两个部分：微动模板生成器（MTB）和时间池（TP）。设Sp={pi|i=1，2，…t}是PR矩阵的一部分，PR矩阵是二维张量与序列和通道di-尺寸MTB被设计为将部件级特征向量Sp的序列映射到微运动特征向量Sm的序列，公式为Sm=MTB（Sp）。之后，通过聚合序列Sm，TP模块将提取最具鉴别力的运动特征向量v，用公式表示为v=TP（Sm），用于最终识别。接下来，将首先详细描述MTB模块，然后是TP模块。微动模板生成器说明. 将帧级部分通知特征向量映射到微运动特征向量。动机假设短距离时空表示（微运动特征）是周期步态最具鉴别力的特征，并认为任意时刻的微运动模式应该完全由其自身及其相邻帧决定。操作 设R（pi，r）={pk|k=i-r，.， 我，i+r}表示由p i组成的子序列 其r-相邻帧，然后在时刻i的微运动特征可以被定义为mi=TempFunc（R（pi，r））（4）其中TempFunc表示微运动模板函数，并且旨在压缩子序列R（pi，r）。14229MM图4.详细介绍了微动捕捉模块（MCM，包括MTB和TP模块）的结构。MTB模块在序列维上滑动，并将每个相邻的2r+ 1列向量聚合成微运动特征向量。然后，TP模块应用一个简单的最大值函数来收集帧间和通道间最具鉴别力的微运动特征，用于最终识别。参考GEI如图4、对Sp的每个矩应用模板函数，我们实际上执行了1-D全局平均池化和1-D全局最大池化，核大小为2r+1。以这种方式，将获得微运动特征向量的序列Sm，并且可以公式化为：表2. MTB1和MTB2的结构。在C中，Out C、Kernel和Pad分别表示1-D卷积层的输入通道、输出通道、k内核大小和填充。具体地，C和s分别表示输入特征图的通道和挤压比请注意，“|“分别表示MTB1和MTB2的设置。层Conv1d 1Conv1d 2平均池1dMaxpool1d用CC|CC/s|C/s××输出CC/s|C/sC|C××内核3 |31 |33 |53 |5垫1 |10 |11 |21 |2如图MTB就像一个滑动窗口探测器。一方面，TempFunc将窗口内所有的帧级特征向量压缩为一个另一方面，引入通道级注意机制，使模型能够根据窗口内的特征对微运动向量进行重新加权，从而突出更具鉴别力的运动样本，以利于最终识别。在实践中，有两个MTB，在MCM中使用不同的窗口大小（3和5），如图5所示。每个MTB中Conv1dNet的确切结构如表1所示二、该设计的目的是在序列维上融合多尺度信息，以采集更丰富的微动特征。消融研究将在第节中显示。四点三。时间池说明. 将微运动有限元分析的序列进行汇总，真向量，Sre（t）={mre|i=1，…t}，以表示Sm=平均池1d（Sp）+最大池1d（Sp） （5）mi此外，为了获得微运动的更具鉴别力的表示，引入了通道注意力机制，以在每个时刻重新加权特征向量[9，24，12，4]。在实际应用中，采用了一维卷积核，并对微运动序列进行了重新加权步态运动模式，公式为v=TP（Sre（t））（7）其中v表示TP模块的输出（列向量）。原则作为周期性运动，一个完整的周期应该能够彻底地代表整个步态序列，理想状态2. 因此，令Sre（T）={mre|i=1，…T}序列Sre可以用公式表示为miMSlogits=Conv1dNet（Sp）Sre=Sm·Sigmoid（Slogits（六））表示微运动特征的序列完整的步态周期（T表示周期），TP模应满足以下公式：对于Δt> T，ΔTP（Sre（t））= TP（Sre（T））（8）M m其中Conv1dNet表示由两个一维卷积层组成的小型网络。图5.微动捕捉模块这就是步态时间聚合的基本原理，其核心思想是周期性步态在一个完整的周期之后不可能有区别的信息增益。操作用两个自然而简单的序列维数统计函数means（·）和max（·）作为TP模块的实例。当TP（·）=平均值（·）时∑tmreTP（Sre（t））=1i（九）实际上，包含TP和两个并行MTB模块，不同的窗口大小（3和5）。2个体步态是一个没有任何干扰的纯周期性过程，例如：视角变化、步态无关运动等。模块MTB1|MTB214230我Mm1Tm1Tt∑TmreTP（Sre（T））=1i（十）4.1. 数据集和培训详细信息T卡西亚-B 由124名受试者组成，CASIA-B[17]是显然，当且仅当t是的整数倍，T，方程式9=等式10（这里mre然而，真实世界的步态视频的长度是不确定的，mean（·）的统计函数似乎是一个糟糕的选择。当TP（·）= max（·）时TP（S re（t））= max（m re，.，mre，.，mre）（11）TP（S re（T））= max（m re，.，m re）（12）由于步态是一个周期性的动作，很明显，E-q。11 =等式12个。因此，函数max（·）被用于最终决策。消融研究将在第节中讨论。四点三。3.4. 实现细节网络超参数。如Tab.所示。1，F-PFE由FConv Layers，Max Pooling Layers[11]和Leaky ReLU激活组成需要指出的是FCon中预定义零件编号p的设置v.当p较大时，施加在感受野上的约束较强。而当p=1时，FConv等价于常规卷积层，约束将被解除.因此，设置p值的经验随着网络的深入而增加。损失和取样器。 如第3.1节所述，GaitPart的输出- s是n列特征向量。在这项工作中，采用单独的Batch All（BA+）三重态损失[8]对网络进行训练，利用不同样本间对应的列特征向量计算损失。训练批次大小为（pr，k），其中pr表示人数，k表示训练批次中每个人的样本数此外，在测试阶段，原始步态视频将直接输入模型;在训练阶段，由于步态视频的长度不确定，采样器应收集固定长度的片段作为输入：首先截取30-40帧长度的片段，然后随机提取30个排序帧用于训练。特别是，如果原始视频的长度小于15帧，它将被丢弃。当长度大于15帧但小于30帧时，将重复采样。试验. 在测试阶段，廊道和探针之间的距离被定义为通道和探针之间的欧几里得距离的平均值。对应的特征向量。4. 实验已应用两个开放数据库来评估GaitPart，即CASIA-B[17]和OU-MVLP[21]。在本节中，将首先描述这些数据库。然后，将GaitPart的性能与其他最先进的方法进行比较。最后，将严格在CASIA-B上进行详细的消融研究[17]，以验证GaitPart中每个组件的有效性。广泛应用的步态数据集，其中每个对象包含11个视图，每个视图包含10个序列。这10个序列是在3种步行条件下获得的，前6个序列是在正常情况下获得的（NM），另外2个序列是在受试者背着包（BG）的情况下获得的，最后2个序列是在受试者穿着外套或夹克（CL）。换句话说，每个主题包含-s11 ×（6+2+2）=110个序列。基于CASIA-B，有各种实验协议[30]，为了公平起见，本文严格遵循[ 26 ]所执行的流行协议。此外，前74名受试者被分组剩下的50个对象被保留用于测试。在测试过程中，将NM条件下的前4个序列（NM#1-4）作为图库，其余6个序列根据行走条件分为3个子集，即：，NM子集包含NM#5- 6，另一个BG子集包含BG#1-2，最后一个CL子集包含CL#1-2。OU-MVLP。OU-MVLP步态数据库[21]是迄今为止世界上最大的公共步态数据集。它由10307名受试者组成，其中5153名受试者用于培训，其余5154名受试者用于培训。测试用的垫片）。此外，每个主题包含14个视图（0，15，.，90; 180，195，...，270)并且每个视图包含2个序列。在测试阶段，具有索引#01的序列被分组到图库中，而具有索引#02的其余序列被分组到探针中。培训详情。1)常见配置：通过[21]中提到的方法对齐输入silhouette，并将其大小调整为64×44。使用Adam优化器，学习率为1 e-4，动量为0.9[10]。单独三重态损失的裕度设置为0.2[8]。2）在CASIA-B[17]中，按照第3.4节中介绍的方式将批量大小设置为（8，16）。此外，我们训练模型120K迭代。3）在OU-MVLP中，由于它包含的序列几乎是CASIA-B的20倍，因此由两个FConv层组成的附加块被堆叠到FPFE中（输出通道设置为256），并且每个块的p值分别设置为1，1，3，3该批次size被设置为（32，16），迭代次数被设置为250 K，并且在150 k次迭代时学习率将被降低到1 e-5。4.2. 与现有技术方法的CASIA-B 如Tab.所示。3、为了保证GaitPart能够与其他现有方法进行系统、全面的比较1）预期CNN-LB[26]是基于GEI的，其他方法如表1所示。3个是基于视频的，并且所有这些都显著优于CNN-LB。这表明基于视频的方法在从原始步态序列中提取更细粒度和更有鉴别力的信息方面具有很大的潜力14231表3. CASIA-B上的平均秩1准确度，不包括相同视图的情况。CNN-LB：[26]，GaitSet[5]，GaitNet[30].画廊NM#1-40◦− 180◦是说探针0◦18◦36◦54◦72◦90◦108◦126◦144◦162◦180◦[26]第二十六话82.690.396.194.390.187.489.994.094.791.378.589.9NM #5-6[5]第五话[30]第三十话90.891.297.992.099.490.596.995.693.686.991.792.695.093.597.896.098.990.996.888.885.889.095.091.6GaitPart（我们的）94.198.699.398.594.092.395.998.499.297.890.496.2[26]第二十六话64.280.682.776.964.863.168.076.982.275.461.372.4BG #1-2[5]第五话[30]第三十话83.883.091.287.891.888.388.893.383.382.681.074.884.189.590.091.092.286.194.481.279.085.687.285.7GaitPart（我们的）89.194.896.795.188.394.989.093.596.193.885.891.5[26]第二十六话37.757.266.661.155.254.655.259.158.948.839.454.0CL #1-2[5]第五话[30]第三十话61.442.175.458.280.765.177.370.772.168.070.170.671.565.373.569.473.551.568.450.150.036.670.458.9GaitPart（我们的）70.785.586.983.377.172.576.982.283.880.266.578.7表4. OU-MVLP的平均秩1准确度，不包括相同视图情况。GEINet：[18]，GaitSet：[5].画廊全部14次浏览表5.消融研究，A组。控制条件：每个块中的p值。结果是11个视图的平均等级-1准确度，不包括相同视图的情况。探针）quence 2）与GaitSet[5]相比，GaitPart在具有类似的骨干的情况下明显表现出更好的性能实验结果表明-这是FConv和MCM的优势。3）与GaitNet[30]相比，这两种方法的目的相同，但方法不同。在GaitNet中，引入了Auto-Encoder框架以获得更具鉴别力的特征，并将多层LSTM应用于时空建模[30]。在我们的模型中，FConv和M-测试阶段。若剔除探针中无对应样本的受试者，则所有探针视图的平均秩1准确率应为95.1%，而不是88.7%。4.3. 消融研究为了验证步态部分中每个组件的有效性，将在CASIA-B上进行几项具有各种设置的消融研究，包括在FConv中设置不同的p值，在MCM模块中仅设置一个或两个MTB，在M-CM模块中使用和不使用注意机制，以及在TP模块中使用不同的实例。实验结果和分析如下。FConv的有效性按照在第2节中提到的FConv中设置超参数p的方式，3.4、试验A组进行了4个对照试验（编号为A-a、b、c、d，respectively），结果见表1。五、值得注意的是，在实验A-a的主干中，所有F-CM已分别提出。从实验的角度来看，在CASIA-B上的各种步行条件下，该步态部件都取得了较好的性能。OU-MVLP。为了验证其推广性，在全球最大的公共步态数据集上完成了GaitPart的评估[21]。如Tab.所示。4、GaitPart在各种交叉视图条件下满足新的最新技术水平。应该指出的是，由于某些科目的序列缺失，秩-1准确度的最大值不能达到100%，这种情况在3大约2. 56× 106对于GaitSet[5]，而1. 47×106用于步态部分。将Convs设置为1，即主干完全组成有规则的层。（1）实验结果表明，所有使用FConv的实验（包括A-b、c和d）都比实验A-a获得了更好的性能。这一方面验证了FConv的有效性。另一方面，在FConv中改变值p的鲁棒性也在GaitPart中声明。2）A-d与A-c之间的比较表明，在块1（底层）使用FConv会对性能产生负面影响。可能的原因是在底层上，相邻部分之间的边缘和轮廓信息将被FConv破坏。（3）通过比较实验组与对照组的差异GEINet[18][5]第五话GaitPart（我们的0◦11.479.582.615◦29.187.988.930◦41.589.990.845◦45.590.291.060◦39.588.189.775◦41.888.789.990◦38.987.889.5180◦14.981.785.2195◦33.186.788.1210◦43.289.090.0225◦45.689.390.1240◦39.487.289.0255◦40.587.889.1270◦36.386.288.2是说35.887.188.7A组Block1Block2Block3NMBGCL一11195.688.476.1B11896.690.477.1C14896.291.578.7D24895.890.778.414232表6.消融研究，B组。控制条件：W/和W/O应用MTB 1或MTB 2，MT-B中的W/和W/O注意机制以及TP的不同实例。结果是11个视图的平均等级-1准确度，不包括相同视图的情况。B组MTBTPNMBGCLMTB1MTB2关注Max是说一CCCC96.291.578.7BC×CC95.890.876.2C×CCC96.190.677.3DCC×C95.489.373.1eCCCC93.686.570.1通过对样本A-a、b和c的分析，可以发现在NM子集上，平均秩1准确率先上升后下降，而在BG和CL子集上，平均秩1准确率保持上升趋势。这一现象的原因可能是由于不同的行走条件下，表层神经元感受野的不同。此外，还有另一件值得一提的事情是，在al-1处没有采用FConv的实验A-a在A组中实现了较差的性能，但在表1中提到的其他基准中实现了最好的性能。3 .第三章。由于A-a中采用的主干比其他基准测试中的主干更轻巧、简洁，因此可以松散地、部分地验证MCM模块的有效性。最后，选取综合性能较好的实验A-c作为步态特征的基线。MCM的有效性。如Tab.所示。6、B组有5个对照实验（分别编号为B-a、4、b、c、d、e），其中B-a、b、c、d侧重于MTB模块的设计，其余B-e仅考虑TP模块的实例化。1）通过比较实验B-a、b和c之间的差异，我们发现MTB 1和MTB 2一起使用时性能最好这显示了MCM中的多尺度设计（在第2节中提到）。3.3）有助于捕捉识别微动特征。2）通过对实验B-a和B-d的比较，我们发现注意机制的引入这确实使模型能够突出最具代表性的微动特征。3）通过实验B-a和B-e的比较，说明了TP模块的实例化对GaitPart的重要性。当它B组和A组的所有实验中，4.4. 时空研究一般认为静态的外观特征和动态的时间信息都是步态的典型特征。但是，许多先前的方法已经取得了良好的性能，而没有建模的表7.时空研究，C组。控制条件：在训练/测试阶段对输入序列进行排序/混洗。结果是11个视图的平均等级-1准确度，不包括相同视图的情况。C组火车测试NMBGCL洗牌排序洗牌排序一CC95.689.971.5BCC96.2 91.5 78.7CCC92.585.865.1换句话说，输入帧的顺序因此，在本节中，我们的目标是公开探索时间信息和外观特征分别在GaitPart中扮演什么角色。为此，进行了实验组C，所有结果显示在表1中。7 .第一次会议。正如您所看到的，通过在训练阶段（C-a）和测试阶段（C-c）对输入帧进行混洗，可以获得结果表明，即使在输入序列的时间信息被打乱的情况下，该模型仍能取得不错的性能。这一现象表明静态外观特征在步态识别中确实起着至关重要的作用。但我们选项卡. 7表明时间信息也是GaitPart中非常重要的鲁棒特征5. 结论在本文中，我们提出了一个新的见解，人体的每个部 分 都 为 此 ， 本 文 提 出 了 步 态 特 征 提 取 器（GaitPart），它包括由FConv构成的帧级特征提取器和由多个并行且相互依赖的微运动捕获模块构成的时间特征聚集器。这两个部分的核心目标分别是增强部分级特征的细粒度学习和提取局部短程时空表示。最后 ， 在 著 名 的 公 共 数 据 库 CASIA-B[17] 和 CASIA-MVLP [21]上进行的实验证明了GaitPart及其所有组件的优越性。确认本 课 题 得 到 了 国 家 重 点 研 发 计 划 （ 批 准 号 ：2017YFB1002804）和顺德研究生院科技创新基金的资助。4该实验与A-c组相同。14233引用[1] G. Ariyanto和M. S.尼克松基于模型的三维步态生物力学。2011年国际生物识别联合会议（IJCB），第1-7页，2011年10月。二、三[2] G. Ariyanto和M. S.尼克松用于三维步态生物测定的木偶质量弹簧模型。2012年第五届IAPR生物识别国际会议（ICB），第354-359页，2012年。二、三[3] K. Bashir，T.Xiang和S.龚基于步态熵图像的步态识别第三届国际犯罪检测和预防成像会议（ICDP 2009），第1- 6页，2009年。2[4] 曹岳、徐佳瑞、林斯蒂芬、魏方云和韩虎。Gcnet：非局 域 网 络 满 足 挤 压 激 励 网 络 和 超 越 。 arXiv ：1904.11492，2019. 5[5] Hanqing Chao，Yiwei He，Junping Zhang，and JianfengFeng.步态集：将步态视为用于跨视图步态识别的集合。AAAI，2019年。一、二、三、七、八[6] Yang Fu，Yunchao Wei，Yuqian Zhou，Honghui Shi，Gao Huang，Xinchao Wang，Zhiqiang Yao，and ThomasHuang.用于人员重新识别的水平金字塔匹配AAAI，33，04 2018. 二、三[7] 朱汉和比尔巴努。利用步态能量图像进行个体识别。IEEE模式分析机器智能汇刊，28（2）：316-322，2006。二、五[8] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为了 防 止 三 重 丢 失 ， 进 行 人 员 重 新 鉴 定 。 ArXiv ，abs/1703.07737，2017年。6[9] J. 胡湖，加-地Shen，S.阿尔巴尼湾Sun和E.吴压缩-激励网 络 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，第1-1页，2019年。5[10] 迪德里克·金马和吉米·巴。Adam：一种随机优化方法。国际会议上学习- ING代表，12 2014年。6[11] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。In F.佩 雷 拉 角 ， 巴 西 - 地 J. C. 伯 吉 斯 湖 Bottou 和 K. Q.Weinberger ，editors ，NerulPS ， pages 1097Curran As-Sociates，Inc.2012. 6[12] S. Li，S. Bak，P. Carr，and X.王. 基于视频的多样性规则化时空注意力人物再识别。在CVPR，第369-378页，2018年。二、五[13] W. Li，X. zhu和S.龚和谐关注网对人的重新识别。在CVPR中，第2285-2294页，2018年。2[14] 廖日君，曹春水，Edel B.Garc'ıa Reyes，Shiqi Yu，andYongzhen Huang.基于姿态的时空网络（PTSN）用于携带和服装变化的步态识别。生物识别-第12届中国会议，CCBR 2017，中国深圳，2017年10月28-29日，Pro-ceedings，第474-483页，2017年第1、3条[15] Hao Luo，Youzhi Gu，Xingyu Liao，Shenqi Lai，andWei Jiang.一袋技巧和一个强大的基线深度重新识别人。在CVPR研讨会上，2019年6月。二、三[16] Sudeep Sarkar，P.乔纳森·菲利普斯，刘宗一，伊西德罗·罗布-莱多·维加，帕特里克·格罗瑟和凯文·鲍耶。人类步态挑战问题：数据集、性能和分析。IEEE模式分析和机器智能学报，27：162-77，2005年3月。2[17] 余世奇，谭道良，谭铁牛。一个评估视角，服装和携带条件对步态识别影响的框架。在第18届模式识别国际会议（ICPR二、六、八[18] K. Shiraga，Y. Makihara，D. Muramatsu，T. Echigo和Y.八木Geinet：使用卷积神经网络的视图不变步态识别在2016年国际生物识别会议（ICB），第1-8页，2016年6月。1、7[19] C.李杰，王建，等. Zhang，J. Xing，W. Gao和Q.田姿势驱动的深度卷积模型用于人员重新识别。在ICCV，第3980-3989页，2017年。2[20] 孙一凡，郑良，杨毅，王胜金。Be-yond part models：Person retrieval with refined part pooling.ECCV，2017年11月。二、三[21] NorikoTakemura、YasushiMakihara、DaigoMuramatsu、Tomio Echigo和Yasushi Yagi。多视角大规模人群步态数据集及其跨视角步态识别性能评价。IPSJTransactions on Computer Vision and Applications，2018年10月12日一二六七八[22] D. 特兰湖布尔代夫河费格斯湖Torresani和M.帕鲁里用三维卷积网络学习时空特征。在ICCV，第4489-4497页，2015年12月。3[23] 王晨，张俊平，王良，朴健，袁喜秀.基于时间信息保持 步 态 模 板 的 身 份 识 别 IEEE transactions on patternanalysis and machine in