联合强度和空间度量学习的鲁棒步态识别

1强度和空间度量联合学习的鲁棒步态识别牧原靖1、铃木敦幸1、村松大悟1、向力2、1、八木靖1、1大坂大学、2南京理工大学{makihara，a-suzuki，muramatsu，li，yagi}@ am.sanken.osaka-u.ac.jp摘要本文描述了一种联合强度度量学习方法，以提高步态识别的鲁棒性与基于轮廓的描述符，如步态能量图像。由于现有的方法往往使用的差异，im-图1. 携带状态的例子。携带的对象（由黄色虚线圆圈表示）出现在不同的位置，因此空间度量学习不适用于鲁棒的步态识别。匹配对之间的年龄强度（例如，1-范数的增益系数的绝对差异）来测量相异性，从协变量条件（例如，大的步态能量导致通过携带的物体与由背景引起的小的步态能量），可以消除细微的受试者间差异（例如，从运动差异导出的中间水平步态能量的差异）。 因此，我们引入一个度量阳性配对（同一受试者）探头图库2550关节强度0100减少255探针强度2550绝对差（即，L-1范数）作为联合强度度量增强130255廊道强度阴性对（不同受试者）探头图库100130在联合强度，以减轻大intrasubject差异-并利用微妙的主体间差异。更具体地说，我们在一个统一的框架中制定联合强度和使用OU-ISIR跑步机数据集B进行的实验，具有最大的服装变化和大人群数据集用袋、版在野外的携带状况验证了所提方法的有效性。1. 介绍步态[55]是一种行为生物特征，其具有优于其他生物特征（例如面部、虹膜或指静脉）的优点，因为（i）即使当受试者与相机相距一定距离时，步态也是可用的，因为它可以从相对低分辨率的图像序列中识别出来[52]，以及（ii）步态特征可以在没有受试者合作的情况下获得，因为人们无意识地表现出他们自己的行走风格，将军由于这些优点，步态识别适用于许多潜在的应用，例如监视、取证和刑事调查[8 ，21，44]）。步态识别的方法主要分为两类：基于模型的方法[2，7，10，35，68，69，76，80]和无模型（基于外观）方法[5，6，16，27，47，54、60、70、71]。基于模型的方法将关节连接的人体模型拟合到图像并提取运动学特征，例如关节角度序列。基于模型的AP-图2. 联合强度度量学习的概念。传统的联合强度度量（即，该图中的1-范数的绝对差异）对于对象内携带的对象差异返回大的相异度（例如，强度水平255与0），而它返回对象间运动差异的小相异度（例如，强度水平100与130）在GEI。因此，我们希望减少从受试者内差异导出的联合强度的相异性，同时通过联合强度度量学习来增强从受试者间差异导出的那些联合强度的相异性。该方法对某些协变量（如穿着、携带状态和部分遮挡）具有鲁棒性，它们需要相对高的图像分辨率以获得合理的人体模型拟合结果，并且导致高计算成本。基于外观的方法以整体的方式直接使用输入或轮廓图像来提取步态特征而无需模型拟合，因此它们通常工作良好，即使对于相对低分辨率的图像，并且产生低计算成本。特别是，基于轮廓的表示，如步态能量图像（GEI）[16]，频域特征（FDF）[47]，时间步态图像[70]和Gabor GEI[66]，由于其简单而有效的特性，在步态识别领域然而，基于外观的方法，由于协变量如服装[5，6，20，36，58]，携带标准，tus [11，65，67]，view [22，28，30，32，43，47，61，62，73]，以及5705受试者内携带物体差异受试者间运动差异5706步行速度[1，13，29，31，41，48，49，64]。获得协变量鲁棒性的最常用方法是结合空间度量学习，例如线性判别分析（LDA）[16，40，70]，通用张量判别分析（GTDA）[65，66]，张量表示判别分析（DATER）[74，77]或随机子空间方法（RSM）[14，15]。然而，仅通过空间度量学习难以覆盖所有变化，因为受诸如服装和携带状态的协变量影响的空间位置根据实例（例如，背包，单肩包，手提包和手提箱），如图所示。1.一、然而，仔细观察步态识别的强度度量方面，我们注意到匹配对之间的强度差（例如，1-范数增益系数的绝对差）通常用于测量相异性，其中较大的整数差sities自然会导致更大的相异性。因此，受试者内差异较大源于协变量条件，例如，来自前景携带对象的高强度（GEI表示中的大步态能量从运动差异中得出的中等强度（中等步态能量）的差异，如图所示。二、步态识别的一些研究集中在这个强度度量方面。Bashir等人[5]提出了步态熵图像（GEnI），它将步态能量转换为每个像素的Shan-non熵，以增强动态部分，同时忽略静态部分，以获得对服装和携带状态的鲁棒性（见图1）。4（b）为例）。此外，在[6]中提出了掩蔽GEI，其中GEI的静态部分（即，小熵区域）被屏蔽掉。两种方法都将完整背景（最小步态能量）和完整前景（最大步态能量）变换为零，并因此使它们的差异为零，这是对受试者内变化的过度抑制，其具有压倒个体形状变化所产生的受试者间差异的因此，我们引入了一个关于联合强度的度量，以缓解较大的受试者内差异，并利用细微的受试者间差异，如图所示。二、我们学习这样一个度量，以便以数据驱动的方式很好地分离相同主题和不同主题的这项工作的贡献是三方面的。1. 数据驱动的联合强度度量虽然现有的面向强度的方法（如GEnI[5]和掩蔽GEI[6]）是以手工方式设计的，并且也完全丢弃了个体形状差异，但所提出的方法以数据驱动的更具体地说，我们学习联合强度度量，以实现超强度之间的良好权衡使用包括诸如衣着和携带状态的协变量条件的训练集来压制受试者内差异并增强受试2. 联合强度和空间度量学习我们不仅优化联合强度度量，而且在一个统一的框架中的空间度量（加权每个空间位置）。更具体地说，我们定义了一个dissimilarity测量匹配对作为一个联合强度度量向量和空间度量向量的双线性形式，然后定义一个目标函数，最大化之间的利润积极（相同的主题）和消极（不同的主题）对。因此，我们可以交替优化联合强度度量和空间度量的线性支持向量机（SVM）或排名SVM的框架。3. 稳健步态识别的最高精度我们使用公开的步态数据库（包含野外最大的服装变化（多达32种）和携带状态），实现了服装和携带状态变化下步态识别的最新准确性。2. 相关工作联合强度直方图联合强度直方图最初是为一对空间相邻的像素定义的，并用于各种目的，如纹理分析[17]和模板匹配[18]。此后，一些研究以与所提出的方法相同的方式定义了图像对在相同空间位置处的联合强度。例如，Kita et al.[23-25]在背景图像（序列）和输入图像之间构造了联合强度直方图，然后通过从联合强度直方图中找到背景聚类来检测变化区域（前景），这提高了与简单的背景减法相结合的对光照变化的鲁棒性。此外，在医学图像分析中使用联合强度直方图进行3D体积数据的配准[37]。虽然联合强度直方图已被广泛应用于上述各种研究领域，但据我们所知，还没有研究联合强度度量学习以更好地识别个体。序列匹配的联合概率建模所提出的用于图像对匹配的联合强度度量学习在概念上类似于用于序列匹配或比对家族的联合概率建模（例如，近似字符串匹配[4]和DNA序列比对[53]）方法。简而言之，一对单元条目的联合概率（例如，用于近似串匹配的字符和用于DNA序列比对的氨基酸）可用于定义用于弹性序列匹配算法（例如动态编程）的单元条目的插入、删除和替换的成本。因为这项工作的目标是一个图像，5707∣-∣∈∣ -∣联系我们（，）（，）1∈∈联合强度度量需要结合相异，例如，（，）=（100，0）和d（，）=一个空间度量，以获得更好的整体性能。与此相反，序列匹配不考虑这种空间度量。3. 联合强度和空间度量学习（200，100）的结果是相同的。 另外作为绝对差v v增加，相异度单调线性增加（等式2）。（2）或二次（Eq. （3）），因此（，）=（255，0）的异相似性i=（100，130）。3.1. 空间度量学习为了澄清所提出的方法和传统的空间度量学习之间的差异，我们首先回顾典型的空间度量学习。如果有灰度图像，年龄与高度和宽度（即， 为pix-els），其在位置（，）处的图像强度被表示为因 此 ， 展 开的 图 像强 度 向 量被 表 示为=[ （ 1 ，1）， . ，（，1）， . 、（1、）、 . . . ，（，）]=[，…，]- 是的1此后，给定匹配的图像对，即，探测（或查询）v和图库（或登记）v，它们的1-范数不相似性是∑（v，v）=-。（一）=1此外，为了更好地分类，我们通常将空间权重纳入相异性度量中，∑（v，v;w）=，-，（2）=1其中ew=[，1， . 是一个空间，它的重量是tvec-到r。例如，在线性SVM框架中采用上述空间加权d1-norm分为两类：真正的一对（或相同的上述性质一般是合理的，因此在大多数图像匹配算法中使用。然而，在某种情况下，这是不正确的.考虑使用基于轮廓的表示（如GEI[16]）在协变量变化（如服装和携带状态如图2、一个受试者内部的对象差异（例如，，（，）=（255，0））表示大的相异性，而对象间运动差异（例如， （，）=（100，130））返回一个小的相异度。因此，如果我们学习适当的相异性度量，在联合强度上减少主体内差异同时增强主体间差异，可以提高对协变量条件的鲁棒性。[33，56]（01）mayreal-<在某种程度上（即，较小的绝对差异是稍微更多的杠杆作用和大的绝对差是相对于1-范数减小的），更灵活的操作，诸如为较小的绝对差设置较大的相异度和为相同的绝对差设置不同的相异度，仍然是不可能的。3.2. 相异性测度基于上述观察，我们扩展了空间加权的d1-norm（等式2）。（2）因此，它表示如下的接头强度的一般度量∑（v，v;w，）=，（，），（4）受试者，阳性样本）的冒名顶替者对（或不同负样本（negative sample）[51]另一个流行的度量是马氏距离（v，v;）=（v-v）（v-v），（3）在哪里ℝ× 是一个半正定矩阵。各种度量学习方法都属于这一类，例如，从经典的基于投影的ap-从LDA [57]、2D-LDA [39]、GTDA [66]和并发子空间分析（CSA）[75]、DATER[77]等方法到最近的基于度量学习的方法，如基于秩的距离度量学习[34]、大间隔 最 近 邻 （ LMNN ） [72] 、 概 率 相 对 距 离 比 较（PRDC）[81]和随机集成度量（REMet）。=1其中（i）是用于连接强度（i）的空间独立相异性度量（例如，（1）=1-范数）。换句话说，（，）被认为是从强度对（，）到不相似性y的映射函数。 函数（，）将强度对（，），，的集合作为参数，其中=0，.，max是从0（最小值）到max （ 最 大 值 ） 因 此 ， 我 们 可 以 使 用 f （ =（ max+1） 2 ） 个相 异 s{ ， （ ， ） }（=0 ， .， maxx，=0， . ，max）as∑max∑maxric）[26]，常用于步态识别[6，16，41，74]和个人重新识别的研究。（，）=，（，）==0=0，（，），（5）我们注意到强度以减法形式出现（v-v），因此原始值不影响1基于位置下标的符号（，）和基于单序列索引的符号在本文中可互换使用这里是克罗内克我们进一步用一个简单的公式来重新表述上述方程。内积形式为（，）=xw， （6）5708∈（v12∈{-}-∑2（v，v）--其中e w=[，（0，0），. . 、.、，（0，max），. . 、.、，（max，0），. . 、.、，（max，max）]=[ ，1， . . . ， ，]是联合强度度量向量，并且dx （i）=[（ i ） ， 1 ， . . . ， （ ， ） ， ]是n维指示向量，其中第（（max+1）+）个分量被激活（=1），而其他分量冒名顶替者样本，其中和分别是真实和冒名顶替者训练样本的数量。因为目标函数（Eq.（9）具有双线性数据项，我们采用了一个替代的优化框架。一旦我们固定空间度量w，目标函数为都是零填充的具体地说， 指示器向量是来自Eqs。（5）和（6）作为（w）=2中国2+∑（h，v）w+，），（11）x（，）=[，0，0，. . 、.、，0，max，. . 、.、，max，0，. . 、.、，max，max]。（七）最后，我们可以重新制定整个相异度的措施（方程。（4））作为空间度量向量w的双线性形式（v，v，）∈h（v，v）=w.（十二）不是向量rh（v，v） ∈Regardea s a sor to f并且联合强度度量向量w为联合强度直方图（见图1）。3（d）），作为其（（max+1）+）-th分量是从等式（7）和（8）作为（v ，v;w，w）=∑∑，，（，）H∑=、（十三）=1 =1（v，v）），（，）=1、、、=w（v，v）w，（8）这相当于计算像素的数量，其中（v，v）=[x（，），.，x（，]∈{0，1}×）节理强度与（，）一致。11这是一个指标矩阵。相反，一旦我们固定联合强度度量w，目标函数3.3. 度量学习接下来，我们考虑学习联合强度度量w和（w）=2w∑+（m（v，v，）∈（v，v）w+，），（14）在相异性度量中的空间度量w（等式1）。（八））从而以数据驱动的方式很好地区分真假配对。更具体地，给出m（v，v）= w（v，v）.（十五）注意，向量m（v，v）∈n表示一组耗散-asase t=（v，v，i），以及对应的类别指示符1，1，其中1和1分别指示真实和冒名顶替者对类似于空间度量学习的先前工作，我们执行-在个别空间位置的相似性（后来被称为“空间相异“，见图8）。3（e）），它的-th分量是简单地从方程。（4）和（5）作为（v，v），=，（，）。开发了一个SVM框架，并介绍了以下内容目标函数最小化：每个目标函数（Eqs.（11）、（14）有效最小化的线性SVM框架，因此，我们11交替地优化联合强度度量w和spa。（w，w）=中国2+w初始度量w给定一个训练集（图）。 3（a））。具体-我们（i）计算联合强度直方图h（v，v）+（w（v，v）w+，），（9）（图3（d））在固定的空间度量w（图3（c））和（v，v，）∈更新联合强度度量w（图3（b）），通过最小化其中前两项是用于空间度量W和联合强度度量W的边缘最大化的正则化项，并且第三项是数据项，即，一个软余量的惩罚，其中包含偏置参数的SVM中的优化和超参数，以平衡正则化和数据的要求。函数n（，）是一个铰链损失函数，定义为其中是我们定义为1=1的类特定权重和-1=/，以平衡真实和2基于关节强度订阅的符号{，（，）}（∈125709， ∈）和基于单个序列整数x的记法{，}（=1，...， ）在本文中可互换使用。当量（11）和（ii）计算空间相异性m （v，v）（图11）。3（e））下固定强度度量w（图。 3（b））和更新空间度量w（图3（b））。3（c）通过最小化等式（14）。对于该替代优化框架，我们通过绝对差初始化联合强度度量w，即，，（，）=-（，），而我们将空间度量初始化为均匀权重，即， ，=1μ m。3.4. 识别模式因为目标函数（Eq.（9））旨在仅基于对的相异性来分离真对和冒名顶替对，其适用于验证模式，即，一对一匹配例如，访问控制。相反，当考虑识别模式时，即，查找最匹配的571011---∑∈≪1空间度量w的目标函数（等式（14）现改为：’（w ）=1ww∑+（mw+，），（18）2（v，v，）∈（v，v）Σ˜=+Σ、（十九）其中，该方法是一种新的考虑边缘和空间邻近性的空间均衡化矩阵。为了解决这个问题，[12]建议改变变量s，1/2w安德迈=1/2m，并应用线性SVM图3.联合强度和空间度量学习框架给定训练集（a），在固定空间度量（c）下使用联合强度直方图（d）更新联合强度度量（b），而使用空间相异性更新空间度量（c(e) 在固定的联合强度度量（b）下。来自图库列表的主题（例如，人重新识别），重要的不是特定对的不同，而是对于特定探测（查询）的真实图库和冒名顶替图库之间的相对不同。为此，众所周知，三元组损失函数工作良好[50，51]，其中优化器驱动探针之间的相异性。V和冒名顶替画廊V之间的差异大于同一探针V和真正画廊V之间的差异。具体地说，三元组的目标函数损失解算器到新变量。类似地，值得考虑联合强度度量的接近度。代替如上所述在空间度量中采用的简单的水平和垂直接近度，我们通过考虑联合强度和相异性之间的关系来考虑联合强度中的对角和反对角方向的接近度因为强度的绝对差是沿着对角线方向（例如，（，）和（1，1）），而它沿反对角线方向变化（例如，（，）和（1，+1）），我们在对角方向上设置比反对角方向更强的正则化，并设置一个水平和垂直方向上的中等强度正则化。具体来说，我们为联合强度引入以下正则化器：（w，w）=w21周2次（w）=∑{-）2+（-）22∥+2、（，（，），（-1，-1），（，），（-1，+1）+（w）-）w，1），（16）}2（v，v，v）∈（v，v）（v，v）+2（，（，）-，（-1，） ）2+2（，（，）-，（，-1））其中是一组探测器的三元组，冒名顶替者=1ww，（20）一个真正的画廊，一个真正的画廊。我们再次通过以与前一节中描述的框架类似的方式交替优化联合强度度量w和空间度量w来解决这个问题的唯一的区别是，我们使用原始RankSVM [9]来进行这种优化，而不是线性SVM。3.5. 邻近正则化因为在上述方法中，空间度量w中的每个元素被优化而不管空间接近度如何，所以它可能容易过拟合训练集并因此失去其生成。均衡能力因此，我们引入了一个正则化的空间接近。简单地说，我们在相邻点上引入一阶光滑度，2在哪里A. B.C.D.E. C. D. E.C. D. E.1）是控制对角方向和反对角方向之间强度的超参数。选项。类似于空间接近度，我们可以通过改变变量来包括此外，我们可以在排名SVM框架中做同样的事情（等式2）。（16）），尽管由于篇幅限制，细节被省略。4. 实验4.1. 数据集（w∑{）=22}我们使用两个步态数据库进行实验、（，（，）-，（-1，））+（，（，）-，（，-1））OU-ISIR步态数据库，跑步机数据集B（OUTD-B）[46]，其中包括最大的服装变化，以及=1w/w2、（十七）OU-ISIR步态数据库，大规模人群数据集，版本（OU-LP-Bag）3，其中包括携带(b)接合强度度量w(a)训练集我(c)空间度量wS（初次）绝对差G（初次）均匀的重量X探头vP画廊vG 类别标签tp更新yG(d)接合强度直方图hG(e)空间相异度mX更新Xpyp y1Σ5711∈其中，x和d是一个对称矩阵，用于正则化空间度量的系数。3个可用在http://www.am.sanken.osaka-u.ac.jp/BiometricDB/index.html。5712××××-在野外的地位变化。在这两个数据库中，我们提取了88× 128像素大小的GEI作为步态特征。OUTD-B包括68名受试者，最多有32种不同服装的组合在跑步机上行走的图像序列从侧视图捕获整个数据集分为三个子集：训练集，图库集和探针集。在训练集中，有20个主题的446个序列图库集和探针集形成测试集，并且由48个受试者组成，这些受试者与训练集中的20个受试者该图库仅包含常规裤子和全衬衫），而探测器组包括856个其它剩余服装类型的序列至于携带状态，由于现有的步态数据库，如SOTON大型数据库[63]、USF Hu- manID [60]、CASIA步态数据库B[78]和TUM GAID [19]仅包含一些变化，因此我们使用了包括各种携带状态的步态数据库。更具体地，该数据库中的步态数据是结合科学博物馆中基于视频的步态分析的基于经验的演示来收集的当每个受试者喜欢演示时，他或她被要求走两次路：一次携带他或她的物体，一次不携带物体，在同意出于研究目的使用步态数据的知情同意书之后（详见[45]）。结果，收集了2，070名具有各种携带状态的受试者的两个行走图像序列与OUTD-B类似，整个数据集被分为三个子集：训练集、图库集和探测集。训练集包含1,034个主题的2,068个序列，而图库和探针集形成由1,036个主题组成的测试集，该测试集与训练集中的1,034个主题不相交。图库包含没有携带物体的步态图像由于训练集中的冒名顶替者对的数量相当大（1，000，000+），我们随机选择了400，000个冒名顶替者对，以便更有效地计算训练。此外，与OUTD-B不同，该数据集包含每个序列的单个步态特征周期4.2. 参数设置所提出的方法包含一些超参数。我们实验性地设置了度量学习= 1。0，== 0。2，且=0。1.一、此外，为了更有效地计算训练，我们对联合强度度量w和空间度量w进行了下采样。具体来说，我们减少了联合强度度量w的维数从256 256到32 32，而我们减少了空间度量w的维数从88 128到22 32。我们建议读者参考补充材料-对这些超参数进行敏感性分析（一）（b）第（1）款（c）（d）（e）（f）图4。学习联合强度和空间尺度的度量OU-LP-Bag数据集的rics。(a)样本GEI，（b）样本GEnI，（c）在绝对差联合强度度量下使用线性SVM学习的空间度量，（d）绝对差作为1 -范数的联合强度度量（即，w/o度量学习），（e）GEnI的联合强度度量（即， 手工制作），以及(f) 在均匀空间权重下使用线性SVM学习联合强度度量。较亮的值分别指示（c）中的较大权重和（d-f）中的相异度。（c）和（d）(f)通过线性插值从下采样的学习的被放大到原始大小4.3. 学习指标在本节中，我们分析学习的度量，并使用学习的度量显示典型的匹配示例。图4显示了学习的联合强度和空间度量以及GEI [16]和GEnI[5]样本。学习的空间度量通常在先前的工作中被成功地解释[51，79]（例如，增强了SIL-HOUETE轮廓周围的区域，而减小了受携带物体影响的区域），因为它们仅处理衣服或携带状态的有限变化。空间度量（Fig.4（c））学习不同的携带条件（图。然而，太复杂而无法解释，这意味着当我们单独使用空间度量时的困难或过度拟合风险。相比之下，学习的联合强度度量（图1）。（4）更容易理解。与用于绝对差的联合强度度量相比（图1）。 4（d））和GEnI [5]（图4（e）），学习的联合强度度量（图4（e））。（4）（f）有一些有趣的地方。首先，虽然小的相异性被分配给靠近对角线的区域，即，在GEI中出现了细微的运动差异。在图4（d）和（e）中，相对较大的相异性被分配给用于学习 度 量 的 这 样 的 区 域 （ 图 4 （ d ） 和 （ e ） ） 。 4（f）），这指示所学习的度量成功地利用了信息性的受试者间运动差异。此外，对于完整前景和背景区域的强度对在右上角和左下角附近），这部分来自于受试者内携带状态变化，绝对差返回最大的相异性（图2）。4（d））。相比之下，由于GEnI[5]增强了运动区域，同时丢弃了静态区域，无论背景或前景如何，这样的强度对都会返回最小的相异性（图2）。4（e））。一般来说，GEnI无法区分GEI中的两个强度值：和（255），即，图中的反对角线。4（e），这种手工制作的联合强度度量可能压倒重要的受试者间变化。与这两个极端的联合强度指标不同，亲-5713表1.用于OUTD-B的各个指标和求解器的EER [%]和秩1识别率（表示为粗体和斜体粗体表示最佳和次佳表现，重新排序.设置测试培训方法EER秩-1EER秩-1不含ML26.361.627.272.3线性支持向量机27.212.07.084.5JI-ML（线性SVM）13.967.914.679.1JIS-ML（线性SVM）14.556.41.596.9S-ML（Ranking SVM）14.660.27.997.7JI-ML（Ranking SVM）13.471.511.391.3JIS-ML（RankingSVM）11.074.53.599.8(a)（b）（c）（d）（e）（f）（g）图5.三个探头与不同类型携带物体的匹配示例(a)探针(b)画廊（真正的）。(c)画廊（冒名顶替者）。(d)以及（e）分别对于真匹配对（（a）和（b））和假匹配对（（a）(f)以及（g）与图1A所示的学习的联合强度度量的空间相异性。4（f）分别针对真匹配对（（a）和（b））和假匹配对（（a）和（c））。在（d）虽然由于携带的对象（绿色虚线圆圈区域），真实匹配对的绝对差的不相似性大于假匹配对的不相似性，但是它们在一定程度上被（f）中相比之下，在（g）中，假匹配对之间的运动差异区域通过学习的联合强度度量来增强，并且因此对于假匹配对使用学习的联合强度度量的不相似性大于对于真匹配对的不相似性。联合强度度量（Fig.4（f））以数据驱动的方式学习完整前景和背景区域的强度对的适当相异性，即，也不是最大的相异性，如图。4（d），也不完全为零，如图。4（e），但中等值小于对角线周围的受试者间运动变化的相异度，如图所示。4（f）。由于所学习的关节强度度量的性质，我们可以在各种携带条件下（例如，携带背包或公文包的受试者），示于图五、事实上，我们可以看到，学习的关节强度减轻了携带状态的影响，无论其空间位置如何，同时利用受试者间的运动差异，这导致成功识别。4.4. 单个模块在本节中，我们分析了所提出的度量学习（ML）的我们认为1-norm（等式 （1））（表示dasw/oML）作为基线，并且还有三个变体作为基准：（1）空间度量学习-仅联合强度度量学习（S-ML），（2）仅联合强度度量学习（JI-ML），以及（3）联合强度和空间度量学习（JIS-ML）。此外，我们通过以下方式训练上述三个指标：线性SVM和排序SVM。我们在验证（一对一匹配）和识别模式下对OUTD-B的测试集和训练集进行了评估，并在表1中报告了验证模式下真实对的错误拒绝率（FRR）和冒名顶替者对的错误接受率（FAR）的等错误率（EER）。我们还报告了识别模式下的秩1识别率。因此，JIS-ML（排名SVM）产生了最佳或第二佳准确度，而JIS-ML（线性SVM）在验证模式下产生了训练集的最佳准确度（即，最低EER），这在考虑线性SVM的性质和对SVM进行排序时是合理的另一个有趣的方面是，对于训练集，S-ML比JI-ML产生更好的准确性，而对于测试集，S-ML比JI-ML执行得更差。这表明空间度量倾向于过拟合训练集中的协变量空间位置受到训练对象的服装变化的影响），并因此遭受泛化误差。相比之下，联合强度度量成功地维持其准确性（例如，测试集的EER与训练集的EER相比没有显著降低，4）因此具有比空间度量更好4.5. 与最新技术水平的比较在本节中，我们将所提出的使用排序SVM（JIS-ML（Ranking SVM））的联合强度和空间度量学习方法与最先进的基准进行比较。为了评估验证模式，我们应用了探针相关的z归一化[3]，即，我们计算特定探针和所有gal leries之间的相异性分数，并将它们归一化，使得它们的平均值和标准偏差分别为0和1，因为现有技术水平[5，6，16，20，36，38，42，74，75]也用OUTD-B的z-归一化来评估。在步态特征方面，除了步态识别研究中最常用的GEI特征外，[4]请注意，rank-1识别率取决于图库大小（训练集和测试集分别为20和485714[36]第三十六话GEnI [5][73]第73话：我的世界，我的世界[第38话]戴面具的GEI [6][56]第五十六话[58]美国乡村音乐电台排行榜[编辑][42]第四十二届中国国际航空航天博览会GEIw/ 2D-LDA [39][74]第七十四话GEI w/ Ranking SVM [50]该方法0.40.30.20.10.00.0 0.1 0.2 0.30.4远0.40.30.20.10.00.0 0.1 0.2 0.3 0.4远随机子空间方法（RSM）[15]和两点步态（TPG）+GEI [42]。此外，我们将各种空间度量学习方法应用于GEI：[57]，2D-LDA [39]，CSA [75]，DATER [74，77]和排名SVM [9，51]。我们通过z-归一化的接收器操作特征（ROC）曲线示出了验证模式的准确性，该曲线指示对于各种真实匹配接受阈值的FAR和FAR之间的权衡。此外，我们还用图1中的累积匹配特征曲线（CMC）来说明识别模式的精度。六、此外，作为每个模式评估的总结1.00.90.80.70.60.5(a) z归一化ROC曲线1.00.90.80.70.60.50.40.30.20.10.0等级-1识别率见表2。实验结果表明，该方法对OUTD-B和OU-LP-Bag数据集的识别效果最好或次好，表明了该联合强度和空间度量学习方法在服装和携带状态变化下的步态识别中国家。虽然Gabor GEI w/RSM[15]实现了OUTD-B的超秩1识别率，但请注意，由于其0 5 10 1520秩1 10 100 1000秩观众席的多数投票制也不能(b) CMC曲线图6. 比较实验的ROC和CMC曲线（左：OUTD-B，右侧：OU-LP-Bag）。请注意，有些基准点不提供曲线。表2. 比较实验。秩-1和z-EER表示秩-1识别率[%]和z归一化EER [%]。粗体和斜体粗体表示最佳和次佳精度。N/A和社区，我们还选择了对服装变化和/或携带状态鲁棒的步态特征：基于形状变化（SVB）的frieze模式[36]，基于组件的特征[38]，基于部分的FDF [20]，基于部分的 离 散傅 立 叶 变换 熵 （ EnDFT） [59]，GEnI [5]，Masked-GEI [6]，Gabor GEI [5]，Gabor GEI，用于每个图库包括单个样本的数据集（即，OU-LP-Bag数据集）。这是因为它需要一个用于库集的常规类内矩阵。因此，考虑到应用范围和精度的平衡，我们得出结论，所提出的方法是一个合适的选择在基准方法中。5. 结论本文描述了一种联合强度度量学习方法及其在步态识别中的应用。我们使用联合强度和空间度量的双线性形式来制定相异性，并交替地通过线性SVM或排名SVM来优化它，以便很好地分离gen-uine和imposter对。 我们用OUTD-B和OU-LP-Bag的仿真结果表明，该方法与其它状态的仿真结果相比，具有很好的艺术方法尽管所提出的方法处理空间位置上的共同关节强度度量，但是合适的关节强度度量在身体部位之间可能不同（例如，在腿的运动差异上有更多的杠杆作用）。因此，未来的研究方向是将所提出的框架扩展到空间相关的联合强度度量学习。此外，由于所提出的框架的应用不限于步态识别，我们计划测试所提出的方法与其他问题，谢谢。本研究得到了JSPS科学研究资助金（A）JP 15H 01693、JST CREST识别率FRR识别率FRR数据集OUTD-BOU-LP-袋方法z-EER秩-1z-EER秩-1[36]第三十六话19.81---[第38话]18.25---FDF（基于部分）[20]10.2666.3--[59]第59话-72.8--GEnI[5]12.8159.018.8229.5戴面具的GEI [6]28.1528.061.950.1[66]第六十六话11.8062.310.4846.4[15]第十五话N/A90.7N/AN/ATPG + GEI [42]7.10---[16]第十六话16.2155.319.5924.6GEI w/ LDA[57]15.6354.38.1054.6[39]第三十九话8.9170.711.4743.3[75]第七十五话16.00---[74]第74话8.72---[51]第51话10.7558.410.8128.3该方法6.6674.55.4557.45715引用[1] M. R. Aqmar，K. Shinoda和S.古井鲁棒步态识别速度变化。在第20届国际模式识别会议的集，第21902010年。[2] G. Ariyanto和M.尼克松用于三维步态生物特征识别的木偶质量弹簧模型。 在proc 第五届IAPR生物识别国际会议，第354-359页，2012年3月。[3] R.奥克兰湾Carey和H.托马斯与文本无关的说话人确认系统的评分标准化。数字信号处理，10（1-3）：42[4] R. Baeza-Yates和G.纳瓦罗近似字串匹配，第1施普林格柏林海德堡，柏林，海德堡，1996年.[5] K. Bashir，T.Xiang和S.龚基于步态熵图像的步态识别在第三届国际犯罪侦查和预防成像会议，第1-6页，12月。2009年[6] K. Bashir，T. Xiang和S.龚 无主体合作的步态识别。Pattern Recognition Letters，31（13）：2052-2060，Oct.2010年。[7] A. Bobick和A.约翰逊使用静态活动特定参数的步态识别 。在 Proc. of the 14th IEEE Conference on ComputerVision and Pattern Recognition，vol.1，pages 423[8] I. Bouchrika，M.Goffredo，J.Carter和M.尼克松步态在法医生物识别中的应用。Journal of Forensic Sciences，56（4）：882[9] O. Chapelle和S.凯尔蒂支持向量机的有效排序算法。Information Retrieval，13（3）：201-215，2010.[10] D.库纳多湾Nixon和J.卡特用于识别的人体步态模型的自动提取和描述。计算机视觉与图像理解，90（1）：1[11] B. Decann和A. Ross.用于夜间环境中人体识别、背包检测 和 轮 廓 校 正 的 步 态 曲 线 。 在 Proc. of the SPIE ，Biometric Technology for Human Identification VII ， 第7667卷，第76670 Q[12] M. Dundar，J. Theiler，and S.珀金斯将空间邻接性引入支持向量机分类器的设计中2006年IEEE地球科学和遥感国际研讨会，第364-367页[13] Y. Guan和C.T. 李一个用于步行者和跑步者识别的鲁棒速度不变步态第六届IAPR生物识别国际会议论文集，第1-8页，2013年[14] Y. 关角，澳-地T. Li和Y.胡鲁棒的服装不变步态识别。在 Intelligent Information Hiding and Multimedia SignalProcessing（IIH-MSP），2012年第八届国际会议，第321-324页[15] Y.关角，澳-地T. Li和F.罗莉关于减少步态识别中协变量因素的影响：分类器集成方法。IEEE Transactions onPattern Analysis and Machine Intelligence，37（7 ）：1521[16] J.Han和B.巴努利用步态能量图像进行个体识别。IEEETrans. on Pattern Analysis and Machine Intelligence，28（2）：316[17] R. M. Haralick，K. Shanmugam和我丁斯坦用于图像分类的纹理特征IEEE Transactions on Systems，Man，andCybernetics，SMC-3（6）：610[18] M.桥本，T. Fujiwara，H. Koshimizu、H. Okuda和K.苏美基于同现概率的快速模板匹配中唯一像素提取。在Optomechatronic Technologies（ISOT），2010年国际研讨会上，第1-6页[19] M. 霍夫曼，J. Geiger，S. 巴赫曼湾 舒勒，以及G.瑞格来自音频、图像和深度（gaid）数据库的tum步态：主题和特征的多模态识别。J. Vis. Comun.图像表示。，25（1）：195-206，Jan. 2014年[20] M. A. 侯赛因，Y。Makihara，J.Wang和Y.八木服装不变步