没有合适的资源?快使用搜索试试~ 我知道了~
9885保序Wasserstein判别分析苏兵1、周家欢2、吴英21中国科学院软件研究所集成信息系统科学技术实验室,北京,1001902电气和计算机工程系,西北大学,埃文斯顿,IL,60208subingats@gmail.com,{jzt011,yingwu}@ eecs.northwestern.edu摘要序列数据的监督降维将序列中的观测值投影到一个低维子空间上,以更好地分离不同的序列类。它通常比传统的静态数据降维更具挑战性,因为测量序列的可分性涉及非线性过程来操纵时间结构。本文提出了一 种 线 性 方 法 , 即 保 序 Wasserstein 判 别 分 析(OWDA),它通过最大化类间距离和最小化类内离散 度 来 学 习 投 影 对 于 每 个 类 , OWDA 提 取 保 序 的Wasserstein重心,并构造类内散布作为训练序列在重心周围的散布。类间距离被测量为对应重心之间的保序Wasserstein距离OWDA通过提升具有时间约束的几何关系,能够集中于类之间的显著差异实验表明,OWDA在三个三维动作识别数据集上取得了有竞争力的结果1. 介绍序列分类问题出现在广泛的现实世界的应用。序列由一系列有序的观察组成,其中每个单独的观察通常没有特别的兴趣,但是序列作为一个整体表示目标对象。同一序列中的观测值不是独立的,它们之间的关系揭示了序列的时间结构。序列之间的相似性在分类中起着至关重要的作用,它不仅要考虑观测值之间的所有成对向量水平距离,而且还要考虑这种时间依赖性。在序列的大多数相似性度量中,时间依赖性和比对需要从时间下观测之间的成对距离矩阵中推断,图1. [26]第26章:你是谁?对齐矩阵显示在右侧。第i行和第j列中的白色网格表示两个序列中的第i个和第j个观测是对齐的。下图:OPW [34]对齐。传输矩阵显示在右侧。网格的灰度值表示对齐相应观测值的概率。合理的限制。构造成对距离矩阵的复杂性很大程度上取决于序列中观测值的维数.低维表示对于减少计算相似度和建立后续模型或分类器的运行时间具有显著的效果。区别性表示导致不同模式的小相似性和来自同一类的序列的大相似性,通常提高分类性能。序列数据的监督降维(DRS)试图通过将有噪声的高维空间中的观测值变换到子空间来学习序列中的观测值的这种低维判别表示。通常,通过测量来自不同类的序列之间的相似性或可分性来学习变换。然而,与矢量数据不同,观测值的表示不直接作用于序列之间的相似性,而是通过非线性关系,9886耳朵翘曲或对齐推断。这使得难以建立序列类之间的可分性,制定判别目标,并开发有效的解决方案。大多数现有的DRS方法[29,33,30]采用动态时间规整(DTW)[26]来执行对齐。由于边界条件和严格的保序约束,DTW不能处理局部重排序失真,可能无法完全捕捉到重复模式的本质差异。如图1、两个动作序列“跳”和“跑”的不同之处在于方框部分,其中“跳”在助跑后腾空。一开始,两个序列从不同的姿势开始,一个先用右腿,另一个先用左腿,从而导致重新排序的姿势。DTW错误地对齐了一些不同的跑步姿势空出的“跳跃”姿势在本文中,我们提出了一种线性监督DRS方法,采用保序Wasserstein(OPW)距离[34,35]作为序列之间的相似性度量。对于每个类,我们提取的顺序保持Wasserstein重心和测量周围的重心w.r.t.训练- ING序列的分散OPW距离。我们测量两个类之间的类间可分性作为相应的重心之间的OPW距离以这种方式,类内和类间的分离度用OPW统一地测量我们通过最大化整体可分性来学习OPW将时间对齐转换为传输问题。它鼓励时间相邻的观测之间的传输,但允许局部重新排序或扭曲。在图1中,重新排序的跑步姿势被OPW正确对齐。对于框中的部分,空出的“跳跃”姿势OPW能够确定反映两个序列本质差异的真正不同的观测对此外,与二进制DTW对齐不同,传输测量不同观测对如何贡献于总差异的概率。DRS方法使各部分之间的概率分布更加分散,并考虑了各观测值之间更多的局部关系。本文的主要贡献有三个方面。1.我们提出了新的基于OPW的序列类之间的可分性措施,反映了他们的本质区别。2.我们提供了计算重心的数学推导。3.我们构建新的类内和类间的散射的基础上学习的最佳运输,采用更多的本地成对差异。2. 相关工作静态数据的监督线性降维在文献中得到了广泛的研究。井-已知的线性判别分析(LDA)通过最大化类间距离与类内距离的比率来学习投影针对具体情况,提出了各种改进或扩展LDA的方法.零空间LDA [7],广义ULDA[44]和正交LDA [43]处理小样本量问题。异方差LDA[21]和子类判别分析[47]处理异方差数据。最大-最小距离分析方法[4,46,31,32]解决了类分离问题。边际Fisher分析[41]仅使用相邻样本和分布在类边界周围的样本来构建类内和类间散射点。Wasserstein判别分析[14]使用正则化Wasserstein距离来测量类总体的经验概率之间的距离。这些进展不能直接应用于序列中的观测,因为观测不满足基本独立同分布。假设。对DRS的关注要少得多。在[28]中,提出了一种基于核的充分降维方法来提高序列标记的性能,其中序列中的每个观察都有一个标签。在本文中,我们学习的项目,以提高序列分类的性能,每个完整的序列是与一个单一的标签。在[18]中,学习序列中观测值的Mahalanobis距离以提高多变量序列比对的性能,其中给出了序列之间的地面真实比对。在本文中,我们学习投影没有任何对齐注释。在[23]中,树节点的嵌入向量通过使用最近的原型分类器w.r.t.树编辑距离,其中原型从训练树中选择。在这篇文章中,我们最小化训练序列到相应的重心之间的距离w.r.t. OPW距离在[29,33,30]中,分别提出了DRS的线性序列判别 分 析 ( LSDA ) 和 最 大 - 最 小 序 列 间 距 离 分 析(MMSDA)。LSDA和MMSDA基于训练的HMM的统计信息为每个类提取代表序列和代表序列之间的DTW距离被用作类间距离。测量类间距离和类内离散度的相似性是不一致的,因为基于HMM的类内方差不测量序列之间DTW距离的离散度。本文采用OPW距离代替DTW距离作为序列间的相似性度量,构造了一致的 类 内 和 类 间 距 离 。 OP-W 距 离 我 们 提 取 保 序 的Wasserstein重心作为代表序列,它是非参数的,具有更 好 的 可 扩 展 性 , 而 不 需 要 大 量 的 参 数 来 训 练Hacker。MMSDA opti-9887+∑x+yNN改进了最大-最小距离准则,更适合于解决类分离问题。注意,所提出的方法也可以通过将最大-最小距离准则应用于构造的类间和类内散布来扩展。在本文中,我们只比较DRS方法优化相同的Fisher准则。3. 我们提出的方法3.1. OPW背景我们首先简要回顾保序Wasser-stein(OPW)距离[34,35]。 对于长度分别为Nx和Ny的两个序列X=[x1,···,xNx]和Y =[y1,···,yNy],其中特征的维数为q,即, x i,y j∈ Rq,OPW距离定义为:dOPW(X,Y):= T,DS.T. T = arg min T,D−λ1I(T)+λ2KL(T||P),序列距离在某种意义上也可以作为均值序列。我们提取关于OPW距离的重心,我们称之为保序Wasserstein重心。重心U=(μ,γ)由一个序列组成 以及将每个支持点与概率值相关联的权重序列。µ=[µi,i=1,···,L]为支撑点序列γ=[γi,i=1,· · ·,L]是相关权重γ位于单形ΘL中。L为预设值,表示重心的最大允许支撑点数。给定一组序列Xk,k=1,···,N,设Dk表示任意μi与Xk中的观测值之间的所有成对地面距离的矩阵,Tk表示U与Xk之间的迁移。由OPW确定的最优传输由arg W(U,Xk)给出,其中T∈U(α,β)(一)W(U,Xk)=minTk∈U(γ,βk)<$T k,D k<$−λ1I(T k)+λ2KL(T k||P)。其中D:=[d(xi,yj)] ij∈RNx×Ny是所有支持点间的成对距离的矩阵,d(·,·)设为欧氏距离的平方.T:= [tij]ij∈RNx×Ny是传输矩阵,N×N(二)通过假设这些序列是相等加权的,保序Wasserstein重心是这样的:∑Nnius点积,U(α,β):={T∈Rxy|T1N=U=argmin1 W(U,X k).(三)α,TT1N=β}是运输T 的可行集。不Uk=1NI(T)=ij2是的逆差矩,(i−j)+1i、jNxNy传输矩阵T,以促进局部均匀性,大值出现在对角线附近 , 并 且 KL ( T||P ) 是 T 和 先 验 分 布 P 之 间 的Kullback-Leibler散度。P是一个二维分布,其值从对角线向两侧逐渐减小在任何横截面上都遵循高斯分布λ1> 0和λ2> 0是两个超参数。 假设同一序列中的实例的权重相同,即,,α=(1,· · ·,1)和β=(1,· · ·,1),re-支撑点和它们的重量都需要学 然而,目标函数(3)不是凸的w.r.t.他们同时。我们采用交替更新策略来最小化(3).我们首先通过固定支撑点来更新权重序列γ和最优传输Tk,k=1,···,N我们重新制定OPW的目标,优化Tk如下,其中的扣除是在补充材料。<$T k,D k <$− λ1I(T k)+λ2KL(T k||P)=λ2KL(T k||K k),Nx Nx Ny Ny分别为。 在[34]中,OPW由Sinkhorn的固定点算法,复杂度为NxNyq。其中dk=dk(μi,xk),sλ1=λ12(四),则Kk=ij ij ij(i−j)+13.2. 保序Wasserstein重心NM1 (sλ1−dk)[pijeλ2Ij[i j]i j.对于具有一组训练序列的序列类,我们希望提取单个代表性序列,该序列反映平均时间结构和一般演化Dk,k=1,···,N是固定的,因为μ是固定的,因此Kk也固定。因此,问题(3)被重新表述为:∑N趋势,它可以作为一组se的平均序列min1KL(T k||(k)类似于一组向量的平均向量的序列。前-γ,Tk,k=1,···,Nk=1NS.T. τγ ∈θL,Tk1N=γ,k=1,···,N.(五)将平均操作趋向于序列是有挑战性的。由于不同序列的长度不同,TkT 1L=[1KK、···、T,k=1,···,NK似乎可以直接对观察值通过定义T =(T)N∈(RL×Nk)N且K=在同一时间步。回想一下,一组向量的平均值也可以被视为向量关于(Kk)N∈(RL×Nkk=1+k)N,问题(5)重写为9888欧氏距离类似地,对于序列数据,一组序列关于一种序列的重心是一组序列的重心。最小KLN(T ||K),γ∈ ΘLγ, TS.T. T∈Φ1<$Φ2、(6)9889N+KKKKKK)KKK∗KK1+kL1k1k2kNN其中KLN(T||K):={∑Nk=11KL(T k||Kk),3.3. 协方差对于一组序列,重心反映平均值,Φ:=T∈(RL×Nk)N:T T1=[1,· · ·,1]T,k,K K- -L×N N年龄演变 序列的离散度重心可以通过计算OPW距离来直接测量:Φ2:=T∈(Rk):<$γ∈ΘL,Tk1N =γ,αk。文[3]证明了迭代Bregman投影[5,2]能有效地解决问题(6)具体地说,如[34]中所证明的,每个Tk都是Kk的重标度版本,其中dw= ∑Nk=1dOPW(U,Xk)=∑Nk=1Tdiag(κk1)Kkdiag(κk2)的形式,并且缩放向量可以使用Sinkhorn迭代来更新κ(n)← γ(n)./ Kk κ(n),(7)κ(n+1)←[1,· · ·,1]T./ (K)Tκ(n)。(八)其中,U和X之间的最佳输运Tk,对于k=1,· ··,N,是确定重心时的副产品,因此不需要额外的计算。为了测量不同维度上的协方差,我们定义协方差矩阵Γ,使得tr(Γ)= dw。r可以是k2NkNkkk1通过累加加权的外积如[3]中所给出的,γ(n)是任何μi和Xk中的观测之间的权重的更新中国γ(n)←(κ(n)((K)Tκ(n)))1N .(九)∑N ∑L ∑Nkk k k TK1k=1kk2Γ=k=1i =1j =1tij (µi−xj)(µi−xj).(十二)其中⊙是元素乘积。迭代继续直到收敛。给定学习的权重和固定的支持点,我们执行OPW以获得最优传输Tk的更新,其中k=1,···,N。然后,我们更新支持点序列μ,我们可以发现,Γ捕捉了所有序列中重心元素与观测值之间的所有局部关系。所有元素-观测值对都以不同的权重贡献于 一对(μ,xk)实际上是对应的元素tk,定权序列γ和最优运输T,k=i j<$ijK1,· · ·,N.由方程式(2),只有第一个术语演变为μ。通过将序列μ和Xk看作矩阵,我们有学习了运输Tk,所以它反映了匹配对的概率这样,局部成对关系或联合概率被编码。权重较大,Tµ)Tγ−2T.具有高联合概率的对,因为匹配的+diag(XT Xk)T[1,· · ·,1]TK K我们遵循[9]来优化以下函数的局部二次逼近:diag(µ T µ)Tγ −对可能对应于相同的时间结构。具有低联合概率的对之间的差异也被合并,但具有较小的权重,以考虑er软对齐和补偿可能的丢失匹配-2T,µT X¨¨∗T¨¨=<$diag(γ ¨- 1¨2)−XkTT诊断(γ¨1¨2 ¨−es.因此,所构造的Γ更好地反映了不同维度上的时空变化。-kTk诊断(γ(2). 这导致牛顿更新:3.4. 学习投影µ←X kTTdiag(γ−1).(10)对于所有N个训练序列,μ被更新为∑Nµ←(1−)µ+(XkTT)diag(γ−1),(11)k=1其中,n∈[0,1]是预设值。我们循环两个程序直到转化-达到最大值或最大步数。文[2,3]证明了更新γ的迭代Bregman投影线性收敛。牛顿法更新μ的收敛速度这可能是很难获得全局交替优化的全局收敛速度。在我们的实验中,它在大约10次迭代中收敛。每次迭代的复杂度为O(NTLq),其中T是序列的平均长度。−229890我们的目标是学习一种变换,将序列中的观测值投影到一个低维子空间上,在该子空间中,来自不同类的序列得到更好的分离。 我们采用Fisher准则来最大化可分离性,即。,我们最大化序列类间距离与序列类内分散的比率。对于每个序列类ωc,c=1,···,C,我们从该类训练序列中提取保序Wasserstein重心Uc和协方差矩阵ΓcC是班级总数我们将序列类内散点定义为协方差的加权和:∑Crw=pcrc,(13)c=1其中pc是类别ωc的估计先验概率。9891∗C cW我们测量两个类ωc和3.5之间的距离。 复杂性ωc′由相应阶r-保持瓦瑟斯坦重心设Na和T表示序列db(ωc,ωc′)=dOPW(Uc,U′c)=ΔTcc′,Dcc′Δ,(14)每个类和序列的平均长度,分别-ly. 计算所有C类的重心,计算类间和类内S的复杂性-其中Dcc′是所有两两之间的距离的矩阵,猫, 和解(17)是O(CNTLq),O(C2L2q2),奇查μi和μj,Tcc′是最佳OPW传输,两个重心。相应的类间距离Γb(cc′)是两个重心的元素之间的外积的加权和,使得db(ωc,ωc′)=tr(Γb(cc′)):∑L ∑L′O(CNaLTq2)和O(q3)。总的复杂度为O(C2L2q2)+O( CNaLTq2)+O( q3).它与样本的数量成线性比例,但由于特征分解(17),它与特征q的维度成我们同时对角化类内和类间散射[43]以求解(17)。任何高级冰毒-Γb(cc′)=tcc (µ c−µ c)(µ c−µ c)T.(十五)用于大规模特征分解的ODS可以应用于i j i j i ji=1j =1我们将整体序列类间散布定义为所有成对类间散布的加权和:加速我们的方法。4. 实验rb=C∑−1∑C′ppΓb(cc′).(十六)我们在三个三维动作数据集上评估了所提出的OWDA方法。评价超临界流体的影响,c=1c′=c+1我们可以再次观察到,所有重心中的元素之间的所有差异都有助于整体类间根据不同的权重分散。的重量tcc′s参数在补充文件中列出。4.1. 在3D数据集'ijMSR Sports 3D数据集[19,37]包含一对(µc,µc)编码两个ele的局部关系,557个深度序列由Kinect摄像头从20I j并指出它们的联合概率。Γb更多地集中在具有大联合概率的对之间的差异上。这种差异反映了两个类的本质区别,因为匹配对代表同源的时间结构,因此对于区分两个类是与DTW的对齐不同,其中对于一小部分对齐的对,权重为1,对于其他对,权重为0,OPW的权重是软概率值,因此Γb也包含具有较小权重的对之间的差异这包含更多的信息,并且对由噪声引起的不正确或模糊的对准更鲁棒当序列中的特征与它们的维数不线性相关时,Γw和Γb的秩分别为min(Nt,q)和min(CL,q),其中Nt是 所 有 训 练 序 列 中 所 有 特 征 的 个 数 .当NT≥q(CL≥q),Γw(Γb)是满秩的.在极端情况下,当训练序列太少以至于Ntq时,我们可以使用PCA来移除Γw的零空间或向Γw添加乘以小标量的单位矩阵。<使用Fisher准则学习投影W的目标被公式化为比率跟踪问题:maxtr((W TΓwW)−1W TΓbW).(十七)W问题(17)的最优W矩阵是其列是Γ−1Γbw.r.t.的特征向量的矩阵。d′最大特征值,其中d′是降维。建议DRS方法被称为保序Wasser-stein判别分析(OWDA)。体育活动。每个动作由10个人做两到三次。人类的骨骼关节位置也可在该数据集中获得。我们从每一帧中提取一个特征向量作为该帧的对象。通过这种方式,我们通过一系列观察来表示每个我们采用由[37]的作者提供的基于成对关节角度的特征作为逐帧观察,其是所有3D关节相对其他关节观察的维度是192。在[37,38]中,作者将数据集分为训练集和测试集,其中训练集包括大约一半人执行的序列,测试集包括其余部分。我们遵循这个实验设置,并报告我们的测试结果。我们采用所提出的OWDA方法将观测序列投影到不同维的子空间上在学习的子空间中,我们使用两个序列分类器对变换后的序列进行分类:SVM分类器和最近邻(NN)分类器。对于SVM分类器,我们首先通过无监督秩池将每个观察序列编码为固定维向量[12]。秩池学习两个线性函数,分别通过支持向量回归对观测值的正向和反向时序进行排序。两个线性函数的参数被连接以形成池化向量。然后,我们通过将这些结果向量作为输入来训练线性SVM。我们通过交叉验证确定线性支持向量机的超参数C在测试阶段,我们对obser的测试序列进行编码,9892706050403020105 10 15 20 25 3035降维(一)0.70.60.50.40.30.20.1Ori + SVMLDA + SVMkLDA + SVMLSDA + SVMOWDA + SVM5 10 15 20 25 3035降维(b)第(1)款90807060504030205 10 15 20 25 3035降维(c)第(1)款0.60.550.50.450.40.350.30.250.2Ori + NNLDA + NNLSDA + NNOWDA + NN5 10 15 20 25 30 35降维(d)其他事项图2. (a)SVM分类器的准确度(b)SVM分类器的MAP(c)NN分类器的准确度和(d)NN分类器的MAPs,作为MSR 3D数据集上子空间维度的函数。通过秩池化的方法将编码后的向量转化为一个向量,然后使用学习的支持向量机对编码后的向量进行分类。对于NN分类器,我们采用OPW距离作为两个序列之间的相异性度量。具体地说,对于一个测试序列,我们计算它到所有训练序列的OPW距离。我们预测它的类标签作为训练序列中与它具有最小OPW距离的训练序列的标签。我们比较了建议的OWDA与其他降维方法的序列。OWDA采用Fisher准则。如第2节所述,不同的标准通常适用于不同的情况。此外,《海外妇女发展援助法》还可以通过采用其他标准予以扩展。因此,为了获得公平的比较,我们只与基于Fisher准则的方法进行比较,包括L-DA,核LDA(k-LDA)和LSDA。对于LSDA,我们使用与[29,33]中相同的超参数。对于OWDA,在我们所有的实验中,超参数LLDA和kLDA基于i.i.d.。假设。为了将它们应用于序列数据,我们将序列中的观测值视为具有相同类别标签的独立样本。通常,单个序列包含多个观测值,使用所有序列中的所有观测值作为训练样本会导致大规模的核矩阵。由于kLDA的巨大空间和计算开销,使用这样的内核来执行kLDA是不切实际的。因此,我们只对每个序列的少于5个观测值进行采样以进行训练。我们使用drtoolbox [36]来实现LDA和kL-DA。此外,我们还评估了在原始空间中使用这两个分类器的性能。我们采用准确度和平均精度作为性能指标。对于SVM分类器,我们训练了一个多类SVM来评估分类精度。我们为每个类训练一个二进制SVM,并使用分数对所有训练编码向量进行排名,以评估MAP。补充文件中提供了使用多类精度和召回率作为该分类器性能指标的其他评估对于NN分类器,为了评估MAP,我们将每个测试序列视为一个查询,以OPW距离对所有训练序列进行不同DRS方法的结果与不同的减少的尺寸显示在图中。二、我们可以观察到所提出的OWDA在两种分类器的情况下都显著优于其他DRS方法。特 别是当几个维 度( 例如,,小于15),OWDA在精度和MAP方面都优于第二LSDA约10%的裕度。与原始的192维观测值相比,OWDA仅使用30维的SVM分类器实现了更好的准确性和可比较的MAP,并且仅使用10维的NN分类器实现了可比较的准确性和MAP。4.2. Activity3D数据集MSR Daily Activity3D数据集[37]包含来自16个活动类别的320个日常活动序列。这些序列由Kinect设备捕获。十名受试者以两种姿势进行每项活动。在这个数据集上,我们采用[37,38]的作者提供的基于成对关节位置的特征作为逐帧观测,其维数为390。我们再次按照[37,38]中的数据集分割,并在测试集 上报 告我 们的 结果 。我 们将OWDA与 LDA 和LSDA进行比较。其他实验设置与MSR 3D数据集上的设置相同图3描绘了不同DRS方法的性能,作为两个分类器的降维函数S.对于SVM分类器,直接对原始序列进行分类而不使用任何DRS方法的性能最好,但所提出的OWDA方法的性能优于其他DRS方法。特别是,建议的OWDA仅使用25个维度实现了与原始序列相当的MAP。由于该数据集中的活动显示出比3D数据集中的动作更大的变化例如不同的人可以使用不同的手或姿势来执行相同的动作每个类的单一重心因此,OWDA的性能不如原始功能。增加每个类的重心数可以进一步提高OWDA的性能。对于神经网络分类器,其他DRS方法获得更好的精度比OWDA,但OWDA实现更好的MAP比其他方法。对于测试序列,NN分类器仅在以下情况下使用其最近的训练序列:Ori + SVMLDA + SVMkLDA + SVMLSDA + SVMOWDA + SVM%准确度Ori + NNLDA + NNLSDA + NNOWDA + NN地图%准确度地图9893计算准确度,但是根据OPW距离w.r.t.在计算MAP的时候。OWDA最小化序列类的总体离散度,最大化序列类间的总体可分性。这使得来自不同类的大多数序列更加不同,但并不特别注意类之间的边距。对于测试序列,由于噪声或方差,最近的训练序列可能不属于同一类,但通常,来自同一类的大多数训练序列将排在来自不同类的训练序列之前。4.3. ChaLearn数据集ChaLearn手势识别数据集[11,10]包含Kinect相机从20种不同的意大利手势中捕获的955个意大利手势序列。因为我们专注于单个序列分类而不是序列检测或分割,所以我们遵循[42,24,12]对由地面实况片段给出的分割序列进行实验每个分段序列仅包含一个手势实例。有27个人做了这些手势。该数据集的其他注释包括前期分割和关节骨架。在该数据集上,我们采用了[12]的作者提供的基于关节位置直方图的逐帧特征。具体地,对于每个帧,身体关节的相对位置被量化为w.r.t.预聚类码本,并且量化码字的直方图用作维数为100的特征。该数据集包括训练集、验证集和测试集。接下来[42,24,12],我们学习投影并在训练集上训练分类器,并在验证集上报告结果。其他实验设置与MSR 3D数据集上的设置相同。图4给出了不同DRS方法的结果作为两个分类器的降维对于SVM分类器,OWDA优于其他方法约5%的利润率在大多数减少的维度。OWDA是唯一能够改善原始特征的DRS方法。此外,OWDA通过仅保留25个维度来实现这一点。这表明,OWDA增强了时间可分性,并成功地丢弃了噪声LDA和kLDA的性能远低于其他方法。原因是序列中的观测值不是独立的。通过将LDA和kLDA看作独立样本来强制执行LDA和kLDA不仅消除了类内歧义,而且可能破坏它们的时间关系。此外,LDA和kLDA最多可以保留C−1=19维。很难用如此少的维度将不同类别的序列相比之下,由于每个类的重心都有L=8个支撑点,如果d > 159,则OWDA能够保持LC−1=159维。方法精度召回F-scoreWu等人[第四十届]0.5990.5930.596Pfister等人[24日]0.6120.6230.617费尔南多等人[13个国家]0.7530.7510.752Cherian等人[八]《中国日报》0.7530.7520.751LSDA+SVM [33]0.7680.7670.767OWDA+SVM0.7730.7730.772表1.与ChaLearn数据集上的其他方法进行比较对于神经网络分类器,OWDA和LSDA都大大提高了原始特征。与LSDA相比,OW-DA具有相当的精度和更高的MAP.具体来说,OWDA比原始功能的性能高出20%。OWDA的MAP在几乎所有维度上都比LSDA高5%。使用其他性能指标对三个数据集进行的比较见补充文件,其中可以观察到类似的趋势4.4. 训练时间对于OWDA,在大多数情况下,重心的计算在大约10次迭代中收敛学习重心后的因此,实际培训时间不会太长。在MSR Activity3D数据集、MSR Activity3D数据集和Chalearn数据集上,OWDA的训练时间分别为43.1753、265.7691、385.8162(秒)。4.5. 与现有技术方法的我们的目标不是设计一个端到端的序列分类方法,而是开发一个DRS方法,产生低维的判别时间表示。我们的方法可以作为一个无处不在的组件在不同的分类管道,以改善原始的表示,并有利于后续的分类器。例如,递归神经网络(RNN)很少用于特征学习,但通常通过将手工制作或CNN学习的帧范围特征作为输入来作为分类器。我们的方法可以在这些特征被送入RNN之前应用于它们。通过这种方式,RNN可以估计更少的参数并更好地捕获时间依赖性。在ChaLearn数据集上,我们已经证明我们的方法优于其他DRS方法,并改进了不同的序列分类方法。我们通过使用[12]中的帧范围特征以及基于SVM的分类器与其他一些方法来比较我们的结果。多类精确度,召回率和F分数被用作性能指标[40,24,13,8,33]。比较结果见表1。1.我们的方法其次是一个相对简单的SVM分类器与排名池优于其他方法。在MSR Activity 3D数据集上,协方差表示和基于核-SVM的方法,如Ker-RP-SVM。9894Ori + SVMLDA + SVMLSDA + SVMOWDA + SVMOri + SVMLDA + SVMLSDA + SVMOWDA + SVM地图%准确度60 700.550 600.450.440 0.4 5030 400.30.350.30.2520 300.210 200.20.1505 10 15 20 25 3035降维(一)0.15 10 15 20 25 3035降维(b)第(1)款105 10 15 20 25 3035降维(c)第(1)款0.15 10 15 20 25 30 35降维(d)其他事项图3. (a)SVM分类器的准确度(b)SVM分类器的MAP(c)NN分类器的准确度和(d)NN分类器的MAPs,作为MSR DailyActivity3D数据集上子空间维度的函数。807060504030201001020304050600.80.70.60.50.40.30.20.1010 20 30 40 506090807060504030201000 10 20 30 40 50 60700.350.30.250.20.150.10.05Ori + NNLDA + NNLSDA + NNOWDA + NN010203040506070降维(一)降维(b)第(1)款降维(c)第(1)款降维(d)其他事项图4. (a)SVM分类器的准确度(b)SVM分类器的MAP(c)NN分类器的准确度和(d)NN分类器的MAP作为Chalearn手势数据集上的子空间的维度的函数。方法精度[37]第三十七话百分之八十五点八移动式[45]百分之七十三点八COV-JH-SVM[5]百分之七十五点五[39]第三十九话96.9%Ker-RP-RBF [39]百分之九十六点三Kernelized-COV [6]百分之九十六点三LRTS [17]百分之八十点六Qiao等人[25日]百分之七十五点零Baradel等人[1]第一章百分之九十Luo等人[22日]86.9%Ji等人[16个]81.3%[27]第二十七话97.5%MDMTL [20]百分之九十三点八OWDA+核化COV百分之九十八点一表2.与MSR Activity3D数据集上最先进的方法进行比较。POL [39]和Kernelized-COV [6]实现了优异的结果。Kernelized-COV采用序列的所有帧宽特征的Kernelized协方差作为序列的表示。我们提出的OWDA可以在Kernelized-COV之前应用,以增强时间表示。具体来说,我们采用[39]中提供的帧宽特征,这些特征基于关节位置的速度和加速度[45],并且具有120的维度。我们执行建议的OWDA将维度降低到80,然后采用核化COV进行分类。如Tab.所示。2,以这种方式获得的结果优于该数据集上的最新结果。Ori + NNLDA + NNLSDA + NNOWDA + NNOri + NNLDA + NNLSDA + NNOWDA + NNOri + SVMLDA + SVMkLDA + SVMLSDA + SVMOWDA + SVMOri + SVMLDA + SVMkLDA + SVMLSDA + SVMOWDA + SVM%准确度Ori + NNLDA + NNLSDA + NNOWDA + NN%准确度地图%准确度地图地图98955. 结论本文提出了一种线性DRS方法,即:OWDA算法将序列中的非独立观测映射到一个低维子空间上,从而使OPW距离更好地区分不同类别的序列为了处理不同长度的结构化序列,我们从一个类中学习序列样本的OPW我们构造类的协方差,使得协方差的迹测量序列样本与重心之间的OPW距离的变化。类似地,我们构造成对的类间散布,使得散布的距离度量两个类的对应重心我们表明,类内和类间的散布实际上是序列或重心元素中观测值之间的所有成对外积的加权和因此,所有的地方关系都是学习和整合的。在三个三维动作数据集上的实验结果表明了该算法的有效性。确认本工作得到了国家自然科学基金项目的部分资助。61603373号61976206,青年创新促进会CASNo. 2019110,国家科学基金会资助IIS- 1619078,IIS-1815561和陆军研究办公室ARO W 911 NF-16-1-0138。9896引用[1] Fabien Baradel Christian Wolf和Julien Mille人体动作识别 之 姿 势 条 件 时 空 注 意 。 arXiv 预 印 本 arXiv :1703.10106,2017。[2] Heinz H Bauschke 和Adrian S Lewis 。Dykstras 算 法 和Bregman 投 影: 一个 收 敛性 证明 。Optimization ,48(4):409[3] 让·大卫·贝纳穆、纪尧姆·卡里尔、马可·库图里、卢卡·南纳和加布里埃尔·佩雷。迭代为正则化的运输问题带来了Siam Journal on Scientific Computing,37(2),2014。[4] W. Bian和D.涛.利用序贯sdp松弛降维的最大最小距离分析。TPAMI,33(5):1037[5] L. 伯格曼先生。求凸集公共点的松弛法及其在凸规划问 题 求 解 中 USSRComputationalMathematicsMathematical Physics,7(3):200[6] Jacopo Cavazza,Andrea Zunino,Marco San Biagio,and Vit- torio Murino.用于动作识别的核化协方差。在国际公民权利委员会。IEEE,2016.[7] Li Fen Chen,Hong Yuan Mark Liao,Ming Tat Ko,JaChen Lin,and Gwo Jong Yu.一种新的基于lda的人脸识别系统,可以解决小样本问题。PR,33(10):1713[8] Anoop Cherian、Basura Fernando、Mehrtash Harandi和Stephen Gould。用于活动识别的广义秩池。在IEEE计算机视觉和模式识别会议论文集,第3222-3231页[9] 马可·库图里和阿诺德·杜塞特瓦瑟斯坦重心的快速计算。InICML,2014.[10] Se r gioEscalera,JordiGonz a`lez,X a vierBar o`,MiguelReyes , Isabelle Guyon , Vassilis Athitsos , HugoEscalante , Leonid Sigal , Antonis Argyros , CristianSminchisescu , etal.Chalearnmulti-modalgesturerecognition 2013:大挑战和研讨会总结。InICMI,2013.[11] 塞尔乔·埃斯卡莱拉,乔迪·冈萨雷斯,Xa vierBaro',米格尔·Re yes,奥斯卡·洛佩斯,伊莎贝尔·盖永,瓦西利斯·阿提索斯和雨果·埃斯卡兰特。2013年多模态手势识别挑战赛:数据集和结果。InICMI,2013.[12] Basura Fernando,Efstratios Gavves,Jose Oramas M.,阿米尔·古德拉蒂和蒂娜·图伊特拉尔斯用于动作识别的视频演化建模。CVPR,2015。[13] Basura Fernando,Efstratios Gavves,Jose 'Oramas M.,阿米尔·古德拉蒂和蒂娜·图伊特拉尔斯用于动作识别的排名池。TPAMI,39(4):773[14] 雷·米·弗拉马尔·伊,马可·库图里,尼古拉斯·考特·伊,阿兰·拉科托马蒙吉。Wasserstein判别分析arXiv预印本arXiv:1608.08063,2016年。[15] Mehrtash Harandi , Mathieu Salzmann , and DaughhPorikli.无穷维协方差矩阵的Bregman发散。CVPR,2014。[16] 纪小鹏,成俊,魏峰,陶大鹏。基于深度序列的人体动作识别的骨架嵌入式运动人体分割信号处理,143:56[17] 贾成成和傅云。低秩张量子空间学习用于rgb-d动作识别。TIP,25(10):4641[18] 我是拉朱吉,达米恩·加罗,弗朗西斯·巴
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功