新型因子分解模型：局部子空间建模与全局交互.Constraint-Based Matrix Factorization for ...

1具有相依子空间的Viktor Larsson1卡尔·奥尔森1，21隆德大学数学科学中心2查尔姆斯理工大学信号与系统系{viktorl，calle}@ maths.lth.se摘要传统的矩阵分解方法用一个低维子空间来近似高维数据。这对允许估计缺失条目的矩阵元素施加了约束。较低的等级提供了更强的约束，并以测量拟合为代价使缺失条目的估计不那么模糊。在本文中，我们提出了一个新的因子分解模型，进一步限制矩阵元素。我们的方法可以被看作是传统的低秩矩阵分解和最近的子空间并方法的统一。它自适应地找到可以用低维局部子空间建模的簇，同时使用全局秩约束来捕获整个场景的交互。对于推理，我们使用能量来惩罚数据拟合和所得因子分解的自由度之间的权衡。我们定性和定量地表明，正则化局部和全局动态产生显着改善缺失数据估计。11. 介绍矩阵分解是许多工程应用中的重要工具数据属于低维子空间的假设已经被证明在许多计算机视觉应用中是有用的，例如，非刚性和articulated结构从运动[6，1，41]，光度立体[3] ，光流[15]，人脸识别[40，34]和纹理赔偿[25]。给定一个包含m维测量的m×n矩阵M，利用奇异值分解（SVD）可以得到一个低维近似X<$M，其中rank（X）=r0由于rank（X）=r0，矩阵X可以写成：X=BCT，（1）其中B是m×r0，C是n×r0。B的列构成X的列空间的基。矩阵C包含用于形成X的列的系数，的基础。 或者，可以将X的行看作是1这项工作得到了瑞典研究委员会的资助（批准号：2012-4213）和瑞典战略研究基金会（智能机器人的语义映射和视觉导航）。(a)(b)（ c ） 第（1）款图1：子空间表示的3D图示。(a)- 将2D子空间拟合到所有数据（全局模型）。(b)- 将独立的1D子空间的并集拟合到聚类数据（局部模型）。(c)- 我们的统一方法。1D子空间被拟合到聚类数据并被限制为位于2D子空间中。(For该数据m=3，n=100，r0=2和rk=1，定义见第2n维数据，C作为行空间的基础，B作为系数。在这两种情况下，数据都近似于r0维子空间，如图1（a）所示。在某种意义上，因子分解BCT可以看作是M的压缩表示，其中mn个元素被简化为（m+n−r0）r0个自由度（见3.1节）。因此，即使只有M的元素的子集是已知的，也可以通过求解W<$M<$W <$（BCT）来计算因子化。这里，矩阵W表示逐元素乘法，并且矩阵W具有针对已知数据的元素wij=1和针对缺失数据的元素w i j = 0。注意，一旦计算，BCT包含已知和缺失数据的估计值。这样，理论上可以“预测”至多mn −（m + n− r 0）r 0个在存在缺失数据的情况下，低秩近似-问题变得非常困难，问题的某些变体甚至是NP难的[17]。然而，由于其实际的重要性，大量的研究一直致力于寻找好的算法。文[2]证明了在谱范数下，如果缺失数据形成所谓的Young模式，则存在一个封闭形式解最近的趋势是用核范数取代秩函数[31，8，30]。然而，在许多应用中，例如从运动中恢复结构，其中缺失的条目高度相关，这种方法已被证明表现不佳（例如，[24]）。如果所寻找的矩阵的秩已知，则双线性280281K1122KK参数化（1）可以局部优化。 Buchanan和Fitzgienic [7]表明交替方法通常收敛非常慢，并提出了阻尼高斯-牛顿更新。在[28]中，说明了Wiberg消除策略[39]对局部最小值非常鲁棒对于最近的不同方法的比较，以尽量减少双线性公式见[19]。在[22]中，[21]范数用于解决离群值。在[13]中，所提出的交替方法收敛缓慢 相反，[13，35]使用Wiberg方法的一般化，旨在处理不可微目标函数，同时联合更新两个因子。尽管最近在秩优化方面取得了许多进展Dai等人[10]认为研究人员过于关注优化而忽视了建模问题。虽然秩约束提供了紧凑的模型表示，但其受限于仅测量矩阵的总体复杂性，即使单个子块可能不太复杂。因此，不存在对于子块使用比总秩允许的更少的基列的激励。当需要估计缺失数据时，相对较高的总体模型复杂性是一个特别的问题。如[27，18，14]中所述，太多基础元素的可用性导致仅优化全局秩约束的方法过度拟合，从而给出非常差的结果。因为子空间被独立地处理，所以PROACH缺乏学习全局场景相关性的能力。图1（c）展示了我们的方法，一个简单的3D例子。我们的主要贡献是• 我们分析了不同类型的缺失数据的全局和局部模型的性能。• 我们提出了一个新的因式分解，它结合了全局秩约束和局部子空间约束，并展示了这如何降低模型的复杂性。• 为了计算因子分解，我们提出了一个基于能量的模型拟合框架，该框架能够执行联合聚类和自适应模型选择。• 我们在真实和合成实验中表明，所提出的方法比现有的因子分解模型更准确地处理丢失的数据。2. 一个依赖子空间模型在本节中，我们介绍了我们的模型。我们对数据矩阵作了两个假设;整个场景由低等级模型很好地解释，并且它可以被分成由更简单的模型解释的簇。设X是一个m×n矩阵。然后，模型可以（可能在列排列之后）被写为：聚类中使用的一个相关模型是 工会Σ ΣX= X1X2。. . XK（二）子空间方法[44，42]。这里的数据被聚集到SIM卡中-可以用独立的低维子空间表示的类群，见图1（b）。我们把它们称为局部子空间，因为它们是特定的clus的局部rank（X）=r0，rank（Xk）=rk其中每个Xk是包含数据的m×nk群聚点很明显，r0≥rk，之三. 在[26，23]中，这些用于将帧聚类成组我们试图让r0Kk=1 rk，因为我们想对允许简单的变形模型。原则上这些也可以用来解决数据缺失的问题。与约束整个矩阵的全局秩约束相反，每个聚类都有自己的一组基向量，并且只能从这些基向量中构造。这给出了一个通常（但不总是，见3.1节）更紧凑的将矩阵划分为不太复杂的部分并单独处理它们的总体思想与多体分解方法[38，9，43]共享，该方法通常对轨迹进行聚类。在本文中，我们提出了一个新的紧凑的因式分解公式来解决缺失数据的问题。我们的方法统一了局部和全局子空间方法集群之间的依赖关系这里我们将矩阵列划分但是请注意，通过转置，可以将相同的模型应用于行。由于Xk的秩为rk，所以它可以分解为Xk=BkCT，其中Bk是m×rk，Ck是nk×rk。矩阵Bk包含由矩阵B k所张成的子空间的基。列Xk。 因此，完整的矩阵X可以写成X= B C TB C T。. .B C T.（三）注意，如果忽略全局秩约束rank（X）= r0，则B1，B2，...，B K是独立的，这个表达式构成了子空间表示的并集。充分利用两者的优势。我们的方法自适应地对数据进行聚类并拟合局部子空间，但也强制执行X.现在，假设r<ΣKk=1 有一种依赖关系，在整个数据矩阵中排名较低。 这确保任何聚类之间的潜在相互作用由增加预测能力的模型识别。例如，如果群集对应于对象的刚性部分，则类似于补间群集子空间 因为X的列X被B1、 B2的列跨越。. .B K这个马-也必须是rankr0。因此，我们可以将其纳入到[32]，我们的模型可以预测遮挡部分，如果运动存在依赖性。 与此相反，子空间ap的并集-ΣΣB1B2. . . BKΣΣ=B U1U2。. .UK282、 （四）2830K克什蒂尔克KKK00k k kkk k kK K其中B是m×r0，Uk是r0×rk。 这里B是一个基础对于统一模型，我们首先考虑项BUk CT。的列空间，ΣΣB1B2. . . BK并且因此K由于B是m×r0，所以Uk是r0×rk，Cknk×rk也是X。代入（3），我们的模型有mr0+r0rk+nk rk个元素。但由于X=B UCTU CT. . . UC T.（五）X=BU CT=BGG−1U G G−1CT，（8）1122KKKKKK KKK这里有两个模糊之处。 第一个减去r2自由度我们可以把r0×rk矩阵Uk看作是选择一个rk-20在由B的列所跨越的r0维空间内的维基。虽然子空间的联合模型(3) 通过允许任意选择基B1，B2，.， 我们的模型迫使这些在B所跨越的全局子空间中被选择。图2显示了当r0=5和rk=3（k=1，2，3）时的三个模型分解的示例。在上述模型描述中，我们假设子空间是线性的然而注意，通过限制CT的最后一行，一次和第二个rkDOF。对k求和，我们得到ΣKmr0−r2+r0r +r n − r2。（九）k=1注意，对于独立的集群，这减少了t=0（7）。然而，当r0

下载后可阅读完整内容，剩余1页未读，立即下载