LLE降维算法研究：基于基追踪的稀疏化方法

"这篇文档是西安邮电大学一篇关于‘基于基追踪方法的LLE降维算法研究’的毕业论文，作者是郑渝阳，导师是吴新宇和吴青教授。论文探讨了如何利用基追踪（Base Tracking）技术改进局部线性嵌入（Locally Linear Embedding, LLE）算法，以解决LLE在处理样本近邻权重系数时涉及矩阵求逆的问题，并提升降维后数据的保真度。" 在《节中对_i-ollydbg入门完全教程》这篇文档中，主要讨论的是局部线性嵌入（LLE）的一种优化方法，即通过稀疏化重构矩阵来改善算法的性能。LLE是一种非线性降维技术，它试图保持数据点在高维空间中的局部结构。在描述中，3.2节推导了如何寻找向量_i_x在其近邻点集合_i_中的最优线性表出，这是LLE的关键步骤。 线性代数知识告诉我们，如果近邻点集合_i_中的向量数量大于或等于_i_x所在线性空间的维度D，那么_i_x可以被这些向量线性表出。当向量数量正好等于维度D时，表出方式唯一；数量大于D时，表出方式无限。这个线性方程组可以用以下形式表示： ( ) ( ) 3.20 ij ij i j i w  = x x 这里，ij 是_i_x的第_j_个近邻数据点。如果只寻找线性方程组的基础解系的一个解向量_i_，而不是求通解，重构矩阵W会变得稀疏。3.3.1节介绍了基于LLE-OMP（Orthogonal Matching Pursuit，正交匹配追踪）算法的重构矩阵稀疏化过程。OMP算法用于找到一个稀疏解，即最小化以下目标函数： ( )0 min 3.21 . i i i i s t = w x w x 这里的解_i_是一个稀疏向量，满足0范数约束，它也是方程3.20的一个解。 这篇论文的作者通过将基追踪方法应用于LLE，旨在避免矩阵求逆的问题，以更精确地计算近邻权重系数，并得到稀疏的权值，从而提高降维效果。论文计划包括构造近邻样本权限系数、构建降维样本、实现算法以及验证其性能。通过这种方法，希望能更好地保持样本在原空间的关系，优化降维效果。