现有1500个二维空间的数据点,数据产生代码范例如下所示 import time as time import numpy as np import matplotlib.pyplot as plt import mpl_toolkits.mplot3d.axes3d as p3 from sklearn.datasets import make_swiss_roll # Generate data (swiss roll dataset) n_samples = 1500 noise = 0.05 X, _ = make_swiss_roll(n_samples, noise=noise) fig = plt.figure() ax = fig.add_subplot(111, projection='3d') ax.scatter(X[:, 0], X[:, 1], X[:, 2], cmap=plt.cm.Spectral) ,编写一个python程序不调用locally_linear_embedding,实现LLE降维
时间: 2024-02-26 07:58:10 浏览: 90
LLE(Locally Linear Embedding)是一种非线性降维方法,它可以将高维数据映射到低维空间中,并且保持数据之间的局部关系。下面是一个实现LLE降维的Python程序。
```python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import NearestNeighbors
def lle(X, n_neighbors, n_components):
"""
LLE降维算法实现
:param X: 数据矩阵,每一行代表一个样本
:param n_neighbors: 邻居个数
:param n_components: 降维后的维度
:return: 降维后的数据矩阵
"""
# 首先计算每个样本的k个邻居,保存邻居的索引
knn = NearestNeighbors(n_neighbors=n_neighbors + 1).fit(X)
_, indices = knn.kneighbors(X)
# 计算每个样本的权重矩阵W
W = np.zeros((X.shape[0], X.shape[0]))
for i in range(X.shape[0]):
xi = X[i]
neighbors = X[indices[i]][1:]
G = neighbors - xi
GtG = np.dot(G, G.T)
w = np.linalg.solve(GtG, np.ones(n_neighbors) / n_neighbors)
w /= np.sum(w)
for j, neighbor in zip(indices[i][1:], w):
W[i, j] = neighbor
# 计算重构权重矩阵M
I = np.eye(X.shape[0])
M = np.dot((I - W).T, (I - W))
# 计算特征值和特征向量
_, eig_vecs = np.linalg.eig(M)
indices = np.argsort(np.abs(eig_vecs.real), axis=1)[:, :n_components]
W = eig_vecs.real / eig_vecs.real.sum(axis=0)
# 返回降维后的数据
return W[:, 1:n_components+1]
# 生成数据
n_samples = 1500
noise = 0.05
X, _ = make_swiss_roll(n_samples, noise=noise)
# LLE降维
X_lle = lle(X, n_neighbors=12, n_components=2)
# 可视化
plt.scatter(X_lle[:, 0], X_lle[:, 1], cmap=plt.cm.Spectral)
plt.show()
```
在上述代码中,我们首先计算每个样本的k个邻居,并计算每个样本的权重矩阵W。然后,我们计算重构权重矩阵M,并计算特征值和特征向量。最后,我们返回降维后的数据矩阵。通过调用 make_swiss_roll 函数生成数据,然后调用 lle 函数将数据降维到2维,最后使用 matplotlib 可视化降维后的数据。
阅读全文