使用python完成对automobile数据集的2维主成分分析(PCA),给出原理分析和求解步骤;实现PCA编码,并用matplotlib实现PCA主特征数据显示;对比使用sklearn的PCA的结果差异,说明差异原因。
时间: 2023-06-03 18:02:56 浏览: 111
主成分分析PCA降为及故障诊断T2和SPE统计量出图Python.py
5星 · 资源好评率100%
好的,关于你的问题,我可以回答。
PCA(Principal Component Analysis)是一种常见的降维方法,可以用于多维数据的可视化、聚类、分类等任务。PCA的原理是将高维数据转化成低维数据,并尽可能保留原数据的信息。
对于一个n维的数据集,其中每个数据有m个属性。PCA的求解主要包括以下几个步骤:
1. 数据标准化:对于每个属性,将其按照z-score标准化,使其均值为0,方差为1。
2. 计算协方差矩阵:协方差矩阵描述了不同属性之间的相关性,可以用公式Cov(X,Y)=E(XY)-E(X)E(Y)来计算。
3. 计算协方差矩阵的特征向量和特征值:将协方差矩阵进行特征分解,得到特征向量和特征值。
4. 选取前k个特征值对应的特征向量:按照特征值从大到小排序,选取前k个特征值对应的特征向量,这些特征向量即为新的低维空间的基向量。
5. 特征值重构:将原数据集投影到低维空间,得到新的数据集。
下面是实现PCA的代码:
```python
import numpy as np
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
def my_PCA(X, k):
# 数据标准化
scaler = StandardScaler()
X_std = scaler.fit_transform(X)
# 计算协方差矩阵的特征向量和特征值
cov_mat = np.cov(X_std.T)
eig_vals, eig_vecs = np.linalg.eig(cov_mat)
# 选取前k个特征值对应的特征向量
eig_pairs = [(eig_vals[i], eig_vecs[:, i]) for i in range(len(eig_vals))]
eig_pairs.sort(reverse=True)
eig_vecs = np.array([eig_pairs[i][1] for i in range(k)])
# 特征值重构
X_new = np.dot(X_std, eig_vecs.T)
return X_new
# 加载automobile数据集
data = np.genfromtxt('Automobile.csv', delimiter=',', missing_values='?', filling_values=0, dtype=float)
# 提取数值型数据
X = data[:, :-1]
# 执行PCA
X_pca = my_PCA(X, 2)
# 绘制数据分布图
plt.scatter(X_pca[:, 0], X_pca[:, 1], s=30, c='b')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.show()
```
这段代码实现了对automobile数据集的2维PCA分析,并绘制了低维度数据的分布图。
下面是使用sklearn实现PCA的代码:
```python
from sklearn.decomposition import PCA
# 加载automobile数据集
data = np.genfromtxt('Automobile.csv', delimiter=',', missing_values='?', filling_values=0, dtype=float)
# 提取数值型数据
X = data[:, :-1]
# 使用sklearn的PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
# 绘制数据分布图
plt.scatter(X_pca[:, 0], X_pca[:, 1], s=30, c='b')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.show()
```
这段代码使用了sklearn库中的PCA模块完成了相同的任务。
两段代码的结果应该是相同的。但是,如果你对数据进行了缺失值的处理,那么两者的结果可能会有所不同。此外,两者的代码实现细节也有所不同。
阅读全文