PCA/ICA推导过程
时间: 2024-05-26 20:07:43 浏览: 16
PCA和ICA是常用的降维方法,它们可以从原始数据中提取出最重要的特征。下面简要介绍一下它们的推导过程。
PCA(Principal Component Analysis)是一种线性降维方法,其主要思想是将原始数据映射到一个新的低维空间中,使得映射后的数据方差最大。假设我们有一个数据集 $X$,其中每一行代表一个样本,每一列代表一个特征。我们需要找到一个正交基 $W$,将数据 $X$ 映射到一个新的低维空间 $Y$ 中,满足方差最大的条件。PCA 的推导过程可以分为以下几步:
1. 将数据 $X$ 中心化,即每个特征减去该特征的均值,得到 $X_c$。
2. 计算协方差矩阵 $C=\frac{1}{n-1}X_c^TX_c$。
3. 对协方差矩阵 $C$ 进行特征值分解,得到特征值和特征向量。
4. 选择前 $k$ 个最大特征值对应的特征向量组成正交基 $W$。
5. 将数据 $X$ 映射到低维空间 $Y=X_cW$ 中。
ICA(Independent Component Analysis)是一种非线性降维方法,其主要思想是将原始数据分解成独立的非高斯分布的信号源。假设我们有一个数据集 $X$,其中每一行代表一个样本,每一列代表一个特征。我们需要找到一个变换矩阵 $A$,将数据 $X$ 映射到一个新的空间 $Y=AX$ 中,并且假设映射后的数据源是独立的。ICA 的推导过程可以分为以下几步:
1. 对数据进行中心化处理,即每个特征减去该特征的均值,得到 $X_c$。
2. 随机初始化变换矩阵 $A$。
3. 对变换矩阵 $A$ 进行迭代更新,直到满足收敛条件:
- 计算变换后的数据 $Y=AX_c$。
- 计算数据源的估计值 $S=WY$,其中 $W=A^{-1}$。
- 计算估计值 $S$ 的梯度并更新变换矩阵 $A$。
4. 将数据 $X$ 映射到低维空间 $Y=AX$ 中。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)