求解PCA问题,设原样本X的协方差矩阵对应的d个特征值组成的投影矩阵变换为W,若每个样本乘以放大率a,求解变换后的样本对应的W’
时间: 2023-12-06 11:41:02 浏览: 63
假设原样本矩阵X为 $n \times d$ 的矩阵,其中 $n$ 表示样本数,$d$ 表示每个样本的特征数。协方差矩阵为 $d \times d$ 的矩阵,由于是对称矩阵,因此可以进行特征值分解,得到特征值矩阵 $\Lambda$ 和特征向量矩阵 $V$:
$$
\Sigma = X^T X \qquad \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \ldots, \lambda_d) \qquad V = [v_1, v_2, \ldots, v_d]
$$
其中,$\lambda_i$ 表示协方差矩阵的第 $i$ 个特征值,$v_i$ 表示对应的特征向量。特征向量按照对应的特征值从大到小排列。
投影矩阵变换为 $W = [v_1, v_2, \ldots, v_k]$,其中 $k$ 表示保留的主成分个数。这里假设保留前 $k$ 个主成分,因此 $W$ 是 $d \times k$ 的矩阵。
对于每个样本 $x_i$,乘以放大率 $a$ 后,变为 $a x_i$。对其进行 PCA 变换,首先需要将其中心化:
$$
x_i^{\prime} = x_i - \bar{x}
$$
其中,$\bar{x}$ 表示样本均值向量。假设样本均值向量为 $\bar{x} = [m_1, m_2, \ldots, m_d]$,则中心化后的样本为:
$$
\begin{aligned}
x_i^{\prime} &= x_i - \bar{x} \\
&= [x_{i1} - m_1, x_{i2} - m_2, \ldots, x_{id} - m_d]
\end{aligned}
$$
然后将中心化后的样本乘以投影矩阵 $W$,即可得到变换后的样本:
$$
x_i^{\prime\prime} = x_i^{\prime} W
$$
但是,由于每个样本乘以了放大率 $a$,因此变换后的样本也需要乘以相应的放大率 $a$,即:
$$
x_i^{\prime\prime\prime} = a x_i^{\prime\prime} = a x_i^{\prime} W
$$
综上所述,每个样本乘以放大率 $a$ 后,变换后的样本对应的投影矩阵为 $W^{\prime} = a W$。