假设有两类样本X_1=\left[\begin{matrix}1&0\\0&2\\\end{matrix}\right],X_2=\left[\begin{matrix}-1&0\\0&-2\\\end{matrix}\right],先验概率均为0.5,用KLT方法将其降到一维。
时间: 2023-09-22 16:12:13 浏览: 35
首先,我们需要求出两个样本的协方差矩阵。
计算样本X1的协方差矩阵:
$$
\Sigma_{X1} = E[(X_1 - \mu_{X1})(X_1 - \mu_{X1})^T]
$$
其中,$\mu_{X1}$是样本X1的均值向量,由于每个分量的先验概率相同,所以均值向量为:
$$
\mu_{X1} = \left[\begin{matrix}0\\0\\\end{matrix}\right]
$$
因此,
$$
\begin{aligned}
\Sigma_{X1} &= E[(X_1 - \mu_{X1})(X_1 - \mu_{X1})^T]\\
&=E\left[\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right) - \left(\begin{matrix}0&0\\0&0\\\end{matrix}\right)\right]\left[\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right) - \left(\begin{matrix}0&0\\0&0\\\end{matrix}\right)\right]^T\\
&=E\left[\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)^T\right]\\
&=\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)\left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)^T\\
&=\left(\begin{matrix}1&0\\0&4\\\end{matrix}\right)
\end{aligned}
$$
同理,计算样本X2的协方差矩阵:
$$
\Sigma_{X2} = \left(\begin{matrix}1&0\\0&4\\\end{matrix}\right)
$$
接下来,我们需要求出两个样本的特征向量和特征值。
对于协方差矩阵$\Sigma$,有:
$$
\Sigma v = \lambda v
$$
其中,$v$是$\Sigma$的特征向量,$\lambda$是$\Sigma$的特征值。
对于样本X1,有:
$$
\Sigma_{X1} v_{X1} = \lambda_{X1} v_{X1}
$$
即,
$$
\left(\begin{matrix}1&0\\0&4\\\end{matrix}\right)\left(\begin{matrix}a\\b\\\end{matrix}\right) = \lambda_{X1} \left(\begin{matrix}a\\b\\\end{matrix}\right)
$$
解得$\lambda_{X1} = 1$,$v_{X1} = \left[\begin{matrix}1\\0\\\end{matrix}\right]$或$v_{X1} = \left[\begin{matrix}0\\1\\\end{matrix}\right]$。
同理,对于样本X2,有:
$$
\lambda_{X2} = 1, v_{X2} = \left[\begin{matrix}1\\0\\\end{matrix}\right]\text{或}v_{X2} = \left[\begin{matrix}0\\1\\\end{matrix}\right]
$$
因此,我们可以选择$v_{X1}$或$v_{X2}$作为新的基向量,将样本降到一维。
假设我们选择$v_{X1}$,则将样本投影到$v_{X1}$上的坐标为:
$$
\begin{aligned}
y_1 &= X_1^T v_{X1}\\
&= \left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)^T\left(\begin{matrix}1\\0\\\end{matrix}\right)\\
&= \left(\begin{matrix}1&0\\0&2\\\end{matrix}\right)\left(\begin{matrix}1\\0\\\end{matrix}\right)\\
&= \left[\begin{matrix}1\\0\\\end{matrix}\right]
\end{aligned}
$$
同理,将样本X2投影到$v_{X1}$上的坐标为:
$$
\begin{aligned}
y_2 &= X_2^T v_{X1}\\
&= \left(\begin{matrix}-1&0\\0&-2\\\end{matrix}\right)^T\left(\begin{matrix}1\\0\\\end{matrix}\right)\\
&= \left(\begin{matrix}-1&0\\0&-2\\\end{matrix}\right)\left(\begin{matrix}1\\0\\\end{matrix}\right)\\
&= \left[\begin{matrix}-1\\0\\\end{matrix}\right]
\end{aligned}
$$
因此,我们将样本降到一维后,样本X1的坐标为$\left[\begin{matrix}1\\0\\\end{matrix}\right]$,样本X2的坐标为$\left[\begin{matrix}-1\\0\\\end{matrix}\right]$。