二分类任务中两类数据满足高斯分布并且方差相同时,证明分类判别函数
时间: 2023-06-25 21:03:04 浏览: 89
如果二分类任务中两类数据满足高斯分布并且方差相同时,那么可以使用线性判别分析(LDA)来建立分类判别函数。
首先,假设两类数据的均值分别为$\mu_1$和$\mu_2$,共用的协方差矩阵为$\Sigma$,则两类数据的高斯分布概率密度函数分别为:
$$
p(x | y = 0) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1))
$$
$$
p(x | y = 1) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp(-\frac{1}{2}(x-\mu_2)^T\Sigma^{-1}(x-\mu_2))
$$
其中,$n$为特征的维度。为了方便计算,我们可以将公式中的指数部分展开:
$$
-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k) = -\frac{1}{2}x^T\Sigma^{-1}x + x^T\Sigma^{-1}\mu_k - \frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k
$$
我们可以忽略与$x$无关的常数,得到分类函数:
$$
f(x) = x^T\Sigma^{-1}(\mu_2 - \mu_1) + \frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1 - \mu_2^T\Sigma^{-1}\mu_2)
$$
如果$f(x)>0$,则将$x$划分为第二类,否则将$x$划分为第一类。这就是线性判别分析的分类判别函数。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)