LDA决策边界公式推导
时间: 2024-01-14 15:03:20 浏览: 27
LDA(线性判别分析)是一种常用的模式识别和机器学习算法,用于将样本投影到低维空间以实现分类。LDA的决策边界公式可以通过以下步骤推导得到:
1. 假设每个分类服从高斯分布且方差矩阵相同。对于第k个类别,其高斯分布的概率密度函数为:
![equation1](https://latex.codecogs.com/gif.latex?p(x|y=k)&space;=&space;\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)})
其中,x是一个d维的样本向量,μk是第k个类别的均值向量,Σ是所有类别的协方差矩阵。
2. 根据贝叶斯定理,我们可以计算后验概率p(y=k|x),即给定样本x的情况下,它属于第k个类别的概率。根据贝叶斯定理,后验概率可以表示为:
![equation2](https://latex.codecogs.com/gif.latex?p(y=k|x)&space;=&space;\frac{p(x|y=k)p(y=k)}{p(x)})
其中,p(x)是样本x的边缘概率。
3. 为了进行分类,我们可以选择具有最大后验概率的类别。即,对于给定的样本x,我们选择使得p(y=k|x)最大的k值。
4. 为了简化计算,我们可以取对数并忽略与x无关的常数项。这样,我们可以将决策边界表示为:
![equation3](https://latex.codecogs.com/gif.latex?g(x)&space;=&space;\log(p(y=1|x))&space;-&space;\log(p(y=2|x))&space;=&space;x^T\Sigma^{-1}(\mu_1-\mu_2)&space;-&space;\frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1&space;-&space;\mu_2^T\Sigma^{-1}\mu_2)&space;+&space;\log\left(\frac{p(y=1)}{p(y=2)}\right))
其中,g(x)是一个关于x的线性函数,决策边界是g(x)=0。
5. 如果我们假设每个类别的先验概率相等(即p(y=1)=p(y=2)),那么决策边界可以进一步简化为:
![equation4](https://latex.codecogs.com/gif.latex?g(x)&space;=&space;x^T\Sigma^{-1}(\mu_1-\mu_2)&space;-&space;\frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1&space;-&space;\mu_2^T\Sigma^{-1}\mu_2))
至此,我们推导出了LDA的决策边界公式。