如需转载请注明 CSDN 博客网址：http://blog.csdn.net/qq_30091945
1
高斯判别分析
到目前为止，我们主要讨论了对
;p y x
建模的学习算法，即给定
x
的
y
的
条件分布。例如，Logistic 回归将
;p y x
建模为
=
T
h x g x
，其中
g
是
Sigmoid 函数。在这份笔记中，我们将讨论一种不同类型的学习算法。
考虑一个分类问题，我们希望根据动物的某些特征来学习区分大象
1y
和
狗
0y
。给定训练集，像 Logistic 回归或基本感知器算法之类算法试图找到一
条决定边界的直线，从而将大象和狗分开。然后，为了将新动物分类为大象或狗，
该算法检查这个样本落在边界的哪一侧，并相应地进行预测。
现在介绍一种不同的方法。首先，看大象，我们可以建立一个大象样子的模
型。然后，看着狗，我们也可以单独建立一个狗的样子的模型。最后，为了对新
动物进行分类，我们可以将新动物与大象模型相匹配，并将其与狗模型相匹配，
以查看新动物是更像我们在训练集中看到的大象还是狗。
尝试直接学习
p y x
的算法（例如 Logistic 回归），或试图学习直接将输入
X
的空间映射到标签
0,1
的算法（例如感知器算法）是称为判别学习算法。 在
这里，我们将讨论算法，而是试图直接对
p x y
（和
py
）建模。这些算法称
为生成学习算法。例如，如果 y 指示样本是狗（0）还是大象（1），则
=0p x y
对狗的特征的分布进行建模，并且
=1p x y
对大象特征的分布进行建模。
在对
py
（称为类先验）和
p x y
进行建模之后，我们的算法可以使用贝
叶斯规则在给定
x
的
y
上推导出后验分布：
xyp
p y x
x
py
p
这里，分母由
=1 =1 + =0 == 0p x p px y p y x y p y
给出（你应该能从概
率的标准性质来验证这一点的正确性），因此也可以用我们学到的量
p xy
和
py
表示。 实际上，如果为了进行预测而计算
p y x
，那么我们实际上并不需
要计算分母，因为：
评论0