softmax 分类器
首先 Softmax 回归模型是 logistic 回归模型在多分类问题上的推
广，在多分类问题中，类标签 可以取两个以上的值。在 softmax
回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分
类问题），类标 可以取 个不同的值（而不是 2 个）。因此，
对于训练集 ，有 。
(1) (1) (m) (m)
{(x , y ),......,(x , y )}
( )
y {1, 2,......, k}
i
对于给定的测试输入 ，我们想用假设函数针对每一个类别 j
估算出概率值 。也就是说，我们想估计 的每一种分类
结果出现的概率。因此，我们的假设函数将要输出一个 维的向量
（向量元素的和为 1）来表示这 个估计的概率值。 具体地说，我
们的假设函数 形式如下：
( )
1
( )
2
( )
1
( )
( ) ( )
( ) ( )
( )
1
( ) ( )
( 1| ; )
( 2 | ; )
.
1
.
( )
.
.
.
.
( | ; )
T i
T i
T i
T i
k
x
i i
i i
x
i
k
x
j
i i
x
e
p y x
p y x
e
h x
e
p y k x
e
是模型的参数，然后
( )
1
1
1
T i
k
x
j
e
这一项对概率分布进行归一化，使得所有概率之和为 1 。
评论0