朴素贝叶斯法的参数估计

朴素贝叶斯法的参数估计涉及到先验概率和条件概率的估计。

先验概率的估计可以通过样本中各类别出现的频率来估计，即 $P(Y=c_k)$，其中 $c_k$ 表示第 $k$ 类别。

条件概率的估计需要根据先验概率和样本数据来计算，具体有两种估计方法：

1.极大似然估计：即直接基于训练集计算条件概率，即 $P(X^{(j)} = a_{jl}|Y=c_k)$，其中 $a_{jl}$ 表示第 $j$ 个特征的第 $l$ 个取值。假设样本集为 $T$，则有：

$$P(X^{(j)} = a_{jl}|Y=c_k)=\frac{\sum_{i=1}^N I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^N I(y_i=c_k)}$$

其中 $N$ 表示样本数量，$I(\cdot)$ 表示指示函数。

2.贝叶斯估计：在极大似然估计的基础上加入一个平滑因子，防止出现概率为0的情况。具体实现是对每个特征的每个取值都加上一个常数 $\lambda$，即有：

$$P(X^{(j)} = a_{jl}|Y=c_k)=\frac{\sum_{i=1}^N I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^N I(y_i=c_k)+S_j\lambda}$$

其中 $S_j$ 表示第 $j$ 个特征可能的取值个数。

需要注意的是，在使用贝叶斯估计时，当 $\lambda=0$ 时即退化为极大似然估计。当 $\lambda>0$ 时，则增加了一个先验概率，即假设每个特征的每个取值都已经出现了 $\lambda$ 次。