python实现基于朴素贝叶斯的垃圾分类算法实现基于朴素贝叶斯的垃圾分类算法
一、模型方法一、模型方法
本工程采用的模型方法为朴素贝叶斯分类算法，它的核心算法思想基于概率论。我们称之为“朴素”，是因为整个形式化过
程只做最原始、最简单的假设。朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前有必要快速了解一下贝叶斯
决策理论。假设现在我们有一个数据集，它由两类数据组成，数据分布如下图所示。
我们现在用p1(x,y)表示数据点(x,y)属于类别1（图中用圆点表示的类别）的概率，用p2(x,y)表示数据点(x,y)属于类别
2（图中用三角形表示的类别）的概率，那么对于一个新数据点(x,y)，可以用下面的规则来判断它的类别：
如果 p1(x,y) > p2(x,y)，那么类别为1。
如果 p2(x,y) > p1(x,y)，那么类别为2。
也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。
在本工程中我们可以使用条件概率来进行分类。其条件概率公式如下：
其中粗体w表示这是一个向量，它是有多个值组成。对于类别i表示分类的个数，在本工程中i=0时，c0表示非垃圾邮件。
i=1时，c1表示垃圾邮件。w展开为一个个独立特征，那么就可以将上述概率写作p(w0,w1,w2..wN|ci)。这里假设所有词都互相
独立，该假设也称作条件独立性假设，它意味着可以使用p(w0|ci)p(w1|ci)p(w2|ci)…p(wN|ci)来计算上述概率，这就极大地简
化了计算的过程，这也是被称为朴素贝叶斯的原因。在本工程中wj代表第i个单词特征，而p(wj|ci)则代表了在垃圾邮件（或非
垃圾邮件）中，第j个单词出现的概率；而p(w|ci)则表示在垃圾邮件（或非垃圾邮件）中的全体向量特征（单词向量特征）出
现的概率；而p(ci| w)则表示在全体向量特征（单词向量特征）下是垃圾邮件（或非垃圾邮件）的概率。本工程项目主要是计
算p(ci|w)；p(ci)则表示是垃圾邮件（或非垃圾邮件）的概率。
二、系统设计二、系统设计
评论0