![](https://csdnimg.cn/release/download_crawler_static/18791444/bg1.jpg)
第
44
卷第
7
期
2013
年
7
月
中南大学学报(自然科学版)
Journal
of
Central
South
University (Science
and
Technology)
Vol.44
No.7
July
2013
基于多项式模型和低风险的贝日十斯垃圾邮件过滤算法
梁志文,杨金民,李元旗
(湖南大学信息科学与工程学院,湖南长沙,
410082)
摘要:针对现有贝叶斯算法应用于垃圾邮件过滤时,贝叶斯贝努利模型对邮件文本特征向量进行处理不能区分特
征向量的重要性,导致邮件分类召回率低,同时还存在合法邮件被误判的风险的问题,采用贝叶斯多项式模型对
特征向量进行加权处理来区分特征向量的重要’性;然后,采用低风险策略来降低合法邮件被误判的风险,提出基
于多项式模型和低风险的贝叶斯垃圾邮件过滤算法。实验结呆表明:对于不同数量的特征项,该算法能够有效提
高邮件分类的正确率与召回率,降低合法邮件被误判的风险,并在过滤文本字符数量较大的邮件时,具有性能平
稳、波动小的特点。
关键词:邮件过滤;特征提取;概率度量;多项式模型;风险评估
中图分类号:
TP312
文献标志码:
A
文章编号:
1672-7207(2013)07-2787-06
A Bayesian
spam
filtering algorithm based on
polynomial model
and
low
risk
LIANG
Zhiwen,
YANG
Jinmin,
LI
Yu
缸
iqi
(College
of
Information Science and Engineering, Hunan University, Changsha 410082, China)
Abstract:
Existing Bayesian algorithms use Bernoulli model to process text features in the application to
sp
缸
n
filtering,
which does not distinguish the varying importance
of
various
f
出
.tures,
leading to a low recall rate in mail classification.
In
addition
,巳
xisting
Bayesian algorithms also have the risk
of
mis-judging legitimate mail. A Bayesian
sp
缸
n
filtering
algorithm was proposed based on the polynomial model and the low risk. The algorithm measures the weight
of
text
f
出
.tures
to distinguish their importance in mail classification, and then
comp
缸创出巳
probabilities
that a mail respectively
副
l
into
出巳
sp
缸
n
class
or
出巳
normal
mail class. The results show that this algorithm effectively improves the recall and
precision rate
of
mail classification, and reduces the risk
of
mis-judging legitimate mail. Additionally, the algorithm is
of
smooth and little fluctuation when filtering mails with a large number
of
text characters.
Key
words: mail filtering; feature extraction; probability measurement; polynomial model; risk assessment
随着互联网的迅猛发展,电子邮件由于具有通信
快捷、价格便宜、操作简单的优势,己成为最受欢迎
的通信工具。但是,大量垃圾邮件的存在既消耗网络
资源,又浪费用户大量的时间和精力,因此,研究垃
圾邮件过滤技术有重要的现实意义[!]。针对垃圾邮件
过滤而提出的基于内容的贝叶斯过滤策略[
2-3
]实现自
收稿日期
z
2012-07
一
15
;修回日期
z
2012
一
10
一
10
学习功能,且满足客户个性化要求,故而在垃圾邮件
过滤中得到广泛应用。现有贝叶斯过滤算法假定从邮
件中提取的文本特征属性是相互独立的,当实际情况
满足这种假设时,分类准确度高:但是,邮件中的文
本语义、语境关系很复杂,与算法假设的吻合度较低。
因此,现有贝叶斯算法应用于邮件过滤时,过多地简
基金项曰:国家自然科学基金资助项目(
61272401,
61133005, 61173167,
61070194
):国家高技术研究发展计划(“
973
”计划)子项目(
2012CB315801)
通信作者
z
杨金民(
1967
一),男,湖南宁乡人,博士,教授,从事可靠计算、软件工程、数据挖掘研究;电话
z
13975896967;
E-mail:
rjj
吨
rang@hnu.edu.cn
第
44
卷第
7
期
2013
年
7
月
中南大学学报(自然科学版)
Journal
of
Central
South
University (Science
and
Technology)
Vol.44
No.7
July
2013
基于多项式模型和低风险的贝日十斯垃圾邮件过滤算法
梁志文,杨金民,李元旗
(湖南大学信息科学与工程学院,湖南长沙,
410082)
摘要:针对现有贝叶斯算法应用于垃圾邮件过滤时,贝叶斯贝努利模型对邮件文本特征向量进行处理不能区分特
征向量的重要性,导致邮件分类召回率低,同时还存在合法邮件被误判的风险的问题,采用贝叶斯多项式模型对
特征向量进行加权处理来区分特征向量的重要’性;然后,采用低风险策略来降低合法邮件被误判的风险,提出基
于多项式模型和低风险的贝叶斯垃圾邮件过滤算法。实验结呆表明:对于不同数量的特征项,该算法能够有效提
高邮件分类的正确率与召回率,降低合法邮件被误判的风险,并在过滤文本字符数量较大的邮件时,具有性能平
稳、波动小的特点。
关键词:邮件过滤;特征提取;概率度量;多项式模型;风险评估
中图分类号:
TP312
文献标志码:
A
文章编号:
1672-7207(2013)07-2787-06
A Bayesian
spam
filtering algorithm based on
polynomial model
and
low
risk
LIANG
Zhiwen,
YANG
Jinmin,
LI
Yu
缸
iqi
(College
of
Information Science and Engineering, Hunan University, Changsha 410082, China)
Abstract:
Existing Bayesian algorithms use Bernoulli model to process text features in the application to
sp
缸
n
filtering,
which does not distinguish the varying importance
of
various
f
出
.tures,
leading to a low recall rate in mail classification.
In
addition
,巳
xisting
Bayesian algorithms also have the risk
of
mis-judging legitimate mail. A Bayesian
sp
缸
n
filtering
algorithm was proposed based on the polynomial model and the low risk. The algorithm measures the weight
of
text
f
出
.tures
to distinguish their importance in mail classification, and then
comp
缸创出巳
probabilities
that a mail respectively
副
l
into
出巳
sp
缸
n
class
or
出巳
normal
mail class. The results show that this algorithm effectively improves the recall and
precision rate
of
mail classification, and reduces the risk
of
mis-judging legitimate mail. Additionally, the algorithm is
of
smooth and little fluctuation when filtering mails with a large number
of
text characters.
Key
words: mail filtering; feature extraction; probability measurement; polynomial model; risk assessment
随着互联网的迅猛发展,电子邮件由于具有通信
快捷、价格便宜、操作简单的优势,己成为最受欢迎
的通信工具。但是,大量垃圾邮件的存在既消耗网络
资源,又浪费用户大量的时间和精力,因此,研究垃
圾邮件过滤技术有重要的现实意义[!]。针对垃圾邮件
过滤而提出的基于内容的贝叶斯过滤策略[
2-3
]实现自
收稿日期
z
2012-07
一
15
;修回日期
z
2012
一
10
一
10
学习功能,且满足客户个性化要求,故而在垃圾邮件
过滤中得到广泛应用。现有贝叶斯过滤算法假定从邮
件中提取的文本特征属性是相互独立的,当实际情况
满足这种假设时,分类准确度高:但是,邮件中的文
本语义、语境关系很复杂,与算法假设的吻合度较低。
因此,现有贝叶斯算法应用于邮件过滤时,过多地简
基金项曰:国家自然科学基金资助项目(
61272401,
61133005, 61173167,
61070194
):国家高技术研究发展计划(“
973
”计划)子项目(
2012CB315801)
通信作者
z
杨金民(
1967
一),男,湖南宁乡人,博士,教授,从事可靠计算、软件工程、数据挖掘研究;电话
z
13975896967;
E-mail:
rjj
吨
rang@hnu.edu.cn