![](https://csdnimg.cn/release/download_crawler_static/18913535/bg1.jpg)
第
30
卷第
2
期
2012
年
3
月
佛山科学技术学院学报(自然科学版)
Journal
of
Foshan
University
(Natural
Science
Edition)
文章编号
:1008-0171(2012)02-0033-05
Vo
l. 30 No. 2
Ma
r.
2012
基于
BP
神经网络的中文分词算法研究
吴建源
(广东培正学院计算机科学与工程系,广东广州
510830)
摘要
z
简要探讨了
BP
神经网络的学习过程与主要参数.分析了基于
BP
神经网络的中文分词算法,并在用
joone-editor
建立的神经网络模型中加以实验。
关键词:中文分词
;BP
神经网络;正向传播;反向传播;
joone-edi
tor
中图分类号
:TP183
文献标志码
:A
中文分词是中文自然语言处理的一项重要工作,也是中文信息处理的一个重要课题。中文分词与英
文分词有所不同,英文分词是以词为单位,词与词之间用空格分隔,而中文分词是以字为单位,句子中所
有的字连起来才能完整地表达某个含义。例如,英文句子吁
<:nowledge
is
power"
,中文则为"知识就是力
量"计算机可以很容易地通过空格知道
"knowledge"
是一个单词,但是不容易明白"知识"两个字合起
来才表示一个词。所谓中文分词就是将中文的汉字序列切分成有意义的词,也称为切词,例如,"知识就
是力量"这句话的切词结果是"知识/就是/力量"。
现今,互联网网页数量飞速增加,信息越来越分散,用户要获取特定的信息十分困难。搜索引擎正是
为了解决这个问题而出现的技术,它以一定的策略在互联网中搜集、发现信息,再对信息进行理解、提
取、组织和处理,并为用户提供检索服务,从而起到信息导航的作用旧。
在搜索引擎技术中,最重要的是把最相关的结果排在最前面,这称为相关度排序,而不是找到所有
结果,因为没有人能看完上百亿网页中找到的所有结果。中文分词的准确程度,常常直接影响到搜索结
果的相关度排序。中文分词技术属于自然语言处理技术范畴,对于一句话,人们可以通过自己的知识来
辨别哪些是词,哪些不是词,但如何让计算机也能理解?其处理过程就是分词算法凶。
1
BP
神经网络
神经网络是在模拟人脑结构和行为的基础上,用大量简单的处理单元(人工神经元、处理元件、电子
元件等)连接组成的复杂网络,信息的处理是由神经元之间的相互作用来实现的,知识与信息的存储表
现为网络元件互连分布式的物理联系,网络的学习和识别取决于神经元连接权值的动态演化过程。根据
人工神经网络对生物神经系统的不同组织层次和抽象层次的模拟,神经阿络已经出现
4ωO
余种模型,
BP
神经网络
(Back
Propagation
Network)
是其中最常采用的网络模型,它是一种多层前馈型神经网络,引
人了中间隐含层神经元,整体上由
3
个神经元层次组成,各层次的神经元之间形成全互连连接,各层次
内的神经元之间没有连接[∞
3
巧]
BP
神经网络的学习过程包括工作信号的正向传播和误差信号的反向传播。
(1)工作信号的正向传播:输入信号从输入层经隐含层单元传向输出层,在输出端产生输出信号,这
是工作信号的正向传播;在信号的向前传递过程中网络的权值是固定不变的,每一层神经元的状态只影
收稿日期:
2011-09-19
作者简介
g
吴建源
0978-)
,男,福建泉州人.广东培正学院讲师。