![](https://csdnimg.cn/release/download_crawler_static/19085176/bg1.jpg)
————————————
基金项目
基金项目基金项目
基金项目:
::
:国家自然科学基金资助项目“基于虚词的藏文基本句型的格式化研究”(6106315)
作者简介
作者简介作者简介
作者简介:
::
:羊毛卓玛(1978-),女,讲师、硕士研究生,主研方向:藏文信息处理;高定国,副教授
收稿日期
收稿日期收稿日期
收稿日期:
::
:2011-10-28 修回日期
修回日期修回日期
修回日期:
::
:2011-12-20 E-mail:
::
:yangmaozhuoma@163.com
藏文自动分词中
藏文自动分词中藏文自动分词中
藏文自动分词中未
未未
未登录词
登录词登录词
登录词处理方法研究
处理方法研究处理方法研究
处理方法研究
羊毛卓玛
羊毛卓玛羊毛卓玛
羊毛卓玛
1,2
,
,,
,高定国
高定国高定国
高定国
1
(1. 西藏大学工学院,拉萨 850000;2. 青海师范大学民族师范学院,青海 海南藏族自治州 813000)
摘
摘摘
摘 要
要要
要:
::
:藏文中后接成份出现频率较高,分词中未登录词的后缀单切现象会影响分词的正确率,为此,采用词(语素)+缀归并的方法,将藏
文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象,使
用分词碎片整合方法,将多次出现的词条碎片整合为一个切分单位输出。实验结果表明,2 种方法能提高藏文自动分词的识别正确率。
关键词
关键词关键词
关键词:
::
:藏文信息处理;词缀归并;未登录词;分词碎片整合
Study of Unknown Word Processing Method
in Automatic Tibetan Word Segmentation
Yangmo Droma
1,2
, GAO Ding-guo
1
(1. School of Engineering, Tibet University, Lhasa 850000, China;
2. College of National Hualion Teachers, Qinghai Normal University, Hainan 813000, China)
【
【【
【Abstract】
】】
】In Tibetan, followed ingredients appear with high frequency. Suffix-cut appears in the participle word. It affects the accuracy of the
word. By applying word(morpheme) + suffix method, Tibetan suffix and prefix word(morpheme) are grouped into a slitting unit output. In response
to a large number of names, place names, unit names, and so on appear in Tibetan, which are not included in dictionaries, debris splitting phenomena
appears in the word. Aiming at the problem, it uses word fragments consolidation method. Multiple occurrences of the term debris are to be grouped
into a slit unit output. Experimental results show that two methods can improve the accuracy of Tibetan word segmentation.
【
【【
【Key words】
】】
】Tibetan information processing; affix merging; unknown word; word segmentation fragment integration
DOI: 10.3969/j.issn.1000-3428.2012.17.013
计 算 机 工 程
Computer Engineering
第 38 卷 第 17 期
Vol.38 No.17
2012 年 9 月
September 2012
·
··
·软件技术与数据库
软件技术与数据库软件技术与数据库
软件技术与数据库·
··
·
文章编号
文章编号文章编号
文章编号:
::
:1000—
——
—3428(2012)17—
——
—0046—
——
—03
文献标识码
文献标识码文献标识码
文献标识码:
::
:A
中图分类号
中图分类号中图分类号
中图分类号:
::
:TP391.1
1
概述
概述概述
概述
分词是自然语言处理的难点之一,在许多领域有极其
广泛的实际应用,如藏语语言理解、机器翻译、自动分类、
搜索引擎等
[1]
都需要对藏文进行分词处理。在大规模藏文
本处理中,会遇到很多机器可读词典中没有收录不能识别
的词汇,包括中外人名、地名、机构组织名、事件名、货
币名、缩略语、派生词、各种专业术语以及在不断发展和
约定俗成的一些新词语
[2]
。未登录词和歧义现象是影响藏
文自动分词和自动句法分析精度的主要因素,其中未登录
词带来的后果更严重。据笔者统计,实验中用含有
15
万
词的词典,对含
2
万词的藏文网页新闻文本语料库进行自
动切分后发现,其中
20
%的词不在分词词典中;对含
1
万
词的藏文科技文本进行自动切分,其中
30
%的词不在分词
词典中;对
6
万词藏文文学、新闻、民俗、科技等多种文
本进行分词,发现大多数错误是由未登录词造成。因此,
要从根本上提高藏文分词效率,解决未登录是关键。藏文
分词系统中未登录词的识别对整个藏文分词最终的召回
率、正确率起着重要作用
[3]
。所以,本文提出藏文词缀归
并和分词碎片整合
2
种方法解决藏文自动分词中未登录词
的问题,它既是自动分词的后续工作,同时又是更高层次
自然语言处理的前期工作。
2
未登录词
未登录词未登录词
未登录词的
的的
的词
词词
词缀归并方法
缀归并方法缀归并方法
缀归并方法
2.1
藏文中的词缀分析
藏文中的词缀分析藏文中的词缀分析
藏文中的词缀分析
藏文词缀主要有前接成份、中接成份和后接成份
[4]
。
具体如下:
(1)
前接成份 ,藏语中前接成份有 和
2
个形式。例如,
在藏文文本中前接成份出现频率极低。
(2)
中接成份 是指加在
2
个意义相
对的词中间,构成特殊的词组,表示“似是而非”或“不
伦不类”的意义
[5]
。藏语中能作中接成份的有 ,例
如, 等,在藏文文本中中
接成份出现频率也不高。