————————————
基金项目
基金项目基金项目
基金项目:
::
:安徽省自然科学基金资助项目(11040606M133)
作者简介
作者简介作者简介
作者简介:
::
:郑 诚(1966-),男,副教授、博士,主研方向:语义信息检索,数据挖掘;刘福君、李 清,硕士研究生
收稿日期
收稿日期收稿日期
收稿日期:
::
:2011-10-20 修回日期
修回日期修回日期
修回日期:
::
:2011-12-05 E-mail:
::
:liufujun860324@163.com
基于指代消解和篇章结构分析的自动摘录算法
基于指代消解和篇章结构分析的自动摘录算法基于指代消解和篇章结构分析的自动摘录算法
基于指代消解和篇章结构分析的自动摘录算法
郑
郑郑
郑
诚
诚诚
诚,
,,
,刘福君
刘福君刘福君
刘福君,
,,
,李
李李
李
清
清清
清
(安徽大学计算机科学与技术学院,合肥 230039)
摘
摘摘
摘 要
要要
要:
::
:传统自动文摘方法生成的文摘结果指代关系模糊,且对于某些段落结构有规律的文章,没有分析文章结构与主题思想之间的关系。
为此,提出一种基于指代消解和篇章结构分析的自动摘录算法。采用有限知识的思路完成指代消解,利用指代消解解决文摘语义不连贯问
题,以提高句子权重计算的准确性,对文章做主题划分时进行篇章结构识别,按照段落标题信息划分段落结构。实验结果表明,该算法在
受限金融领域文本自动摘录中,具有较高的准确率和召回率。
关键词
关键词关键词
关键词:
::
:自然语言处理;自动摘录;向量空间模型;主题划分;篇章结构;指代消解
Automatic Extraction Algorithm Based on Anaphora Resolution
and Text Structure Analysis
ZHENG Cheng, LIU Fu-jun, LI Qing
(School of Computer Science and Technology, Anhui University, Hefei 230039, China)
【
【【
【Abstract】
】】
】There are some problems should be considered in automatic extraction of traditional methods: Conference relations in the result of
automatic extraction are not clear, some relationships between obvious structures of paragraphs and the theme of the text are not paid enough
attention. For which, this paper presents a method based on anaphora resolution and text structure analysis, which combines the traditional statistics
with regulars on automatic abstract. This method applies limited knowledge to pronoun resolution, which is to solve the problem of semantic
incoherence, also to improve the precision when computing sentences’ weight. Based on sequential paragraphic similarity, this method can recognize
obvious topics to partition text. Experimental results show that this method improves precision and recall when it is applied for limited-financial
field.
【
【【
【Key words】
】】
】Natural Language Processing(NLP); automatic extraction; Vector Space Model(VSM); topic segmentation; text structure; anaphora
resolution
DOI: 10.3969/j.issn.1000-3428.2012.16.044
计 算 机 工 程
Computer Engineering
第 38 卷 第 16 期
Vol.38 No.16
2012 年 8 月
August 2012
·
··
·人工智能及识别技术
人工智能及识别技术人工智能及识别技术
人工智能及识别技术·
··
·
文章编号
文章编号文章编号
文章编号:
::
:1000—
——
—3428(2012)16—
——
—0170—
——
—04
文献标识码
文献标识码文献标识码
文献标识码:
::
:A
中图分类号
中图分类号中图分类号
中图分类号:
::
:TP301.6
1
概述
概述概述
概述
随着自然语言处理
(Natural Language Processing, NLP)
技术的发展,分词与词性标注技术已发展到相当成熟的地
步,目前大部分词性标注工具对文本的标注正确率都达到
了
96
%以上,解决了汉语句子分析中的层次问题,将含有
一定意义的句子划分成具有最基本语义的元素,有利于将
句法分析的复杂度各个击破,从而促进了自然语言处理的
发展,如基于组块的研究、指代消解的研究方法。
文献
[1]
将现有各种自动文摘技术方向归结为自动摘
录、基于理解的自动文摘、信息抽取和基于结构的文摘。
基于上述观点,结合中文文本特点,中文自动文摘研究方
法分类如下:
(1)
基于语料库方法,是一种改进的具有一定
语义信息处理的字频统计方法。
(2)
用概念模型进行信息
抽取的方法,主要采用
Ontology
描述应用领域的元素,
并形成领域概念树来描述领域元素之间的关系。
(3)
基于
Ontology
的智能信息提取方法。
(4)
利用知识库提取文本
信息的方法。
(5)
结合文本语义的形式化模型,即建立语境
框架。
(6)
分析篇章多级依存结构提取中心成分,采用该方
法已研发出
HIT-863
Ⅱ系统。
自动摘录的方法综合利用词频、标题、位置、句法结
构、线索词和指示性短语等特征
[2]
的有机结合,考虑到文
本形式的规律,能够适用于非受限域。但是由于各种文章
的特征不一定符合同样的规律,因此该方法生成的摘要存
在着反映主题不全面、主题冗余,以及语义不连贯的问题。
本文提出一种基于指代消解和篇章结构分析的自动
摘录算法。针对金融领域,采用基于统计和规则的自动摘
录方法,通过基本的指代消解方法,解决自动摘录方法面
临的问题
[3]
。
2
指代消解处理
指代消解处理指代消解处理
指代消解处理
由于文摘候选句是根据句子权重将句子从文中的不