![](https://csdnimg.cn/release/download_crawler_static/18270575/bg1.jpg)
收稿日期:20190301;修回日期:20190417 基金项目:国家自然科学基金资助项目(61402220,61502221);湖南省哲学社会科学基
金资助项目(16YBA323);湖南省自然科学基金资助项目(2015JJ3015);湖南省教育厅青年项目(15B207)
作者简介:农丁安(1992),男,广西钦州人,硕士,主要研究方向为信息检索与自然语言处理;欧阳纯萍(1979),女(通信作者),湖南衡阳人,
教授,博士,主要研究方向为语义网与社交网络(ouyangcp@126.com);阳小华(1963),男,湖南衡阳人,教授,博导,主要研究方向为信息检索与知
识发现.
融合复制机制和 inputfeeding方法的
中文自动摘要模型
农丁安,欧阳纯萍
,阳小华
(南华大学 计算机学院,湖南 衡阳 421001)
摘 要: 针 对中文 自 动 摘 要 准 确 率 不 高 的 问 题,在 含 有 注 意 力 机 制 的 序 列 到 序 列 (sequencetosequence,
seq2seq)基础模型的解码器中融合了复制机制和 inputfeeding方法,提出了准确率更高的中文自动摘要模型。
首先,该模型使用指针网络将出现在源序列中的 OOV(outofvocabulary)词扩展到固定词典,以实现从源序列复
制 OOV词到生成序列中;其次,inputfeeding方法用于跟踪已生成序列的注意力决定信息以提升模型输出准确
率。在 NLPCC2018数据集上的实验结果表明,与基础模型相比,所提出模型获得了更高的 ROUGE得分,验证了
该模型的可行性。
关键词:自动摘要;复制机制;inputfeeding方法;指针网络;序列到序列;注意力机制
中图分类号:TP391.1 文献标志码:A 文章编号:10013695(2020)08032239505
doi:10.19734/j.issn.10013695.2019.03.0065
Chineseautomaticsummarizationmodelofcombiningcopying
mechanismandinputfeedingapproach
NongDing’an,OuyangChunping
,YangXiaohua
(SchoolofComputer,UniversityofSouthChina,HengyangHunan421001,China)
Abstract:ThispaperpresentedanovelmodelfortheloweraccuracyissueinChineseautomaticsummarywhichmergedcopy
ingmechanismandinputfeedingapproachintothedecoderofsequencetosequence(seq2seq)basicmodelwithattention
mechanism.Firstly,itusedpointernetworkstoextendthesource’sOOVwordstoafixeddictionarytocopyOOVwordsfrom
thesourceintothegeneratedsequence.Secondly
,itusedtheinputfeedingapproachtotracktheattentiondecisioninformation
ofgeneratedsequenceforimprovingthemodeloutputaccuracy.ExperimentalresultsonNLPCC2018datasetsshowthatthe
proposedmodelobtainsahigherROUGEscorethanthebasicmodel,whichconfirmsthefeasibilityofthismodel.
Keywords:automaticsummarization;copyingmechanism;inputfeedingapproach;pointernetworks;sequencetosequence
(seq2seq);attentionmechanism
随着互联网技术的不断发展,数据量也在不断增大,信息
过载现象开始变得明显。如何有效解决人们快速、准确地获取
文本中的主题信息已成为自然语言处理领域的一个研究热点。
自动摘要作为一种文本解释的重要工具,其通过对源文本进行
压缩和精炼,可提取出能概括源文本主题的关键信息,为下游
应用(如新闻摘要、搜索引擎以及报告生成等领域)提供有效
支持,极大提高了用户获取信息的效率。通常,自动摘要可分
为抽取式摘要和生成式摘要两类
[1]
。抽取式摘要指的是不对
源文本句子进行修改,而是直接抽取出关键句子组成摘要,基
本思想是先通过一定的方法对源文本中每个句子计算其得分,
选出得分较高的句子组成摘要;而生成式摘要则是计算机通过
对源文本进行充分理解后,对文本进行抽象,然后使用语义相
近的词或短语重新组织句子生成摘要,其形式类似于人工编写
的摘要,更符合人们的阅读习惯。自动摘要现已成为自然语言
处理领域的研究热点之一。
1 相关工作
自动摘要传统的研究技术是基于抽取式方法
[2]
。Carbonell
等人将相关性和新颖性相结合,提出了最大边际相关(maximal
marginalrelevance,MMR)算 法,该方 法 可 有 效 减少 摘 要的 冗
余;
Mihalcea等人提出了一种图排序的 TextRank算法,与其他
抽取式方法相比,所构建的模型优势更明显;Erkan等人使用
图对句子进行表示,通过特征向量中心性的概念计算句子重要
性,在
DUC2004数据集上评估得到了排名第一的成绩;余珊
珊等人
[3]
将标题、段落等信息引入 TextRank网络图中,提出的
iTextRank算法提高了抽取式方法的摘要准确率;刘 彼 洋等
人
[4]
提出了一种将矩阵分解与子模最大化相结合的面向微博
短文本自动摘要方法,有效改善了基线系统的摘要性能。
近年来,基 于 神 经 网 络 的 编 码 器—解 码 器 模 型 在 解 决
seq2seq
[5]
问题上表现优异,如机器翻译
[6,7]
、文本生成
[8]
等任
务都在这类模型上取得了成功,因此,基于神经网络的生成式
方法已成为现今自动摘要的研究热点。Rush等人
[9]
将词袋模
型(bagofwords)、CNN(convolutionalneuralnetwork,CNN)和基
于注意力(attention)的三种不同编码器用于编码源序列,在
DUC2004数据集上得到了基准摘要模型;Chopra等人
[10]
则采
用基于注意力的卷积编码器,实现了解码过程中目标序列和源
序列词的对齐,改善了文献[9]的基准模型;Hu等人
[11]
构建了
第 37卷第 8期
2020年 8月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.37No.8
Aug.2020