收稿日期:20181022;修回日期:20190102 基金项目:广西科技开发资助项目(桂科 AC16380106)
作者简介:潘永华(1990),男(壮族),广西南宁人,硕士,主要研究方向为自然语言处理、深度学习;闭应洲(1967),男(通信作者),教授,博
士,主要研究方向为智能计算、机器学习(byzhou@163.com);潘怀奇(1990),男,硕士研究生,主要研究方向为深度学习、自然语言处理;郑思霞
(1996),女,硕士研究生,主要研究方向为深度学习、自然语言处理.
基于稠密连接记忆神经网络的文本推理
潘永华,闭应洲
,潘怀奇,郑思霞
(南宁师范大学 计算机与信息工程学院,南宁 530001)
摘 要:由于传统的端到端记忆神经网络模型特征表示能力不足、无法很好地表示各个记忆之间的联系,导致
其在数据集 bAbI中的位置推理和路径查找问题正确率不高,针对此问题,提出了一种结合稠密连接和多层感知
机的记忆神经网络。该模型利用稠密连接与全连接层获取关系特征,增强了模型的特征表示能力。利用
bAbI
数据集对模型进行推理正确率的评估,实验结果表明,与传统的记忆神经网络以及端到端记忆神经网络相比,该
模型能有效提升文本推理的正确率。
关键词:记忆神经网络;稠密连接;文本推理;多层感知机;特征表示
中图分类号:TP391.1 文献标志码:A 文章编号:10013695(2020)05019138004
doi:10.19734/j.issn.10013695.2018.10.0794
Textreasoningbasedondenselyconnectivememorynetwork
PanYonghua,BiYingzhou
,PanHuaiqi,ZhengSixia
(SchoolofComputer&InformationEngineering,NanningNormalUniversity,Nanning530001,China)
Abstract:Duetothetraditionalendtoendmemorynetworkmodelhadinsufficientfeaturerepresentationability,itcouldn’t
representtherelationshipbetweeneachmemorywell
,whichledtothelowaccuracyoflocationreasoningandpathfindingin
thebAbIdataset.Thispaperproposedanewmemorynetworkcombiningdensityconnectivityandmultilayerperceptronto
solvethisproblem.Thismodeluseddensityconnectivityandfullconnectedlayertocapturerelationshipfeatures
,whichen
hancedthecapabilityoffeaturerepresentation.TheproposedmodelevaluatedtheaccuracyoftextreasoningusingbAbIdata
set.Theexperimentalresultsshowthatcomparewithtraditionalmemorynetworkandtheexistingendtoendmemorynet
work
,themodelcaneffectivelyimprovethereasoningaccuracy.
Keywords:memorynetwork;densityconnectivity;textreasoning;multilayerperceptron;featurerepresentation
0 引言
随着如 Siri、Cortana、QQ小冰等聊天机器人的出现,聊天
机器人正越来越广泛地应用于日常生活中。这类聊天机器人
不仅需要能够回答用户使用自然语言提出的单个问题,还需要
对已有的自然语言文本进行推理,然后回答用户的问题。因
此,文本推理受到越来越多研究人员的关注。
深度学习 (
deeplearning,DL)
[1]
已经成为当前机器学习
领域中最有潜力的发展方向,使用神经网络模型去解决自然语
言处理中的问题逐渐成为主流,并在文本分类
[2]
、文本蕴涵
[3]
等方面取得了很多成果。然而传统的神经网络无法很好地解
决文本推理问题,这是由于在文本推理时需要记忆文本中的上
下文并通过上下文推理得到答案,而传统的神经网络无法很好
地解决这类长时记忆问题,所以人们开始通过基于记忆模型的
神经网络模型去解决文本推理问题,其中最具代表性的模型之
一是记忆神经网络 (
memorynetwork,MemNN)
[4]
,并由此衍生
出 端 到 端 记 忆 神 经 网 络 (endtoend memory network,
MemN2N)
[5]
。但是 MemN2N也有许多不足,这些不足造成了
MemN2N无法很好地解决 bAbI数据集
[6]
中的位置推理和路径
查找问题。本文认为这是由于 MemN2N模型特征表示能力的
不足,无法很好地表示各个记忆之间的联系,导致端到端记忆
神经网络在文本推理数据集 bAbI中记忆间关系极为重要的位
置推理和路径查找问题正确率不高的问题。
为解决 MemN2N的问题,本文提出了稠密连接记忆神经
网络(denselyconnectivememorynetwork,DenMemN2N)。其主
要贡献包括:a)使用稠密连接加强各跳间的信息流,使模型能
够使用前面几跳的信息;
b)使用门控机制过滤稠密连接得到
的信息流,只保留有效信息;c)使用多层感知机获取关系特
征,增强了模型在对象关系上的特征表示能力。
1 相关工作
11 记忆神经网络
Chopra等人 提 出 了 MemNN,并 将 其 用 于 文 本 推 理 上,
MemNN主要由记忆 m、输入组件、泛化组件、输出组件和回复
组件组成。MemNN文本推理的模型结构如图 1所示。考虑一
个文本问答的场景,提供一段事实(即几个句子),针对这段事
实进行提问。下面将通过这个场景对
MemNN进行讲解。
第 37卷第 5期
2020年 5月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.37No.5
May2020