没有合适的资源?快使用搜索试试~ 我知道了~
首页基于深度神经网络的自动问答系统概述
资源详情
资源评论
资源推荐

1
基于深度神经网络的自动问答系统概述
2018.8.3
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于
商业目的。
SIGAI特邀作者:穆文MuWen 扫二维码关注作者公众号
SIGAI 数据挖掘机养成记

2
目录
1、引子 ........................................................................................................................ 3
2、门派 ........................................................................................................................ 3
2.1. 背景 ................................................................................................................................ 3
2.2. 脉络 ................................................................................................................................ 4
3、章法 ........................................................................................................................ 6
3.1. GA-Reader .................................................................................................................... 6
3.2. Match-LSTM ................................................................................................................. 7
模型结构 ......................................................................................................................................................... 7
杀手锏 .............................................................................................................................................................. 8
3.3. Bi-DAF............................................................................................................................ 9
模型结构 ......................................................................................................................................................... 9
杀手锏 ............................................................................................................................................................ 10
3.4. R-Net ...........................................................................................................................11
杀手锏 ............................................................................................................................................................ 12
3.5. QA-Net ........................................................................................................................13
模型结构 ....................................................................................................................................................... 13
杀手锏 ............................................................................................................................................................ 13
3.6. S-Net ............................................................................................................................15
模型结构 ....................................................................................................................................................... 15
杀手锏 ............................................................................................................................................................ 16
3.7. R3 ..................................................................................................................................17
模型结构 ....................................................................................................................................................... 17
杀手锏 ............................................................................................................................................................ 18
4、参考文献链接 ...................................................................................................... 21
SIGAI 数据挖掘机养成记

3
1、引子
学术圈的生存之道,无非『挖坑灌水』四字真言。大仙鼻祖挖坑,徒子徒孙灌水。
坑越挖越大,水越灌越多,终成一片繁荣的小江湖。而『深度神经网络+自动问答系
统』,就是这样一个好坑。而本文,将带着各位读者,趟一趟这个大坑,会一会各
路大仙们的套路。作为一篇科普文,
本文会探讨:模型结构和对比、简单的公式。
本文不会涉及:复杂的公式,比赛刷榜的奥义(包括:数据集、特征工程、调参技
巧)。
2、门派
2.1. 背景
问答系统的实现机制多种多样,基于信息检索 (IR: Information Retrieval) 的、基
于问答知识库 (KB: Knowledge Base) 的、基于知识图谱 (KG: Knowledge Graph)
的等等,一个相对完善的问答系统往往是多种机制的组合。
而本文提到的问答系统,特指:
给定一个问题 Q 和一个与 Q 相关的文档 D,自动得到 Q 对应的答案 A
这样的系统有一个更学术的名字: 机器阅读理解 (MRC: Machine Reading
Comprehension),它既可以作为一个独立的问答系统,也可以看成是一个完整问答
系统的一部分: 即,在 IR 检索出跟 Q 相关的文档 D 的基础上,机器去阅读并
理解 Q 和 D,得到答案 A。
将问答系统用一图以蔽之:
(图片来自网络,侵权请告知)
SIGAI 数据挖掘机养成记

4
2.2. 脉络
用简单的数学符号来表达问答系统要做的事情:
f(Q, D) = A
(题外话: 如果我们去掉 Q,便成了 f(D) = A,也就是一个摘要系统。所以,问答系
统的模型稍加改造,可以无缝对接到『自动摘要』上去。)
回想一下,我们人类是怎么解决阅读理解问题的?
我们会仔细阅读问题和文章,带着问题去文章里找答案,如果文章里有现成的答案
片段,我们直接抽取出来,如果没有,我们需要组织自己的语言去生成一个回答。
机器其实跟我们的套路是一样的:
这,便是深度问答系统、机器阅读理解的『套路』,可以用一个更简单明了的
图来表示:
SIGAI 数据挖掘机养成记

5
因此,按照模型各个组成部分的不同,可以将其大致分成以下几类『门派』:
每种模型都或多或少融合了不同门派的风格,既有各自的特色,更有相互的传承,
且待下文慢慢道来。
这里要说明一下,decoder 的不同主要因为数据集的不同,有些数据集里的答案 A
可以直接从 D 里面抽取出来,比如 SQuAD 数据集, 有些则需要抽取+生成,比如
MS-MARCO 、 DuReader 和最新的 SQuAD 2.0 数据集。(P.S. 我们在 DuReader
比赛中,用单模型(不做特征工程),刷到过第三)
SIGAI 数据挖掘机养成记
剩余22页未读,继续阅读


















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0