图2:RBG框架的概述架构。RBG包括一个支持文档检索器、一个文档阅读器和一个生成器。
MRC
模型将检索到的文档
Di
和问题
Q
的连接
作为输入,并输出
Di
中潜在证据跨度的开始
和结束位置的预测。具体地说,
它输出两个
概 率 分 布 在
D i
中 的 时 间
上
:
Ps
(
ws
) 和
Pe
(
ws
),其中
Ps
(
ws
)
/
从MRQA共享任务(Fisch et al. ,2019年)在
苏 的 工 作 之 后 等 人 (
2019
) :
SQuAD
( Rajpurkar et al. , 2016 ) , NewsQA
(Trischler et al. ,2017),TriviaQA(Joshiet
al. , 2017 ) 、 SearchQA ( Dunn et al. ,
2017)、HotpotQA(Yang et al. ,2018),和
NatualQues-
我我我
P
e
(w
s
)是令牌w
s
是
D
i
中证据跨度的开始/结束。
最初,
MRC
模型被设计为给出准确的短短语
跨度预测(Rajpurkar et al. ,2016年),但我
们认为,在我们的情况下,证据水平的概率会
更好。支持句子可以为每个答案跨度提供最少
所需的上下文信息,这非常重要,特别是在多
文档生成中(
Xu
和
Lapata
,
2020
)。我们定义
我们的证据级别的证据概率得分为
(Kwiatkowski et al. ,2019)。多任务微调的
MRC模型R将与生成器进一步联合训练,以
远程监督的方式使用黄金
2.3
发生器
FiD-BART我们选择BART作为我们的生成骨
干,因为它在许多生成任务上表现出色,特别
是在长格式抽象摘要任务上(Lewis et al. ,
2020a)。我们提出FiD-BART,遵循Izacard和
Grave(2021)的
解码器融合
思想,使BART
能够处理多个,
该句子中的标记级证据概率,它通过以下方式
计算:
P
i
(S)
=
1
(P
s
(w)
+
P
e
(
w
)) (
2
)
文档独立地在编码器中,而共同地在解码器中
执行交叉注意
编码器对每个的级联进行编码,
Prea
(
S
)
=
Norm
(
P1
(
S
)
;
. P
i
(
S
)
;
. P
K
(
S
)
(三)
我们将P
i
连接起来,并将分布归一化为P
rea
(
S
),其中
P
rea
(
S
)表示所有
K
准确地说,我们在每个文档
Di
的标题和文本之
前 附 加 特 殊 标 记 question
:
beforeQ , title
:
andcontext
:
before the title and text。我们将编
码器的编码的最终表示为
h
_enc
,其是
K
个编码
器输出
h
_i
的级联
模型,具有足够的泛化能力,开放领域的问题
作为 出发点 。我们选 择SpanBERT ( Joshi et