![](https://csdnimg.cn/release/download_crawler_static/88587873/bg3.jpg)
(1)
α = softmax
HW
q
(HW
k
)
T
√
h
+ M (3)
+v:mala2277获取更多论文
0
Seq2Set试图消除seq2seq框架中指定实体解码顺
序引入的错误偏差,并提出了一个实体集预测器,
而我们遵循MRC范式,专注于使用实例查询提取
实体。(2)Seq2Set是一种编码器-解码器架构,
而我们的模型丢弃了解码器,只保留编码器,如W
ang等人(2022a)中所述,这加速了推理并允许
查询和上下文之间的完全交互。(3)Seq2Set使
用二分图匹配来计算实体集级别的损失,而我们专
注于为每个实例查询分配标签,并提出了一种一对
多的动态标签分配机制。
0
3方法
0
在本节中,我们首先介绍第3.1节中的任务形式化
,然后描述我们的方法。如图2所示,我们的方法
由三个组件组成:编码器(第3.2节),实体预测
(第3.3节)和动态标签分配(第3.4节)。编码器
同时对句子和实例查询进行编码。然后对于每个实
例查询,我们使用实体指针和实体分类器分别进行
实体定位和实体分类。为了训练模型,我们引入了
一种动态标签分配机制,将金标实体分配给实例查
询。
0
3.1任务形式化
0
我们使用(X,Y)表示一个训练样本,其中X是由
一组三元组Y={<Ylk,Yrk,Ytk>}G-1k=
0标记的N个单词组成的句子。Ylk∈[0,N-1],Yr
k∈[0,N-1]和Ytk∈E是第k个实体的左边界、右
边界和实体类型的索引,其中E是一个有限的实体
类型集合。在我们的方法中,我们设置M(M>G
)个全局且可学习的实例查询I=
RM×h,每个查询(表示为大小为h的向量)从句
子中提取一个实体。它们被随机初始化,并且可以
在训练过程中自动学习查询语义。因此,我们定义
任务如下:给定一个输入句子X,目标是基于可学
习的实例查询I提取实体Y。
0
3.2编码器
0
模型输入由两个序列组成,句子X的长度为N,实
例查询I的长度为M。编码器将它们连接成一个序
列并同时对它们进行编码。
0
输入嵌入我们根据以下方式计算输入的标记嵌入Et
ok、位置嵌入Epos和类型嵌入Etyp(Etok,Epos
,Etyp∈R(N+M)×h):
0
Etok=Concat(V,I)
0
Epos=Concat(Pw,Pq)
0
Etyp=Concat([Uw]N,[Uq]M)
0
其中V∈RN×h是单词序列的标记嵌入,I∈RM×h
是实例查询的向量,Pw∈RN×h和Pq∈RM×h是
单独的可学习位置嵌入。Uw和Uq是类型嵌入,[∙]
N表示重复N次。然后输入可以表示为H0=Etok
+Epos+Etyp∈R(N+M)×h。
0
单向自注意力
正常的自注意力会让句子与所有实例查询进行交互
。这样,随机初始化的实例查询可能会影响句子编
码并破坏句子的语义。为了使句子的语义与实例查
询隔离开来,我们将BERT(Devin等,2019年)
中的自注意力替换为单向版本:
0
OW-SA(H)=αHWv(2)
0
其中Wq,Wk,Wv∈Rh×h是参数矩阵,
M∈{0,−inf}(N+M)×(N+M)
是注意力分数的掩码矩阵,其中M
中的元素设置为0表示保留的单元,设置为−
inf表示移除的单元。在我们的公式中,M
的右上子矩阵是一个大小为(N×M)的全−
inf
矩阵,其他元素为零,这可以防止句子编码关注实
例查询。此外,实例查询之间的自注意力可以建模
它们之间的连接,从而增强它们的查询语义。经过
BERT编码后,我们通过两个双向LSTM层和L
个额外的Transformer层进一步对单词级别的序列
进行编码。最后,我们将H∈R(N+M)×h
分成两部分:句子编码Hw∈RN×h
和实例查询编码Hq∈RM×h。
0
3.3实体预测
0
每个实例查询可以预测句子中的一个实体,通过
M个实例查询,我们可以同时预测最多M
个实体。实体预测