![](https://csdnimg.cn/release/download_crawler_static/88589280/bg4.jpg)
语言表达
序列
top-k
预测
图2:(A)传统KGE模型与(B)KGT 5在链接预测任务上的推理流水线给定一个查询(s
,
p
,
?),
我们首先将其语言化为文本表示,然后将其输入到模型中。从模型解码器中采样固定数量这与传统的
KGE不同,在传统的KGE中,KG中的每个实体都必须被评分。请参阅第3.3节了解更多详情。
损害模型性能。
5
语言化。 我们将(
s
,
p
,
?) 通过
语言
化查
询(s
,
p
,
?) to a textual文本representation
表示. 这与Petroni等人(2019)进行的语言化
类似,只是没有特定于关系的例如,给定一个
查询
(
barack obama
,生于,?)
首先,我们
获得了实体和关系的文本信息,然后将其表述
为
“
预测尾巴:巴拉克奥巴马
”
。
|
出生于
'
。
这个序列是模型的输入,输出序列应该是这个
查询的答案,
3.2
训练
KGT 5
进行链接预测
为了训练
KGT 5
,我们需要一组(输入,输
出)序列。对于训练图中的每个三元组(s
,
p
,
o
),我们用语言表达查询(
s
,
p
,
?)
和(?
,
p
,
o),以获得两个输入序列。相
应的输出序列分别是
o
和
s
的文本提及
KGT5
使
用教师强迫(Williams and Zipser,1989)和
交叉熵损失进行训练。
6
需要注意的一点是,与标准KGE
5
这是因为
QA
系统在评估过程中考虑的是表面形状例
如,最好对歌曲的单曲和专辑版本都有相同的提及,而
不是在它们的提及中附加一个唯一的数字
6
有关培训的
更多详细信息,请参见附录B。
表 1 : 所 用 幼 儿 园 的 统 计 数 字 。
†
我 们 使 用 sub-
FreeBase ( Google , 2015 ) 的 WebProquisions
(WQSP)和ComplexWebQuestions(CWQ)。
在模型中,我们
在没有显式负采样
的情况下进
行训练。在解码的每个步骤中,模型产生可能
的下一个令牌的概率分布。在训练时,该分布
由于与
“
真实
”
分布不同而受到惩罚(即,真实
下一个令牌的概率为1,所有其他令牌的概率
为0)。因此,该训练过程与Ruffinelli等人的
1vsAll + CE损失最相似。 (2020),除了不
是针对所有其他实体对真实实体进行评分,而
是在每个步骤处针对所有其他令牌对真实令牌
进行评分,并且该过程重复与令牌化真实实体
的长度一样多的次数。这避免了对许多否定的
需要,并且与实体的数量无关。