没有合适的资源?快使用搜索试试~ 我知道了~
首页LinkBERT:利用文档链接提升预训练语言模型性能
LinkBERT是一种创新的预训练语言模型,由斯坦福大学的Yasunaga Jure Leskovec等人提出,旨在解决现有预训练方法如BERT在处理跨文档依赖和捕捉知识上的局限性。传统方法主要针对单个文档进行建模,而LinkBERT则是通过引入文档链接,如超链接和引用链接,将文本语料库构建成文档图的形式。这种方法的核心在于,它不仅对单个文档中的内容进行理解,还关注文档之间的联系,强化了模型对整体语境的把握。 在预训练过程中,LinkBERT采用了两个联合自监督目标:掩码语言建模(Masked Language Modeling,MLM)和新的文档关系预测(Document Relation Prediction,DRP)。MLM保留部分词并让模型预测缺失的部分,有助于模型学习词汇的上下文含义;而DRP则要求模型理解链接文档之间的关系,这有助于提高模型对跨文档知识的理解和迁移能力。 实验结果显示,LinkBERT在两个不同领域的下游任务中表现出色:一是使用超链接的通用领域(如维基百科),二是专注于生物医学领域,利用PubMed上的引用链接进行预训练。特别地,LinkBERT在多跳推理和少量问答等需要深度理解的任务中展现出优势,这表明其在处理复杂信息流和长距离依赖方面具有显著优势。 为了便于其他研究者进一步探索和应用,LinkBERT团队提供了预训练模型(LinkBERT和BioLinkBERT)、相关代码和数据。LinkBERT的出现推动了预训练语言模型向着更全面、更深层次的知识理解和跨文档关联学习的方向发展,为NLP领域的多项任务带来了新的可能性。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88589285/bg3.jpg)
+v:mala2277获取更多论
文
X
{}
⊆
X
{}
G
X E
{}
来预训练
LM
。
Caciularu
等人(
2021
)将关于
同一主题的文档(新闻文章)放置在相同的
LM上下文中,Levine等人(2021)将关于同
一主题的文档(新闻文章)放置在相同的LM
上下文中。(
2021
)将词汇相似度高的句子放
入同一上下文。我们的工作提供了一个通用的
方法,将文档链接纳入
LM
预训练,其中词汇
或主题相似性可以是文档链接的一个实例,除
了超链接。我们在这项工作中关注超链接,因
为我们发现它们可以带来通过词汇相似性可能
不 明 显 的 突 出 知 识 , 并 产 生 更 有 效 的
LM
(
§5.5
)。此外,我们提出了
DRP
目标,它改
进 了
LM
中 多 文 档 及 其 之 间 关 系 的 建 模
(§5.5)。
NLP
的超链接和引用链接。超 链接通常用于
学习更好的检索模型。Chang等人(2020);
Asai
等人(
2020
)
; Seonwoo
等人 (
2021
)使
用维基百科超链接来训练检索器进行开放域问
题回答。Ma等人(2021)研究各种超链接感
知预训练任务检索。虽然这些作品使用超链接
来学习检索,我们专注于使用超链接来创建更
好的学习通用LM的背景。另外,Calixto et al.
(
2021
)使 用维 基百 科 超 链 接 学 习 多 语 言
LM
。 引用链接通常用于改进学术论文的摘要
和推荐(Qazvinian和Radev,2008; Yasunaga
等人,2009)。,2019; Bhagavatula et al. ,
2018; Khadka et al. , 2020; Cohan 等 人 ,
2020)。在这里,我们利用引用网络来改进预
训练通用
LM
。
图增强
LM
。几个作品用图来增强
LM
,通常
是知识图(KG),其中节点捕获实体并将它
们的关系边缘化。
Zhang
等人 (
2019
)
; He et
al.
(
2020
)
; Wang et al.
(
2021 b
)将
LM
训练
与 KG 嵌 入 相 结 合 。 Sun 等 人 ( 2020 ) ;
Yasunaga等人 (2021); Zhang et al. (2022)
将LM和图神经网络(GNN)结合起来,共同
训练文本和KG。与KG不同,我们使用文档图
来学习跨文档的知识
3
预赛
语言模型(
LM
)可以从文档
语料库中预先
训练,
=
X
(
i
)
。
LM
是两个函数
f
head
(
f
enc
(X))的组合,其中编码器f
enc
接收令牌
序列X
=
(x
1
,
x
2
,
.
,
xn
),并为每个标记产
生 上 下 文 化 的向 量
表 示 ( h
1
,
h
2
,
...
,
h
n
)。
头
f
头
使用这些表示来执行自我
-
基于
BERT
构建(
Devlin et al.
,
2019
年),它
用以下两个自我监督的任务预训练LM。
Masked Language Modeling
(
MLM
)给定一
个记号序列
X
,记号子集
Y X
被屏蔽,任务
是从修改后的输入中预测原始标记。Y占X中
令牌的
15%;
其中
80%
被
[MASK]
替换,
10%
被
随机令牌替换,10%保持不变。
下一句预测(
NSP
)
NSP
任务以两个文本片段
2
(
XA
,
XB
)作为输入,并预测
XB
是否是
XA
的直
接延续。具体来说,
BERT
首先从语料库中采
样X
A
,然后(1)从同一文档中获取下一个片
段
X
B
,或者(
2
)从语料库中的随机文档中采
样X
B
。这两个部分通过特殊的标记连接在一
起, 输入实例
[CLS]X
A
[SEP]X
B
[SEP]
,其中
[CLS]的预测目标是X
B
是否确实跟随X
A
(
连续
或
随机
)。
在这项工作中,我们将进一步将文档链接信
息纳入
LM
预训练。我们的方法(
§4
)将建立
在传销和
NSP
的基础上。
4
LinkBERT
我们提出了
LinkBERT
,一种自我监督的预训练
方法,旨在使用文档链接信息将更多的知识内
化到LM中。具体地说,如图2所示,
=
X
(
i
)
,我们将其视为文档的
图
=
(
,
),其中
=
(
X
(
i
)
,
X
(
j
)
)
表
示文档之间的链接(
§ 4.1
)。这些链接可
以是现有的超链接,也可以由其他
获取文档相关性的方法。然后我们考虑从文档
链接中学习的预训练任务(第4.2节):我们
通过将链接的文档放置在相同的上下文窗口中
来创建
LM
输入,除了单个文档或随机文档的
现有选项之外。我们使用MLM任务来学习由
文档链接在上下文中聚集的概念,并且我们还
引入文档关系预测(
DRP
)任务来学习文档之
间的关系。最后,我们讨论了获取链接文档的
信 息 对 以 提 供 给 LM 预 训 练 的 策 略 ( 第 4.3
节)。
4.1
文档图
给定一个预训练语料库,我们链接相关的文
档,以便链接可以将单个文档中不可用的知识
汇集在一起我们专注
在预训练步骤中的监督任务,并按照-
形成微调步骤中的下游任务我们
2
段通常是一个句子或一个段落。
剩余14页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 新型矿用本安直流稳压电源设计:双重保护电路
- 煤矿掘进工作面安全因素研究:结构方程模型
- 利用同位素位移探测原子内部新型力
- 钻锚机钻臂动力学仿真分析与优化
- 钻孔成像技术在巷道松动圈检测与支护设计中的应用
- 极化与非极化ep碰撞中J/ψ的Sivers与cos2φ效应:理论分析与COMPASS验证
- 新疆矿区1200m深孔钻探关键技术与实践
- 建筑行业事故预防:综合动态事故致因理论的应用
- 北斗卫星监测系统在电网塔形实时监控中的应用
- 煤层气羽状水平井数值模拟:交替隐式算法的应用
- 开放字符串T对偶与双空间坐标变换
- 煤矿瓦斯抽采半径测定新方法——瓦斯储量法
- 大倾角大采高工作面设备稳定与安全控制关键技术
- 超标违规背景下的热波动影响分析
- 中国煤矿选煤设计进展与挑战:历史、现状与未来发展
- 反演技术与RBF神经网络在移动机器人控制中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)