LinkBERT：利用文档链接提升预训练语言模型性能

LinkBERT是一种创新的预训练语言模型，由斯坦福大学的Yasunaga Jure Leskovec等人提出，旨在解决现有预训练方法如BERT在处理跨文档依赖和捕捉知识上的局限性。传统方法主要针对单个文档进行建模，而LinkBERT则是通过引入文档链接，如超链接和引用链接，将文本语料库构建成文档图的形式。这种方法的核心在于，它不仅对单个文档中的内容进行理解，还关注文档之间的联系，强化了模型对整体语境的把握。 在预训练过程中，LinkBERT采用了两个联合自监督目标：掩码语言建模（Masked Language Modeling，MLM）和新的文档关系预测（Document Relation Prediction，DRP）。MLM保留部分词并让模型预测缺失的部分，有助于模型学习词汇的上下文含义；而DRP则要求模型理解链接文档之间的关系，这有助于提高模型对跨文档知识的理解和迁移能力。 实验结果显示，LinkBERT在两个不同领域的下游任务中表现出色：一是使用超链接的通用领域（如维基百科），二是专注于生物医学领域，利用PubMed上的引用链接进行预训练。特别地，LinkBERT在多跳推理和少量问答等需要深度理解的任务中展现出优势，这表明其在处理复杂信息流和长距离依赖方面具有显著优势。 为了便于其他研究者进一步探索和应用，LinkBERT团队提供了预训练模型（LinkBERT和BioLinkBERT）、相关代码和数据。LinkBERT的出现推动了预训练语言模型向着更全面、更深层次的知识理解和跨文档关联学习的方向发展，为NLP领域的多项任务带来了新的可能性。