提升预训练模型实体表示：PELT——简单有效的实体查找表方法

"这篇ACL'22的论文探讨了如何改进预训练模型对实体的表示能力，提出了一个名为PELT（Pluggable Entity Lookup Table）的轻量级方法，无需依赖外部知识图谱，而是利用预训练模型自身的知识存储。论文作者来自清华大学刘知远老师的研究团队。" 在预训练模型领域，一个普遍存在的问题是模型对于特定实体的表示能力较弱，这限制了它们在需要实体知识的下游任务中的性能。传统的解决方案包括在特定领域数据上进行进一步的预训练（如BioBERT）或直接整合知识图谱（如ERNIE）。然而，这些方法要么需要大量额外的训练时间，要么过于复杂。 PELT提供了一个简单且有效的方法来增强预训练模型的实体知识表示。核心思想是创建一个实体嵌入表，这个表包含了预训练模型中实体的相关知识。当处理下游任务时，只需在输入序列中相应实体的位置插入对应的实体嵌入，就能引入所需知识。 实现这个方法的关键步骤是构建高质量的实体嵌入。论文中提到，通过分析预训练模型的隐藏状态，可以提取出与实体相关的表示。这样，每个实体都有了一个与之关联的向量表示，这些向量能够在保留实体知识的同时，与预训练模型的语境信息融合。 在实际应用中，当处理带有实体的输入序列时，PELT首先识别出序列中的实体，然后将这些实体替换为对应的实体嵌入。这允许预训练模型在保持原有结构和参数不变的情况下，利用实体嵌入来增强对实体的理解。 论文还从理论上分析了这种方法的合理性，指出预训练模型已经在大规模文本中学习到了丰富的知识，PELT的作用是激活和利用这些内在知识，而不是从外部引入新的信息。这种方法的优势在于它的可插拔性，即可以轻松地集成到各种预训练模型中，而不需要大规模的重新训练。 代码已经开源，可在GitHub上找到（https://github.com/thunlp/PELT），这为研究者和开发者提供了实验和应用PELT的便利。 PELT为解决预训练模型在实体理解上的局限提供了一个创新的解决方案，通过巧妙地利用模型内部的表示，实现了在不增加复杂性和计算成本的前提下，提升模型的实体知识表示能力。这对于那些依赖实体知识的自然语言处理任务，如问答、信息检索和文本推理等，具有重要的实践意义。