预训练语言模型在实体匹配中的可解释性研究

"预训练语言模型实体匹配的可解释性.pdf" 本文探讨了预训练语言模型在实体匹配中的应用及其可解释性问题。实体匹配是确定两个数据集中的记录是否代表同一个现实世界实体的关键技术，广泛应用于大数据集成、社交网络分析和网络语义数据管理等领域。预训练语言模型，如BERT，已经在自然语言处理和计算机视觉任务中展现出卓越性能，并在实体识别任务中超越了传统方法，但其在实体匹配上的应用存在不稳定性及结果不可解释性的问题，这给实际应用带来了挑战。 研究者以Ditto和JointBERT等基于BERT的实体匹配模型为例，提出了三种改进预训练语言模型实体匹配可解释性的方法： 1. 针对序列化操作中关系数据属性顺序的敏感性，研究者通过错分样本分析，利用数据集元特征和属性相似度生成属性序反事实，即改变属性顺序以观察模型预测的变化，从而理解模型对属性顺序的依赖程度。 2. 提出利用预训练语言模型的注意力机制权重来量化和可视化模型处理数据时的关联性，作为传统属性重要性评估的补充，帮助理解模型如何关注和整合不同属性信息。 3. 基于序列化后的句子向量，采用k近邻搜索技术找到与错分样本相似且具有高可解释性的样本，这些样本能帮助增强低置信度预测结果的理解，提升模型的解释性。 实验结果显示，这些增强方法不仅提高了模型的性能，还在属性序搜索空间中达到了保真度上限的68.8%，为预训练语言模型实体匹配的决策解释提供了新的视角，如属性序反事实和属性关联理解。 关键词：实体匹配；预训练语言模型；可解释性 中图法分类号：TP18 中文引用格式：梁峥，王宏志，戴加佳，邵心玥，丁小欧，穆添愉.预训练语言模型实体匹配的可解释性.软件学报,2023,34(3):1087–1108. 这些研究进展为理解和优化预训练语言模型在实体匹配中的行为提供了重要参考，有助于提高模型的稳定性和透明度，进一步推动其在实际应用中的可靠性。