预训练语言模型在实体匹配中的可解释性研究

"这篇论文探讨了预训练语言模型在实体匹配中的可解释性问题，提出了三种面向预训练语言模型的实体匹配技术的解释方法，并在真实数据集上进行了实验验证，提高了模型效果和决策解释能力。" 在当前的大数据时代，实体匹配是整合不同数据源的关键技术，它能识别出不同数据集中的记录是否对应于现实世界中的同一个实体。这项技术广泛应用于大数据集成、社交网络分析和网络语义数据管理等领域。预训练语言模型，如BERT，已经在自然语言处理和计算机视觉任务中取得了显著成就，并且在实体识别任务上也表现出优于传统方法的性能，吸引了研究者的广泛关注。 然而，预训练语言模型在实体匹配中存在一些挑战。首先是模型效果的不稳定性，这使得在大数据集成中的应用存在不确定性。其次是匹配结果的不可解释性，这限制了模型在需要理解决策依据的实际场景中的应用。传统的机器学习模型解释方法对预训练语言模型并不完全适用，因为它们通常不考虑模型的内在复杂性和独特结构。 针对这些问题，论文提出了以下三种模型解释方法： 1. 属性序反事实生成：针对序列化操作中关系数据属性顺序的敏感性，研究者为错分样本生成属性序反事实。通过利用数据集的元特征和属性相似度，他们能够揭示属性顺序变化如何影响模型的决策。 2. 属性关联性衡量与可视化：利用预训练语言模型的注意力机制权重来量化和可视化模型处理数据时各属性之间的关联性。这为理解模型如何关注和综合不同的属性提供了新的视角。 3. k近邻搜索增强可解释性：基于序列化后的句子向量，通过k近邻搜索技术找到与错分样本相似且具有高可解释性的样本。这种方法有助于提升低置信度预测的可解释性，增强模型的预测结果。 实验结果显示，这些增强方法在真实公开数据集上提高了模型的效果。特别是在属性序搜索空间中，达到了保真度上限的68.8%，这表明提出的解释方法能够提供关于预训练语言模型实体匹配决策的新洞察，如属性序反事实和属性关联理解。 关键词涵盖了实体匹配、预训练语言模型和可解释性，表明该研究专注于提高深度学习模型在实体匹配任务中的透明度和理解性，以促进其在实际应用中的可信度和可靠性。中图法分类号"TP18"表明这是计算机科学领域的研究，特别是与人工智能和模式识别相关的子领域。