预训练模型揭示语言隐喻：跨数据集与语言的编码洞察

预训练语言模型（PLMs）作为当今自然语言处理（NLP）领域的基石，已经在众多应用中展现出强大的表现，包括机器翻译、问答系统、对话管理和情感分析。然而，尽管它们在处理大量文本数据中展现出惊人的能力，但关于它们是否以及如何编码和处理隐喻这一关键的人类思维特征，仍存在研究空白。 隐喻是语言中的核心元素，通过概念隐喻理论（CMT），隐喻被视为认知过程，它在不同概念间建立了非字面的关联。这种关联对于人类理解和创新至关重要，因此在构建能够模仿人类思考的计算系统时，捕捉隐喻至关重要。然而，现有的PLMs是否能有效地捕捉并编码这些隐喻信息，尚未得到充分探究。 本文的主要目标是探索预训练语言模型中隐喻的编码情况，特别是在跨语言和跨文化背景下。研究者选择了英语、西班牙语、俄语和波斯语这四种语言的数据集，通过设计实验来测量PLMs在处理隐喻时的表征能力。实验结果显示，PLMs确实包含了隐喻性知识，尤其是在它们的中间层中，这暗示了模型可能在学习过程中捕捉到了抽象的语义关联。 研究发现，隐喻知识在不同语言和数据集之间具有一定的迁移性，尤其是当训练和测试数据集的注释保持一致时，这种迁移更为显著。这一发现对于认知科学和NLP社区来说，意味着PLMs可能在某种程度上捕捉到了人类认知的共通性，有助于开发更加智能和灵活的NLP系统。 然而，这项工作的局限性在于，它并未深入剖析模型内部的具体机制，也没有提供如何优化模型以更好地捕捉隐喻的指导。未来的研究可能会进一步探讨模型如何处理复杂的隐喻结构，以及如何结合人类语言学理论来改进模型的隐喻理解和生成能力。 总结来说，预训练语言模型中的隐喻探测与概括研究为我们揭示了模型在处理隐喻方面的潜在能力，为理解模型的内部工作原理和提升NLP系统的隐喻理解水平提供了有价值的方向。