预训练模型在结构化图表生成中的对比学习提升

本研究论文关注的是预训练语言模型（Pre-trained Language Models, PLMs）在生成结构化图表，特别是解释图（Explanatory Graphs）方面的能力及其在对比学习框架下的应用。PLMs，如BART和T5，已经在自然语言处理任务中展示了显著的成功，但在处理结构化的图输出时，它们的表现却相对较少被深入分析。 传统的自然语言生成侧重于文本，而图的结构和语义特性使其更具挑战性。图需要保持连通性和无环，同时表达节点间的关系，这与句子的线性结构不同。论文指出，预训练的PLMs在生成解释图时，往往不能满足这些结构约束，或者在语义上存在不一致性，比如在图1中的例子中，T5生成的图未能正确表示信念和论据之间的关系。 为了克服这些问题，研究者提出了一个解决策略，即通过有限监督下的节点和边编辑，生成结构和语义上的正负扰动图，用于训练对比学习模型。Max-Margin和InfoNCE等损失函数被用来优化模型在生成图的结构一致性和语义准确性方面的表现。这种方法在实验中表现出显著的改进，不仅提高了解释图的生成质量，还扩展到了其他图形生成任务。 此外，研究者还发现，人为错误是对比学习中的一个重要负面因素。通过让模型自动生成更像人类错误的负样本，进一步提升了模型的性能，这表明了在正负样本的平衡中，引入更真实的错误信息有助于模型学习更准确的生成规则。 这项工作揭示了预训练语言模型在生成结构化图表上的局限性，并提供了一种有效的解决方案，通过对比学习强化模型对结构和语义的理解，从而提升生成解释图的质量。这对于理解和改进PLMs在复杂图形生成任务中的表现具有重要意义。