强化对话生成中一致性：提升Seq2Seq模型生成质量

本文主要探讨了在对话生成任务中，如何改进序列到序列（Seq2Seq）模型的一致性问题。传统的Seq2Seq方法在单轮对话生成中表现出色，然而，它们常常倾向于生成缺乏特定含义的通用响应，这是由于这些模型在优化过程中主要依赖于Kullback-Leibler散度（KL divergence），这可能导致生成的概率较高但实际意义较低的响应被默认为较好的选择。 研究表明，Seq2Seq模型在不知道真正概率的情况下，无法有效区分概率高但真实概率低的情况。为了克服这一挑战，研究者借鉴了人类评价对话连贯性的直觉，即响应与后续信息的相似度与真实概率成正比。他们提出了一种强化学习策略，通过将连贯性分数作为奖励函数，鼓励模型生成具有更高真实概率而非仅高预测概率的响应。 作者们设计了三种一致性模型来实现这一目标：第一种是未学习的相似度函数，它直接衡量对话的前后文连贯性；第二种是预训练的语义匹配函数，利用预先训练的语言模型来评估响应的合理性；最后，他们还构建了一个端到端的双学习架构，该架构同时优化生成响应的质量和连贯性。 实验结果在中文微博数据集和英语字幕数据集上显示出，这些改进后的模型能够显著提高对话生成的精确性和意义性，无论是通过自动评估指标还是人工评估，都表现出了优于传统Seq2Seq模型的优势。这项研究为提升对话生成模型的连贯性和具体性提供了一种创新的方法，有助于生成更具交互性和自然性的对话内容。