NeurIPS论文揭示AI说话结巴原因：自我强化效应与DITTO方法

在人工智能领域，尤其是自然语言处理（NLP）的最新进展中，研究人员关注到了一个普遍存在的问题：大规模预训练语言模型，如GPT-2和BART，生成文本时常常出现“结巴”现象，即重复生成相同的句子。这篇来自清华大学的研究团队在NeurIPS 2022年的论文《Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation》中深入探讨了这一问题。 论文核心观点指出，这种重复行为主要源于模型的贪心解码策略，即在生成文本时采取最可能的下一个词的选择，导致在寻找最优序列的过程中陷入循环。自强化效应（Self-Reinforcement Effect）被揭示为关键因素，即模型倾向于重复那些它自身已经生成过的相似句子，形成一种正反馈循环。 为了解决这个问题，作者提出了DITTO（Distributional Interpolation for Text Optimization）方法。DITTO旨在通过在训练阶段调整模型的分布，减少重复生成的概率。它引入了一种策略，能够在保持生成质量的同时，打破重复的循环。实验结果显示，无论是在greedy、top-p、top-k等不同的生成解码算法，还是在生成式摘要等任务中，DITTO都能够显著降低模型的重复率，使其生成的文本更加流畅和自然。 这篇论文不仅提供了对AI“结巴”现象的深入理解，还提供了一个实用的解决方案，对于提升语言模型的文本生成能力具有重要意义。随着研究的深入，未来有望看到更多针对此类问题的改进技术，使得AI的语言生成更为人性化，更好地服务于实际应用，如聊天机器人、文本创作等领域。