华为诺亚方舟实验室：GPT驱动的乐府诗词与对联创作

本研究论文《8-4乐府：预训练语言模型在诗词对联生成中的应用》由华为诺亚方舟实验室的廖亿撰写，主要探讨了大规模预训练语言模型（如GPT）在创作中国传统诗词，特别是对联方面的应用。中文诗歌，尤其是对联，有着严格的格律、平仄和押韵要求，这为模型的生成带来了挑战。传统的生成模型往往受限于这些规则，而GPT系列由于其强大的文本生成能力，能够突破这些限制。 论文首先介绍了中文诗歌对联生成的背景，强调了其格式规范的重要性。GPT作为OpenAI开发的预训练模型，其在大规模中文语料上的预训练使得它具备了生成符合中文诗歌特征的能力。训练过程中，作者使用了30GB的中文文本，构建了一个单向Transformer模型，参数量达到了1.1亿个。 训练流程分为两步：第一步是预训练中文GPT模型，通过大量语料库学习语言的普遍规律；第二步则是利用小规模的古诗词数据进行微调，以便更好地适应诗词的特定风格和格式。具体到五言绝句的“静夜思”例子中，展示了如何将格式、主题等信息转化为模型输入，生成符合要求的诗歌。 论文指出，GPT在诗词生成方面表现出色，不仅能遵循格律和押韵，还能展现出丰富的多样性，甚至在深层的艺术表达上有时能超越人类创作者。生成的诗歌质量高，且能以假乱真，使得识别真伪变得困难。研究还展示了乐府作诗机的成功应用，生成的四首诗歌中有三首实际上是机器生成，表明模型在模拟古人的创作风格上取得了显著成果。 这项研究展示了预训练语言模型在诗词对联生成中的巨大潜力，为自动文学创作提供了新的可能性，并对未来的自然语言生成技术产生了深远影响。