能量模型新法：Mix&Match，实现可控文本生成

Mix and Match: 基于能量语言模型的可控文本生成新方法 在当前的自然语言处理领域，随着大容量自回归语言模型（如Transformer架构）在海量数据上展现出强大的文本生成能力，如何确保生成的文本不仅自然流畅，还能满足特定的全局属性和约束成为了一项关键挑战。传统的文本生成控制方法通常依赖于两种策略：一是对基础语言模型进行属性相关的微调，二是对模型的参数化特性进行限制，使其与基础自回归模型兼容。 然而，Fatemeh Sadat Mireshghallah, Kartik Goyal, 和 Taylor Berg-Kirkpatrick 提出了Mix and Match LM，这是一种创新的解决方案。这种方法不依赖于模型微调，而是利用预训练的黑盒模型作为能量源，用于指导文本生成过程。在Mix and Match LM中，控制属性如流畅性、特定风格或对特定情境的忠实度被看作是能量模型中的分量，通过线性组合形成一个综合的能量值。这个能量值被用作Metropolis-Hastings采样的依据，允许从基于能量的模型中采样出符合所需属性的文本。 Metropolis-Hastings算法在这里扮演了关键角色，它结合了上下文信息和全局属性特征，以确保生成的文本既能在上下文中保持连贯性，又能够体现所期望的属性。这种混合和匹配的方式避免了对黑盒模型进行深层次的调整，同时也避免了对模型形式的过度限制，从而保持了模型的灵活性和性能。 作者们通过一系列的实验验证了Mix and Match LM在多个受控文本生成任务以及基于风格的文本修订任务中的有效性。结果显示，这种方法在保持生成质量的同时，相比现有涉及额外训练、微调或对模型结构假设的限制性方法，具有显著的优势，特别是在减轻模型潜在偏见和生成有害内容方面表现突出。 Mix and Match LM代表了一种突破性的思路，它通过灵活地整合预训练模型和采样策略，为实现更加可控且富有全局属性的文本生成提供了一种高效且易于实施的框架。这无疑为文本生成领域的研究开辟了新的可能性，也为解决语言模型中的伦理和安全问题提供了有力支持。