ACL'22论文揭示：prompt范式隐藏误导，顺序至关重要

在2022年ACL（Association for Computational Linguistics）会议上，一篇杰出论文《Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Learning Challenges》引起了广泛关注。该论文揭示了当前流行的in-context learning（基于上下文的学习）方法，即使用超大模型如GPT-3时遇到的一个关键问题——prompt（提示词）顺序对模型性能具有显著影响。传统的监督学习中，训练集的随机顺序对模型表现影响较小，但在in-context learning中，这个假设不再成立。 作者们观察到，不同的prompt序列可以导致模型性能在最先进的水平和随机猜测之间大幅波动，且这一现象不受模型规模或样本数量的影响。这意味着，找到最优的prompt顺序并非易事，因为它既依赖于特定任务的上下文安排，又缺乏明确的规律。为了应对这个问题，论文提出了一种新颖的解决方案： 1. 验证集选择的局限：试图利用验证集来优化prompt顺序，但这样做实际上违背了in-context学习的核心理念，即利用较少的标签数据进行学习。这种方法可能导致模型过度拟合，偏离真正的少样本学习目标。 2. 预测标签偏差分析：作者注意到，无效的prompt顺序会导致模型生成的标签分布与实际分布偏差较大，这成为识别问题prompt的一个线索。 3. 无标签数据生成与评估：为了克服这一挑战，作者提出通过预训练语言模型生成无标签数据，将其作为新的验证集。他们采用预测标签分布的熵值作为评估指标，以此来挑选出最能促进模型准确性的prompt顺序。 4. 实验结果：这项创新策略在11个文本分类任务上实现了13%的相对性能提升，显示出其在解决in-context learning中prompt顺序问题上的有效性。 这篇论文的重要性在于它揭示了一个重要的潜在问题，并提出了一个实用的方法来优化in-context学习过程，这对于依赖大规模模型进行少样本或无监督学习的领域具有深远影响。未来的研究可能会进一步探索如何更系统地理解和利用prompt的顺序以及如何设计更有效的策略来优化这一学习范式。