预训练语言模型的多阶段提示方法提高机器翻译性能

+v：mala2277获取更多论文MSP：使预训练语言模型成为更好的翻译器的谭志兴1，3，4，张祥文6，王硕1，3，4，刘洋1，2，3，4，51清华大学计算机科学与技术系2清华大学人工智能产业研究院北京3清华大学人工智能研究院北京4北京国家信息科学技术研究中心5清华大学国际创新中心上海6快手科技股份有限公司摘要最近已经证明，预训练语言模型是一种很有前途的方法，可以应用于执行下游任务。我们提出了Multi-Stage Prompting，一种简单而自动的方法，用于利用预训练的语言模型来翻译任务。为了更好地减轻预训练和翻译之间的差异，MSP将通过预训练语言模型的在每个阶段，我们独立地应用不同的连续提示，以允许预训练的语言模型更好地转换到翻译任务。我们对三个翻译任务进行了广泛的实验。实验表明，该方法能显著提高预训练语言模型的翻译性能。11介绍脱乙酰化（Brown et al. ，2020; Lester et al. ，2021），其是指通过对额外信息（称为提示）进行调节来从语言模型（LM）生成任务特定输出的方法，已经成为使用LM来执行自然语言处理（NLP）任务的新方式（Gao et al. ，2020; Liu et al. ，2021年）。虽然在参数方面是有效的（Lester et al. ，2021），提示可以实现混合任务推理，这对于其他相关方法（如微调或基于适配器的调整）是不可能的（Li和Liang，2021; Lester et al. ，2021年）。训练还打开了使用单个预先训练的LM来执行所有NLP任务的可能性（Liu et al. ，2021年）。机器翻译（MT）涉及两种语言之间的转换，被认为是自然语言处理（Koehn对应于：Z。Tan（zxtan@tsinghua.edu.cn）和 Knowles ， 2017 ） 。 而 神 经 机 器 翻 译（NMT）（Sutskever et al. ，2014; Bahdanau等人，2015; Vaswani et al. ，2017）是当前机器翻译的事实上的方法，通过提示使用预先训练的LM作为翻译器在几个方面都很重要。例如，对于本文中描述的方法，用预先训练的LM支持新的翻译方向占用低于20 M的磁盘空间，这比训练单独的神经机器翻译模型小得多，其中对于Transformer架构，模型大小通常大于2此外，预训练的LM还保留了执行其他下游任务的能力，这是一个重要的特征，尚未在神经机器翻译模型上得到验证然而，通过提示将预先训练的LM用于翻译任务具有挑战性首先，为翻译任务找到合适的提示并不是微不足道的，需要特定的设计（Brownet al. ，2020; Gao et al. ，2020; Li andLiang，2021; Lester et al. ，2021年）。其次，具有单个提示的提示方法对于引导预先训练的LM到翻译任务可能是次优的翻译有严格的语义对等和语言空间限制，源句必须在目的语空间中转换成语义对等的句子。由于预训练的目标通常是重建输入句子的部分（Radford etal. ，2018; Devlin et al. ，2019），基于源句子的预训练LM条件的生成将可能在具有非等效语义的源语言空间因此，使用单个提示来引导LM以减轻语义和语言差距可能是次优的。第三，普遍和Y. Liu（liuyang2011@tsinghua.edu.cn）1源 代码 是 可在www.example.com上https://github.com/2假设使用transformer-base设置和vocab-THUNLP-MT/PLM4MT.大小为32K。arXiv：2110.06609v2 [cs.CL] 2022年3月+v：mala2277获取更多论文提示X1X2X3P输入x1X2X3提示龙普特y1y2y3<联系我们y1y2y3y1y2y3<联系我们输入x1X2X3y1y2 y3提示mGPTmGPTmGPTmGPT职位1 2 3 4 5 6 7(a) MT的基本（单阶段）提示位置1 2 3 1 2 3 1 2 3 4(b) 多级提示。图1：使用提示将多语言GPT（mGPT）模型引导到机器翻译任务的概述请注意，为了便于实现，我们在多阶段提示中的每个阶段都重置了位置id。所有阶段使用相同的mGPT模型。诸 如 GPT 的 生 成 LM 使 用 仅 解 码 器 架 构（Radford et al. ，2018），其是单向的并且对于编码源句子可能是次优的（Devlin et al. ，2019）。虽然recent在提示中起作用，如前缀调谐（Li和Liang，2021）或提示调谐（Lesteret al. ，2021）通过引入可重复的连续提示来缓解第一个挑战，后两个挑战仍有待解决。在 本 文 中 ， 我 们 提 出 了 多 阶 段 翻 译（MSP），以解决将预训练的语言模型引导到翻译任务中的挑战。MSP封装了将翻译任务分解为更简单的连续阶段的想法，允许预先训练的LM通过在不同阶段提供不同的提示来学习“更平滑的转换”到翻译任务。对于GPT风格的预训练LM，我们设计了一个三阶段的提示方案来建模翻译过程，包括编码阶段，重新编码阶段和解码阶段。具体地，预先训练的LM专注于在编码阶段学习源表示，并且通过在重新编码阶段重新编码源句子来学习细化的双向表示。因此，LM可以在解码阶段产生具有细化的源表示的更好的翻译在前缀调谐（Li和Liang，2021）和即时调谐（Lester et al. ，2021），我们在不同阶段使用独立的可训练连续提示，其通过反向传播学习。基本（单阶段）提示和多阶段提示之间的差异如图1所示。我们证明了我们的方法的有效性与多语言GPT（mGPT）模型对罗马尼亚语-英语，英语-德语，英语-汉语翻译任务。实验证明，与即时调优或前缀调优相比，MSP能显著提高译文的质量。预先训练的LM的数量。我们的方法通过提示调整和前缀调整分别将预训练语言模型的翻译性能提高了18.6和4.1个BLEU点，表明MSP是一种更有效的翻译任务提示方法。2背景2.1促使调度是一种使用LM执行下游任务的方法，方法是在LM生成期间为LM添加额外的信息以进行调节（Lester et al. ，2021年）。这个额外的信息，也被称为提示，在提示方法中起着重要的作用，并且经常被预先添加到LM的输入中，以便更好地根据提示形式的不同，提示方式可分为文字提示和连续提示两大类。文本提示通常由自然语言标记组成作为文本提示的代表性方法，Brown等人（2020）使用手动设计的提示来引导GPT-3GPT-3中使用的典型提示符由任务描述和一些特定于任务的示例 组 成 。 Gaoet al. （ 2020 ） 和 Shin et al.（2020）提出了不同的自动方法来生成文本提示。文本提示通常是人类可以理解的。然而，Shin等人（2020）指出，自动生成的文本提示可能缺乏可解释性。连续提示语是由一系列连续向量组成的，近年 来越 来 越受 到 例如 ， 在（Li andLiang ，2021）中，连续提示由一系列键值对（也称为前缀）组成。Lester等人（2021）提出了一种简化版本的连续提示，它由虚拟+v：mala2277获取更多论文p（e）1p（e）2|∈∈∈≤ ≤||·（一）（一）|exp（e T · g t）|exp(eT ·gt)只添加到嵌入层的令牌与文本提示相比，使用连续提示通常更强大，但解释性较差（Lesteret al. ，2021年）。2.2mGPT在本文中，我们使用GPT（Radford et al. ，2018，2019; Brown et al. ，2020年）作为机器翻译任务的骨干LM。GPT是基于Transformer架构的一系列因果语言模型（Vaswani et al. ，2017年）。为了更好地适应涉及多种语言的翻译任务，我们引入了多语言GPT（mGPT）模型，而不是使用标准的GPT-2模型。3mGPT和GPT-2的主要区别在于训练数据。在mC4数据集上训练mGPT（Xue et al. ，2021年），这是一个多语言的p1（i+1）p2（i+1）X1（i+1）X2（i+1）（i+1）X3p1（一）p2（一）X1（一）X2（一）X3（一）提示输入图2：在所有注意力层中的输入前添加了一个深度连续提示，这会影响所有注意力层的计算。为了简单起见，我们在这里不区分键和值。最后，条件概率P（ztz

下载后可阅读完整内容，剩余1页未读，立即下载