PPTOD：统一即插即用任务导向对话系统的实验研究

+v：mala2277获取更多论文即插即用任务导向对话系统Yixuan SuXiang， XiaoLei Shu，Elman Mansimov，ArshitGupta，DengCai， XiaoYi-An Lai，YiZhang剑桥大学University of亚马逊AWS AI香港中文大学ys484@cam.ac.uk{leishu,mansimov,arshig,dengcai,yianl,yizhngn}@amazon.com摘要预先训练的语言模型最近已被证明有利于面向任务的对话（TOD）系统。尽管他们的成功，现有的方法往往制定这个任务作为一个cas-caded生成问题，这可能会导致错误积累在不同的子任务和更大的数据注释 开 销 。 在 这 项 研 究 中 ， 我 们 提 出 了PPTOD，一个统一的即插即用模型面向任务的对话。此外，我们引入了一种新的对话多任务预训练策略，允许模型从异构对话语料库中学习主要的TOD任务完成技能。我们在三个基准TOD任务上扩展测试我们的模型，包括端到端对话建模，对话状态跟踪和意图分类。实验结果表明，PPTOD在高资源和低资源场景下的所有评估任务上都达到了新的水平。此外，与以前的SOTA方法的比较表明，由PPTOD生成的响应是更fac-真正正确的和语义一致的判断，由人类注释1。1介绍面向任务的对话通常被分解为三个子任务：（1）用于跟踪用户的信念状态的对话状态跟踪（DST）;（2）用于决定采取哪个系统动作的对话策略学习（POL）;（3）用于生成对话响应的自然语言生成（NLG）（Younget al. ，2013）。传统方法（Smith和Hipp，1995;Young et al. ，2013）采用模块化流水线，其利用不同的专用模块来处理不同的子任务相比之下，最近的系统（Wenet al. ，2017; Eric etal. ，2017; Lei et al. ，2018; Shuet al. ，2019）将对话所需的所有功能集成到神经网络模型中。作者在亚马逊实习时所做的工作1我们的代码、模型和其他相关资源是公开的网址：https://github.com/awslabs/pptod随 着 预 训 练 语 言 模 型 （ PLM ） 的 进 步（Radford et al. ，2019; Devlin et al. ，2019;Raffel et al. ，2020年），已经提出了基于PLM的不同系统（Hosseini-Asl et al. ，2020; Lin等人，2020; Peng et al. ，2021; Liu et al. ，2021年）。尽管它们之间存在差异，但大多数现有方法将面向任务的对话制定为cas-caded生成问题，即模型只能通过前一个子任务的输出来解决 后 一 个 子 任 务 。 例 如 ， 为 了 生 成 响 应（NLG），模型必须依赖于先前子任务的输出（即，DST和POL）。虽然报道了令人印象深刻的结果（Hosseini-Aslet al. ，2020; Peng et al. ，2021年），我们确定了三个主要的限制，其系统设计的级联(1)首先，由于模型以顺序顺序解决所有子任务，因此从先前步骤累积的误差被传播到后面的步骤（Li et al. ，2017; Liu and Lane，2018）.（2）其次，训练数据必须为所有子任务进行注释。这样的注释需求显著地增加了数据策展开销。更重要的是，它排除了模型使用大量部分注释的现有数据（例如，数据仅用DST或NLG注释）。(3)第三，不同子任务的结果必须以级联顺序生成，这不可避免地增加了系统推理延迟。在这项研究中，我们提出了一种新的Plug-和-PlayT向定向（PPTOD）系统。图1描述了我们的方法的说明。如图所示，我们整合了不同的对话模块（例如，DST、POL和NLG）合并为一个统一的模型。受情境学习概念的启发（Brown et al. ，2020），为了引导模型解决不同的TOD子任务，我们将特定于任务的自然语言指令（称为提示）插入到对话上下文中作为模型输入。这样，不同子任务的生成是解耦的，导致模型的更大灵活性，这给我们带来至少两个优点：（1）由于不同子任务是arXiv：2109.14739v1[cs.CL]2021年9月+v：mala2277获取更多论文图1：概述：在对话多任务预训练阶段，我们使用四个与TOD相关的任务对模型进行预训练，包括自然语言理解（NLU），对话状态跟踪（DST），对话策略学习（POL）和自然语言生成（NLG）。对于每个任务，模型将对话上下文和任务特定提示作为输入，并学习生成相应的目标文本。我们的学习框架允许我们在不同的任务集合中使用部分注释的数据来训练模型。(best（彩色）单独地解决，模型可以从针对不同子任务被部 分 注 释 的 数 据 中 学 习 （ 例 如 ， DST 和NLG）。(2)不同子任务的输出并行生成，避免了错误累积问题，降低了系统推理延迟。受最近成功的对话语言模型预训练的启发（Zhang et al. ，2020c; Wu et al. ，2020; Penget al. ，2021年），我们提出了一个对话多任务预训练策略，装备我们的模型与主要的TOD任务完成技能。具体地，用T5初始化（Raffelet al. ，2020），我们在一组由部分注释数据组成的异构对话语料库上预训练我们的模型。为了建立预训练语料库，我们收集并组合了11个人写的多话轮对话语料库。所收集的数据集针对一些TOD相关任务进行了部分注释，包括自 然 语 言 理 解 （ NLU ） 、 对 话 状 态 跟 踪（DST）、对话策略学习（POL）和自然语言生成（NLG）。总的来说，预训练语料库包含超过80个领域的230万个话语当将预训练的PPTOD应用于新任务时，我们使用与预训练阶段相同的学习目标对其进行微调。我们评估PPTOD的基准范围广泛的TOD任务，包括端到端的对话建模，对话状态跟踪，和意图分类。与以前的国家的最先进的方法的比较表明，PPTOD实现更好的性能，在充分的培训和低资源设置的判断自动和人工评估。概括而言，我们的贡献是：• 一种新的模式，PPTOD，有效地杠杆-AGES预先训练的语言模型，用于任务导向的对话任务。• 一种新的对话多任务预训练策略，增强了模型• 对三个基准TOD任务进行了广泛的评估，报告了在全面培训和低资源环境下的最新成果• 深入分析进一步揭示了我们的模型设计和所提出的多任务预训练策略的融合。2相关工作面向任务的对话。任务型对话的目的是完成用户的目标。传统系统（Williams and Young，2007; Younget al. ，2013）采用流水线方法，其需要对话状态跟踪以理解用户的目标、对话策略学习以决定采取哪个系统动作、以及自然语言生成以生成对话响应。最近，为了简化建模工作，研究者已经将他们的注意力转移到构建解决TOD子任务的神经网络模型（Wen et al. ，2017; Eric et al. ，2017;Lei et al. ，2018; Liang et al. ，2020）。随着预训练语言模型（PLM）的进步，Budzianowski和Vulic '（2019）首次将GPT-2模型应用于NLG任务。Lin et al.（2020）and Yang et al.（2021）向前迈进了一步，并利用预先训练的语言模型来解决以预言信念状态的历史为条件的所有TOD基于GPT-2模型，Hosseini-Asl et al.+v：mala2277获取更多论文（2020）提出了一个级联模型SimpleTOD，它在不使用oracle信息的情况下解决了所有TOD子 任 务 为 了 提 高 系 统 的性 能 ， Peng et al.（2021）和Liu et al. （2021）在外部对话语料库上应用对话预训练。然而，这两种方法都需要针对所有TOD子任务对预训练数据进行完全注释（即，DST、POL和NLG），这极大地限制了他们可以使用的数据量。此外，Liu等人（2021）使用噪声通道模型取得了更好的结果，该模型需要两个额外的语言模型进行输出重新评分。与他们的方法不同，我们用一个统一的模型来处理面向任务的对话任务语言模型预训练。研究界已经见证了预训练方法在广泛的NLP任务中的显着进步，包括语言理解（Peters et al. ，2018; Devlin et al. ，2019; Liu et al. ，2019; Yanget al. ，2019）和文 本 生 成 （ Radford et al. ， 2019; Lewis etal. ，2020; Raffel et al. ，2020）。在对话领域，许多模型都是在Reddit等开放领域的对话数据上进行预训练的。基于GPT-2，转铁蛋白（Wolfet al. ，2019 b）在ConvAI-2比赛中取得了良好的成绩。作为GPT-2的另一延伸，Di-aloGPT（Zhang et al. ，2020 c）在 生 成 开 放 域 对 话 响 应 方 面 表 现 良 好 。ConveRT（Henderson et al. ，2020年）是一个语言模型与双编码器构建的响应选择的任务PLATO（Bao et al. ，2020）预训练具有用于响应生成任务的离散潜在变量结构的模型。Wu et al.（2020）采用BERT与TOD预训练，并在四个对话理解任务上取得了很好的补充数据的预培训。最近的工作（Phang etal. ，2018; Aghajanyan et al. ，2021）发现，对具有中间标记数据的任务的补充训练提高了GLUE自然语言理解基准上的微调模型的性能（Wang et al. ，2018）。我们的工作研究了一个类似的补充培训设置与中间标记的数据面向任务的对话系统。与以前的工作不同，我们使用一个单一的多任务模型的所有相关的子任务在面向任务的对话系统。3方法在本节中，我们首先讨论在建议的对话数据集数据注释输出多姆NLUDSTPolNLGMetaLWOZ×××C822，93247SNIPSC× × ×25，682 9CLINCC× × ×45，000 10ATISC× × ×10，772 1KVRET×C×C31，504 3WOZ×C×C15，248 1CamRest676×C×C10，976 1MSR-E2E×C C C 72，238 3车架×C C C 38，316 1TaskMaster×C C C 540，688 6模式引导×C C C 757，380 17表1：数据注释和话语数量的总结（Utter.）以及域（Dom.）对于所有预训练语料库。所有数据集都部分注释了一些与TOD相关的任务，包括自然语言理解（NLU）、对话状态跟踪（DST）、对话策略学习（POL）和自然语言生成（NLG）。多任务预训练。然后，我们介绍如何将预训练的PPTOD应用于新任务。3.1预训练数据集为了构建预训练语料库，我们收集了11个人类书写的多轮面向任务的词典语料库，包括MetaLWOZ （ Lee et al. ， 2019b ） 、 SNIPS（Coucke et al. ，2018），CLINC（Lar-Son等人，2019），ATIS（Amin，2019），KVRET（Ericet al. ，2017），WOZ（Mrkšic'et al. ， 2017 ） 、 MSR-E2E （ Li et al. ，2018 ） ，Frames （ El Asri et al. ，2017 ） ，TaskMaster（Byrne et al. ，2019）和图式引导（Rastogi et al. ，2020）。总的来说，在80个领域中有超过230万条话语。在表1中，我们提供了所有数据集2的数据注释和话语/域统计的细节。3.2对话多任务预训练受 以 前 工 作 的启发（ McCann et al. ， 2018;Keskar et al. ，2019; Raffel et al. ，2020）将多个NLP任务统一为一个通用格式，我们将所有我们考虑的与TOD相关的任务转换为相同的即插即用文本生成问题。为了指定目标任务，我们将特定于任务的提示插入对话上下文作为模型输入。图1描述了我们的方法的说明。在多任务预训练阶段，每个训练样本表示为：d= （ zt ， x ， y ） ，（1）其中t表示样本d，，zt+v：mala2277获取更多论文2更多数据集描述见附录A。+v：mala2277获取更多论文不D{}∼∼∼k=1Σ算法1：对话多任务预训练输入：数据集， =（zt，x，y）i|iD=|1;模型训练器，其将批量训练数据作为输入以优化模型参数，Θ;最大时期数，emax;对于时期e= 1，...，e max do2对数据集D进行混洗;3为B在D做4.使用一批训练数据B={（zt，x，y）k}训练训练器T|B|作为输入来PPTOD大号。这三个模型用T5-小、T5-基和T5-大模型初始化（Raf-fel et al. ，2020），其分别包含60M、 220M和770M参数。我们在我们收集的预训练语料库上对不同大小的模型进行了10个epoch的预训练。模型使用Adam优化器（Kingma和Ba，2015）进行训练，学习率为5e-5，批量大小为128。我们的实现是基于拥抱-56端部端使用L Θ优化模型（等式（2））。gingfaceLibrary（Wolf et al. ，2019 a）。输出：训练模型Θ是 特 定 于 任 务 的 提 示 语 ， 其 格 式 为 对 于NLU、DST、POL和NLG的任务，A分别被定义为“用户意图”、“信念状态”、“对话行为”和“系统响应”。X表示输入对话上下文，其是对话中所有先前话语（系统的和用户的）y表示目标输出文本。作为图1中呈现的示例，为了执行用户意图分类任务（即，自然语言理解（NLU）），则向模型馈送序列“将对话翻译成用户意图：[user] Tell me the weather forecast for Lecanto，Georgia”。 并被训练以生成用户意图标签文本“[get_weather]”。学习 该模型是用最大似然目标训练的。给定训练样本d=（zt，x，y），目标LΘ被定义为|y|LΘ=−logPΘ（yi|y 0.4）进行了比较。这表明，这种系统的流畅性在很大程度上是由来自预先训练的语言模型的先验语法知识保证的这表明未来的研究应该更多地关注对话系统的其他方面。6结论在本文中，我们提出了PPTOD，一个统一的模型，支持面向任务的对话理解和响应生成即插即用的方式。此外，我们引入了一个新的离散多任务预训练策略，以进一步增强我们的模型完成TOD相关任务的能力。在高资源和低资源环境下，对三个基准TOD任务进行了广泛的实验和分析。自动和人工评估表明，PPTOD在各种评估指标方面优于当前的SOTA系统+v：mala2277获取更多论文引用ArmenAghajanyan 、 AlfreitGupta 、 AkshatShrivastava 、 Xil