混合对话系统：聊天与任务的统一

+v：mala2277获取更多论文金钱能买到幸福吗？我没多少钱...--UniDS：一个面向聊天和任务的统一对话系统赵新燕1，何斌2，王亚生2，李一彤2，米飞2，刘雅娇2，姜欣2，刘群2，陈欢欢11中国科学技术大学2华为诺亚sa516458@mail.ustc.edu.cn，hebin.nlp，wangyasheng，liyitong3，mifei2，yajiao.liu，Jiang.Xin，qun. huawei.com，hchen@ustc.edu.cn摘要随着深度学习的发展，聊天对话系统和面向任务的对话系统取得了巨大的进步然而，在当前的方法中，这两个系统通常是为了实现与人类更自然的交互，对话代理需要能够聊天和完成任务。为此，我们提出了一个统一的对话系统（UniDS）与上述两个技能。特别是，我们设计了一个统一的数据模式，兼容聊天和面向任务的对话，我们训练UniDS与混合对话数据从一个预先训练的聊天对话模型。无需向SOTA基线添加额外的参数，UniDS可以在统一的框架中交替处理聊天和面向任务的对话。实验结果表明，UniDS的性能与纯聊天系统相当，优于目前最先进的面向任务的更重要的是，UniDS实现了更好的鲁棒性，因为它能够在两种类型的对话之间平滑切换。这些结果表明，建立一个对所有的对话系统的可行性和1介绍对话系统是实现智能用户交互的重要工具，是NLP等社区积极研究的对象。 当前对对话系统的研究集中在面 向 任 务 的 对 话 （ TOD ） 系 统 （ Hosseini-Asl et al.2020;Peng et al.2020;Yang，Li，and Quan2021），实现功能目标，以及旨在娱乐的聊天对话系统（Zhou etal.2018;Zhang et al.2020;Zhao et al. 2020;Roller等人2021年）。不同方法 分别为这两种类型的对话系统设计。然而，一个更适合人类的方式是有一个对话代理，能够处理两个chit-chat和TOD在一个对话。如图1所示，用户可能具有面向通信的需求（例如，谈论金钱和幸福）和面向任务的需求（例如，酒店预订）。此外，对话系统的输入经常受到背景噪声的干扰，背景噪声例如是由前面的自动语音识别（ASR）模块收集因此，考虑闲聊能力也可以提高面向任务的对话系统的鲁棒性（Zhao et al. 2017年）。用户聊天型任务型那要看有多少了你花在这上面的钱。系统用户我也是系统我在找一个价格便宜的地方，用户在一个类型的酒店。好吧，你有什么特别想住的地方吗系统我想要一个在中心。用户...图1：用户在预订酒店之前有兴趣与对话系统聊天的示意图。为不同的任务创建一个统一的模型而不降低性能是具有挑战性的（Kaiser et al. 2017年）。一些作品试图通过 不同的专 家或适 配器来模 拟不同 的对话 技巧（Madotto等人，2020;Lin等人，2019）。2021年）。然而，这些方法增加了参数的数量，并且需要显式地选择对话技能。此外，这些作品缺乏对不同类型对话之间转换能力的探索。最近成功地将预训练的语言模型应用于面向任务的对 话 系 统 （ Hosseini-Asl 等 人 ， 2020;Peng 等 人 ，2020;Yang，Li和Quan2021）和聊天对话系统（Zhang等 人 ， 2019 ） 。 2020;Adiwardana et al.2020;Roller etal.2021;Bao et al. 2020），我们提出了一个基于预训练的对话系统（UniDS），以在一个统一的框架中处理聊天和TOD。具体地说，为了统一聊天和面向任务的对话，我们设计了（1）信念状态（2）数据库结果的表示，（3）系统行为的聊天对话，在面向任务的对话。有了这个统一的数据模式，我们混合了两种类型的对话，并在此基础上训练UniDSarXiv：2110.08032v1 [cs.CL] 2021年10+v：mala2277获取更多论文···−UniDS信念状态生成系统行为生成响应生成闲聊确实...买幸福？[chit]金钱幸福[db_nore][chit][chit_act]取决于马上去办。面向任务我是... 便宜的酒店。[酒店]价格便宜[db_2][酒店]. 区域好吧，你...呆在家里？对话历史信赖状态DB结果系统动作响应图2：统一对话系统（UniDS）的建议架构最 先 进 的 聊 天 对 话 系 统 （ DialoGPT （ Zhang etal.2020））。此外，我们发现，为了解决这个问题，我们建议利用加权交叉熵损失给予更多的关注，实体推荐行为。我们使用公共的面向任务的对话数据集MultiWOZ和从Reddit中提取的8k聊天数据集通过自动和人工评估来评估UniDSUniDS 实现 了与 最先进 的聊 天对话 系统（DialoGPT）相当的性能，并且优于最先进的TOD系统（UBAR; Yang，Li和Quan（2021））。此外，我们还实证表明，UniDS是更强大的噪音在面向任务的对话，和UniDS显示出一个理想的能力之间切换的两种类型的对话。这项工作的贡献概述如下：• 据我们所知，这是第一个工作提出了一个统一的对话系统，共同处理聊天和面向任务的对话，在一个端到端的方式。• 我们设计了一个统一的对话数据模式的TOD和聊天，允许对话系统的训练和推理，以统一的方式进行。• 大量的实证结果表明，UniDS的性能优于最先进的聊天对话系统，并优于最先进的TOD系统。此外，UniDS实现了更好的鲁棒性对话噪音和更好的两种类型的对话之间的可切换性。2相关工作随着大规模语言模型的发展，聊天对话系统取得了显著 的 成 功 。 基 于 GPT-2 （ Radford et al.2019 ） 、DialoGPT（Zhang et al. 2020年）在Reddit上提取的大规模对话上进行了进一步培训。DialoGPT可以生成比以前的方法更相关、更有内容和更流畅的响应后来，提出了更大的基于预训练LM的聊天对话系统（Adi-wardanaet al.2020;Bao et al.2020;Roller et al.2021），并实现了更好的性能。在面向任务的对话系统领域，最近的研究（Hosseini-Asletal.2020;Pengetal.2020;Yang，Li，and Quan2021）将对话中的元素连接到一个序列中，并利用预训练LM以端到端的方式生成信念状态，系统有 几 个 作 品 与 统 一 的 对 话 系 统 有 关 。 Zhao 等 人（2017）将一轮聊天对话插入到面向任务的对话中，以训练具有更好域外恢复能力的模型注意力超过参数（AoP）（Madotto等人，2020年）利用不同的解码器用于不同的对话技能（例如，酒店预订、餐厅预订、单据）。然而，AoP的性能可以得到改善，并且与处理单一 类型对话 的模型相 比，它 大大增加 了参数。ACCENTOR（Sunet al.2021）在面向任务的响应的开始或结束时添加闲聊话语，以使对话更具吸引力，但ACCENTOR无法与用户进行闲聊与上述工作不同，UniDS不向现有对话模型添加额外的参数，并且UniDS可以以无缝的方式交替处理闲聊和面向任务的对话。3统一对话系统我们制定UniDS作为一个自回归（AR）的语言模型和对话响应任务建模为序列生成任务。在回合t的对话会话具有以下组成部分：用户输入Ut、信念状态Bt、数据库搜索结果Dt、系统动作At和响应Rt。每个组件由来自固定词汇表的标记组成对于回合t，对话上下文Ct是先前对话的所有分量以及回合t处的用户输入的级联：Ct=[U0，B0，D0，A0，R0，，Rt1，Ut].给定对话上下文Ct，UniDS首先生成be-+v：mala2277获取更多论文你花在这上面。⊕ΣΣ统一对话数据模式闲聊示例面向任务的示例用户输入令牌化话语金钱能买到幸福吗？我在找便宜的饭店。信念状态[领域]槽值[票]钱幸福[旅馆]价格便宜一个标记表示候选实体[db nore][db 2]行动[域][行动]槽[单据][单据行动][旅馆] [请求]区响应令牌化话语取决于多少钱您有特别想住的地方吗？表1：统一对话数据模式（斜体标记是可选的）和示例。生存状态Bt：Bt= UniDS（Ct），（1）制度法 系统行为表示为”时间并使用它来搜索数据库以得到搜索结果Dt。然后，UniDS通过用Bt和Dt扩展Ct来生成以更新的上下文为条件的系统动作At：At=UniDS（Ct[Bt，Dt]），（2）其中是串联运算符。最后，生成系统响应Rt，条件是所有先前分量的级联：Rt= UniDS（Ct[Bt，Dt，At]）.（三）所提出的统一对话系统（UniDS）的概述如图2所示。在接下来的部分中，我们将介绍统一的数据模式，并给出UniDS的训练过程的细节。3.1统一对话数据模式在广泛采用的端到端TOD流水线中，对话会话由用户输入话语、表示用户意图的信念状态、数据库搜索结果 、 系 统 行 为 和 系 统 响 应 组 成 （ Young 等 人 ，2013;Yang，Li和Quan2021）。然而，由于聊天的多样性和人工注释的成本，大多数聊天对话系统不假设信念状 态 、 数 据 库 结 果 或 系 统 行 为 的 存 在 （ Baoet al.2020;Zhanget al. 2020年）。Chit-chat和TOD数据格式的不一致性阻碍了统一模型的实现为了解决这个问题，我们设计了一个数据模式的信念状态，表示数据库的结果，和系统的聊天行为表1通过示例说明了这种统一的数据模式。以下各节将详细解释每个组件。统一的信念状态以“[domain] slot value“的形式表示一个信念状态可以有几个域，每个域包含几个槽值对。对于聊天，槽是从用户话语Ut中提取的名词;值为空。DB结果我们使用特殊的标记来表示当前回合中信念状态约束下匹配实体的数量。对于聊天，我们使用令牌“[act]”表示系统需要执行的操作类型。在“domain-act”对之后，插槽是可选的。对于聊天，我们使用动作3.2UniDS的培训设置用于训练UniDS的数据是混合了聊天和TOD数据的对话集，这些数据由前面介绍的统一数据模式进行预处理以这种方式，在turnt处的针对TOD或闲聊的经处理的对话数据序列都可以表示为：Xt=[Ct，Bt，Dt，At，Rt]，（4）其中，Ct是对话上下文，Bt是置信状态，Dt是DB结果，At是系统动作，At是系统响应，Xt的长度是N。UniDS的训练目标是最大化以自回归方式计算的Xt中所有令牌的联合概率，如下所示：NL=−logP（xi|（

下载后可阅读完整内容，剩余1页未读，立即下载