开放域生成聊天机器人的低资源适应性和性能提升的研究进展

+v：mala2277获取更多论文开放域生成聊天机器人的低资源适应格雷森·格哈德-你呢？你好，阿南斯先生是吗？Srin iv饰Chappid i HoffmeisteApple Inc.布朗大学亚马逊摘要最近构建开放域聊天机器人的工作表明，增加模型大小可以提高性能（Adiwardanaet al. ，2020; Roller等人，2020）。另一方面，延迟和连接性考虑决定了设备上数字助 理 的 移 动 （ Verge ， 2021 ） 。 赋 予 像Siri、Alexa或Google Assistant这样的数字助理讨论几乎任何事情的能力导致需要减小聊天机器人模型大小，使得其适合用户的设备。我们证明了低参数模型在保持一般知识转换能力的同时，在特定领域中有所提高。此外，我们提出了一个通用的框架，占各种问题类型，跟踪参考整个多轮对话，并删除不一致和潜在的有毒反应。我们的框架在聊天和执行事务性任务之间无缝过渡，这最终将使与数字助理的互动更加人性化。我们使用自动（困惑）和人类（SSA-灵敏度和特异性平均值）评估指标在1个内部和4个公共基准数据集上评估我们的1介绍用于构建开放域聊天机器人的端到端神经方法的最新进展（Zhang et al. ，2020; Adiwardanaet al. ，2020; Roller等人，2020年）已经证明，使用重量级模型的大规模预训练结合仔细选择数据集进行微调以获得特定技能可以提供卓越的性能。然而，在这方面，？同等贡献。在Apple Inc.工作期间所做的工作图1：论文作者（左）与我们的LED聊天机器人框架（右）的对话示例。响应来自模型的管道：参考分 辨 率 ， 事 实 分 类 器 ， 主 观 响 应 生 成 器 ，ExtractNParaphrase，不一致性/毒性模块。对于一个模型以可靠的方式执行几个任务--例如对话状态跟踪或参考解析、响应生成、减轻有害响应、避免反过来的矛盾、以及避免由于缺乏知识而导致的不正确或“我不知道”的响应，还有很长的路要走。尽管进行了大量研究，但最近提出的方法的这些限制阻止了实际采用。此外，由于巨大的模型尺寸，这些方法在低资源环境中缺乏实际arXiv：2108.06329v1 [cs.CL] 2021年8月+v：mala2277获取更多论文图2：LED管道说明了多轮请求和响应生成的端到端处理。一 些 复 杂 的框 架 （ Serban et al. ， 2017;Worswick，2018; Zhou等人，2019）使用混合模板和对话管理器与基于规则的系统。这些复杂的框架通常有问题：产生的响应是模糊和通用的，并且它们缺乏可扩展性（Adiwar-danaetal. ，2020）。其他复杂的框架通过采用模块化设计将每个会话任务分配给特定组件来解决这个问题，这可以帮助提高对话系统的整体性能（Fang et al. ，2017; Yu et al. ，2019）。先前的工作已经表明，生成神经响应模型优于使用各种人类评估技术测量的基于模板的或混合响 应 生 成 方 法 （ Adiwardana et al. ， 2020;Roller等人，2020）。在这项工作中，我们提出了一个通用的，模块化的和轻量级的框架，融合了这两类方法所需的图1中显示了一个带有我们建议的框架的示例对话片段.我们的贡献如下：（1）证明了模块化框架中的轻量级响应生成模型与最近的模型（Adiwardana et al. ，2020; Roller等人，2020），其具有数十亿个参数;（2）提供证据表明，与陈述跟踪会话上下文扩展或使用潜在表示的先前方法相比，添加参考解析组件提高了针对多轮会话生成的响应的质量（Cervone et al. ，2019; Roller et al. ，2020年）;（3）提供一个通用的端到端的框架，可以处理客观（事实）和主观的问题。2轻量级娱乐域名聊天机器人Lightweight Entertainment Domain（LED）聊天机器人通过模型管道与用户交互。LED聊天机器人架构如图2所示。我们的流水线架构中的每个模块处理特定的会话任务，并将输出传递给下游模块进行进一步处理在下面的小节中，我们将介绍这些模块及其各自的任务和培训细节。2.1引用解析在多轮对话中，后续问题通常包含对前几轮对话中实体的暗示或明确引用。通过解析参考文献提供自包含问题可以提高语言理解系统的效率，这是很好的证明（Elgohary et al. ，2019;Anantha et al. ，2021年）。图3：引用解析的图示，其中通过添加实体类型（歌曲）来消除问题（Q）中的实体引用（粗体）的歧义（Skyfall歌曲vs Skyfall电影）。重写的问题（ R ） 是 后 续 问 题 的 独 立 版 本 ， 将 用 于 回 答（A），其中共同参考和省略号（粗体）都已解决。+v：mala2277获取更多论文对引用解析组件的输入以前的询问和回答。我 们 遵 循 CopyTrans-former 模 型 的 实 现（Anantha et al. ，2021年）。我们的参考分辨率模型由90M个参数组成。输入和输出的示例如图3所示。2.2事实分类器低延迟设置的目标之一是在设备上处理最大量的信息，并且仅在绝对需要时发送到服务器。这种设计方法通过避免不必要的往返服务器提供更快的响应。为了确定查询是否可以在设备上处理，重要的是预测查询是否需要来自外部知识源（诸如万维网）的信息。我们把需要一般知识和客观类型的问题我们将预测问题是否是事实的（主观的）设备上我们使用ALBERT（Lan et al. ，2020）作为我们的事实分类器。我们使用HuggingFace预训练的ALBERT1模型初始化事实分类器权重，并使用二进制标签进行训练，其中1表示事实问题，0表示主观问题。我们的事实分类器由11M个参数组成2.3主观反应生成我们的流水线的主观响应生成组件是具有常规Seq2Seq Transformer架构的90 M参数模型我们的工作使用Blender中讨论的优化设置，将对话的输入序列转换为输出响应（Roller et al. ，2020）。然而，有几个核心差异。我们的对话模型针对特定用例进行了微调：主观娱乐领域问题。此外，我们的模型已经在重写的输入上进行了训练（在管道的前一部分中给出了我们的参考解析器）。核心响应生成模型使用ParlAI2框架进行训练，这是一个专门为对话模型设计的平台 我们建立在Blender的90M生成模型的基础上，该模型包含在更广泛的ParlAI动物园中（Roller etal. ，2020）。的1https://github.com/facebookresearch/https://huggingface.co/albert-base-v2ParlAI这部分流水线的关键目标是保持一般领域的性能，同时在我们的目标领域：音乐和电影中进行改进。如第3节所述，我们的数据集包含人类重写的问题，其中照应参考被解决，我们使用重写的问题作为响应生成的输入。图四：使用所有五个数据集的主观反应生成模型的验证困惑：Wiki向导，ConvAI2，移情对话，混合技能谈话，以及我们的内部媒体数据集，以重写的问题作为输入。我们的实验使用了各种不同的技术，本节将介绍每个策略背后的方法为了了解我们的微调模型如何在外显和内隐输入上进行，我们对原始和重写的问题进行了所有试验（在比较每个问题之前）。测试借鉴了迁移学习和对话模型中的常见策略：比较冻结不同数量的层，保留原始数据集以及选择解码算法。图5：使用所有五个数据集的主观反应生成模型的验证损失：Wiki向导，ConvAI2，移情对话，混合技能谈话，以及我们的内部媒体数据集，以重写的问题作为输入。在所有的实验中，我们冻结了Blender架构的编码器我们比较了在整个解码器上训练和锁定其第一个解码器之间的结果。+v：mala2277获取更多论文四层。在单独的自动评估中，我们将仅使用内部媒体数据与简单地将其添加为第五个数据集进行对比。最后，我们看看波束搜索和Top-K解码算法对人类评估的相对影响。最佳运行的验证困惑和损失曲线分别如图4和图52.4ExtractN释义原则上，任何生成响应模块都注定会失败，当一个基于知识的问题被提出，如果响应模块没有访问事实信息。在我们的架构中，我们将事实问题路由到Extract- NParaphrase模块，该模块提取答案跨度并对相关文本进行释义，以生成自然和引人入胜的响应。图2中第1轮的响应路径说明了问题的处理过程ExtractNParaphrase包括三个阶段：（1）段落提取，（2）阅读理解，(3)释义 前两个步骤遵循Ananthaet al. 对于第三步，释义，我们从（韦斯顿等人）的细化步骤中获取动机。，2018）。我们使用BM 25来检索Top-K 段 落 ， 并 使 用 一 个 轻 量 级 的 基 于BERT的模型来提取答案跨度。从段落检索和答案广度提取获得的分数相结合，以产生最终的分数。文章检索和答案抽取模型由50M个参数 组 成 。 我 们 参 考 （ Anantha et al. ， 2021年），以了解更多详情。最后，我们训练了一个基于Transformer的句子释义模型，该模型由24 M个参数组成。释义标签作为内部媒体数据集的一部分提供，如第3节所述。2.5不一致性/毒性预测因子对话中的逻辑一致性和避免不必要或潜在的有毒反应是开发开放域聊天机器人时需要考虑的关键因素。当与聊天机器人交互时，人们期望连贯的响应，至少不会与聊天机器人在同一对话中的早期响应相冲突我们训练了一个分类器，它可以在给定会话上下文的情况下检测我们遵循（Nie et al. ，2020）使用DECODE 3数据集和内部介质3https://parl.ai/projects/矛盾/数 据 集 。 我 们 使 用 ALBERT（ Lan et al. ，2020）不一致性/毒性预测器的模型。3训练数据我们使用各种数据集进行针对不同任务的训练和在本节中，我们将描述每个数据集以及使用该数据集进行训练的相应模块。QReCC（Anantha et al. ，2021年）包含约81，000个会话回合。每一轮都包含一个可能有照应参考的问题，一个有参考解决的问题的重写版本，一个问题的答案跨度和一个相应的网络URL。QReCC数据用于训练参考解析、段落检索和答案广度提取模型。维基百科的向导（Dinan et al. ，2019 b）（魔兽世界）包含194，000个对话回合，分布在1，250个主题上。每次对话都是以深入讨论相关主题为基础的请注意，在我们的管道框架中，我们将客观问题引用到ExtractNPara短语组件，因此不需要主观响应尽管如此，魔兽世界数据集帮助我们的生成模型保持知识的广度，为主观输入提供相关的答案。ConvAI2基于PersonaChat的工作（Zhang etal. ， 2018; Dinan et al. ， 2019a ） ， 并 在NeurIPS 2018 ConvAI竞赛中使用。这个数据集由140，000个回合组成，收集者被赋予一个角色，并负责了解他们的对手。这有助于开放域代理提出问题，也许在我们的用例中更相关，以一种吸引人的方式做出响应。我们使用ConvAI2数据集来训练主观反应生成模型。移情对话（Rashkin et al. （ED）是一个拥有50，000个转弯的图书馆，其中一个扬声器扮演同情听众的角色。这些技能很好地转化为我们的需要，因为主观模型必须考虑到以前的对话历史，并试图将他们选择的反应与适当的语气相匹配。Blended Skill Talk（史密斯等），2020年）（BST）是前三个数据集的76，000回合编译：WoW，ConvAI2和ED。引导的人类说话者可以选择在每个个体上训练的模型的+v：mala2277获取更多论文vidual任务，它产生的数据可以教机器人何时应该使用某类响应DECODE（Nie et al. ，2020年）是一个对话数据集，由40，280个从人到人和人到机器人的矛盾对话组成。我们使用DECODE来训练基于ALBERT模型的不一致性/毒性检测器模型，以及我们的内部媒体数据集。内部媒体数据集由100，000个电影主题回合组成每一轮都包含一个自然的问题，没有明确提到正在讨论的电影，以及将这些引用转换为具体内容的重写问题答案跨度随着网络网址以及准短语的变化，这是自然和从事也提供。数据集是使用众包标注器收集的注释器的目标是模仿自然人类对话的流程，同时保持中立的角色。根据无争议、消除亵渎、中立、吸引人和简洁（上限为30个单词）的指南对回复进行了验证每个对话由10个回合组成，我们收集了10，000个对话。我们给出了说明，解释性地添加回指在后续轮。4评价方法和结果我们根据组件评估和端到端评估对评估指标进行分类。QReCC和DECODE数据集仅用于任务特定的模型训练，不用于建立聊天机器人的端到端指标：困惑度和敏感度和特异性平均值（SSA）。由于人类注释者有限，我们仅在我们的内部媒体数据集上建立人类评估度量SSA。我们在所有5个数据集上建立了自动评估指标，困惑度：WoW，ConvAI2，ED，BT和我们的内部媒体数据集。下面我们讨论用于评估我们的LED框架的内在（组件方面）和外在（端到端）指标4.1内禀型除了主观反应生成模型，LED中的所有其他组件都有自己的特定于任务的评估指标。对于在ExtractNParaphrase模块中使用查询重写和释义器的引用解析模型，我们表1：具有不同参数大小的Blender和LED聊天机器人框架的各种数据集之间的困惑度量的比较。数据集/模型搅拌机90M搅拌机2.7BLED无重写输入186MLED 与 重写输入276MWiki的向导17.7111.2310.279.75BST14.488.128.798.54ConvAI211.347.768.728.01ED11.819.8310.319.97内部媒体数据集33.5115.6218.4916.44使 用 ROUGE 、 USE 和 Recall@10 ， 如（Anantha et al. ，2021年）。对于事实分类器和不一致性/毒性预测器，我们使用F1作为评估 度 量 ， 分 别 获 得 0.94 和 0.61 对 于ExtractNParaphrase模块的段落检索，我们使用MRR和Recall@k;类似地，对于答案跨度提取，我们使用F1和精确匹配，如（Anantha et al. ，2021年）。对于主观反应生成模型，我们使用复杂度，这也是我们的外在指标。4.2外生的我们的聊天机器人框架使用困惑度作为自动评估的外在度量 虽然有许多评估指标可以用来衡量响应的质量（参见我们管道的其他组件 ） ， 但 困 惑 与 人 类 判 断 密 切 相 关（Adiwardana et al. ，2020）。我们建立在米娜的工作（Adiwar-dana et al. ，2020），提出了SSA，灵敏度和特异性平均值。我们使用SSA 作 为 人 类 评 估 的 另 一 个 外 在 指 标Adiwardana等人随后在众多最先进的聊天机器人中证明了困惑和SSA表1显示了Blender模型（90M和2.7B参数模型）和LED框架（有和没有参考分辨率）在所有5个数据集（1个内部媒体数据集和4个公共数据集）中的困惑度指标。表2显示了内部媒体数据集上Blender模型（90M和2.7B参数模型）和LED框架（有和没有参考分辨率）的SSA度量。5相关工作我们的工作遵循将开放域聊天机器人和交易型数字助理相结合的目标虽然我们的工作大致属于开放域生成聊天机器人的范畴，但由于模型及其相应任务的多样性，+v：mala2277获取更多论文表2：混合器和LED聊天机器人框架的SSA度量和模型参数的数量的比较-在内部媒体数据集上工作。型号/公制参数敏感性 特异性SSA搅拌机90M72.60 83.10 七十七点八五搅拌机2.7B80.42 92.70 八十六点五六LED186M78.28 89.12 八十三点七LED276M80.38 91.95 八十六点一七我们的工作还涵盖语言理解的多个关键领域，重点是低资源适应设计。 先前的工作（Zhanget al. ，2020; Adiwardana et al. ，2020; Roller等人，2020）已经表明，端到端神经方法（其中以生成方式产生响应）可以导致引人入胜的对话。然而，从这些方法得到的模型是巨大的-还表明，端到端生成聊天机器人经常生成不 一 致 的 响 应 （ Adiwardana et al. ， 2020;Roller等人，2020）。显然，需要一个额外的模块来纠正或至少检测这些不一致。一般来说，我们将一个特定的任务分配给一个模块，模块化可以导致对话系统的整体改进（Fang etal. ，2017; Yu et al. ，2019）。我们将模块化方法应用于开放域生成式聊天机器人，以减少参数总数，同时解决端到端神经方法中的一些缺点Blender（Roller et al. ，2020）显示当使用人类并排比较评估时响应生成的显著改善。我们采用Blender模型作为主观情况下核心响应生成功能我们遵循Blender的实验方法，使用多种解码算法以获得最佳的人类表现。然而，我们也不同于Blender首先，我们放置了一个更大的电磁场模型尺寸，以获得更好的设备上的兼容性。其次，我们考虑了更广泛的情况下，我们使用答案提取和par-phrasing准确地回答事实问题。最后，我们使用参考解析组件来跟 踪 对 话 状 态 ， 因 为 它 有 助 于 多 轮 对 话（Anantha et al. ，2021年），同时为我们的微调模型提供更广泛的训练数据（多轮对话，其中问题被重写或保存）。Meena（Adiwardana et al. ，2020）提出了一 种 新 的 度 量 ， 敏 感 性 和 特 异 性 平 均 值（SSA），其捕获类人多轮对话的关键元素。此外，他们还表明困惑是与人类判断相关的最佳自动度量。我们借用SSA来评估人类的表现。这对我们的用例是有好处的，在这个用例中，模型不仅需要逻辑地回答，而且还应该在对话的早期引用上下文。我们的工作和Meena之间的一个区别是我们不使用进化的trans-former层，尽管这可能是未来工作的基础。与Blender和Meena相比，我们的工作的一个不同之处在于我们遵循模块化的方法，而不是单一的参数重模型。6局限性和未来工作6.1限制尽管我们将参数的数量减少了90%并且实现了相当的性能，但是我们仍然注意到可能由不一致性/毒性分类器缓解的缺点。6.1.1一致性协议LED通常与用户一致，这可能导致用户感到不参与。图6中示出了这种对话的示例。图6：LED在大多数情况下与用户一致。6.1.2敏感问题LED以非中立的角色回应有争议的问题。这些是不一致性/毒性预测失败的情况图7中示出了这样的实例的示例。图7：LED以非中立的方式回应有争议的问题。+v：mala2277获取更多论文6.1.3可疑的建议LED向寻求建议的问题提供不必要或有问题的建议图8显示了一个不必要的财务建议的例子。图8：LED提供不必要或有问题的财务建议。6.2今后工作我们计划通过改进不一致性/毒性预测器来研究解决方案，以减轻第6.1节中注意到的不期望的模式，并研究我们框架中所有模块的公共嵌入层的可行性，以进一步减少参数的数量，同时最小化或不降低性能。此外，事务请求具有更强的用户反馈信号（例如，如果播放错误的电影，则用户将停止电影），这可以帮助了解对话是否成功。会话模型（即，自然语言理解）可以从用户反馈信号中学习。我们计划研究将这样的反馈信号，以提高任务完成率在一个会话。引用放大图片作者：Daniel Adiwardana，Minh-ThangLuong，David R.所以，杰米·霍尔，诺亚·菲德尔，罗马尔·托皮兰，子扬，阿朴夫·库尔什雷斯塔，高拉夫·内梅德，卢一峰，和阔克·V·勒。2020. 一 个 类 似 人 类 的 开 放 域 聊 天 机 器 人 。arXiv：2001.09977。Raviteja Anantha ， Svitlana Vakulenko ， ZhuchengTu ， Shayne Longpre ， Stephen Pulman ， andSrinivas Chappidi. 2021.开放域问题回答通过问题重写进行对话。在计算语言学协会北美分会2021年会议的开幕式上，第520-534页。Alessandra Cervone、Chandra Khatri、Rahul Goel、Behnam Hedayatnia、Anu Venkatesh、Dilek Hakkani-Tur和RaeferGabriel。2019年。大规模自然语言生成：开放领域问答的案例研究。第12届自然语言生成国际会议集。埃米莉·迪南，瓦尔瓦拉·洛加切娃，瓦伦丁·马莱克，亚历山大·米勒，库尔特·舒斯特，杰克·乌尔班内克，杜韦·基拉，阿瑟·斯拉姆，尤利安·塞尔班，Ryan Lowe 、 Shrimai Prabhumoye 、 Alan WBlack 、 Alexander Rudnicky 、 Jason Williams 、Joelle Pineau、Mikhail Burtsev和Jason Weston。2019年a。第二届对话智力挑战赛（convai2）。arXiv：1902.00098。艾米丽·迪南，斯蒂芬·罗尔，库尔特·舒斯特，安吉拉·范，迈克尔·奥利和杰森·韦斯顿。2019年b.维 基 百 科 的 奇 才 ： 知 识 驱 动 的 会 话 代 理 。arXiv：1811.01241。艾哈迈德·埃尔戈哈里，丹尼斯·佩斯科夫，乔丹·博伊德·格雷伯. 2019. 你能打开那个吗？学习根据上下文改写问题。在2019年自然语言处理经验方法会议和第9届自然语言处理国际中，第5920-5926页。方浩、程浩、伊丽莎白·克拉克、阿里尔·霍尔茨曼、马腾·萨普、马里·奥斯滕多夫、蔡业津和诺亚·A·史密斯。2017. 发声板ZhenzhongLan ， MingdaChen ， SebastianGoodman，Kevin Gimpel，Piyush Sharma，andRadu Soricut. 2020. Albert：一个用于语言表示的自我监督学习的Lite bert。arXiv：1909.11942。Yixin Nie ， Mary Williamson ， Mohit Bansal ，Douwe Kiela ， and Jason Weston. 2020. 我 喜 欢鱼，尤其是海豚：解决对话建模。Hannah Rashkin ， Eric Michael Smith ， MargaretLi，and Y-Lan Boureau.2019.走向移情开放域对话模型：一个新的基准和数据集。第57届计算语言学协会集，第5370Stephen Roller，Emily Dinan，Naman Goyal，DaJu，Mary Williamson，Yinhan Liu，Jing Xu，Myle Ott，Kurt Shuster，Eric M.史密斯，Y-LanBoureau和Jason Weston。2020. 构建开放域聊天机器人的食谱。arXiv：2004.13637。Iulian V. Serban ， Chinnadhurai Sankar ， MathieuGer- main ， Saizheng Zhang ， Zhouhan Lin ，Sandeep Sub- ramanian ， Taesup Kim ， MichaelPieper， Sarath Mesar ， Nan Rosemary Ke ， SaiRajeshwar，Alexan- dre de Brebisson，Jose M.R.Sotelo ， Dendi Suhubdy ， Vincent Michalski ，Alexandre Nguyen ， Joelle Pineau ， and YoongeBengio. 2017. 深 度 强 化 学 习 聊 天 机 器 人 。arXiv：1709.02349。埃里克·迈克尔·史密斯，玛丽·威廉姆森，库尔特·舒斯特，杰森·韦斯顿和Y-兰·布鲁。2020.你能把这一切放在一起：评估会话代理人在计算语言学协会第58届年会的会议记录中，第2021边缘。2021年苹果+v：mala2277获取更多论文Jason Weston ， Emily Dinan 和 Alexander H. 米 勒2018.优化和改进：改进了对话的序列生成模型。在2018 EMNLP研讨会SCAI的会议记录中：第 二 届面 向 搜 索 的对 话 AI国 际 研讨 会 978-1-948087-75-9。史蒂夫·沃斯维克。2018. Mitsuku赢得2018年罗布纳奖！Dian Yu，Michelle Cohn，Yi Mang Yang，Chun-Yen Chen ， Weiming Wen ， Jiaping Zhang ，Mingyang Zhou ， Kevin Jesse ， Austin Chau ，Antara Bhowmick ， Shreenath Iyer ， GirithejaSreenivasulu ， Sam David-son ， and AshwinBhandare and Zhou Yu.2019. Gunrock：一个用于复杂和引人入胜的长时间对话的社交机器人。在2019 EMNLP和第9届IJCNLP（系统演示）会议记录中，第79Saizheng Zhang ， Emily Dinan ， Jack Urbanek ，Arthur Szlam，Douwe Kiela，and Jason Weston.2018. 个性化对话代理：我有一只狗，你也有宠物吗？arXiv ：1801.07243v5。Yizhe Zhang，Siqi Sun，Michel Galley，Yen-ChunChen ， Chris Brockett ， Xiang Gao ， JianfengGao ， JingjingLiu ， andBillDolan.2020.Dialogpt：用于会话响应生成的大规模生成式预训练。在计算语言学协会第58届年会的会议记录中：系统演示。Li Zhou，Jianfeng Gao，Di Li，and Heung-YeungShum.2019. 移情型社交聊天机器人小冰的设计与实现。arXiv：1812.08989。