对话式人工智能领域研究成果分析及聊天机器人构建思维导图

沙特国王大学学报类人会话主体研究Satwinder Singha，Himanshu Beniwala，a旁遮普中央大学计算机科学与技术系，邮编：151401，印度阿提奇莱因福奥文章历史记录：2021年3月7日收到2021年10月31日接受2021年11月10日网上发售关键词：会话代理聊天机器人个人助理对话式AI自然语言处理A B S T R A C T对话式人工智能旨在使人机交互看起来和感觉更自然，并倾向于在接近人类的环境中进行交流。聊天机器人，也称为会话代理，通常分为两种用例：面向任务的机器人和社交朋友机器人。面向任务的机器人通常用于回答问题或解决基本查询等活动。此外，社交朋友机器人被设计成像人类一样进行交流，用户可以自由发言，机器人在保持对话氛围的同时有机地回答。本文分析了对话式人工智能领域的最新研究成果，研究了构建强大对话式代理的专有方法、现有框架或工具、评估指标和可用数据集。最后，创建一个包含聊天机器人的所有声明元素和质量的思维导图。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言88521.1.接近88531.2.现有的聊天机器人框架88531.3.学生寮88531.4.研究问题88532.相关工作。...................................................................................................................................................................................................................................................... 88543.数据集88614.评估指标88635.讨论和今后的工作竞争利益声明参考文献88641. 介绍对话式人工智能是指聊天机器人或虚拟代理等技术，可以帮助人们与计算机互动。用户问一个简单的问题，计算机智能地回答，*通讯作者。电 子 邮 件 地 址 ： satwinder. cup.edu.in （ S.Singh ） ， himanshubeni-wal015@gmail.com（H. Beniwal）。沙特国王大学负责同行审查制作和主办：Elsevier一个类似人类的反应，从而弥合了沟通的差距之间。会话人工智能是一个更广泛的功能集合，使机器能够检测和理解不同的人类语言。它解释用户的问题，选择合适的答案，并有机地回答。这种复杂的融合技术尚未实现，因为它以接近人类思维的理论概念为中心，其执行具有大量挑战的各种任务。其中一些用途包括具有常见问题功能的在线客户服务;招聘流程;具有可信响应的患者查询;以及Amazon Alexa，Siri和GoogleHome等小工具。例如，图1描绘了机器人（Google的Meena）可以与人类聊天的程度此外，机器人可以谈论人类的兴趣并作为普通朋友回复（Adiwardana等人，2020年）。此外，聊天机器人由一起工作的不同单元块组成https://doi.org/10.1016/j.jksuci.2021.10.0131319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comS. Singh和H. 贝尼瓦尔沙特国王大学学报8853Fig. 1. Google的Meena与人类对话。（Adiwardana等人， 2020年）。图2总结了在对话主体中发生的视觉形式的一般视图过程。（Peters，2018）会话代理使用自然语言处理（NLP）和其他AI技术来参与上下文讨论。首先，代理必须理解最终用户的上下文。自然语言理解（NLU）从用户的单词中获得见解该系统可以获取信息并回忆过去讨论的上下文。然后，代理必须使用NLP或机器学习从一组响应变量中选择正确的响应。随着时间的推移，反应变得更加多样化，准确性定期提高。最后，自然语言生成为用户自然和可理解地制定响应。 （Bansal等人，2021; Gao等人，2020; Ram等人， 2018年）。1.1. 方法聊天机器人可以根据其任务或所采用的方法进行分类一般用例中代理的简单分类可以分为：图二. 会话代理背后的一般视图。基于规则：这些机器人遵循一组预定的规则、输入模式和响应模式。然后利用启发式方法选择最可能的响应。这些进一步细分为两类：面向公司或行业的职责，如组织会议或检索数据;或面向支持的职责，根据消费者查询提供通用解决方案。由于规则集有限，功能经常受到限制，并且存在响应准确性低的危险，从而导致不愉快的用户体验。（Fernandes等人，2020; Hussain等人，2019; Agarwal和Wadhwa，2020）基于生成的：这种方法采用强大的NLP算法来理解查询的要点，收集意图，并在不需要人类参与的情况下做出反应此外，深度神经网络（DDN）需要大量数据进行训练。因为它们没有编程规则，并且基于生成更像人类的回复的数据模式，例如seq-to-seq模型，用户发现这些基于生成的机器人更友好，更容易使用。（ Yan ， 2018; Agarwal 等 人 ， 2021; Agarwal 和 Wadhwa ，2020）基于检索：传统的策略，其中基于正在进行的对话中的一些关键词从语料库中选择合适的响应。这些模型比基于生成的模型更易于开发和操作，并采用深度神经网络（NN），后者也用于基于生成的模型。（Suta等人，2020; Agarwal等人，2021;Agarwal和Wadhwa，2020）1.2. 现有的聊天机器人框架表1显示了一些现有的公开可用的聊天机器人框架，可以探索这些框架来测试会话机器人的能力。这些框架具有编程和非编码工具，可以根据技能和要求构建机器人。创建的机器人可以直接部署为API的功能，甚至可以部署在Facebook，Twitter和Twilio等社交平台1.3. 动机在过去的几年里，问题陈述或仅仅是对话式人工智能的动机已经上升激励对该领域做出贡献的关键点是：传统的聊天机器人交互是预先编程的，并按照脚本进行操作。此外，机器人的响应能力有限，因此需要引入复杂的经过训练的聊天机器人，人工干预最少。（Gao等人，2020; Yan，2018）当一个单词可能有两个或不同的含义时，例如，“Pool”，它可能会被认为是游泳池，有时也会被认为是打台球的桌子。对于代理人来说，每一个字都需要很好地理解，对基准测试结果没有歧义。（Abu Ali和Habash，2016）语言通常依赖于传统领域，如形态学，句法，语义学，语用学和音位学。因此，NLP是一个具有挑战性的问题来解决。（Abu Ali和Habash，2016年; Al-Humoud等人， 2018年）构建具有任务导向或社交机器人域的代理，具有理解上下文的会话能力。（Nguyen和Shcherbakov，2021年; Grosuleac等人，2020年）1.4. 研究问题提出的一系列问题的答案和对工作的独特性的主要●●●●●●●S. Singh和H. 贝尼瓦尔沙特国王大学学报表88548854现有的公开可用的会话聊天机器人框架。平台功能Dialogflow平台，设计和构建聊天机器人和语音系统（使用Google操作和Amazon Alexa技能）很容易。由Google支持，支持FB Messenger、Slack和Skype平台中的20多种语言该工具可用于需要最少编码的地方，并提供REST API支持来创建自定义对话机器人。Microsoft BotFramework帮助在网站应用程序，Cortana，MS Teams，Slack，FB Messenger等上使用聊天机器人该框架包括两个组件：通道连接器（允许将机器人连接到消息传递平台）;和BotBuilder SDK（实现支持C#，JavaScript，Java，Python版本的业务逻辑，用于调试和可视化对话的模拟器BotBuilder SDK支持与NLU服务连接Amazon Lex Platform用于使用与Alexa相同的技术，使用语音和文本将聊天机器人构建到任何方面，具有扩展自身的能力，因此开发人员不必担心管理基础设施。Lex支持Slack、Kik、Twilio SMS、FB Messages以及iOS和Android SDK等平台，为移动应用构建机器人。RASA是一个开源框架，包括两个重要组件：RASA NLU（主要用于理解自然语言）和RASA CORE（构建机器人，允许更明智的对话，使用交互式和监督式机器学习进行训练）。Rasa拥有在个人服务器上然而，Rasa核心和Rasa NLU是开源的，有一个付费的Rasa企业平台和一个更高级的版本。SAP对话式AI也被称为Recast.AI，一个面向企业的端到端机器人平台。使用针对特定行业的预配置机器人，缩短聊天机器人开发时间，减少部署时间。SAP支持WebCisco Spark、MS Teams、Cortana、Slack、Telegram、Twilio、Twitch和Twitter，并支持Ruby、JavaScript、Python、PHP、Java甚至iOS。Pandorabots人工智能标记语言（AIML）用于对话中的脚本，该框架提供了一个用于构建和部署的在线Web服务Pandorabots提供免费的开源库（ALICE，BaseBot和Rosie），以及付费库和模块（如Mitsuku），但需支付额外的月费。Chatterbot由NodeJS、Python和机器学习算法提供支持，为整个流程提供动力。随着操作方法接收更多的聊天机器人输入，准确性和可靠性随着时间的推移而提高它超级易于使用，具有自动响应能力，并允许Zapier集成，但有时这是压倒性的。Q1：近年来，关于对话式人工智能中不同和独特方法的研究工作进展如何？问题2：可以用来构建会话代理的Q3：为什么聊天机器人的概念架构在许多研究工作中被隐藏？问题4：研究人员使用哪些数据集和评估指标来评估会话代理中独特的接近人类的能力？这篇评论文章包含了构建一个接近人类理解的虚拟助手的过去，现在和最佳方法的关键点本文重点介绍了聊天机器人的概念，以改善对自然反应的反馈反应，并使它们能够完成复杂的任务，如苹果第2节包括在这一领域所做的重要工作和所感知的基准结果此外，第3节对数据集进行了全面的描述，这些数据集可以帮助构建复杂而强大的聊天机器人。最后一节提出了研究问题和讨论。2. 相关工作首先，在过去的几年里，人们做了大量的工作来改进传统的聊天机器人系统，从基本的脚本问答机器人到自学机器人。这一部分包括对过去几年在这一领域所做的研究的研究和分析表2显示了遗留机器人中引入的细节、作者和特性。如表2所示，自NLP早期以来，已经取得随后，本文的贡献突出了表3和表由于这些技术中的一些用于商业组织，因此无法获得实现的细节，因此缺少新代理中使用近年来使用的复杂结构如下所述：Alissa et al. （2021）研究了一个随机森林模型，该模型包含25棵树，这些树的数据来自2017年美国公民与Alana系统（Alexa奖励系统）之间的对话。通过Alexa语音助手与NLTK Vader中存在的数据集相结合，优于其他模型 （ Finn 或 AFINN 的 情 感 词 典 ， NKTK Vader 或 Valence AwareDictionary 和 Sentiment Reasoner ， Stanford CoreNLP ， NaiveBayes）。在每隔22天进行一次评估后，26个人与机器人进行了对话：Susan（当前版本的Alana聊天机器人）和Rob（配备情感预测模型的Susan）。在这里，23.1%的人认为苏珊更好，另一方面，61.5%的人对罗布感到满意，并给出反馈，以正确分类罗布的情绪。Bansal等人，2021通过为一般子例程问题（直接来自源代码的Java方法）构建基于上下文的QA系统，向计算机世界展示了S-O-T-A神经QA技术。作者根据从最近的经验工作中提取的规则创建了一个1090万个问题/上下文/答案元组的训练集。该模型在自行设计的神经QA模型上进行训练，并通过20名专业付费程序员的反馈对模型进行评估。该方法包括对话策略管理、知识库和自然语言理解/生成。管道围绕连接到各个嵌入的原始代码，问题和答案进行演变，这些嵌入进一步连接到RNN，最后的密集层预测输出。Chaves和Gerosa在2020年调查了一种观点，即机器人应该具有与人类相似的社交特征，这些特征与用户的期望相关作者回顾了来自不同领域的约56篇论文，以更好地了解社交特征如何支持人类与聊天机器人的互动，并确定设计挑战和策略。讨论了聊天机器人个性）。Adiwardana等人， 2020年，谷歌的研究人员提出了一种称为“Meena”的最先进技术。该方法是一个开放的设计领域，在TPUv3Pod（2，048个TPU内核）上通过社交媒体进行了30天的可访问对话，并用2.6B参数训练复杂神经网络，减少了复杂度，●●●●S. Singh和H. 贝尼瓦尔沙特国王大学学报表88558855多年来会话代理的演变。Chatbot描述功能伊丽莎白J。03 The Dog（1966）Jabberwacky由R. 木匠，1988年由K。科尔维，1972年爱丽丝R华莱士，1995年Mitsuku ， SWorswick，2013第一个机器人足够接近与图灵测试竞争，有效地捕获输入，重新措辞，并尝试将关键字与预定义的响应集匹配。（Weizenbaum，1966年）意思是一个对话机器人与有趣和幽默的对话。它是最早使用人工智能来学习有意义的人类对话的聊天机器人之一。在2005年和2006年，Jabberwacky获得了Loebner奖（年度聊天机器人竞赛）。（Raine，2009年）专门设计PARRY来帮助患有偏执型精神分裂症的人。ELIZA和PARRY分享了基于规则的方法，但在高级控制结构、语言理解和可以模拟愤怒和恐惧等情绪的模型方面占了上风。（Colby，1974年）Artificial Linguistic Internet Computer Entity是一个著名的使用AIML的开源机器人。灵感来自ELIZA，并于2000年 1月获得Loebner奖（Fryer和Carpenter，2006;Wallace，2009）用AIML编写的基于规则的聊天机器人和高级机器人在2013年、2016年、2017年、2018年和2019年五次获得罗布纳（Bradesko和Mladenic，2012年;Raine，2009年）ELIZA是一个基于规则的系统，它不能与人类进行有（Hwerbi，2020年）Jabberwacky的创建者认为，Jabberwacky不是基于任何人工生命范式（没有神经网络或模糊逻辑），而是完全基于利用上下文模式匹配的人工智能技术。它没有指导方针，完全取决于上下文和反馈。PARRY足够聪明，如果愤怒情绪高涨，他会以敌意回应PARRY展示了技术如何帮助复制有心理健康问题的人。（Hwerbi，2020）一组精神病学家通过电传打字机检查了实际患者和PARRY系统的组合。其中只有48%的正确识别是由精神科医生标记的。（Khante和Hande，2019）学习方面依赖于监督学习，因为个人教授和跟踪机器人的对话，并建议新的AIML内容，使响应更加相关，合理，精确和可信。由于ALICE是一组预定义的问题和答案，因此仍然缺少回答每个查询的鲁棒性。mitsuku的进步包括进行长时间的对话，从对话中学习，并记住用户的个人信息，如年龄，位置，性别等，该功能包括用指定的查询推理上下文的机会。（Verma等人， 2020年）IBM的沃森2006IBM开发的基于规则的机器人在2011年赢得了Jeopardy电视节目。Watson是为应用先进的NLP技术而开发的，信息检索（IR）、知识表示（KR）、自动推理（AR）和使用Hadoop的机器学习Apache非结构化信息管理架构（UIMA）系统分析短语语法和结构，以更好地理解其目的。（Nguyen和Shcherbakov，2021）苹果Siri 2011年Alexa通过2014年亚马逊2014年微软Cortana2016年GoogleAssistantSiri具有诸如类型、口音和语言等方面，可以通过拨打电话、回复消息、管理闹钟等简单任务进行配置和自定义。Alexa可以使用直观的语音与用户交谈。基本结构包括接收、识别和自然地响应语音命令。在旧金山举行的MS-Build开发者大会上介绍了用C#编写的。保持语音识别，现在的维度，以保持对话和理解语言自然交谈Siri的后端使用：自动语音识别（将语音翻译为文本）; NLP（POS标记，名词短语分块，构成解析和依赖）;将转录的文本翻译为“解析文本”。支持的语言包括英语、法语、西班牙语、德语和日语。Alexa拥有执行许多简单任务的能力，例如通知天气，交通和其他信息以及阅读书籍，播客和有声读物。Cortana可以执行与Siri和Alexa相同的任务，并为Windows 10和Windows Mobile提供额外的帮助。与智能手表，智能手机，ChromeBooks等各种Google设备统一，帮助用户进行对话和执行问答（QA）的基本任务，提供信息，显示到达任何目的地的最短路径。即将到来的tokens。作者介绍了一种评价指标，称为敏感性和特异性平均值（S。S. A.），其记录了接近人类的多回合对话中的关键方面。因此，作者已经实现了困惑和互动SSA之间的高度相关性。此外，为了达到训练的最佳困惑度，Meena观察到72%的评论（在多回合评估中），如果优化困惑度，则可以达到86%的人类水平SSA。总之，在包装Meena（过滤结构和调谐解码）后，观察到完整版本的分数为79%SSA ， 比 现 有 的 聊 天 机 器 人 （ Cleverbot ， Mitsuku ， XiaoIce 和DialoGPT）高出23%。在图3中可以注意到复杂性和SSA/灵敏度/特异性之间的更多比较。研究人员计划将幽默、同理心、深度推理、问题回答和知识讨论技能纳入其中。进一步地，将敏感性分解为逻辑和个性一致性、常识、相关性、基本事实正确性等，通过改进测试集的困惑度和覆盖度，研究还可以进一步扩展到敏感性使用如（Rashkin等人，2019年; Zhou等人， 2020年）。Agarwal和Wadhwa（2020）解释说，机器人被设计成面向任务的或简单的开放域对话生成器。高级一代的聊天机器人可以进一步分类为基于规则和神经的基础。基于规则的方法比更简单的面向任务的代理和最难管理的开放域代理更可取，需要基于神经的方法。基于规则的技术包括模式匹配、解析、马尔可夫链模型、语义网（本体）、AIML、Chatscript、结构化查询语言（SQL）和关系数据库以及语言技巧。基于神经元的方法进一步分为基于检索或基于生成的方法，其中一些方法是：RNN，LSTM，Seq 2seq和Deep Seq-to-seq。最常用的性能评估指标是BLEU（双语评估替代），Perplexity和METEOR（显式排序翻译评估指标）。通过对变压器及其变型的讨论，可以改进工作。（Zhang等人， 2020年）。S. Singh和H. 贝尼瓦尔沙特国王大学学报表88568856模型、方法和度量的分类。作者数据集模型方法度量Hu等人（2018年）帕拉松1.5万条推文100对问题和序列间序列间生成生成人的评价（适当性，乐于助人，热情和同情心水平）BLEU等人（2019年）Kapociutestec-回答（马来语moslty）567个QA对，编码器-解码器架构（使用LSTM、堆栈LSTM和生成BLEU和ROGUEDzikienestec（2020）Zhong等人公司Tilde在英语（EN）和立陶宛语（LT）基于角色的移情BiLSTM）和不同的嵌入类型（one-hot、fastText和BERT），以及基于不同编码器和解码器矢量化单元的五种编码器-解码器架构科伯特检索召回@k和MRR（2020年）Qiu等人会话数据集豆瓣和Reddit语料库感知预警的过渡网络检索MAP、MRR、Precision@k、（2020年）回忆@k，和人类-评价。Tammewar等人（2018年）Qiu等人来自Reminders域的Haptic阿里巴巴神经会话与基于规则信息检索（IR）和序列到序列（Seq2Seq）混合混合端到端自动化和AOR评分。平均概率，IR +重新排序，（2017年）护理中心的9，164，834对QA一代车型A/B测试(E2E)评分Papangelis等人（2020），Uber的研究人员提出了用Python编写的灵活机器人的“柏拉图对话系统”，它可以保持开放式对话代理架构，不仅绑定到标准架构，而且还绑定到经过组合训练的组件。此外，研究人员还发现了一个或多个交互特征和离线/在线训练所提出的模型的设计和构建有助于理解，调试和易于学习的框架来训练每个单元。对于标准，Plato提供了“DSTC 2”（对话状态跟踪挑战）和“MEtaLWOZ”（元学习向导）数据集的示例解析器总之，Plato提供了聊天机器人所需的基础设施，现在支持Python机器学习（ML）框架的单元块。随 着 Plato 的 成 长 、 改 进 和 消 除 差 距 ， Plato 已 经 可 以 在 UberResearch GitHub存储库中使用所有GUI微软的研究人员Gao等人（2020）提出了一种基于GroundedText Generation（G. T. G.）的情况下进行。模型来构建一个可扩展的鲁棒多任务会话代理。该模型使用大规模的Transformer复杂的NN体系结构在其背景下，随着知识库检索和先前的知识编码的符号操作组件的组合，收集响应倾倒在一个对话信念的多领域知识的任务完成。他们的模型是在大量原始文本和人类对话数据（DSTC和MultiWOZ）上训练的，这些数据经过微调，可以使用多领域向导和人类交互评估指标（成功，理解，近似，在研究基准上使用此外，在此期间，各种研究团队正在开发混合动力车和其他后来，报告的结果面向任务的对话基准是有前途的，相信一个巨大的潜力，建立一个强大的代理。Suta等人（2020）展示了对会话代理的系统研究，然后重点关注能够弥合这一技术差距的类人机器人的研究趋势。作者分析了过去20年（1998年至2018年）的现有文献，并使用简单但信息丰富的思维导图简要概述了聊天机器人。研究概念表明，聊天机器人在这些阶段发挥作用：1。自然地理解输入; 2.）自动生成适当的响应; 3.）构建实用流畅的自然语言应答。讨论了不同的基于机器学习的方法，如基于检索和基于生成的方法。 在总结这项工作时，作者建议聊天机器人应该获得高精度的问题意图，并以情感或定制的回应做出适当的回应。然而，通过包括基准数据集和评估指标来测试代理的鲁棒性，可以显着改善工作。Almansor和Hussain（2020）调查了最先进的代理技术，重点是在困惑的情况下产生合理反应的能力。在总结分析的基础上，提出了研究的难点和关注点基于这种分析，将传统系统分为任务导向和非任务导向。基于检索和基于生成的技术用于非任务导向的方法，而有监督和无监督的方法用于任务导向的方法。这项工作是开放的，以建立措施，以检查机器人的质量，这是目前缺乏和深入的许多重要方面，如现有的框架，评估指标和适用的数据集。Bagchi（2020）使用AI驱动的开源RASA堆栈对话框架概念化了一种新型库代理该架构包括多个步骤：使用连接器模块（会话用户界面）处理查询，然后将其移动到输入模块（此处将分类为意图和实体）。接下来，对话管理通过资源搜索和信息检索来处理后端/数据库/API请求然后将响应发送到输出模块，随后连接器模块进行响应。除了语义系统之外，还可以通过显示数据集上的评估指标和描述性数据分析Saleh等人（2020）评估了从神经开放域对话机器人学习基本会话背景的内部测量或观点的准确性。该研究表明，机器人面临着各种障碍，包括回答查询，推断矛盾和主体检测等。这项工作主要集中在三个架构上：递归神经网络（RNN）;带注意力的RNN;变压器（最佳平均结果）。ParlAI平台用于开发和训练模型。小模型（大约14M个参数）在DailyDialog上随机初始化并从头开始训练S. Singh和H. 贝尼瓦尔沙特国王大学学报8857表4比较不同数据集和指标上的不同工作。作者摘要方法数据集度量Naous等人开发了阿拉伯语聊天机器人，一种特殊的编解码器翻译了整个《同理心》观察到嵌入大小为500（2020年）产生阿拉伯语丰富的语言移情反应。未来的工作建议增加数据集的大小，以提高基准。由长短期记忆（LSTM）序列到序列（Seq2Seq）和注意力组成。对话数据集（Rashkin等人，2019）使用Google-Trans API转换为阿拉伯语。困惑（38.6）和BLEU评分（0.50）。人类的评价得分超过同理心（3.70），相关性（3.16）和流畅性（3.92）的光束搜索解码策略，而同理心（2.40），相关性（1.92），和流畅性（2.80）使用随机抽样。Agarwal等人工作表明，提出的实验方法Kaggle可用Twitter在微调（2021年）非凡的技能聊天机器人模型，具有丰富的移情响应，可响应客户查询。表达移情/情感反应，以实际的客户服务查询生成（变压器发电机）和检索（变压器双-编码器和poly-encoder）客户服务（客户关怀数据）数据集包含来自20个著名品牌的280万条用户推文和客户服务响应，移情对话ED和CC数据集，Transformer/biencoder（针对以下内容进行培训4.63 h）除Transformer/polyencoder（针对以下方面进行4.23 h）HITS@1（54.53），以及Transformer/发电机（经过中文（简体）EP-Bot（An EmpatheticPolymorphism X-接近。建议的EP-Bot检索数据集（Rashkin等人， 2019年）。每日对话数据集13，1187.94 h）困惑基准为10.01。对于情感检测，基于聊天机器人）是一个移情聊天机器人，可以更好地理解一个人不断增长的知识图谱和知识图的嵌入，并从话语中检测情感和对话行为。然后它生成下一个话语使用多话轮会话图嵌入，ALBERT-base的结果超过了情感-F1（85.64），Act-F1（84.65）和平均-F1（85.14）。关于表演在下一个话语生成模型上，Na等人（2021年）与更多的常识、情感和意图能力进行交互。提出了一个个性化框架（CPC-Agent）.为了评估模型，还进行了自动和人工评估，确定响应质量嵌入最后，使用Open AICPC Agent是一个聊天机器人，当用户输入句子时会生成响应。它也可以跟踪对话历史处理输入Persona-chat数据集。EP-bot取得了显着的表现，HITS@1（78.69），PPL（8.22），F1（18.52）和BLEU（4.23）。CPC代理的自动评估获得了困惑（3.29），F1（18.89）和HITS@1（79.5）。另一方面，平均得分为2.662分，基本、良好、更好和优秀Lin等人（2020年）在200名投票者中，提议的模式获得了最高的评价。拟议的系统微调a使用基于GPT的模型，具有两个组合损失：生成和分心损失。因此，CPC Agent可以生成一致的和个性化的句子。首先，使用GPT作为语言移情对话数据集在人类评估中。CAiRE（拟议模型）大规模预训练语言模型，具有多个目标，如响应语言建模，响应预测和对话情感检测。在BooksCorpus数据集上进行无监督预训练的模型。接下来，通过遵循迁移学习策略，在人物聊天上对模型进行预训练。最后，使用移情数据集微调预训练模型定制人物实验结果表明，该模型的困惑度为13.32，平均BLEU为7.03，情感准确度为0.516。Grosuleac等人提出了一个开放域模型设计使用人物-聊天和移情的实测性能，（2020年）Dhyani和聊天机器人专注于两项任务：情感理解和适当的反应。该研究使用Tensorflow，单向发电预训练Transformer。为了设计，双向数据集。Reddit数据集（评论提出的模型（GPT与人格面具和移情能力）与最先进的困惑（18.20），BLEU（6.56），准确度（0.483）。困惑为56.10，BLEU评分Kumar特别是神经机器递归神经网络（B-（2015年1月）用于30.16（2021年）Wolf等人翻译（NMT）模型来构建会话模型。新方法称为RNN）包括注意力层，以输入具有大量令牌的短语，这些令牌可以以更合理的含义进行响应。图书语料库的预训练本研究ConvAI2挑战基于记录的公开（评价）结果（2019年）钱德拉和TransferTransfo是迁移学习和Transformer模型的结合。提问与解答（QA）数据集，然后在人物聊天数据集上进行微调。TransferTransfo中使用的生成模型是基于生成预训练Transformer的这项工作同时使用了seq2seqPersona-chat数据集。数据集由2，903个如Perplexity（17.51）、HITS@1（82.1）和F1（19.09）。而私人（测试）达到困惑（16.28），HITS@1（80.7）和F1（19.5）。Seq2seq没有注意到BLEU苏扬托系统开发自动化模型和另一个seq2seqWhatsApp对话得分分别为41.04和38.65，（2019年）Nguyen和录取查询。介绍了越南聊天机器人模型与注意机制生成文本。作者使用预先训练的从大学招生管理处收集。在数据集反向序列。此外，具有注意力的seq2seq的BLEU得分为42.90分，逆转42.98分。总体而言，所提出的cpFastText模型S. Singh和H. 贝尼瓦尔沙特国王大学学报8858Shcherbakov有能力FastText和多语言BERT包括40个意图，8个实体，表现得更好，（接下页）S. Singh和H. 贝尼瓦尔沙特国王大学学报8859表4（续）作者摘要方法数据集度量（2021年）理解自然模型（在顶部1000个例子基于TensorFlow（F1得分为3.7%）使用Rasa平台的104种语言，较高），mBERT（F1评分为25.6%）。的建立并提出维基百科数据集）和两个对话模型Rasa Core实现了使用习惯的定制设计组件对话准确率95.2%模型中的NLU管道（越南语分词器和水平和98.4%的行动水平。FastText Featurizer），管道图三. 在Adiwardana等人中观察到的困惑与（SSA，困惑和特异性）之间的比较。（2020年）。(14K train、1 K validation和1 K test multi-turn dialogs（从英语学习网站收集的多轮对话），而大型模型（70 M参数）在WikiText-103（29 K Wikipedia arti- cles）上进行预训练未来的工作可以补充，以解决探测性能和人类判断的会话质量的限制。Siein'ska等人（2020）展示了一个开放式的社交人工智能系统，该系统结合了智能建筑的各种组件，并作为主机，以及关于跨建筑导航或实时资源更新的基于任务的对话，或在各种平台上（如GoogleHome，Android手机和furhat机器人）的建筑物中的其他事件。这些架构涉及使用Google Speech API的ASR（自动语音识别）或TTS（文本到语音）;使用RASA框架的NLU;依赖于自动摘要新闻和维基百科文章的NLG;对话管理器，其方向，事件和资源机器人位于优先级列表中最有可能被选择的顶部位置;以及Neo4j图形数据库，以显示GRID建筑的空间连接性一个有趣的应用程序与物理机器人可以开发与用户进行交互，并相应地参与。Fernandes等人（2020）进行了一项研究，将当前的机器人与它们所托管的平台、所使用的技术和架构、工具以及在医疗或健康、农业和教育领域的各个领域中构建它们所使用的其他软件进行比较。比较参数因方法不同而异：优势，弱点，准确性，域和语音/文本;对聊天机器人在域，AI或基于规则的评估，评估指标，如内容评估，用户满意度和功能方面;此外，聊天机器人涉及的一般细节和特征;以及设计聊天机器人的各种因素。性能包括：1.）精密度; 2.）灵敏度; 3.）特异性; 4. PPV（阳性预测值）; 5.）NPV（Negative Predicted Value）。此外，对话流和AIML被讨论为对Matlab和Weka等其他技术的改进。最后，对支持向量机（SVM）、决策树、遗传算法、朴素贝叶斯、模式匹配、自然语言处理等算法进行了研究。这项工作可以添加先进的评估指标，如BLEU，METEOR或ROUGE等。另外，accu-活泼的用户满意度可以照顾捍卫拟议的研究。Hwerbi（2020）提出了一个COVID-19助手，作为提供正确信息的问答系统，在一天内直接提供最新信息系统的设计分为七个部分：本体（冠状病毒感染本体），网页抓取模块（使用硒和美丽的汤从维基百科和谷歌网站的COVID- 19），数据库（XML格式），有限状态机（显示所有状态和转换的整个架构），关键字提取器（关键字检测，从非结构化文本中提取一组术语或短语），训练模型（在英语语料库上训练的Chatterbot）和用户界面。未来的工作将向通用聊天机器人或开放域机器人开放，以支持不同的语言，语音识别技术和更巧妙的高效NLP程序，使用丰富的本体（如趋势和建议）提供更多信息。Henderson et al.（2019）提供了一个包含数亿个样本对话的存储库，并使用JSON或TensorFlow记录文件标准格式的标准评估指标的100分之1准确度（Recall@k指标）该存储库包含标准脚本来重现标准数据集，并根据要求改进预处理和数据操作还共享了一个已经存在的神经存储库中的数据集包括Reddit数据（37亿条评论），OpenSubtitles（超过4亿行）和Amazon QA（超过360万对QA随着基准测试结果显示不同的模型和链接的比较，以重现结果。Gao等人（2019）与微软和谷歌的研究人员合作，回顾了不同的技术和神经方法，以比较传统和过去几年徘徊的趋势。作者将对话式AI分为三类：（1）。质量保证代理人;面向任务的对话Agent;（3）.最后，社交机器人喜欢朋友机器人。同样，作者也简要概述了每一个发现的类的最先进的神经方法，将点与传统方法联系起来，并进一步研究了挑战、问题、进展和具体系统的案例。S. Singh和H. 贝尼瓦尔沙特国王大学学报8860Siblini等人（2019）首先解决了代理（BERT，GPT-2，XLNet）在SQuAD等大型数据集上的自然成功。这些面向任务的数据集通常是英语的，这使得在外语中达到有意义的基准具有挑战性。然而，最先进的模型现在在多语言数据集上进行了预训练，这些数据集管理数十种语言，并且可以在XNLI（跨语言NLI语料库）上从英语到许多其他语言的零镜头传输。研究表明，在英语SQuAD数据集上训练的多语言BERT可以实现相同的日语和法语基准。该模型的性能优于基本模型的基准性能，该基准性能合并了用于阅读和理解的英语模型和用于迁移的机器翻译模型。此外，几个跨语言的QA数据集（上下文和查询在不同的语言）的实验已经进行了提供的架构，使BERT从一种语言转换到另一种的想法。最后，作者介绍了他们的会话代理Shaanxi等人（2019）的研究提出了一种递归神经网络（R