使用自适应助手进行人机交互中的基于使用的学习克莱门特·德尔格兰奇引用此版本：克莱门特·德尔格兰奇。使用自适应助手进行人机交互中的基于使用的学习用于人类学习的计算环境。里昂大学，2018年。法语。NNT：2018LYSE1290。电话：02077000HAL ID：电话：02077000https://theses.hal.science/tel-02077000提交日期：2019年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaireNNT订单编号里昂大学博士论文（法语）操作范围l’Université博士学院ED476神经科学与认知博士专业：认知科学学科：计算机科学于2018年12月13日公开支持，作者：克莱门特·德尔格兰奇使用自适应助手进行人机交互中的基于使用的学习在陪审团面前，陪审团由：HASSAS Salima，大学教授，克劳德·伯纳德大学校长AUFAURE Marie-Aude，主席（HDR），Datarvest报告员FILLIAT David，ENSTA ParisTech教授，报告员OUDEYER Pierre-Yves，INRIA检查员DOMINEY Peter Ford，CNRS研究总监DUSSOUX博士生导师Jean-Michel，Cloud-Temple研发经理客座摘要如今在这些系统中，自然语言命令和它们的具体实现之间的联系在设计阶段被指定一种更自适应的方法是让因此，自适应解决方案应允许助理在由多个应用领域组成的更大的数字环境中工作，并更好地响应用户的需求。受人类语言发展研究的启发，机器人系统已经被开发出来，以提供这种适应性。在这里，我们将这种方法扩展到然后，他可以通过将他先前在与用户的交互中获得的程序知识组合在一起来学习更复杂的链接该系统的灵活性体现在其对自然语言的高度适应性、在新领域（电子邮件、维基百科等）学习动作的能力并使用多种数字服务形成混合程序知识，例如，通过将维基百科搜索与电子邮件服务相结合。2目录图5列表表6列表前言61导言81.1动机101.2捐款121.3论文计划2工业背景和适应性系统2.1云计算基础架构管理.................................................................................2.2适应的需要2.3自适应系统2.4用于系统适配的对话接口.........................................................................3通过语音进行交互以完成任务233.1对话的模拟.................................................................................................3.2对话系统的主要组成部分.........................................................................3.3适用于受指示代理3.3.1犁283.3.2Lia 294语言的认知方法及其在机器人技术中的应用314.1背景314.2语言的发展4.3机器人技术的应用4.4向数字世界5虚拟学习代理5.1工作原理5.2共享环境5.3对环境的看法.............................................................................................5.3.1事件结构5.3.2意义的表征5.3.3记忆结构455.4对话管理和学习465.4.1与其他模块的交互463目录6.1基于语义相似性的方法B文章：与自适应虚拟助手参考书目1145.4.2InterpreterProcess模块的控制流程。. . . . ...485.5在环境中工作... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...505.6模块集成：示例。 . . . . . . . . . . . . . . ...525.7创建变量。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...535.8使用案例... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...545.9系统评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...585.10跨语言评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...606语言变异性65短语。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...666.2语义相似性模块。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...676.2.1模型说明。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 676.2.2调整数据和性能测量。 706.2.3实施和初步结果。 . . . . . . . ... 706.3语言变异性模块。... ... ... ... ... ... ... ... ... ... ... ... ... ... ...6.3.1操作原理。 . . . . . . . . . . . . . . ...72726.3.2用于搜索候选过程的语义相似性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...736.3.3用于参数检测的语义相似性 746.3.4实施和初步结果。 . . . . . . . ... 766.4语言可变性模块的集成。... ... ... ... ... ... ... ...786.4.1代理人行为的适应 . . . . . . . ... 786.4.2用例示例。 . . . . . . . . . . . . . ...796.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...827实施和基础架构837.1技术选择。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...837.2项目结构。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...847.3通过新服务扩展系统。 . . . . . . . . ...868讨论和结论884图表1.1操作员教机器人基本动作1.2与机器人合作执行计划的操作员2.1电子邮件Web服务的文档可能的行动2.2电子邮件Web服务的文档.............................................................................................................d’un2.3命令行电子邮件客户端212.4图形电子邮件客户端213.1Jaspis 27对话系统的架构3.2OpenDial 27对话系统的架构3.3犁28系统3.4TRIPS 28系统3.5LIA 29系统的所有命令3.6LIA 29系统的驱动套件.............................................................................3.7LIA 30系统的接口4.1语法结构示例334.2人与机器人互动.........................................................................................4.3L’architecture5.1虚拟代理的一般体系结构.........................................................................5.2共享环境405.3更新环境模型5.4锚定在ac上的语法结构示例原始445.5学习过程示例5.6InterpreterProcess 47模块的活动图.......................................................5.7说明语义组合性.....................................................................................505.8"单次学习"算法 515.9使用案例.....................................................................................................5.10 场景中的电子邮件发送3 585.11 场景中的电子邮件发送4 595.12 系统评估606.1ECNU 67模型的架构5图表6.2对应用于代理72的数据集进行10次4倍交叉验证的6.3语言可变性模块的通信图第73章用户请求什么是tweet？"在这一步中，句子与先前学习的程序相关联，并且坐着-这么多人开始执行它。......................................................................... 94A.2 说明用户命令"What is a tweet？"解释的序列图。"在此步骤中，研究。.....................................................................................................95A.3 说明用户命令"What is a tweet？"解释的序列图。"在此阶段，助手将等待Wikipedia页面显示搜索结果。...............................................96A.4 说明用户命令"What is a tweet？"解释的序列图。 " 在这里，通过聊天.................................................................................................发送976.4语言变异性模块的算法步骤。... .757.1代理平台的客户端-服务器基础架构... ... ... ... ... ... ...858.1政策空间。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...92A.1 序列图说明6图片列表6.1语句形式变化的示例.............................................................................666.2应用检验数据集的Pearson相关性代理.............................................................................................................6.4参数检测得分.................................................................................................6.6未知短语得分7前言这篇论文是通过CIFRE奖学金在学术-工业合作的框架内准备的我感谢彼得·福特·多米尼克、让-米歇尔·杜苏和云庙给我这个机会。CIFRE的背景是高度激励和动态的。它结合了提高对工业研究目标的认识的需要和从学术角度推进最新技术的需要当然，这也带来了挑战。最后，我开发的系统现在是我们的行业合作伙伴Cloud-Temple未来智能助手开发基于这些发现，一个新的CIFRE博士学位正在进行中，同样，在获得博士学位后，我将继续在Cloud-Temple和IN-SERM团队工作8第一章引言本论文是在在实现这样一个系统时，可以从两个极端来考虑该方法。一方面，工程师必须预测系统对人类交互和所有可实现任务的适应性，从而集成复杂的语言分析引擎、实现提供基本知识的本体、规划引擎等。这种方法可以建立在现有工具的基础上，并准备从一开始就实施以完成复杂任务。由JamesAllen及其同事开发的PLOW系统属于这一类（Allen等人，2000年）。2007年）。这种方法有其局限性。特别是，从一另一端是一个适应性系统，除了感知与人类共享的环境并在该共享空间中执行基本动作之外，几乎没有其他有趣的是，这种区分类似于人类认知领域的一场争论。本土主义者认为，人类婴儿预先配备了强大的模块，如通用语法--支持这种"集成"方法的一个主要论点是，世界是如此复杂，以至于不可能学习这样的能力。91995年）。因此，我们选择 它可能提供了一种开发智能助手的方法，如果它这样做了，它也将提供一个支持建构主义在人类认知发展中的立场的论点。我们现在考虑代理将在其中行动的数字环境。我们的数字环境由越来越多的应用程序服务组成，然而，用户通常需要"每年"编排它们来完成特定的任务。这是因为自动化是有成本的，需要时间。设计人员需要为每个新需求收集、指定、实施和评估解决方案。这一漫长的周期很难跟上用户对数字服务的所有权和新需求的快速增长物联网（IoT）是一个特别有代表性的例子，其中连接的对象，如冰箱，正在通过它们的交互，这些对象提供了广泛的新用例因此，为了创建允许用户控制它们的系统，开发的成本和速度问题将特别重要：如何预测新对象的使用，如何不限制这些对象之间的交互，以及如何在功能数量增加时创建与用户的有效交互。因此，简化这些交互并设计尽可能接近用户需求的系统的目标是一个越来越必要的挑战。这些问题也是设计具有快速变化环境的业务应用程序的挑战。 为了说明这一点，我们可以以CloudTemple公司为例，该公司的业务是为客户的信息系统所基于的IT基础设施提供虚拟化解决方案。 这种虚拟化包括对通常是物理设备（如存储驱动器、CPU、网络电缆）的设备进行数字模拟，技术提供商提供其应用程序服务来管理这些设备。 这些技术的分散性以及掌握这些技术所需的专业知识意味着该公司必须提供一个简化的虚拟基础架构视图，以适应客户的需求。这就需要设计自动化工具10第一章。简介1.1动机解决这一问题的一个方法是设计能够进行自然交互的自适应人机界面这种类型的系统包括这些系统提供了很好的前景，因为例如，然而，用自然语言指导系统的可能性事实上，对话系统通常被设计成在其设计结束时提供其自适应作用这可能是虽然训练这些系统的需要随着对语言发展的研究表明，它在我们理解周围事件的能力中发挥着重要作用，并且从很小的时候就逐渐建立起来，在这个年龄，感官体验伴随因此，儿童开始将单词与他们感知场景中的物体和代理人联系起来，然后学习围绕重复事件的初级表征，直到获得越来越抽象和概括的表征。第一个利用这项工作的数字系统是在机器人领域实现的。如图1.1所示，这些实验显示了人类使用多种模态（如语言、物理或动觉演示）教机器人执行动作。这一阶段对应于儿童语言学习的第一个层次，在这个层次上，单词被锚定在感觉运动基元中。然后，操作员能够使用自然语言与机器人合作执行计划，这种通过使用来学习的方法作为回报，它拥有结构和过程，使它能够通过对于自然语言的人机界面，通过使用来学习语言允许用户自己在他的符号通信系统和符号系统之间建立联系。111.1. 动机图1.1使用多种形式：自然语言、物理演示和动觉演示。图1.212第一章。简介他们使用的服务。除其他外，该方法提供了以下优点：— 构建一个轻量级的基础架构，其服务数量可以更容易地扩展，从而为用户提供必要的— D’améliorer— D’adapter1.2贡献在这篇论文中，我实现了一个系统，通过人类演示和自然语言解释来学习，以协调数字服务我已经开发了一个共同的环境，在这个环境中，人和系统都可以行动，最重要的是，系统可以观察到人的演示。系统学习自然语言命令（如"发送一封关于聚会的电子邮件到john@inserm.fr，并说我会迟到"）与实现命令目的所需的一系列操作之间的对应关系。该系统可以无缝地概 括 这 些 命 令 ， 这 样 你 就 可 以 自 然 地 响 应 一 个 新 的 命 令 ， 比 如 " 给www.example.com发一条关于会议的消息mary@inserm.fr，说我们明天就得开会"。该系统被设计成使得因此，新的学习可以通过组合它们来建立在先前的学习的基础上，从而优化学习步骤。该系统的设计旨在满足高适应性要求因此，不需要特定于语言或任务环境的知识此外，该系统还可以从使用这些数据的一个例子最后，该系统显示了131.3论文计划1.3. 论文计划下面逐章描述了手稿的过程：第二章产业背景与适应性本章从自适应系统的角度介绍了启动该项目的工业背景和所需的目标系统 我们首先描述系统对不断变化的用户需求的适应性问题，以及这些系统在添加和维护功能时的演变。然后提出了一种提高系统对这些因素的适应性的方法。它包括创建一个对话界面，用户可以通过该界面用自然语言指导系统，以第3章：完成任务的语音交互L’utilisation du langage naturel au sein d’un système intro-duit 诸如环境环境、用户语言、应用领域或对话交互之类的因素要求在实现这些系统时具有一定的灵活性在本章中，我们将介绍对话系统及其组件的主要特征然后，我们解释了在实现自然语言理解模块中使用的主要方法，以及它们在可以由自然语言用户增量地指导的系统最后，我们通过设计一个既能适应用户需求又能适应不断变化的任务环境的对话系统来展望这些方法第4章语言的认知方法及其在机器人技术中的实现本章介绍了认知建构主义语言学习方法的关键概念事实上，这种方法已经被机器人系统所利用，其中主要的兴趣是创造能够在开放世界中与人类通信和控制的机器人它们共享一个共同的环境，这使得机器人技术成为进行这类实验的有利应用领域因此，14第一章。简介我们将介绍这些系统的工作原理以及这些技术在数字世界中的应用。第5章虚拟学习本章介绍了在论文中开发的代理平台在对系统的工作原理进行一般性解释之后，逐一描述每个模块，以详细说明它们的作用、它们的数据结构以及它们与平台中其他模块的关系然后围绕特定的使用场景解释模块之间的整体交互和实现的主要算法。最后，给出了一个详尽的用例列 表 ， 以 及 对 话 的 示 例 ， 以 说 明代 理 在 实 际 使 用 条 件 下 的 行 为 。第6章语言L’undesproblèmesrécurrentslorsd’interactionsenlangagena- turelavecunsystèmeestlanécessitépourl’utilisateur de simplifier 本章专门讨论了这一点，并展示了虚拟代理如何提高其对话语语言可变性的容忍度，从而允许用户以更少的约束来第7章：实施和基础架构本章介绍了在开发代理平台和语言可变性模块时 它还解释了通过新服务扩展平台功能所需的工作。最后，本章最后详细介绍了可在其他上下文中重用的附加模块。第八章讨论与结论本章最后对研究工作进行了简要总结，并对学习者认知系统和人机对话界面的现状进行了展望。最后，我们介绍了该项目设想的未来工作。15第二章工业背景与适应系统本章从自适应系统的角度介绍了启动该项目的工业背景和所需的目标系统我们首先描述系统对不断变化的用户需求的适应性问题，以及这些系统在添加和维护功能时的演变然后提出了一种提高系统对这些因素的适应性的方法它包括2.1云计算基础架构管理Cloud Temple是一家专门从事云计算管理的服务和信息工程公司这种类型的信息管理近年来，随着新应用程序的出现，云计算基础架构的规模和复杂性呈爆炸式增长，这使得企业管理员管理这些基础架构变得越来越困难因此，Cloud Temple公司拥有来自法国经济结构所有部门的约100家客户：网络商家、市政当局、银行、资产管理公司、工业或媒体，他们都有自己的这些客户的信息系统在分布在法国四个数据中心的2，000多台服务器上随着复杂性的增加，基础架构正在围绕资源服务（如物理服务器、虚拟机、磁盘容量或网络地址）的概念进行开发，最近还围绕虚拟数据中心（VDC）的概念进行开发。引入VDC的概念是为了让用户和管理员在使用其资源时具有更大的灵活性。A16第二章工业背景与适应系统为了实现这一目标，VDC将其硬件和网络资源组织到专门定义的池中，以满足客户的业务需求因此，后者必须在根据其业务需要分配池资源方面具有这种级别的灵活性要求客户还必须访问现有或未来软件服务的管理：备份、监控、VPN-SSL、大数据或他们可能已经订阅的VOIP涉及公司运营商和/或其客户的典型基础设施管理场景在大多数情况下，这些活动对应于诊断和制定/执行行动计划的在这两种情况下，决策都是基于对复杂环境的感知同样，制定一系列因此，操作员定期参与调查活动，以确定哪些信息在特定情况下是有用的，随着经验在一个众所周知的背景2.2适应的需要该公司在软件开发和支持方面面临着巨大的成本。为了更好地理解参与构建云计算解决方案的不同参与者的责任，我们在下面列出了他们各自的角色：客户具有双重角色，即使用虚拟化解决方案的最终用户和调整解决方案的运营商。他的工作需要该公司依赖于虚拟化技术提供商，这些技术提供商提供数字服务来控制虚拟资源。 这些数字服务可以是具有用户界面的完整系统的形式，也可以是应用程序编程接口（API）的形式， 这 些 A P I 的 使 用 者 可 以 从 中 构 建更 完 整 的 应 用 程 序 。开发人员技术提供商提供的应用程序服务是碎片化的，抽象级别太低，因此，社会必须发展一个172.3.适应性系统满足客户业务需求的应用程序，并使他们客户还需要支持来管理其日常基础架构。因此，该公司的运营商监督其客户信息系统的一部分，社会有几个目标。控制开发和监督成本，同时适应每个客户的特定需求，跟踪虚拟化技术提供商的创新，使开发速度与客户不断变化的需求保持一致，等等。 当这种环境变得过于复杂时，自适应系统的设计就成为实现所有这些目标的杠杆（ S a l e h i e 和 T a h v i l d a r i 2 0 0 9 ） 。该公司希望解决的主要因素是用户需求的频繁变化，需要创建更快的开发，以及在2.3适应性系统Subramanian（Subramanian and Chung 2001）列出了适应系统的不同定义，其中一些定义如下— 自适应系统会根据其操作环境改变自身的行为。 »— 适应性被定义为系统或系统的一部分能够适应不断变化的需求的容易程度。 »— 如果一个程序可以很容易地改变，那么它就是适应性的。它是适应性的， »— «... 一种定性指标，可用于评估软件满足技术限制和用户需求的难易程度 »我们可以区分不同程度的适应，其特征是"设施"。在一端，我们发现自适应系统，它们被设计为系统和设计者之间的开路，需要干预以适应新的环境（软件修改、配置、重新部署等）。在18第二章工业背景与适应系统根据不同的因素，系统达到不同的适应水平。因此，性能、弹性或安全性等因素受益于负载平衡、任务分配（Fas-tima和Wooldridge 2001）或架构 原 则 （ Subramanian 和 Chung 2001; Morandini 、 Penserini 和 Perini2008）等技术，这些技术是为设计自适应系统而开发而诸如用户需求、功能的添加和维护之类的因素2.4用于系统自适应的对话界面使系统适应用户不断变化C’est dans ce contexte que la so- ciété该项目包括以对话助手的形式开发该工具，该对话助手通过与用户的多个自然语言交互，能够合作地建立环境的目标状态、当前情况和实现目标的适当行动序列，同时考虑到其用户（专业知识水平、对行动顺序的约束、资源的可用性......）。项目的一个重要方面是用户可以在尽可能广泛和丰富的环境中指导系统。因此， 这些服务必须基于标准交互接口进行访问，以便从广泛的生态系统中获益。如图2.1、2.3和2.4所示，这包括图形应用程序、命令行应用程序或应用程序编程接口（例如，Rest API）。服务也可以处于任何抽象级别，也就是说，它们可能不是为最终用户设计的，如Rest API消息描述中的"有效负载"概念所该系统的目的可以通过其以下能力来描述：— 识别环境中的变化如新的用户需求（新的目的）、新的应用程序— 与用户合作，确定如何例如，通过
