警告：警告链接这份文件是长期工作的结果，得到了答辩小组的批准，并提供给整个更广泛的大学社区。它受作者的知识产权保护。 这意味着在使用本文件时有义务引用和引用另一方面，任何伪造、剽窃、非法复制的行为都将受到刑事起诉。联系方式：ddoc-theses-contact@univ-lorraine.fr知识产权法。第122条。4知识产权法。条款L 335.2- L335.10http://www.cfcopies.com/V2/leg/leg_droi.phphttp://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htmIAEM洛林海岸学校自适应口语对话系统数据强化学习的学习参数他们是2016年1月21日，为获得许可证而进行的审查和审查洛林联合王国与另一个联合王国（提及计算机）通过莱拉·埃尔·阿斯里陪审团组成居民：FAbriceLeF'evre报告员：沃尔夫冈·明克埃里克·B·E·C·赫特著审查员：Christophe CerisaraF. AbriceLe F'evre洛林计算机科学及其应用研究实验室-UMR 7503 UMI 2958（CNRS-GeorgiaTech）-Orange Labs使用thesul类进行布局3“And [] Einmal就是Keinmal。曾经发生过但可能没有发生过的事情。[] 历史就像人类个体生命中的光，无法承受的光，像羽毛一样的光，像空气中旋转的尘埃，像任何不可能的东西明天更长。米兰·昆德拉。无法承受的光明。4R& SM&E本论文是对话系统研究的一部分。 本文提出了从一组注释对话中学习系统e 'me的行为。系统通过强化学习来教我最佳行为我们证明了既不需要完成状态空间的表征，也不需要完成补偿的函数。事实上，这两段话几乎不能从安可的对话中学到。我们证明了对话系统的开发者通过仅完成对话的逻辑以及用户满意度的最大化（例如，我们提出的同一方法的第一步是考虑一定数量的对话参数，以建立一个状态空间的表示，允许通过d v eloppeu r优化crit erespe cifie。 例如，如果所选择的脚本e'是用户动作r的满意度，则重要的是在表示中包括参数e' tres，例如di a logue的硬e 'e和v本地识别的置信度分数。 状态空间 是 由 一 个 稀 疏 分 布 的 记 忆 b u e t mod e t mod 我们的 模块，GeneticSpa r seDistri butedMemoryforReinforce-mentLearning（GSDMRL），允许考虑许多对话参数，并选择那些对进化学习很重要的参数。由此产生的R状态空间以及由系统e 'me学习的行为可以很容易地解释表。在第二步中，对话框的作用是学习一个补偿函数，该函数教系统e'me优化由d'v eloppeu r给出的e'。为此，我们提出了两种算法：rewa r d整形和距离最小化。 这两种方法都将待优化的脚本解释为每个对话的总体补偿。 我们在一组模拟对话上比较了这两个函数，并证明了使用这些函数学习比直接使用e're作为最终补偿要快。我们有一个很好的选择。对话系统edie我们有一个约会，我们有收集一个对话语料库，用这个sys t me注释t sav。 该语料库说明了GSDMRL状态空间表示的缩放能力，并且是可以应用我们提出的相同方法的工业系统的一个很好的例子。5摘要本文提出了从一组分级对话中学习口语对话系统的对话管理器的行为。这种学习是通过强化学习来完成的。我们的方法不需要定义状态空间的表示，也不需要奖励函数。这两个高级参数是从分级对话的语料库中学习的。众所周知，口语对话设计者可以通过简单地定义对话逻辑和最大化的标准（例如用户满意度）来优化对话管理。本文提出的方法首先考虑了对话参数，这些参数可以计算出与要最大化的准则相关的状态空间的表示。例如，如果所选择的标准是用户满意度，则重要的是考虑诸如对话持续时间和平均语音识别置信度分数之类的参数。状态空间表示为稀疏分布的内存。用于强化学习的遗传稀疏分布式记忆（GSDMRL）适应了许多对话参数，并选择了对通过遗传进化学习最重要的参数。由此产生的状态空间和从中学习的策略很容易被系统设计者解释。其次，评级对话用于学习奖励函数，该奖励函数教导系统优化标准。提出了两种算法，奖励成形和距离最小化来学习奖励函数。这两种算法都将标准视为整个对话的返回。这些函数在模拟对话中进行了讨论和比较，结果表明，与直接使用标准作为最终奖励相比，这些函数使学习更快。在本文中，基于以前的系统，设计了一个用于预约调度的口语对话系统，并收集了与该系统的分级对话语料库。该语料库说明了状态空间表示的缩放能力，并且是可以应用该方法的工业口语对话系统的一个很好的例子。6确认;我想感谢我的顾问Olivier Pietquin教授和Romain Laroche博士在这个项目中提供的宝贵帮助。他们的建议、耐心和知识在完成这项工作时是无价的。Olivier对机器学习的研究有着非凡的知识和理解，他始终如一地为我指出了正确的资源，并以一种非常可理解的方式解释了事态。罗曼有很好的技术技能，他经常觉得他比我自己更快更深地理解了我在做什么。他们组成了一个非常互补的团队，我非常感谢他们在我出来之前的一个假期。我也要感谢教授。 Min k e r，B e chet，Cerisara和Lef evre接受成为我论文的评审团成员。我要感谢Orange的NADIA团队，感谢他们帮助设计了预约调度系统，也感谢他们提供了一个非常积极的工作氛围，并在我的项目进行时支持我。我非 常 感 谢 我们的 经理R e mi的 支持和可用性。在Orange，我还想感谢创新初级团队帮助我收集数据和调度系统。梅斯的MALiS团队和里尔的CRISTAL实验室总是热情地欢迎我，我想感谢每个人有趣的聊天和见解。当然，我必须感谢这些年来我遇到的其他博士生，哈蒂姆的幽默和一贯的好心情，森蒂尔，露西，比拉尔，Bassem，Vianney和爱德华让梅斯变得有趣，哈德良的善良和疯狂的想法。非常感谢博士。比拉尔·皮奥博士Mathieu Geist对距离最小化算法的贡献在个人层面上，感谢我的父母、姐妹、嫂子和兄弟无条件的爱和支持。特别感谢我的侄子亚当是一个无尽的快乐和乐趣的来源。我还要感谢我所有的朋友，感谢他们在那里，让我笑得很开心，阿苏、奈玛、哈贾、阿西亚、弗雷·埃朱斯、克里斯托夫和一明。7内容物图11列表表13列表我 简介151背景和动机181.1概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...181.2动机。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...201.3捐款。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...221.4大纲。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...242设计口语对话系统262.1口语对话系统。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...262.1定义。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...262.1.2 Orange口语对话系统研究的历史 . . . . . . . . . . . . . . . ...272.1.3体系结构。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...282.1.4对话管理。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...302.2对话管理的强化学习。 . . . . . . . . . . . . . . . . . . . . . ...342.1强化学习。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...342.2马尔可夫决策过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...352.2.3决议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...362.2.4开采-勘探交易。 . . . . . . . . . . . . . . . . . . . . . . . . . ...372.2.5口语对话系统的框架 . . . . . . . . . . . . . . . . . . . . . . ...383评估口语对话系统403.1概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...403.2用户满意度测量。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...412.1天堂。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...413.2.2萨西。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...433.2.3 Servqual. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .433.2.4与人类黄金标准的比较。 . . . . . . . . . . . . . . . . . . . . . . . . . ...433.2.5总体评级 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...4483.3交互质量测量453.3.1来电者体验453.3.2对话转向级评级463.4用户满意度和交互质量的463.5位置47二测试区域494现有对话系统和强化学习任务514.1对话系统。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...514.1.1 CLASSIC系统3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...514.1.2城镇信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...544.1.3乐高语料库。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...564.2其他强化学习任务。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...572.1山地车。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...575预约调度系统595.1预约调度口语对话系统的工作。... ... ... ... ... ... ... ... ... ...595.1.1施雅德勒。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...595.1.2CLASSIC项目的系统。 . . . . . . . . . . . . . . . . . . ...595.2 NASTIA。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...605.2.1自动语音识别和自然语言理解 . . . . . . . . ...615.2.2自然语言生成和语音合成。 . . . . . . . . . . . . . . . . ...615.2.3对话管理。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...615.3 DINASTI。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...645.3.1招聘。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...645.3.2评估。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...655.3.3语料库注释 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...715.3.4语料库的使用。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...725.4预约调度模拟器。 . . . . . . . . . . . . . . . . . . . . . . . . . . . ...725.4.1对话框建模 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...725.4.2自动语音识别模拟 . . . . . . . . . . . . . . . . . . . . . . ...735.4.3建模用户满意度并对对话进行评分。 . . . . . . . . . . . . . . . ...735.4.4用户模拟。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...745.4.5语料库收集和注释。 . . . . . . . . . . . . . . . . . . . . . . . . . . ...76第三章空间推理796问题定义806.1Q-函数81的参数化6.2基于密度的方法8196.3基于政策的方法826.4基于价值的方法836.5SDS文献中使用的方法836.6位置847用于强化学习7.1稀疏分布式内存867.1.1演示文稿867.1.2在强化学习中的887.2基因稀疏分布记忆897.3用于强化学习7.3.1注释917.3.2构建原型917.3.3Q函数参数化927.3.4重新设计原型937.3.5设置两个参数957.4实验967.4.1第97章：你是谁？7.4.2预约调度模拟器98的应用7.4.3DINASTI101的应用四奖励函数推理1058问题定义1068.1问题。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1068.2绩效评分解释。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1068.2.1最终状态对话框的实用程序。 . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1068.2.2排名。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1078.2.3模型评估。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1078.2.4折扣系数的使用。 . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1088.2.5定位。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1099奖励塑造1109.1绩效评估对话 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1109.1.1探索性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1109.1.2指标。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1119.1.3模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1139.1.4结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1179.2奖励形成。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1189.2.1初步评估。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 118109.2.2奖励形成理论。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 1199.2.3对奖励推断问题的应用。 . . . . . . . . . . . . . . . . . . . . ... 1209.2.4奖励塑造算法的描述。 . . . . . . . . . . . . . . . . . . . . ... 1239.2.5在预约调度模拟器上比较不同的方法 . . ... 1231110 距离最小化12710.1形式主义。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 12710.2决议。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...12810.3 LTI语料库上奖励形状和距离最小化的比较。 . . . . . . . ...12910.3.1实验方案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 12910.3.2 结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 13010.4系统3语料库上的插图。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...13110.4.1 信息-特征状态空间。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 13110.4.2 结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 13110.5讨论。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13210.6适应GSDMRL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...13411 结论13611.1捐款。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...13611.2未来前景。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...137A 乐高语料库152B向与NASTIA互动的志愿者提供用户指南154B.1 DINASTI实验：用户指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...154B.1.1实验过程。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 154C DINASTI语料库中的特征157D 距离最小化的理论性质161D.1 形式描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...161D.2 分析。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...162D.2.1错误的传播。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 162D.2.2成品样品分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 163D.3 在Garnets上进行实验。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1643.1加内特。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 164D.3.2结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 16512图列表从一组分级对话中自动学习策略............................................................................................................222.1口语对话系统的不同组件概述.......................................................................................................282.2电子邮件发送任务的信息状态的可能表示...................................................................................312.3操作员调节室35的最佳操作顺序3.1Paradise中可用性的决策理论............................................................................................................. 414.1CLASSIC系统的逻辑对话3............................................................................................................ 524.2CLASSICSystem 3中的对话阶段示例。....................................................................................... 534.3CLASSIC实验中的用户日历示例。用户的可用时间插槽为绿色的。...........................................................................................................................................544.4山地车配置。...................................................................................................................................575.1基于RL的SDS设计的第一部分，其中奖励功能和状态空间是从数据中学习...................................................................................................................................605.2NASTIA............................................................................................................................................625.3触发所有NASTIA模块的对话框示例............................................................................................645.4NASTIA（左）和Sys-评估问卷回答之间的相关性第3条（右）。.................................................................................................................................675.5表示NASTIA感知效率和舒适度之间相关性的箱形图从ASR/NLU错误中修复。..............................................................................................................685.6NASTIA总体评价与疗效之间的相关性（左），总体评价和系统3的未来用途（右）。.........................................................................................................685.7NASTIA的总体得分与从上到下、从左到右的相关性为用户提供了足够的信息，系统...................................................................................................695.8网格表示与UDA拒绝和请求相对应的状态空间。......................................................................755.9使用SARSA（λ）对预约调度模拟器77的5.10 与随机政策（10，000个数据点）和SARSA政策学习（λ）（7，000个数据点）的对话持续时间和任务完成分布比较。...........................................................................................................776.1多个重叠网格倾斜。资料来源：[Sutton和Barto，1998年]............................................................. 82137.1稀疏分布式内存中读取过程的示意图 ... ... ... ... ... ... ... ... ... ... ...877.2Kanerva的SDM作为人工神经网络，来源：[Rogers，1988a]。... ... ... ... ... ... ... ... ... ... ... ...887.3一种用于降雨预测的高等级矢量，来源：[Rogers，1990]。... . . . . . . . . . . . . . . ...907.4月度特征值分析，来源：[Rogers，1990]。. . . . . . . . . . . . . . . . . ...917.5由GSDMRL构建的三层SDM。. . . . . . . . . . . . . . . . . . . . . . . . ...917.6使用GSDMRL计算状态作用对（st，ai）的Q值。 . . . . . . . . . . . . ...947.7使用磁贴编码和GSDM的SARSA（0.95）的学习结果。... . . . . . . . . . . . . . . . ...977.8SARSA（0.95）使用磁贴编码、GSDM和SDM使用低功效动作的学习结果987.9使用GSDM学习最佳策略... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...997.10 GSDMRL的学习结果和学习后的基于网格的表示，从左到右在左下角，我们有500、1000和2000个对话框（50个运行）。. . . . . . . . . . . . . ...1007.11 最优动作为的计数器向量之间的平均归一化距离最佳操作是哪个用户倡议或系统的计数器列表和向量主动性。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1048.1系统3的可用性得分取决于周转次数。. . . . . . . . . . . . . . . . ...1099.1乐高和智商评级中特征之间的相关性。. . . . . . . . . . . . . . . . . . . . ... 1119.2对话持续时间与IQ评分之间的相关性（从左下角到右上角：IQ）智商= 1，智商= 2，智商= 3，智商= 4，智商=5）。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1129.3没有最长对话的乐高分析。 左侧：中的特征之间的相关性乐高和智商评级。右图：对话持续时间和智商评分之间的相关性1139.4比较几个版本的奖励形状，从顶部左到底部左，在身体上500、1000和2000个对话（50次运行）。... . . . . . . . . . . . . . . . . . . . . . . . . . . . ...12610.1 将绩效估计值与通过奖励塑造计算的回报进行比较（a）和通过50个对话框中的距离最小化（b）计算的一个。 . . . . . . . . . . . . . . . ...13311.1 从一组分级对话中自动学习策略的方法。... . . . . . . . . . ...136B.1用于与应用程序设置服务对话的Web界面。 . . . . . . . . . . . . . . ...155B.2已填写的评估问卷示例。 ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...156D.1随着NT的增长，距离最小化误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . ...166D.2σ增长时的距离最小化误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...1661467表列表2.1 对话管理中典型的自动语音识别错误处理策略。........................................................................324.1LTI.........................................................................................................................................................555.1预约设置系统的操作...............
我的内容管理
展开
