1 0勃艮第大学科学与技术学院 博士学位论文 作者：Craig SCHLENOFF 获得博士学位在合作人机环境中通过状态表示推断意图 2014年6月30日提交 评审委员会：BenoîtEynard教授，康皮涅技术大学，评审人 BernardGrabot教授，塔尔布工程师学院，评审人 Salima Hassas教授，里昂第一大学，考官Dominique Michelucci教授，勃艮第大学，考官 SebtiFoufou教授，勃艮第大学，导师2 3 0摘要人类和机器人在一个合作的环境中安全地无缝合作是机器人社区未来的目标之一。当人类和机器人能够在同一空间中共同工作时，一整类任务就可以自动化，从协作装配到零件和物料处理再到交付。目前存在关于人机协作安全的标准，但它们主要侧重于限制人类和机器人之间的接近距离和接触力。这些标准仅依赖于当前传感器读数的反应性过程，不考虑未来状态或任务相关的信息。在合作环境中，人机安全的关键是意图识别领域，机器人通过识别代理（人类）的一些或全部动作来理解代理的意图，以帮助预测代理的未来动作。我们提出了一种通过识别和表示状态信息来推断环境中代理的意图的方法。这种意图识别方法与文献中许多基于本体的意图识别方法不同，后者主要侧重于活动（而不是状态）识别，然后使用一种形式的演绎来解释观察结果。我们使用基于区域连接演算（RCC-8）的观察来推断详细的状态关系，然后推断在给定时间内成立的整体状态关系。一旦确定了一系列状态关系，我们使用贝叶斯方法将这些状态与可能的整体意图相关联，以确定可能发生的下一个动作（及其相关状态）。我们将意图识别算法的输出与在制造装配领域中试图识别相同意图的人类实验的结果进行比较。结果显示，在几乎所有情况下，意图识别算法的表现几乎与人类执行相同活动的表现一样好，甚至更好。4 0简历人类和机器人在一个安全和和谐的环境中安全地合作是机器人社区未来的目标之一。当人类和机器人能够在同一空间中共同工作时，一整类任务就可以自动化，从协作装配到零件和物料处理再到交付。确保人类的安全需要机器人能够监视工作区域，推断人类的意图，并能够及早意识到潜在的危险以避免它们。目前存在关于机器人和人类合作的标准，但它们主要侧重于限制人类和机器人之间的接近距离和接触力。这些方法仅依赖于传感器的读数，并不考虑未来状态或相关任务的信息。在合作环境中，人类和机器人安全的关键是意图识别领域，机器人通过识别人类的一些或全部动作来理解人类的意图，以帮助预测人类的未来动作。在本论文中，我们提出了一种通过识别和表示状态信息来推断环境中代理的意图的方法。这种意图识别方法与文献中许多基于本体的意图识别方法不同，后者主要侧重于活动（而不是状态）识别，然后使用一种形式的演绎来解释观察结果。我们使用基于区域连接演算（RCC-8）的观察来推断详细的状态关系，然后推断在给定时间内成立的整体状态关系。一旦确定了一系列状态关系，我们使用贝叶斯方法将这些状态与可能的整体意图相关联，以确定可能发生的下一个动作（及其相关状态）。我们将意图识别算法的输出与在制造装配领域中试图识别相同意图的人类实验的结果进行比较。结果显示，在几乎所有情况下，意图识别算法的表现几乎与人类执行相同活动的表现一样好，甚至更好。5 0致谢 �有很多人我想感谢他们对我学术追求的支持和鼓励，这使得这篇论文的发表成为可能。首先，我想感谢我的妻子Rani。在我分析实验或撰写论文时，她一直非常支持我，花了很多额外的时间照顾我们的家庭。Rani，谢谢你，我非常爱你。我还要感谢我的孩子Jake，Alec和Tali，感谢他们给我提供了时间（和安静的环境）来完成我的研究。现在我的工作完成了，我可以开始完成你们想要我带你们去的所有地方的待办事项清单了。我还要感谢我的导师SebtiFoufou教授。多年来，我一直在考虑回去读博士学位，正是和他的交谈给了我这样做的动力。距离我上次获得学位已经过去15年了，重新适应成为学生的生活需要一些调整，我感谢他帮助我完成这个过程。我还要感谢他在研究挑战中提供的帮助和支持，以及在法国大学和非法语母语的学生之间的语言障碍方面提供的帮助。我要感谢我的论文委员会，由Benoit Eynard教授（评审员），Bernard Grabot教授（评审员），SalimaHassas教授（考官）和DominiqueMichelucci教授（考官）组成，他们为我的委员会服务，并对我的论文提出了很好的评论。此外，我还要感谢我的雇主，美国国家标准与技术研究所（NIST），允许我利用NIST进行的强大工作。我能够完成这篇论文中所描述的大量研究的原因之一是因为在我成长过程中，教育得到了很大的重视，并且我得到了很多鼓励。我的父母Marvin和Harriet为我创造了这个非常丰富的环境，并在整个过程中给予了我很多爱。对于所有这些和更多，我永远感激不尽。最后，我要感谢ZeidKootbally帮助我理解勃艮第大学的博士学位过程（他几年前已经完成了），并帮助我解释和完成了许多法国表格，如果没有他，我会很难理解。6 1. Introduction ......................................................................................................................................... 13 0目录 摘要 .......................................................................................................................................................... 3�0摘要 ........................................................................................................................................................... 4 �0致谢 .......................................................................................................................................... 5 �0目录 ........................................................................................................................................... 6 �0表格清单 .................................................................................................................................................. 9 �0图表清单 .............................................................................................................................................. 10 �01.1. � 目标和论文贡献 ............................................................................................ 14 �01.2. 论文组织 .............................................................................................................. 1702. 相关工作 ...................................................................................................................................... 2102.1. 意图识别 ................................................................................................................ 2102.1.1. 概述 ............................................................................................................................... 2102.1.2. 意图识别的分类 ................................................................................. 2302.1.3. 信念-欲望-意图架构 ................................................................................... 3302.1.4. 应用领域 ........................................................................................................... 3502.1.5. 意图识别的度量标准 ........................................................................................ 4102.2. 活动识别与状态识别的比较 ............................................................................... 4302.2.1. 状态识别的现状 .................................................................................... 4402.2.2. 活动识别的现状 ................................................................................ 4702.2.3. 状态和活动识别的比较 ..................................................................... 5002.3. 状态表示 .................................................................................................................. 5002.3.1. 高层本体中的状态和空间知识 ....................................................... 5002.3.2. 详细本体中空间表示的方法 .................................... 5202.3.3. 状态（空间）表示的不同维度 ...................................................... 5402.3.4. 各种应用中的空间语言使用................................................................ 5602.4. 结论 ................................................................................................................................. 5703. 状态表示与推理................................................................................................... 6003.1. 状态关系本体 ..................................................................................................... 6003.1.1. RCC8方法..................................................................................................................... 6103.1.2. 定义更复杂的关系 ........................................................................................ 6303.1.3. 状态关系本体构建...................................................................................... 6503.2. 状态关系算法 .................................................................................................. 660703.2.1. 将对象投影到平面并确定轮廓 ................................ 6603.2.2. 确定对象投影重叠的时机................................................................... 6703.2.3. 从RCC8关系推断中间状态关系............................................... 6803.3. 制造装配本体及相关状态关系...................................... 7003.3.1. 人机协作制造场景........................................................ 7003.3.2. 制造装配领域描述.......................................................................... 7203.3.3. 制造装配本体.................................................................................... 7203.4. 结论................................................................................................................................. 8704. 意图识别.......................................................................................................................... 8804.1. 意图本体............................................................................................................. 8804.1.1. 排序构造.............................................................................................................. 8804.1.2. 意图.............................................................................................................................. 9004.1.3. 装配示例.................................................................................................................. 9104.1.4. 意图本体中的装配示例...................................................................................... 9204.2. 意图识别算法....................................................................................... 9504.2.1. 跟踪状态和状态关系随着动作的发生.......................................................... 9504.2.2. 将感知到的实时状态关系与意图模板匹配.............................................................. 9804.2.3. 将可能性关联到意图..................................................................................10004.2.4. 探索个体意图识别方法......................................................10105. 系统架构...........................................................................................................................11905.1. USARSim .................................................................................................................................12005.2. USARTruth ..............................................................................................................................12205.3. MySQL数据库.....................................................................................................................12305.3.1. MySQL数据库生成...............................................................................................12405.3.2. C++类生成和使用.........................................................................................12505.3.3. 用于访问MySQL数据库的C++类.......................................................12605.4. 状态关系和装配本体........................................................................................12705.5. 状态识别算法..................................................................................................12905.6. � 状态识别输出.........................................................................................................131 �05.7. � 意图本体...................................................................................................................133 �05.8. � 意图识别算法..............................................................................................134 �05.8.1. � 装载和读取本体 .......................................................................................134 �05.8.2. � 计算可能性的方法 ................................................................................135 �05.9. � 意图可能性...............................................................................................................137 �06. � 意图识别实验.....................................................................................................138 �06.1. � 实验程序..........................................................................................................138 �8 06.2. � 实验结果（概述）............................................................................................142 �06.3. � 实验结果（详细信息）.................................................................................................144 �06.4. � 实验结果（总体观察）..........................................................................171 �06.5. � 应用其他意图识别方法 ............................................................172 �07. � 结论和未来工作.............................................................................................................177 �07.1. � 成就 .............................................................................................................................177 �07.2. � 未来工作.............................................................................................................................178 �0参考文献 ................................................................................................................................................181 �0附录A：装配工作站本体详细信息...................................................................................192 �0附录B：实验的装配计划 ........................................................................................................210 �9 0表目录0表1：用于活动识别的动作 .......................................................................................... 48 �0表2：装配工作站类层次结构............................................................................................. 75 �0表3：动作 take-kittray 的前提条件和效果 .................................................................... 83 �0表4：空间关系的修订定义................................................................................................................. 85 �0表5：初始状态表示构造的排序。 .......................................................................... 89 �0表6：构造细节............................................................................................................................ 90 �0表7：套件1意图模板 ................................................................................................................ 94 �0表8：套件2意图模板 ................................................................................................................ 95 �0表9：实时状态关系跟踪表 ...................................................................................... 97 �0表10：实时状态关系跟踪表（版本2） ................................................................. 99 �0表11：套件1意图模板（版本2） ........................................................................................... 99 �0表12：套件2意图模板（版本2） ..........................................................................................100 �0表13：意图与匹配状态关系 .....................................................................................102 �0表14：第8个状态下意图变量的总结 ..................................................................................103 �0表15：度量指标对可能性的影响 ...........................................................................................115 �0表16：意图与匹配状态关系 .....................................................................................116 �0表17：详细的人类意图识别数据 ..............................................................................140 �0表18. 算法输出与人类意图识别的比较 ...........................................144 �0表19：权重对前三种方法的影响 - 粗粒度级别 ...................................................173 �0表20：权重对前三种方法的影响：细粒度级别 ..........................................174 �10 0图表清单0图1：意图识别的六条可能路径 ................................................................................ 14 �0图2：意图识别的新路径 ........................................................................................... 16 �0图3：意图识别流程 ............................................................................................. 17 �0图4：演绎与归纳与诱导 ......................................................................................... 25 �0图5：样本贝叶斯信念网络 ................................................................................................. 29 �0图6：基于案例推理的方法[52] .......................................................................................... 31 �0图7：意图图[13] ................................................................................................................ 33 �0图8：高级DBI架构 ....................................................................................................... 34 �0图9：基于图的意图识别方法[24] ................................................................. 40 �0图10：2011年SPC中使用的样本加工NIST工件，随机排列。 ...................... 45 �0图11：地面真实夹具........................................................................................................... 45 �0图12：所有399帧的翻译分数.................................................................................... 46 �0图13：Mind's Eye评估的精确结果........................................................................... 49 �0图14：MCC度量结果............................................................................................................... 49 �0图15：Cyc空间关系示例..................................................................................................... 51 �0图16：定性实体位置[126] ...............................................................................................
我的内容管理
展开
