基于Multi-LeapMotion传感器的机器人桌面操作改进

可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）104e113http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章基于Multi-LeapMotion传感器的机器人精细桌面对象操作任务演示 *金海洋a，b，c，陈庆a，b，陈志贤a，b，胡英a，b，*，张建伟ca中国科学院深圳先进技术研究院，中国深圳b香港中文大学，中国香港c汉堡大学，汉堡，德国2016年6月2日在线发布摘要在机器人系统的一些复杂桌面对象操作任务中，基于示教的控制是提高执行稳定性的有效途径。在本文中，我们使用一种新的光学手跟踪传感器，LeapMotion，进行机器人系统的非接触式演示。开发了一个Multi-LeapMotion手部跟踪系统。对两个传感器的设置进行了分析，以获得有效利用两个传感器信息的最佳方式。同时，建立了Mult-LeapMotion手跟踪装置和机器人演示系统的坐标系。通过对动作元素的识别和延迟校正，提出了融合原则，得到了改进和校正的手势识别。手势识别和场景实验进行，并表明所提出的Multi-LeapMotion手跟踪系统在桌面物体操作任务的机器人演示的改进。Copyright © 2016 ， 重 庆 理 工 大 学 . Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：LeapMotion传感器;多传感器融合;遥操作演示;手势识别;桌面物体操作1. 介绍对于智能机器人来说，桌面对象操作是最常见的任务之一。它结合了机器人在视觉、图像处理、物体识别、手臂操作等方面的能力。然而，真实的室内环境比实验场景复杂得多。机器人的视觉有时很难提供足够的信息来成功地执行一些困难的任务，例如拾取，放置或组装一些小物体[1]。在这些情况下，如果两个物体彼此太近，*本研究是国家自然科学基金项目（61210013）、广东省科技计划项目（1999）的一部分。2014A020215027。* 通讯作者。中国科学院深圳先进技术研究院，深圳市学苑大道1068号，邮编518055。联系电话：电话：0755- 86392182电子邮件地址：www.example.comying.hu @ siat.ac.cn（Y。胡）。同行评议由重庆理工大学负责。而且，在真实的室内环境中，经常会出现遮挡的情况。因此，遥操作演示法是克服这些问题的有效途径[2，3].这些演示方法已经在工业机器人上使用了几年。例如，使用带有按钮的控制器或六维鼠标来控制机器人并告诉关键位置和方向，以便机器人可以规划轨迹并以期望的方向正确到达每个关键位置并执行平滑运动[4]。然而，这种演示方法的接口是不有效的智能机器人系统。在大多数这样的系统中，机器人只记录位置和方向，而不解释手势，因此这些系统不适用于更复杂的桌面对象操作任务。一个更自然的方法的基础上动觉接口用于演示。人们可以拖动机械臂跟随他的动作，例如Hersch等人[5]和Hwang等人[6]对人形机器人的研究。然而，该方法也针对轨迹跟踪http://dx.doi.org/10.1016/j.trit.2016.03.0102468-2322/Copyright © 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113105-而不是手势识别。此外，这是一种典型的接触控制方法，其中人在与机器人相同的环境中工作。因此，它几乎不用于人类不友好的环境。因此，非接触式遥控方法更适合于这些情况。例如，为机器人系统开发了一些基于机械的[7e9]、基于光学跟踪或基于视觉的主从设备和远程操作系统[10e12]。与机械装置相比，光学和视觉跟踪系统具有成本低、安装方便等优点。对于手势识别，一种高效的方法是使用可以记录每个手指运动的数据手套[13，14];某些类型的数据手套甚至可以测量抓握或捏动作的接触力[15]。然而，除了数据手套的高成本之外，它们缺乏跟踪手的位置的能力。因此，增加了额外的方法来跟踪手的位置[16，17]，例如推断的光学跟踪[18]，这也增加了系统的复杂性。有些学者只将基于视觉的方法用于手部跟踪和手势识别。但是手势识别的性能受照明和背景条件的影响很大[19e21]。因此，使用一些辅助方法，如肤色和纯色背景，以提高识别精度[22，23]。其他一些学者使用Kinect的RGB-D数据进行手势识别[24]。然而，Kinect传感器是为身体运动跟踪而开发的事实证明，使用Kinect进行手部运动跟踪的准确性远低于LeapMotion传感器，LeapMotion传感器是专门为手部运动跟踪设计的[25]。LeapMotion1传感器由Leap Motion Inc.开发，是一种新型的非接触式手指/手跟踪传感器。它具有较高的跟踪精度，并提供了丰富的软件接口的姿态和手势识别。对机器人 操 作 进 行 了 一 些 初 步 的 研 究 。 Zubrycki 等 人 使 用LeapMotion传感器控制3指夹持器[26]，Guerero Rincon等人开发了一种控制机械臂的界面[27]，Marin等人报告了首次尝试从LeapMotion和Kinect的数据组合中检测手势[28，29]。这些使用单个LeapMotion进行手部跟踪和手势识别，然而，由于手指之间的遮挡问题，单个传感器只有在手掌具有理想方向时才能表现良好。在本文中，多LeapMotion手跟踪系统的开发，以克服上述单一LeapMotion的缺点的局限性。分析跟踪空间和工作区域，以获得两个LeapMotion传感器的适当设置。通过自配准，建立了坐标系。在此基础上，提出了一种校正时延和合并两个LeapMotion传感器数据的算法，以提高手部跟踪和手势识别的稳定性。开发一个远程操作演示系统，一个Kinect传感器和一个7自由度（度的自由度）的机器人手臂与一个3手指夹持器相结合，开发的多LeapMotion手跟踪系统在ROS（机器人操作系统）。2通过功能实验验证了手跟踪与手势识别相结合的效果。最后，通过一个场景实验，展示了该系统在机器人系统中的应用本文的其余部分组织如下：第二节描述了多LeapMotion手部跟踪系统的设计和安装;第三节介绍了两个传感器的数据融合算法;第四节介绍了场景设置和实验;最后，第五节给出了一些结论、讨论和未来的工作2. Multi-LeapMotion手部跟踪系统2.1. Muti-LeapMotion传感器对于高精度手势识别，当手掌旋转小于60度时，一个LeapMotion传感器可以很好地工作。LeapMotion传感器的协调和手掌的方向定义如图1所示。初始取向被定义为手掌与传感器平齐的旋转角度手掌被定义为手掌法向量与传感器的Y轴之间的角度。然而，对于这种基于光学的传感器，最常见的问题之一是遮挡。因此，当手掌的旋转角度接近90度时，手指可能被其他手指遮挡（定义为“手指咬合”）。此外，当手掌翻转并闭合到180°时，当手执行抓握或握拳手势时手指被手掌遮挡（定义为“手掌遮挡”）。这显然会影响手势识别。因此，在本文中，我们使用了一个更多的LeapMotion传感器覆盖所有盲区，克服了上述问题。光学传感器的另一个非常常见的问题是混叠。当目标物体距离背景物体太近时，跟踪和识别的准确率会降低。当LeapMotion传感器与操作员面对面安装时，会发生这种情况。因此，我们将两个LeapMotion传感器设置在与操作员手臂正交的平面上。 图 2显示了设置两个传感器的三种可选方式。面对面：这种设置方法有利于识别手势时，手是平的底部传感器或转动接近180。但当手旋转接近90度时，它很难解决手指遮挡问题。此外，当向上安装的传感器太靠近桌面时，会发生混叠情况。正交设置：这种设置方法擅长解决手旋转接近90度时的手指遮挡问题。但当手翻到180度时，手掌与侧面传感器垂直。在这种情况下，手指咬合发生在侧传感器，同时，手掌遮挡发生在底部传感器上。1http://www.leapmotion.com。2http://www.ros.org。106H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113HFig. 1. LeapMotion的坐标定义120度摆位：在这种情况下，当手翻转接近180度时，发生手掌咬合。但是侧面传感器，安装在120度角的底部传感器，可以跟踪手。当手旋转接近90度时，手指遮挡发生，侧面传感器仍然可以跟踪手指的位置。手此外，当手在侧面传感器的手指遮挡或手掌遮挡区域内时，它同时在底部传感器的良好跟踪区域内。然而，当手掌持续转动超过180度时，和底部传感器将有一较差识别性能在本文中，我们的目标是执行对象操作的右手，通常不会超过180度。因此，可以看出，通过120°设置方法，传感器可以很好地覆盖彼此在此过程中的情况下，并给出了一个连续的跟踪时，手旋转的共同工作空间。因此，我们使用此设置方法来图三. Multi-LeapMotion系统中的坐标转换。2.2. 自配准和坐标变换两个LeapMotion传感器和被跟踪的手的坐标系如图3所示。BO和SO分别是底部和侧面固定传感器的坐标中心。而HO是被跟踪的手的坐标。BTH和STH分别是手在底部和侧面固定传感器坐标中的姿态矩阵。为了融合来自两个传感器的数据，由侧面传感器跟踪的手的位置和方向应该首先通过校准矩阵（1）切换到底部传感器的坐标。提出了多LeapMotion手部跟踪系统。BTS¼BTH$ST-1ð1Þ图二、两个LeapMotion传感器的三种设置方法a. 面对面; b.正交设置; c.120米-准备。H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113107---××为了获得校准矩阵，在初始化过程中执行自校准。操作者以大约10 °的角度将他/她的手平放在底部传感器30度到侧面传感器的角度大约为 150磅带着这个方向-站和手势，手可以鲁棒地跟踪，手的姿态矩阵[BTH1，BTH2，让平手缓慢移动，同时记录来自两个传感器的数据并获得变换矩阵的数组，[BTS1，BTS2…, 从这些矩阵阵列中提取位置向量和欧拉向量。利用它们的平均值进行重构，得到标定矩阵。2.3. 工作空间分析自校准方法使得集成整个坐标系变得更加容易。每当一个人想调整两个LeapMotion传感器的设置，他们唯一需要的是在使用系统之前使用上述校准方法重新校准系统。但由于LeapMotion传感器工作空间的限制，具体确定了两个传感器的位姿。LeapMotion传感器的理想工作空间一矩形的框与235毫米235毫米147 mm[25]，盒子中心在[0，200，0]。多跳跃运动手部跟踪系统的期望工作空间是两个矩形框中最大的内接圆柱。因此，我们认为，两个传感器之间的角度为120°，侧面安装的传感器的位置在底部坐标安装的传感器，是BPS[173，300，0]。通过这些布局，所需工作空间的直径为235 mm，其中心位于[0，200，0]。图4示出了Muti-LeapMotion手部跟踪系统的工作空间。图四、通过跳跃运动传感器进行手部跟踪图五、遥操作演示系统的坐标变换108H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113L¼¼2.4. 基于Multi-LeapMotion的演示系统利 用上 述多 跳跃 运动 手部 跟踪 装置 、视 觉传 感器（Kinect）和机械手（来自LWA的SchunkTM的轻量臂），构建了完整的机器人远程操作演示系统。其坐标系如图5所示。EO和LO是演示器的视觉和操作坐标;VO和RO是LWA的视觉和操作坐标;显示在屏幕上的教学坐标TO是演示器和LWA坐标之间的连接。利用（2），合并它们的操作坐标，使得手在演示工作空间中的位置和姿态映射到LWA的工作空间中以执行演示或遥操作。LTR¼K$TT-1$TTR 23. Multi-LeapMotion手部跟踪手掌的位置和方向以及每个手指的伸展状态可以直接由LeapMotion传感器的API提供。但是，这些信息和状态是通过内置算法获得的，仅适用于单个LeapMotion传感器。因此，很难在这些状态级别上融合数据。利用两个传感器采集到的手指各关节的原始位置和方向数据，在数据级进行融合，得到正确的手部跟踪信息。3.1. 手和手指在LeapMotion传感器的API中，如图6a所示对人手进行建模。3每个手指由由4个环节（掌骨、近节指骨、中间指骨和远节指骨）和3个关节（间腕指关节、近节指间关节和远节指间关节）组成。结合拇指解剖结构，可考虑为0长掌骨。对于每个手指，如图6b所示的运动学模型包括4个DoF（自由度）。其中2个由远侧指间关节和近侧指间关节提供（如R型关节）;另2个由Meta腕指关节提供（如U型关节），包括外侧旋转。由于手指链的长度是恒定的，因此可以通过手指的每个自由度的角度来描述手的手势的跟踪。3.2. 单指数据融合对于桌面对象操作任务，最常见的手势和动作是抓握、捏和释放。在这些操作中，抓或捏的力量3https://commons.wikimedia.org/wiki/File:Scheme human hand bones-en.SVG见图6。人手的解剖结构与运动学模型。a.解剖结构; b.手指的运动模型取决于远侧指间、近侧指间和掌指角度的总体趋势，而不仅仅是单个关节的角度。这三个角度之和jqsi被认为是一个特征。此外，横向角度另一个特点是运动关节，jqli有了这两个fea-最终，可以确定姿态在那里，s和l分别表示前三个角度的总和和横向移动角度的值;i[1e5]表示从拇指到小指的指数;j[B，S]表示固定在底部或侧面的传感器的指数。为了减少噪声信号的影响，使用具有5帧数据窗口的递归平均值来说明jqsi和jqli。其次，对于远程操作示范 应用程序，关键信息 是一系列关键点上的手势和位置。在动作完成后，手自然会在这些关键点上有一个短暂的停顿（通常大于0.1秒）。因此，元素操作可以定义为具有开始和结束两个稳定状态，以及动态状态（上升或下降）。利用原始数据的短时平均能量来判断状态是否稳定。如果当前数据窗口的平均能量小于0.0008，则认为当前状态处于稳定状态。否则，jqsi或jqli的当前角度的记录将开始吧。当状态再次稳定时，将被记录，并且元素动作完成。 图 7 aH. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113109见图7。元素操作的识别。a. Bqs2; b. Bqs2和Sqs2。给出了Bqs2的原始数据和用上述方法识别的单元作用。利用该方法，可以很容易地校准来自不同传感器的数据的时间延迟。如图7b所示，不需要记录每帧数据的时间戳;而仅将两个传感器的第一个起始点标记为元件动作的起始点，并且将最后一个传感器再次变得稳定作为元件动作的结束在这些元素的作用下，有几种不同的情况，如来自两个传感器的数据都在上升，下降，一个稳定，一个上升等，在不同的情况下，我们设计了不同的原则来融合来自不同传感器的数据。融合原理的细节在算法1中示出。这里我们以食指前三个关节的和角Sqs2和Bqs2为例。3.3. 从人手到机器人抓取器的手势映射[30]，我们提出了一种方法来映射手势从人手到机器人抓手，并产生一系列的动作演示。与以往的双指夹持器不同，本文采用的是三指夹持器Schunk™ Dextrous Hand（SDH）。因此，典型杯子抓取任务的手势映射如表1所示，动作生成方法与[30]相同。4. 实验在本节中，进行了两组实验：一组实验是测试所提出的Mutli-LeapMotion手跟踪系统在手势识别;另一组是在Gazebo4仿真环境中的场景实验，以演示所提出的方法在遥操作机器人系统中的应用。由于人手结构的不同，机器人的抓取器，识别的手势和动作应该首先从人手映射到机器人抓取器。 在4http://www.gazebosim.org.110H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113表1手势映射表。4.1. 手势识别实验为了测试并与单个LeapMotion手部跟踪进行比较，来自不同传感器的数据用不同颜色的点表示。如图8所示，来自SB的数据为绿色，而来自SS的数据为白色。必须注意的是，所有这些手势都是动态动作，而不仅仅是静态手势。对于最常见的手势之一，从侧面抓握（图8a中所示），手势被SB跟踪，就像拇指伸出一样。此错误是由于手指遮挡问题而发生的。通过S-S校正，解决了误识别问题.对于另一个典型的手势，如图8b所示的手掌向上的握拳/抓握，SB的遮挡导致其几乎不能区分完全握拳或半抓握。与SS融合后，手势被正确识别。在图8c中，执行非常复杂的手势，用拇指和无名指捏。另外，由于遮挡问题，SB本身很难给出正确的识别。通过数据融合，这种姿态得到了很好的识别。上述手势分别执行30次，并且表2示出了手势识别的实验结果，其比较了单侧安装传感器，单个底部安装传感器，多传感器融合从上述数字和表格来看，可以看出，使用所提出的方法，不仅提高了手势识别率，而且手势也更接近于实际手势。4.2. 桌面物体操作实验在场景实验中，我们使用所提出的Multi-LeapMotion手部追踪装置与演算法来遥控一个机器人执行一个杯子抓取任务。如图所示 图 9a，本 实 验 的远程场景构建在H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113111图八、手势识别实验。a. 从侧面抓住;B。手掌向上抓;C。用拇指和无名指捏Gazebo环境，提供与物理环境相同的界面，并允许您避免执行实验的硬件限制。在图9a中示出了在露台环境中的实验场景，其包括：机器人操作器（LWA和SDH），Kinect传感器提供实验场景（基于点云数据）和对象（acup）的视图。操作员可通过安装在桌面上的Multi-LeapMotion手部跟踪设备在本地场景中进行远程控制。在R-Viz中，机器人机械手、Kinect传感器和工作台的位置是固定的，或者可以由机器人本身跟踪，因此它们被设置为可见。Kinect传感器提供的点云也显示在这个场景中，图中的a-s。 9 b.在情景实验中，我们遥操作控制LWA和SDH抓住旁边的杯子。图10显示了这个实验中的一系列动作。可以看到，当手位于杯子的一侧时，大部分手指的状态被SS识别。在缓慢转动杯子倒水的同时，SB可以更好地检测手指的状态，解决了侧抓倒水动作阵列中的遮挡问题，提高了动态动作过程中手势识别的整体性能。5. 结论和今后的工作本文提出了一种多跳跃运动的手跟踪和手势识别系统，用于机器人系统中的遥操作演示。分析了两种传感器的安装结构，以克服手指和手掌遮挡问题。为了使安装过程更加简单和灵活，提出了一种自标定方法来实现两个传感器之间的坐标转换。此外，还开发了演示系统为了进行数据融合和手势识别，建立了简化的手指运动学模型.每个手指的两个特征，前三个关节的角度和横向运动角度，提取。利用不同手势之间的短暂停顿来检测每个手指的特征角的稳定、上升和下降三要素动作。数据融合仅在新的元件动作发生时进行，因此来自不同传感器的数据的延迟可以容易地被校准。这也使得数据融合在相对较长的时间段内执行。提出的融合原则使其在机器人演示手势识别中具有更高的稳定性和准确性。本文提出的Mult-LeapMotion手跟踪和手势识别系统旨在用于桌面物体操作任务的机器人演示。其中，实时性能并不太重要，关键在于关键位置的按键手势。因此，在算法设计中考虑了人手的一些自然特性，如短暂停顿等表2手势识别率。从侧面抓取掌心向上用拇指和无名指底部传感器百分之六十三点三百分之二十6.7%侧面传感器百分之八十六点七百分之七十三点三百分之六十三点三融合识别百分之九十百分之八十三点三百分之七十三点三112H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113图第九章情景实验的场景a. 在Gazebo模拟环境中; b.在RViz。见图10。侧抓实验中的动作阵列。a.位于杯子的侧面; b.抓持; c. 倒酒。两个手势之间。因此，如果类似的Mult-LeapMotion设备用于机器人系统中的实时远程操作，则应特别修改算法。此外，两个传感器的设置方法主要用于从物体的侧面或顶部进行抓取。如果手掌向前或向后，底部或侧面安装的传感器都会发生遮挡问题。为了解决这些问题，我们还需要在传感器设置的优化和手势识别算法的改进方面做更多的工作。引用[1] Y. Wang，J. Cai，Y. Wang，Y.胡河，巴西-地Xiong，Y.刘建，张建，李光. Qi，基于概率图的空间装配关系推理，用于通过演示进行装配任务的编程，在：IEEERSJ智能机器人和系统国际会议（IROS 2015），汉堡，德国，2015年，pp. 4402和4407。[2] K. Ogawara，J. Takamatsu，H.木村K. Ikeuchi，Generation of a taskmodel by integrating multiple observations of human demonstrations，in：Robotics and Automation，2002。诉讼ICRA '02。IEEE国际会议，第2卷，2002年，pp.1545e1550，http://dx.doi.org/10.1109/ROBOT.2002.1014763。[3] A. Billard，S.卡利农河Dillmann，S. Schaal，通过演示进行机器人编程，在：B。西西里岛Khatib（Eds.），《机器人手册》，Springer，Secaucus，NJ，USA，2008，pp. 1371年和1394年。[4] R. Hollmann，M. Hagele，A. V erl，学习概率模型，以提高编程效率-通过工业机器人演示，ROBOTIK 2010（2010）105e 111。[5] M. Hersch，F. Guenter，S. Calinon，A.陈志华，机器人学习的动力学模型，北京：机械工程出版社。机器人24（6）（2008）1463e1467。[6] J. - P. Hwang，S.H.李岛H. Suh，Behavior programming by kinestheticdemonstration for a chef robot，in：8th International Conference onUbiquitous Robots and Ambient Intelligence （ URAI ） ， 2011 ， p.875，http://dx.doi.org/10.1109/URAI.2011.6145993，875.[7] J. vandenBerg，S.米勒，D。Duckworth，H.Hu，黄毛菊A.万，X。Y. 阿福，K. Goldberg，P. Abbeel，Superhuman performance of surgical tasksbyrobots using iterative learning from human-guided demonstrations，in ： 2010 IEEE International Conference on Robotics&Automation（ICRA），2010，pp. 2074年和2081年。[8] L. 罗索山口我的鼻子，C。 Torras，机器人学习从基于力的任务与多个解决方案轨迹的演示，在：第15届国际先进机器人会议，2011年，第15页。 124和129。[9] L. 罗索山口 吉梅内斯角 Torras，从演示框架学习执行基于力的操作任务的机器人，英特尔。Serv. 机器人6（2013）33e 51。[10] A.瓦坎斯基岛Mantegh，A. Irish，F. Janabi-Sharifi，IEEE Trans.曼·赛伯恩B Cybern。 42（4）（2012）1039e 1052。[11] J. - G.葛，通过双臂机器人的光学跟踪系统演示编程，在：2013年第44届国际机器人研讨会（ISR 2013），2013年，第103页。 1e7。[12] 答：L. Vollmer，M.Mhlig，J.J.Steil，K.Pitsch，J.Fritsch，K.J.罗尔芬，B. Wrede，Robots show us how to teach them：feedback from robotsshapes tutoring behavior during action learning ， PLoS ONE 9（2014），http://dx.doi.org/10.1371/journal.pone.0091349.[13] C、-- S. Fahn，H. Sun，Ind.Electron.IEEE Trans.52（2）（2005）585e 594，http://dx.doi.org/10.1109/TIE.2005.844259。[14] G. Heumer，H.Ben Amor，M.韦伯湾Jung，Grasp recognition withuncalibrated data glovese a comparison of classification methods，H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 113113在：114H. Jin等人/CAAI Transactions on Intelligence Technology 1（2016）104e 1132007年IEEE虚拟现实会议（VR '07），2007年，pp。19e 26，dx.doi.org/10.1109/VR.2007.352459。[15] H.杜，W. Xiong，Z.王湖，加-地陈，一种新型气动力反馈数据手套的设计，在：2011年国际流体动力与机电一体化会议（FPM），2011年，pp. 292e 296.[16] L. Lukic，J. Santos-Victor，A. Billard，Biol. Cybern. 108（2014）223e 248.[17] Y. Gu ， W. 沈 ， M 。 Liu ， Y. Ou ， Fine manipulative actionrecognitionthroughsensorfusion ， in ： IEEESJInternationalConference on Intel-ligentRobots and Systems （ IROS 2015 ） ，Hamburg，Germany，2015，pp. 886和891。[18] H.- I.林角，英-地H.郑文K. Chen，从人类演示中学习拾取和放置机器人任务，在：2013 CACS国际自动控制会议（CACS），2013，pp. 312和317。[19] A. 埃罗尔湾Bebis，M.尼科列斯库河Boyle，X.汤布利，计算机。目视图像理解108（1）（2007）52e 73。[20] S. 米 特 拉 ， T. Acharya ， Part C Appl.Rev.IEEE Trans.37 （ 3 ）（2007）311e 324.[21] G.默蒂河Jadon，Int. J. Inf. Technol. Knowl. Manag. 2（2）（2009）405e 410。[22] T.放大图片作者：A.彭特兰，模式肛门。马赫内特尔IEEETrans.20（12）（1998）1371e 1375.[23] M.- H. Yang，N.Ahuja， M.标签， 模式肛门 . 马赫内 特尔IEEETrans.24（8）（2002）1061e 1074。[24] Z. 任 ，J.Yuan ，J. 孟 ，Z.Zhang， Multimed.IEEE Trans. 15（ 5 ）（2013）1110e 1120。[25] Y. Kim，P.C.W.金河，巴西-地Selle，A. Shademan，A. Krieger，用于外科手术任务远程操作的非接触式手部跟踪系统的实验评估，在：2014年IEEE机器人自动化国际会议&（ICRA），2014年，pp.3502和3509。[26] I.祖布里茨基湾Granosik，使用集成视觉系统：三个齿轮和跳跃运动，以控制3指灵巧夹持器，在：自动化，机器人和测量技术的最新进展，Springer，2014年，pp. 553和564。[27] C. Guerrero-Rincon，A. Uribe-Quevedo，H. Leon-Rodriguez，J. O.Park，基于手的跟踪电子动画交互，在：机器人（ISR），2013年第44届国际研讨会上，IEEE，2013年，pp. 1e 3。[28] G. Marin，F. Dominio，P. Zanuttigh，Hand gesture recognition withleapmotion and kinect devices，in：Image Processing（ICIP），2014IEEEInternational Conference on，IEEE，2014，pp. 1565年和1569年。[29] G. Marin ， F. Dominio ， P. Zanuttigh ， Hand Gesture RecognitionwithJointly Calibrated Leap Motion and Depth Sensor ， MultimediaTools andApplications，2015，pp. 1e 25。[30] H.金湖，澳-地Zhang，S. Rockel，J. Zhang，Y. Hu，J. Zhang，一种用于桌面对象操作任务的新型基于光学跟踪的远程控制系统，在：IEEESJ智能机器人和系统国际会议（IROS 2015），汉堡，德国，2015年，pp. 634和642。