2020年虚拟现实智能硬件论文：增强现实中多通道人-群机器人交互系统

虚拟现实智能硬件2020年12月第6引文：陈明轩，张平，吴泽波，陈晓丹。增强现实中多通道人-群机器人交互系统。虚拟现实智能硬件，2020，2（6）：518-533DOI：10.1016/j.vrih.2020.05.006·文章·增强现实陈敏轩，韩平志*，吴泽波，谢奥达华南理工大学计算机科学与工程学院，广东广州510006*通讯作者，pzhang@scut.edu.cn投稿时间：2020年2月25日修订日期：2020年4月2日接受日期：2020年5月5日由Key-Are a Rearc h anDelopmetProgramofGuang dongProvinc e（2019B090915002）提供。摘要背景大量的机器人对人机交互提出了新的要求.如何自然地实现人与群机器人系统之间高效、准确的交互是人与群机器人交互中的一个难题。为了解决这个问题，本文提出了一种新型的人类群体自然交互系统。方法通过三维手势交互通道和自然语言指令通道的协同工作，实现人与群机器人之间自然、高效的交互。 结果第一，3DLasso技术通过有向包围盒实现了群体机器人的批量拣选交互。其次，定义了面向群体机器人的控制指令标签。通过指令标签填充将指令标签与3D手势和自然语言集成。最后，通过基于最大熵模型的文本分类器实现了对自然语言指令的理解。头戴式增强现实显示设备被用作视觉反馈通道。结论通过机器人选型实验验证了该系统的可行性和有效性。关键词人群交互;增强现实;多通道集成1介绍随着多机器人系统越来越多地应用于不同领域解决实际问题，群体机器人已成为智能技术研究的热点和前沿。群机器人系统是一类多机器人系统。与多机器人系统不同，群体机器人系统的灵感来自动物群体的自然行为。通过一群简单且低成本的机器人的本地交互，群体机器人可以帮助完成单个机器人难以或不可能完成的任务。与传统的集中控制不同，群机器人系统中的每个机器人都能获取自身状态和周围环境的信息，包括周围的其他机器人，并通过局部控制规则与系统中的其他机器人进行交互，进行自组织和协调控制。群机器人系统通过自组织的集体行为来完成目标工作，如觅食[1]、覆盖[2]、群集[3]等方法。由于群机器人系统中每个机器人的功能和结构简单，它具有分布式的特点，使其能够在单个机器人完成任务时成功地完成2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.comMingxuanCHENetall：一个多层次的人类-519机器人失败它具有高度的鲁棒性、可扩展性和灵活性。群机器人系统的替换可以通过简单地使用相同的简单且廉价的机器人来完成。群机器人系统可以特别用于解决各种问题[4]，例如路径查找，环境探索，动态环境中的救援或支持，甚至空间探索[5]。通过使用群机器人系统，一方面可以降低劳动力成本，工人可以避免在危险的工作环境中受伤。另一方面，它们可以完成机器人无法完成的任务，为解决问题提供新的思路。面对群体机器人的研究现状和广泛的应用范围，人与群体机器人之间自然、高效的交互已势在必行。人类群体交互（Human-Swarm Interaction，HSI）[6]研究的重点是能够有效传递人类控制意图的方法。同时，可以提高群体机器人的自组织行为。事实上，在某些应用场景中，将人为影响因素引入群体机器人系统可以产生有益的，甚至是关键的影响。例如，面对剧烈的环境变化，一群机器人很难提供快速的反应，或者以自组织的方式进行适应。在这种情况下，人类经验可以发挥特别重要的作用。然而，HSI尚未得到足够的重视，相关研究尚处于起步阶段[7]。迫切需要一个直观的HSI界面，以更好地将人类交互意图传达给群机器人，并更快更好地完成任务。在本文中，我们专注于人类操作员和一群机器人之间的接口（批量选择和视觉反馈）。HSI中研究最多的问题之一是为群体机器人设计合适的控制输入方法。Kolling等人[6]指出了HSI的四种模式：监督模式[8]、直接控制模式[9]、共享控制模式[10]和环境影响控制模式[11]。Gromov等人采用可穿戴设计，通过手势交互结合语音、视觉和动作通道实现与小规模群体机器人的交互[12]。当机器人数量较多时，群机器人的选择性交互操作需要花费一定的时间。为了使交互时间不受机器人数量的影响，提出了一种批量选择交互方法。Erat等人利用头戴式显示器（HMD）在无人机上提供偏心视角，让操作员通过凝视控制无人机[13]。在人类视觉支持下，空间理解得到增强，用户界面改善了与无人机的自然交互。我们的HSI系统可让操作员在室外环境中控制机器人。操作员可以通过HMD查看整个工作场景Tsykunov等人提出了一种振动触觉手套，通过直观地将编队状态映射到人类指垫，用于人类与一群空中机器人的交互[14]。触觉提示可以补充视觉通道，使蜂群控制更加身临其境。然而，用户必须记住每个触觉图案的含义。HSI研究的重点仍然是通过自然和直观的交互有效和准确地将人类控制意图传递给具有自组织的机器人群。本文的主要贡献如下：（1）设计了一个多通道增强现实HSI系统。通过增强现实显示通道、三维手势交互通道和自然语言指令通道的协作来补充交互信息。相应的多通道优点有效地减少了单个交互通道上的负载并增加了总体交互信息带宽。(2)建立交互场景与交互对象之间的坐标系关系。提出了一种群体机器人选择方法，该方法利用基于空间划分的三维套索对场景中的虚拟机器人进行批量选择和交互。(3)建立了HSI的控制指令库和相应的指令标号，520虚拟现实智能硬件2020年12月第6收集控制指令以构建语料库。多个通道通过指令标签填充集成。2多通道增强现实HSI系统的设计为了满足便携性、直观反馈和自然交互的需求，所提出的交互系统使用HMD作为视觉反馈设备。固定在HMD上的手势传感器捕获控制器的手势信息。HMD的内置麦克风捕获控制器的语音信息，并在便携式PC上进行处理。HMD被用作视觉反馈通道，通过增强现实实现直观的信息反馈。系统的有效通道包括3D手势交互通道和自然语言指令通道，允许控制器使用更接近自然语言的3D手势和指令。这在一定程度上保证了互动的自然性。最后，该系统通过填充指令标签，将三维手势交互和自然语言指令集成在一起，实现机器人的选择控制和运动轨迹控制等功能。本系统的软件模块如图1所示。主要的五个功能模块是：增强现实显示模块、三维手势交互模块、语音识别模块、自然语言指令理解和多通道集成模块、消息通信模块。该系统的硬件组件包括运行语音识别模块和增强现实显示模块的增强现实显示设备（Microsoft HoloLens）。手势传感器（Leap Motion）获取控制器的手的位置和姿势数据。便携式PC（笔记本电脑）运行三维手势交互模块，自然语言理解和多通道集成模块，以及消息通信模块。最后，使用无线路由器进行网络传输。图1人-群机器人自然交互系统的软件模块。增强现实显示模块负责三维虚拟交互场景的渲染和反馈信息的可视化。3D虚拟交互场景包括结构化环境的数字地图和虚拟机器人。数字地图用于监控群机器人的当前位置和状态，并作为交互对象调用以指定坐标。选择互动521MingxuanCHENetall：一个多层次的人类-对象，虚拟机器人是真实机器人在三维虚拟交互场景中的映射。反馈信息包括系统状态和机器人的任务状态。三维手势交互模块在获取控制器的手势信息后，实现机器人的选择并绘制运动轨迹。由该模块生成的3D手势交互信息被传输到自然语言指令理解和多通道集成模块。语音识别模块通过语音识别引擎（Microsoft Speech Platform SDK）识别控制器的语音信号，并将其转换为文本。然后，将文本传输到自然语言指令理解和多通道集成模块。自然语言指令理解和多通道集成模块接收到文本后，通过预先训练好的文本分类模型，对语音文本中的自然语言指令进行理解，得到描述具体控制指令的标签。然后，根据指令标签的内容，结合对应的3D手势交互信息，得到集成的控制指令。消息通信模块将来自自然语言指令理解和多通道集成模块的控制指令分发给群机器人，并将接收到的任务执行结果和反馈信息（如机器人状态信息）发送给增强现实显示模块进行可视化。3增强现实的3D手势交互技术3.1手势数据的获取及三维虚拟交互场景的建立手势数据由Leap Motion获得，Leap Motion是Leap的身体运动控制器。当控制器的手出现在传感器的工作空间时，它可以识别和捕获人手信息，并将每个时刻捕获的数据封装在数据帧中。每个数据帧包含在该时刻捕获的手部参数，包括手掌位置、法向量和移动速度，以及指尖的位置、方向和移动速度。该系统使用增强现实作为视觉反馈通道。控制器在由增强现实设备呈现的3D虚拟交互环境中与数字地图和虚拟机器人交互。如图2所示，在3D虚拟交互场景中，数字地图包含了机器人实际工作场景的环境信息。虚拟机器人是真实机器人在虚拟场景中的映射。虚拟机器人在交互场景中的坐标由真实机器人的位置决定。图23D虚拟交互场景。522虚拟现实智能硬件2020年12月第6HHHHhlLL3D虚拟交互场景的坐标系如图3所示。X1Y1Z1用于表示Leap Motion传感器坐标系，其描述手势数据。Xh Yh Zh用来表示HoloLens观察坐标系，代表图形渲染结果所在的坐标系，也是控制器眼睛观察到的坐标系。Xh Yh Zh的原点随着控制器头部的移动而改变。Xw Yw Zw表示3D虚拟交互场景的世界坐标。作为整个场景的基础坐标系，其原点由HoloLens内部确定，在整个交互过程中保持不变。Xd1Yd1Zd1、Xd2Yd2Zd2和Xd3Yd3Zd3描述每个虚拟机器人的坐标系。虚拟机器人的位置对应于真实机器人的GPS信息。Xm Ym Zm表示数字地图的坐标系。图33D虚拟交互场景的坐标系之间的关系。我们将HoloLens观测坐标系的原点Oh减去世界坐标系的原点Ow，得到两个坐标系之间的平移矩阵TwTw=Ow -哦（一）三个欧拉角α、β和γ可以从HoloLens的姿态信息中获得，围绕世界坐标X、Y和Z轴的变换矩阵定义为Rx、Ry和Rz。Ww w为了便于矩阵变换，我们将Tw、Rx、Ry和Rz变成了一个同质的公司简介表示的矩阵，并将它们相乘以获得世界坐标系的变换矩阵X Y Z到HoloLens观察坐标系X Y Z。令Mw表示变换矩阵。WW WH HHH然后又道：Mw=RzRy（二）h w w h从XwYwZw中的任意点pw到XhYhZh中的点ph，ph=Mw<$pw（3）控制器在Leap Motion工作空间中的动作和操作将被识别并传输到3D虚拟交互场景，以驱动虚拟手进行交互操作。因此，我们需要获得Leap Motion坐标系Xl Yl Zl到HoloLens观测坐标系Xh Yh Zh的变换矩阵。类似地，变换矩阵Ml 从X Y Z到XhYhZh 可以根据Leap运动坐标系相对于HoloLens观察坐标系的欧拉角。Xl Yl Zl中的点的坐标到X h Y h Z h的变换计算如下：ph=Mlpl（4）其中ph描述了XhYhZh中的点，pl描述了XlYlZl中的点。变换矩阵Md1，...，每个机器人的局部坐标系X Y Z，.，X Y Z到w wd1D1 D1DNDN DN523MingxuanCHENetall：一个多层次的人类-根据每个机器人在世界坐标系Xw Yw Zw中的位置和欧拉角，可以通过相同的方法获得世界坐标系，从而获得每个机器人在世界坐标系X w Y w Z w中的坐标。虚拟交互场景。同样，坐标系XY Z的变换矩阵Mm的W可以获得世界坐标系的数字地图。3.2群机器人MM M3D套索技术允许操作员的手在Leap Motion工作区中绘制闭合的不规则曲线。绘制的曲线将在增强现实中发布。在不规则的套索曲线内，从操作者的角度来看，封闭的机器人，被选中，套索曲线外的机器人，实现批量群体机器人选择交互。3D套索技术使用曲线插值将控制器在Leap Motion工作区中的离散位置转换为3D虚拟交互场景中的平滑套索曲线。样条曲线不同于由分段低次多项式组成的曲线，它是用光滑的曲线段连接点。三次样条是一种应用广泛的曲线插补方法。所得到的曲线是光滑的二阶曲线，并保证收敛。三次样条曲线[15]用于对套索曲线进行建模。所有虚拟机器人和套索曲线平面都转换到HoloLens屏幕坐标系中，以确定选定的机器人。屏幕坐标系是当控制器观看场景时虚拟环境变换到的平面坐标系。这是一个二维坐标系。确定平面上点和曲线之间关系的算法可用于选择机器人（图4）。图4将坐标转换为HoloLens屏幕坐标系。为了将图形从观察坐标系变换到屏幕坐标系，需要求出投影变换矩阵。投影变换矩阵由锥台的参数决定。透视图转换的截头体如图5所示。透视投影的平截头体被成形为四棱锥。视锥体内的对象将进入渲染管道的下一个工作流外面的物体将被丢弃，图5透视变换的平截体。524虚拟现实智能硬件2020年12月第6=0-HprojHW0+-已处理。近平面的左下角点是（l，b，n），远平面的右上角点是（r，t，f）。透视投影变换矩阵Mproj如下： 2r-lr+r-l键M2nt-b不bt-b键（五）00n+F2nf科隆fn00-10变换矩阵Md、Mw和Ml可以从图1中描述的坐标系获得。w h h第3.1节，实现机器人局部坐标系Xd Yd Zd到世界坐标系Xw Yw Zw的变换，世界坐标系Xw Yw Zw到HoloLens观察坐标系XhYhZh和Leap Motion坐标系XlYlZl到HoloLens观察坐标系XhYhZh。使用定向包围盒（OBB）代替虚拟机器人。机器人的OBB有8个顶点、12个中点和21个中心点作为参考点，如图6所示。对于机器人d的OBB上的第i个参考点，第一点在HoloLens屏幕坐标系中，图6群机器人的OBB。以下转换：pi=MMw（六）、类似地，使用以下公式将Leap Motion坐标系中的套索曲线的每个数据点p′转换为HoloLens屏幕坐标系中的坐标点p′projp′proj=M proj<$M l<$p′（7）通过透视投影矩阵变换，将套索曲线和群机器人从观察空间变换到屏幕空间，得到投影信息。如图7所示，屏幕空间是2D坐标系，垂直轴作为深度值存储在深度缓冲区中，用于渲染过程。因此，在屏幕坐标系中判断机器人是否在套索曲线内，可以实现群体机器人的选择交互。通过透视投影矩阵将机器人的Lasso曲线数据点和参考点转换到HoloLens屏幕空间，将问题从3D空间转换到2D空间。在得到图7从观察空间到屏幕空间的转换。0projprojD0525MingxuanCHENetall：一个多层次的人类-机器人的套索曲线数据点和参考点在屏幕空间上的投影，我们使用射线方法[16]来确定机器人参考点是否被套索曲线包围。对于机器人k的21个基准点，如果曲线内的点数为11或更多，则选择机器人。另一方面，如果它小于11，则机器人不在套索中。3.3基于空间划分的群机器人选择交互机器人选择交互的目的是获得一组包含目标机器人并排除非目标机器人的机器人。在实际应用中，群机器人系统中各种机器人的位置会随着任务的进展而变化，在空间上表现出一定程度的混合。因此，对机器人选择交互提出了一定的精度要求。如图8a所示，场景中存在机器人的空间混合。当目标机器人都是类型1时，控制器绘制的3D套索需要包括它们，同时排除所有类型2和类型3机器人。如图8b所示，3.2节中描述的3D套索技术在实现特定机器人选择交互时对操作员绘制的3D套索提出了高精度要求，导致交互效率降低，成功率下降。图8选择交互作用的空间混合情景。为了解决3D套索技术在选择特定机器人时交互效率和准确性降低的问题，将问题分解为更小的子问题。然后将子问题的解决方案聚合以解决整个问题。如图8c所示，原始问题被分解为与在不同空间中选择机器人相关的三个子问题。在解决了这三个子问题后，可以通过对机器人集合进行并运算来获得原问题的解。图8d示出了原始问题被分解为在不同空间中选择两种类型的机器人的子问题。原问题的解也可以通过对机器人集合进行差集运算得到。在交互期间，控制器通过视角与虚拟3D场景交互。机器人很容易在视角方向上相互遮挡，无法通过3D套索准确选择特定机器人。由于头戴式增强现实设备，控制器可以通过调整他/她的位置和姿态来改变视角，并基于空间划分方法与机器人交互，以解决视线中有障碍物的机器人选择问题。如图9所示，使用空间划分将机器人选择问题分解为两个子问题。从不同的角度，从三维套索曲线得到的子问题。然后将它们的解决方案结合起来解决原始问题。T=A1A2An（8）其中，T是目标选择机器人集合，Ai是机器人选择子问题的解，并且n是子问题的个数。 Symbols*，n∈{n，n，\}是可操作的，不区分两个集合的交、单、差.也就是说，所选机器人的集合由子问题生成。526虚拟现实智能硬件2020年12月第64自然语言教学理解和多渠道整合4.1建立交互式控制指令基于交互控制的需要，建立了四种类型的指令。(1)机器人选择说明：在群机器人系统中选择任意数量的特定机器人。有必要整合机器人集合信息图9结合透视变换的空间划分方法。通过3D手势交互技术提供的控制指令，获得完整的控制指令。(2)坐标位置控制指令：与特定坐标点相关联的控制指令，如前往某地集合、待命或编队，需要整合3D手势交互技术提供的坐标信息，得到完整的控制指令。(3)运动轨迹控制指令：与特定轨迹相关联的控制指令，如沿轨迹移动、巡逻、侦察、搜索等，还需要整合3D手势交互技术提供的轨迹信息，获得完整的控制指令。(4)状态控制指令：完成群机器人最基本的系统状态控制操作，如起飞、降落、待机、报告状态等。为了描述机器人的控制指令，引入了指令标签和文本分类模型中的标签。基本指令标签是三元组Tid，Tkey，Tval>。T_id是控制指令的类别，包括上述四种类型：机器人选择指令、坐标位置控制指令、运动轨迹控制指令和状态控制指令。T键是标签关键字，通常表示控制指令的任务动作。Tval是标签值，通常是控制命令任务操作的参数。为了描述一些特殊的机器人选择指令，本文引入了一个扩展指令标签Tid，Tkey，Tval1，Tval2，Tlink>，它有两个标签值，并增加了Tlink来描述两个标签值之间的关系。扩展指令标签用于描述扩展机器人选择指令。控制指令语料库是以自然语言文本形式表示的控制指令。每个控制指令对应多个语料库，如表1所示，左侧为控制指令的标签，右侧为自然语言文本语料库。使用自然语言文本语料库作为训练数据集。使用指令标签作为语料库的分类标签来训练文本分类模型。表1控制指令和语料库说明标签<0，选择收藏><0、select、collection 1、collection 2和><1、到达、坐标点><2、移动、轨迹><3、报告、电池>自然语言测试语料库选择这些机器人在此范围内选择这些机器人Gohere沿着这个轨迹报告电池527MingxuanCHENetall：一个多层次的人类-4.2多通道集成提出的人-群机器人自然交互系统涉及三维手势交互通道和自然语言指令通道之间的协作和信息互补。多通道集成将自然语言指令通道和3D手势交互通道的互补交互信息集成为完整的控制指令。语音和手势通道的集成是通过填充指令标签来实现的[17]，分为两个阶段。首先，在指令标签生成和语音参数填充阶段，通过自然语言指令理解控制器的语音文本信息后生成指令标签，并在指令标签对应的组件中填充语音交互参数。然后，在手势参数填充阶段，将来自3D手势交互系统的手势交互参数填充到相应的指令标签组件中。在指令标签生成和语音参数填充阶段，通过对文本指令的理解，将语音通道的信息转化为具体的指令标签，如基本指令标签Tid、Tkey、Tval>和扩展指令标签Tid、Tkey、Tval 1、Tval 2、Tlink>。所述指令标签在将所述语音通道的信息填充到对应组件后，处于部分填充状态。在手势参数填充阶段，根据指令的类型和数量填充3D手势交互参数。在正确填写指令标签的每个组件后，可以获得机器人可以执行的完整控制指令，如图10所示。图10多渠道整合的过程。基于最大熵模型的文本分类自然语言指令理解实现了指令标签的生成和语音参数的填充。在手势参数填充过程中，根据控制指令，使用手势参数数量匹配规则和参数类型匹配规则填充手势参数。当从3D手势交互系统获得的手势参数不能满足上述规则时，交互通道之间发生冲突。此时，手势通道和语音通道的所有交互信息被清除，并通过信息反馈提示控制器重新开始交互。否则，完成指令标签，得到完整的控制指令。对于由基本指令标签T_id、T_key、T_val>描述的指令，在自然语言指令理解过程期间填充控制指令类型T_id和任务动作T_key。任务参数Tval需要从3D手势交互系统获取，其编号为1。扩展指令标签Tid，Tkey，Tval1，Tval2，Tlink>由5个组件组成，用于描述扩展的机器人选择控制指令。T_id和T_key是在自然语言指令理解过程中确定的。第二任务参数分量Tval2基于控制指令之间的差异，可以在自然语言指令理解过程中填写，也可以从3D手势交互系统中获取。528虚拟现实智能硬件2020年12月第6在指令标签生成和语音参数填充阶段之后，控制指令的Tid∈（0，1，2，3）、任务动作T键∈（到达、选择、待机、形成、......）和任务参数T val ∈（收集、带相机、电池高、......），其中收集信息由手势通道提供，其余由语音通道提供。任务参数关系为Tlink∈（and，union，except）。如图11所示，扩展机器人选择指令通过语音通道获取目标机器人的语义信息，并将Tval 2设置为with-camera。然后，摄像机的机器人集合执行与手势通道的集合1的设置操作。通过3D手势通道和自然语言指令通道的配合，生成更准确的采集信息，提高了交互的效率和准确性。图11扩展多通道选择指令。5实验5.1实验设计与实验环境在提出的多通道增强现实人-群机器人自然交互系统的基础上，构建了一个原型系统，实现了机器人选择、坐标位置控制和运动轨迹控制等功能。为了验证机器人选择交互的可行性和实用性，本文设计了三个虚拟场景群机器人选择实验和一个真实场景群机器人交互实验。如图12所示，虚拟场景群机器人选择实验在交互场景中放置多个虚拟机器人，并设置选择目标。要求控制器通过上述方法选择目标虚拟机器人。本实验验证了基于交互时间，并验证了基于机器人的选择的准确率。五名参与者（无女性，平均年龄24岁）自愿参加我们的实验。他们都是研究生，以前没有与系统互动的经验。实验前给予20分钟的熟悉时间考虑到实际应用的多样性，本文设置了三个场景，图12 群机器人选择实验示意图。529MingxuanCHENetall：一个多层次的人类-群机器人选择实验场景1：在场景中选择少量机器人;场景2：在场景中选择大量机器人;以及场景3：从场景中的大量机器人中选择特定机器人。为了接近实际的交互场景，场景3中的目标和非目标机器人在空间中混合。图13a是场景1的3D虚拟交互场景，其中三个机器人被选择。图13b是场景2的3D虚拟交互场景，其中有20个机器人待选择。图13c是场景3的3D交互场景，待选择的目标是20个给定机器人中的红色机器人。场景中群集机器人的初始颜色为蓝色或红色。当被交互选择时，颜色将更改为绿色。图13实验场景1、2和3。所提出的系统的真实实验场景如图14a所示。参与者将HoloLens戴在头上，观察增强现实中的3D虚拟交互场景。HoloLens上安装的Leap Motion手势传感器捕捉控制器的手部信息进行交互。控制器的视图如图14b所示。3D虚拟交互场景包括虚拟手、数字地图和虚拟群机器人。虚拟手用于映射控制器的手以实现手势交互。一个数字地图是用来模拟和显示到一个3D虚拟空间的真实场景。以虚拟机器人作为交互对象，根据真实机器人的坐标信息更新虚拟机器人的位置。图14真实的实验场景交互式场景中的数字地图如图15a所示。数字地图的尺寸为50cm× 30cm，在实际环境中比例尺为1：200。上面三个红色物体为障碍物，长宽尺寸为20米× 40米，高30米。编号为4的绿色矩形区域是组机器人的起始区域，编号为5的绿色矩形区域是目标到达区域。群机器人系统的实际工作环境尺寸为100 m × 60 m，如图15 b所示。四架DJI M100四旋翼无人机被用作真正的机器人，长88.5厘米，高35厘米（图15 c）。530虚拟现实智能硬件2020年12月第6图15真实实验中的群体机器人环境。5.2实验结果及分析在群集机器人选择的虚拟实验中，参与者通过HoloLens HMD观察3D交互场景，并通过行走和头部运动改变视角。在移动到合适的角度后，手动绘制3D套索曲线以包括目标机器人。此外，在增强现实中反馈选择的结果。在场景1和2中，参与者通过移动他们的位置和转动他们的头来调整视角，发出语音命令“选择此范围内的机器人”，同时用3D套索包围所有虚拟机器人。图16a和16d分别是场景1和场景2中的参与者，他们观察交互式场景并通过语音发送选择指令。绿色字符是中文语音识别的结果（显示语言，也可选择其他语言）。图16 b和16 e示出了控制器绘制3D套索曲线以分别包围场景1和场景2中的所有机器人。图16 c和16 f分别示出了在场景1和场景2中执行选择控制之后的结果反馈。红色文字是稍后添加的注释。图16场景1和场景2中的群机器人选择过程。在场景3中，参与者被要求从20个机器人中选择一个标记为红色的机器人。当发送语音命令时，通过描述目标机器人的语义特征来提供机器人集合然后对语音提供的集合进行集合运算最后，选择目标机器人（图17）。531MingxuanCHENetall：一个多层次的人类-图17场景3中的群机器人选择过程。为了衡量群体机器人选择交互的性能，我们分析了所提出的方法的交互效率和准确性。为了测量交互效率，我们测量完成选择交互的时间。为了评估参与者之间差异的统计学显著性，我们使用单因素重复测量ANOVA分析了完成时间，选择的显著性水平为p0.05。为了衡量选择交互的准确性，我们引入了包含率、错误率和交互成功率。包含率被定义为所选择的目标机器人的数量与目标机器人的数量的比率。错误率是所选择的非目标机器人的数量与非目标机器人的数量的比率。交互成功率定义为成功选择交互与交互总数的比率。当建议的多通道选择指令用于虚拟场景3的选择任务时，参与者使用包含所有目标机器人和一些非目标机器人的3D套索来初步限制所选机器人的集合。此外，在同一时间，目标机器人应该是红色的约束，通过语音提供。由上述两个约束条件生成的机器人选择集通过求交运算实现对目标机器人的选择。如表2所示，进行了20组选择相互作用实验（每个参与者20次）。根据方差分析结果，不同参与者的完成时间存在统计学显著差异，p= 5.94×10- 80.05方差分析表明，不同的人使用该系统具有不同的互动效率。然而，平均交互时间是近似值（参与者1：5.068s，参与者2：5.852s，参与者3：5.697s，参与者4：5.725s，以及参与者5：5.133s）。所提出的多通道选择方法的平均相互作用时间为5.495s。平均包含率为99.6%，平均错误率为0，交互成功率为95%。这是因为控制者通过自己的经验判断目标机器人具有特殊的语义属性，而非目标对象则没有。因此，通过语音提供的精确机器人集合提高了交互的效率和准确性表2群体机器人选择交互实验交互方法平均时间（s）平均入选率（%）平均错误率（%）互动成功率（%）多通道选择指令5.49599.6095套索选择说明10.83591.96.25206结论所提出的多通道HSI系统与增强现实实现的互动，如机器人选择，轨迹运动和状态控制。其中，3D手势交互通道用于实现群机器人批量采摘。自然语言指令通道用于实现自然语言指令理解。最后，增强现实用于沉浸式视觉532虚拟现实智能硬件2020年12月第6反馈指令标签填充实现了3D手势交互通道和自然语言指令通道的信息互补和协作，使人与群机器人之间的交互自然、高效。本文提出的基于三维手势交互和自然语言指令的多通道交互方法为HSI的研究提供了新的思路。然而，我们的研究也存在一些不足之处。由于系统使用的手势传感器安装在头戴式增强现实设备上，其工作范围会随着控制器头部的移动而变化。而且，操作者很容易超出检测范围。因此，我们必须增加传感器的数量或将传感器安装在交互期间保持静止的位置，例如肩膀上，以获得可靠和稳定的手势数据采集。此外，机器人选择指令要求目标机器人具有区别特征。此外，该功能必须在自然语言指令理解控制指令库中预定义，因此，应用场景具有局限性，需要在未来的研究中加以解决。竞合利益我们声明我们没有利益冲突。引用1[10]李国雄，李国雄.利用不完全传感器进行目标搜索的小型无人机群协调。智能决策技术，2018，12（2）：149DOI：10.3233/idt-1703172李凯，倪伟，王新，刘瑞平，甘海瑞，贾世.无人机的节能协作中继。IEEE Transactions on Mobile Computing，2016，15（6）：1377DOI：10.1109/tmc.2015.24673813张强，龚志凯，杨志强，陈志强.非线性多智能体系统群集的分布凸优化。International Journal of Control，Automation and Systems，2019，17（5）：1177DOI：10.1007/s12555-018-0191-x4张文辉，张文辉，张文辉.动物和人类的群体智慧。生态进化趋势，2010，25（1）：28-34DOI：10.1016/j.tree.2009.06.0165Vassev E，Hinchey M，Nixon P. A formal approach to self-configurable swarm based spacecraft systems. 2010年NASA/ESA自适应硬件和系统会议。Anaheim，CA，USA，IEEE，2010，83-90 DOI：10.1109/ahs.2010.55462766Kolling A，Walker P，Chakraborty N，Sycara K，Lewis M.人类与机器人群的互动：一项调查。IEEE Transactionson Human-Machine Systems，2016，46（1）：9DOI：10.1109/thms.2015.24808017Krishnamurthy P，Khorrami F.人与多机器人系统交互的分布式监控方法。在：2017年ACM/IEEE人机交互国际会议的伴侣会议记录。奥地利维也纳，纽约，美国，ACM，2017DOI：10.1145/3029798.30383278Savla K，Frazzoli E.人工操作员智能任务管理的动态队列方法。Proceedings of the IEEE，2012，100（3）：672DOI：10.1109/jproc.2011.21732649张文辉，张文辉，张文辉.使用可操作性与多机器人群的触觉交互。Journal of Human-Robot Interaction，2015，4（1）：60DOI：10.5898/jhri.4.1.setter10杨文辉，李文辉.共享控制：平衡自主权和人工协助，533MingxuanCHENetall：一个多层次的人类-四旋翼无人机IEEE Robotics Automation Magazine，2012，19（3）：57-68 DOI：10.1109/mra.2012.220562511作者：Wang Z J，Schwager M.使用力反馈的无通信多机器人运动学操纵。2016 IEEE International Conference onRobotics and Automation（ICRA）斯德哥尔摩，瑞典，IEEE，2016，427-432 DOI：10.1109/icra.2016.748716312[10] Gromov B，Gambardella L M，di Caro G A.可穿戴多模态人机交互界面。2016 IEEE International Symposiumon Safety，Security，and Rescue Robotics（SSRR）安全、安保和救援机器人国际研讨会瑞士洛桑，IEEE，2016年，240–245DOI：10.1109/ssrr.2016.778430513杨文辉，王晓，王晓刚.无人机增强人类视觉：无人机探索隐藏区域的偏心控制。IEEE Transactions onVisualization and Computer Graphics，2018，24（4）：1437-1446 DOI：10.1109/tvcg.2018.279405814[10]杨文辉，杨文辉. SwarmTouch：使用可穿戴触觉界面通过阻抗控制IEEE Transactions on Haptics，2019，12（3）：363–374DOI：10.1109/toh.2019.292733815张永华，杜勇，潘锋，魏勇。基于三次B样条曲线拟合的智能车辆路径跟踪算法。 计算机应用学报，2018，38（6）：1562- 156716翟勇，徐文英，张庆.点与多边形或多面体拓扑关系的判断。计算机工程与设计，2015，36（4）：972- 976DOI：10.16208/j.issn1000-7024.2015.04.02617杜国林，陈明霞，刘春波，张波，张鹏.自然人机交互的机器人在线教学IEEE工业电子学报，2018，65（12）：9571DOI：10.1109/tie.2018.2823667