虚拟现实智能硬件：群机器人多功能交互平台的设计与实现

虚拟现实智能硬件2019年第1期引文：彭宇，王楠，刁玉婷，米海鹏。用于智能交互的Swarm机器人平台。虚拟现实智能硬件，2019，1（3）：316-329DOI：10.3724/SP.J.2096-5796.2019.0019·文章·用于智能交互的Yu Peng，Nan WANG，Yuting DIAO，Haipeng MI*清华大学艺术与设计学院，北京100084*通讯作者，mhp@mail.tsinghua.edu.cn投稿时间：2019年3月1日受理时间：2019年5月17日摘要背景本文介绍了一种基于群机器人系统的多功能寓教于乐平台，该平台可以支持多种交互方法。我们的目标是通过利用群机器人的独特优势，如灵活的移动性，相互感知和自由控制机器人数量，为各种教育和娱乐场景创建一个可重复使用的开放式有形工具。 方法与有形用户界面相比，群体用户界面（SUI）具有更灵活的运动和更多的可控控件。然而，对SUI的研究还局限于系统的构建，上层的交互模式和生动的应用还没有得到充分的研究。结果阐述了群机器人可能的交互模式和基于这些基本交互模式的可行应用场景。本文还讨论了群体机器人的实现方法（包括软件和硬件），并设计了几个简单的实验来验证群体机器人系统的定位精度。关键词 群机器人;交互设计;讲故事;物理游戏1引言群体机器人平台使新的人机界面成为可能。该平台由多个能够处理内容呈现和交互过程的自动化机器人组成。Le Goc等人将群用户界面定义为“由独立的自推进单元组成的人机界面，其中每个单元可以移动到一起并使用输入。“[1]与由单个机器人组成或仅执行单个任务的平台不同，群机器人技术提供了一个强大、廉价、简单和可靠的平台，可以执行特定的任务[2]。本研究的目的是设计和开发一个可重用的群体机器人平台，最大限度地发挥其功能和优势，并将其应用于各种教育和娱乐场景。本研究的主要工作包括以下几个方面：（1）开发和设计了一个群体机器人平台，并阐述了群体机器人的系统实现方法;（2）设计了基于该平台的智能交互模式，并探索了这些交互模式可能的应用场景。基于这些活动，本研究的目的如下：（1）在互动模式中补充SUI的互动模式;（2）探索SUI在叙事和实体游戏场景中的应用效果。本文的其余部分安排如下：第二部分介绍了现有的智能交互技术和群体机器人研究;第三部分介绍了交互模式设计和www.vr-ih.com版权所有© 2019北京中科学报出版有限公司公司制作和主办：Elsevier B.V.代表KeAi。这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/）的开放获取文章Yu Peng et al：Swarm机器人智能交互平台317第四部分介绍了机器人的具体实现方案和技术实现。第五部分介绍了验证定位精度的实验设计;第六部分是总结和未来的研究方向。2相关作品2.1智能交互智能交互是指机器自动理解人类意图的能力，其结果是通过提供更自然的人-人/人-机交互方式来提高交互效率和用户体验。从交互形式的角度来看，智能交互可以分为五种典型类型：语音，手势/肢体语言，视觉图像，触觉和气味。从交互媒介的角度来看，智能交互由六种主要设备组成：手机、个人电脑（PC）、头戴式显示器（HMD）、触摸屏、有形用户界面（TUI）和机器人。虽然机器人的智能交互设计相对困难，但确实值得探索，因为机器人平台有几十种，机器人本身是一种具有独立智能的复杂设备。机器人有许多类型的智能交互。例如，基于自然语言处理（NLP）的智能语音交互可以部署在社交机器人中，通过问答（Q A）和语音反馈进行鼓励，增强儿童对科学概念的理解[3]。此外，基于手势/姿势识别的手势/姿势交互与语音和视觉交互相结合，可以显著提高交互效率。目前，大多数关于人机交互（HRI）的研究集中在如何提高现有HRI方法的效率和准确性，或更好地融合多模态。然而，机器人行为的设计很少被探索。此外，很少有人关注的实现，在同一时间与多个机器人进行交互。2.2群机器人许多实验室都致力于构建独特的小型群体机器人平台，例如桌面群体机器人Zooids[1]（来自斯坦福大学，发表在UIST，2016年）和触觉Cellulo[4]（来自EPFL，发表在HRI 2017年）。两者之间最大的区别在于它们的定位原理; Zooids依赖于高帧率投影仪进行位置跟踪，而Cellulo使用只有红外摄像头才能读取的特殊代码的纸张来实现定位。另一方面，它们的应用场景各有侧重。由于本地化的限制，Zooids的主要目的是创建一个新颖的桌面用户界面（Swarm UI）。每个机器人可以是一个独立的手柄，也可以是一组机器人，它们被组装起来完成一个简单的任务，如消息通知、信息显示和对象操作。Cellulo的研究重点是构建一种支持功能定制的通用教育工具。由于其精密的定位方法，Cellulo易于转移，并易于适应各种环境条件。例如，它可用于抽象概念的动态呈现，如风场模拟[5];作为教具，如写作指导[6];以及在体育游戏中，作为上肢康复训练的辅助工具。除了虚拟概念或工业应用之外，群体机器人正日益扩展到日常生活中。318虚拟现实智能硬件2019年第1期在人机交互领域，小型群体机器人的研究主要集中在三个方面：群体用户界面（SUI），用户对机器人行为的识别，以及教育工具。SUI是TUI的进一步发展。与TUI相比，SUI中的小部件不仅是改变数字内容的工具，也是呈现者。例如，在Zooids[1]和Reactile[7]中，多个实体以自组织的方式并根据既定规则主动显示信息。群体机器人行为识别的研究重点是探索当机器人以不同模式、不同速度运动，并表现出不同的运动关系时，用户的情感反应。为平台的交互设计提供了理论依据。例如，如果期望群机器人传达紧急消息，则需要设计运动模式来模拟用户的紧张和焦虑，以提高消息的传输效率。教育工具旨在最大限度地发挥群机器人的自主移动、自组织、有形交互、即时反馈等优秀特性，改变传统的教学方式，更好地帮助儿童学习和理解复杂的科学概念。Cellulo是利用群体机器人作为新型教学辅助工具的典型例子。然而，Cellulo只提出了许多教育应用。群体机器人系统的交互方法和许多其他应用场景尚未详细说明。3交互设计3.1交互样式群体机器人系统具有自主移动、支持触觉反馈、可直接操作等特点，具有较大的交互空间和多种交互方式。我们将群体系统的交互模式分为四类：交互反馈、基于活动的交互、群体交互和交互命令。我们还说明了不同的交互模式是如何应用到相关的场景。然而，这并不意味着与群机器人交互的方法仅限于这些类别。我们的目标是阐明适用于大多数场景的基本交互方法。开发人员或设计人员可以方便地根据自己的需要定制适当的交互模式。3.1.1交互反馈(1)直接重组群体系统最重要的特征之一是自组织;当群体中的个体数量发生变化时，其他个体可以迅速适应并形成新的结构/社区。因此，当用户在群体机器人中放入或带走一个或多个个体时，剩余的机器人将快速构建新的系统，以确保平台的稳定性和连续性。例如，当多个机器人执行相同的任务时，例如，信息呈现或图案显示，如果一个机器人被取出，则剩余的机器人将重新规划运动路径，并继续执行任务。(2) 直接操纵群中的每个机器人都是一个独立的手柄，可以直接与之交互。用户将任何机器人移动到指定位置，网络中的个体信息将同步更新。同时，还可以添加手势和语音识别等模块，实现与移动机器人的实时交互。(3) 触觉反馈当用户通过以下方式与机器人直接交互时，机器人提供相应的力/运动反馈：319Yu Peng et al：Swarm机器人智能交互平台控制他们的方向和速度。例如，当机器人移动到地图的边界时，如果用户仍然试图将小型机器人移动远离边界，机器人将产生反向速度来阻碍用户的行为。同时，改变速度将为用户提供不同的触觉感知（图1）。图1 Swarm可以直接从工作系统中取入/取出，在工作时由用户操纵，并根据用户的操作提供适当的运动反馈。只要机器人的数量发生变化，他们就会重新组合网络。3.1.2基于活动的互动(1) 事件触发事件触发是指当机器人移动到特定场景或多个机器人以某种关系存在时，发生预设事件。例如，在一场国际象棋比赛中，每个机器人将扮演不同的角色，假设A是国王。在棋盘上，如果A将被将死，A将主动切换到死亡状态。当群体机器人技术用于多线程交互式叙事时，不同的用户交互将导致不同的机器人运动模式，激活故事情节向不同的方向发展（图2）。图2三个机器人（ID：2，3，4）包围了机器人1。在这种情况下，机器人1将改变其状态，并自动离开地图，而其他机器人相应地改变其位置。(2) 密切互动群体的另一个特征是相互意识和交流。因此，每个机器人都知道组中其他个体的位置和活动，使其能够与一定范围内的其他机器人进行交互。例如，当群机器人模拟动物之间的追逐关系时，一个机器人扮演猎物的角色，而另一个机器人扮演猎人。一旦猎物经过猎人附近，猎人就会跟随或追逐猎物，并迫使猎物停下来。3.1.3组相互作用通过控制一个机器人，用户可以操纵一组机器人的运动，而不必单独操作所有机器人。因此，可以同时交互的有形小部件的数量将不限于用户的数量。例如，在Reactile[8]的应用示例中，单个小部件用于调整自变量的值范围，其他小部件是函数曲线上的离散点当自变量的值范围发生变化时（小部件320虚拟现实智能硬件2019年第1期改变它的位置），函数曲线的形状也会相应地改变（其他个体也随之移动以保持一致性）。3.1.4交互命令(1)被动编配群体机器人系统是一个可编程的有形交互平台。小部件将根据用户命令改变其运动。例如，如果采用群机器人进行篮球战术模拟，用户可以在图形用户界面（GUI）上为每个机器人设置不同的移动位置，每个机器人将按照指定的路径向自己的目的地移动，在整个过程中，机器人的所有轨迹都是由用户预先设置的（图3）。图3 Swarm支持紧密交互、群组交互和被动编排。例如，四个机器人被分配为猎人的身份，第四个是猎物。猎物一旦靠近猎人就会被追上。在群体交互模式下，机器人将跟随手柄的运动而运动。在被动编排下，用户决定每个机器人的路径，然后系统执行。3.2使用场景3.2.1讲故事讲故事是儿童最重要的能力之一。有很多研究工作旨在利用新技术创造更有趣、更有效的工具来帮助儿童发展讲故事的技能。在新的叙事工具中，TUI以其出色的沉浸式体验和直接反馈而闻名。然而，SUI有望成为一种新颖的交互式讲故事工具，因为它提供了比TUI更大的机动空间、更灵活的机动性和更全面的交互式反馈（图4）。(1) 讲故事的人群与TUI相比，使用群机器人进行儿童叙事创作具有以下优点：1)每个机器人都可以成为故事中的角色/影响故事发展的元素;同时控制的实体数量可以灵活变化。2)群体系统中每个机器人的身份和行为都可以重复定义;因此，用户可以根据需要创建故事，而不受小部件本身的限制。3)Swarm平台的移动能力和更丰富的交互方式，让故事的演变更有趣、更生动，从而进一步促进用户的创作。(2) 被动性能基于群机器人的被动叙事工具涉及用户通过GUI创建故事。中央处理器，如计算机和PAD，将上层逻辑转换为机器人行为逻辑。收到指令后，群机器人开始表演故事。这种方法被称为被动执行，因为机器人完全参照用户的指令开始动作。321Yu Peng et al：Swarm机器人智能交互平台图4每个机器人将被分配一个角色。用户可以同时编辑机器人的性能参数。多个机器人可以同时行动。用户还能够装饰舞台地图以增强讲故事的沉浸式体验。(3) 进化叙事在进化的故事讲述中，机器人本身具有一定的自主行动逻辑。机器人之间存在基于关系的交互模式。例如，当A和B（两个机器人的角色）处于“敌对”关系（上层逻辑定义）时，在故事表演的过程中，A和B将始终保持一定的距离或阻挠对方的运动（下层运动模式表达）。因此，在创建过程中，可能会出现意想不到的故事情节，并且用户可以跟进新故事。由于故事情节是不可预测的，并且不断发展，用户可以创建无限的故事。3.2.2实体游戏实体游戏是物理交互技术的一个应用领域。它结合了传统屏幕显示的优势和物理化身的灵活性，允许人们通过直接触摸进行分享和互动。然而，传统的物理游戏设计往往不提供主动运动的能力，因此，将SUI应用于物理游戏可以带来更多的可能性。在使用SUI设计实体游戏时，游戏类型大致可以分为四类：单人游戏、多人本地游戏、多人在线游戏和非传统类型的游戏。单人游戏的设计是基于传统的游戏分类。通过机器人本身和背景环境的声光效果，可以用另一种方式表达传统游戏。虽然多人本地游戏的设计更多地关注于合作或竞争，但多人在线游戏的设计更多地关注于使用物理化身（即虚拟化身）。例如，群机器人）来表示不在场的玩家的状态此外，与传统322虚拟现实智能硬件2019年第1期游戏，最大限度地发挥群体机器人特性的物理游戏也值得探索。更重要的是，可以使用群体机器人进行的物理游戏将为物理游戏的设计引入创新，并使其恢复活力。4执行4.1概述我们的平台主要由一小群低成本的桌面机器人组成，它们在纸质地图上移动，并包括移动或桌面设备上的GUI。地图有一组特殊的微型代码，用于精确定位，代码地图采用通用的CMYK方法打印。该机器人是一种简单、小型、可移动的可触摸交互设备，具有强大的运动和易于布置。在桌面设备上直接操作或与所配备的软件系统交互，完成群体系统的运动安排和执行。目前，我们的群体机器人的实现可以分解为三个部分：驱动结构与运动控制算法，定位系统，以及指令和数据传输。下面将详细解释每个部分的原理和实现（图5）。图5群机器人的内部结构。主要由驱动器底板、单片机、电池盒三部分组成。机器人的尺寸如上图所示。4.2运动控制4.2.1硬件为了保持机器人平稳快速的运动，我们选择了三个球形三轮驱动。每个轮子由直径为22毫米的涂钢粘合剂制成。每一个球轮都由一台ASLONG JGA 12-N20微型减速电机驱动，电机尺寸为35 mm ×12 mm × 10 mm，最高转速为1500 r/min。三个轮子的电机单元被放置成三角形，如图6所示。这种设计使机器人能够在平面上任意方向移动，并迅速改变方向。此外，当机器人的运动从电机驱动改为手持，这种设计可以更好地规避磨损的车轮。机器人底座的硬件结构设计是基于Cellulo的工作[9，10]。323Yu Peng et al：Swarm机器人智能交互平台图6驱动器底板有三个潜水员和三个磁轮。我们把环形磁铁的驱动轴，使他们可以驱动车轮，而司机运行。小摩擦齿轮用于减少车轮和外壳之间的摩擦。表1一个机器人的BOM类别类型Number单位（元）合计（人民币）壳体3D打印1150150N20电机1500 rpm31545环形磁体10 mm×3 mm×3.5 mm孔径90.76.3摩擦齿轮3毫米180.0530.95定位模块模块传感器12020球轮22 mm3927印刷电路板定制18080EEPROM板定制11212锂电池7.4v 1000 mah14040总381.254.2.2运动控制机器人运动的控制算法分为两部分。首先，三个电机的速度分解算法保证了机器人在开环状态下能够稳定地进行直线运动。其次，结合定位系统的全局运动控制，使机器人在闭环状态下稳定地运动到期望位置。在开环状态下，为了将机器人的总移动速度映射到三个电动机的旋转速度，首先需要对总速度进行速度分解。如图7所示，建立了机器人坐标系XOY，三个轮子的运动方向分别为0°、120°和240°，与机器人的正方向成一定角度。设v_X、v_Y表示机器人自身速度v在XOY坐标系、X轴和Y轴中的速度分量; v_1、v_2和v_3表示三个轮子的线速度，L表示到中心指向轮子，ω代表角速度的机器人。三个轮子的速度可以用下面的公式表示：图7运动速度和单轮速度之间的映射。XOY是基于机器人本身的坐标系。324虚拟现实智能硬件2019年第1期3 万美元60°cos 60°Lv2（一）v 0- 1L在机器人的实际运动过程中，需要全局运动控制，以确保平滑和精确地运动到目标位置。如图8所示，首先利用定位信息系统获取机器人的全局位置信息和角度信息。然后，计算机器人的全局速度矢量，之后通过比较目标位置并执行比例-积分-微分（PID）控制器算法来计算机器人的全局运动速度矢量。最后，通过全局-局部映射得到机器人的运动速度，并通过速度分解将其映射为三个电机的转速。4.3定位图8运动控制算法原理图。定位系统主要由硬件模块、数据传输和路径规划三部分组成。封装的定位模块完成位置数据的采集;微控制器单元（MCU）通过无线传输模块将数据传输到中央控制器（CCU ）（一般为PC或PAD）。然后，多个机器人的位置信息将由CCU综合处理。根据每个机器人的任务进行全局路径规划，并将目的地信息和运动模式传送回相应的机器人。小型机器人本身执行独立的运动计算和运动控制（图9）。4.3.1定位原理定位系统中使用的关键技术是基于特殊纸张代码的光学识别（OCR）技术。结合光学原理和特殊的隐形印刷代码， 的模块可以转换 绝对将纸张的位置转换为数字坐标。每个OID编码模式由多个图9 CCU连续接收来自多个机器人的数据，并在信息处理后将命令发送回机器人。Yu Peng et al：Swarm机器人智能交互平台325微妙和不显眼的代码点，根据特定的规则，每一组代码点对应一组特定的值。最大的区别于其他条码的是，最小化的底码不仅具有保密性和低视觉干扰的特点，而且还可以隐藏在印刷的彩色图案之下。印刷定位方法是一种低成本的解决方案，可以通过使用普通油墨进行印刷来实现。该技术不限制平台的使用场景，可以根据具体应用定制相应的代码图。光学识别技术是数据隐藏检索技术（DHRT）。根据一般印刷油墨规定在特定波长下不同程度的光吸收的特性，可将彩色编码图案隐藏在各种印刷的彩色图形中。例如，常用的四版彩印，三版彩印加一版底码印刷，以及K版印刷分别混入C、M、Y版中（用于编码的油墨是含碳的，正常印刷使用无碳油墨）。这种方法操作简单，不产生额外费用。4.3.2定位模块我们采用的定位模块是一个集成的片上系统模块，集成了图像传感器和图像解码器开发的可编程应用。支持的条码编码组数可高达268435456，单组尺寸为1.35mm × 1.37mm。识别精度达到1/128的一组码点。最大可支持的识别范围约为20。视觉命中率98%，模块化传感器设计，读取角度可达垂直± 45°，工作照度0- 10000 Lux。即使在室外阳光（>5000Lux）的情况下，它也可以有效地读取条形码，因为读取错误率小于0.1%。在操作过程中，传感器与纸张之间的垂直距离应超过7mm。在电气特性方面，系统工作时功耗仅为6 mA，待机时功耗为1 mA，工作电压在2.8 - 3.6V之间，大大延长了模块的工作时间。该模块的工作温度范围为0- 55°C。该模块支持双线通信接口。通过控制通用I/ O引脚的电平，可以使用传输的命令读取位置数据，并且处理器可以连接到其他传感器单元以支持各种应用。光学代码的编辑和生成由专门的软件支持。可以加载带有背景的图像，然后它会自动生成一个带有光学代码的文件。应使用1200 dpi激光打印机打印文件（图10）。图10摄像机附近有两个发光二极管（LED）。铭牌存储模块的校准参数。4.4通信本地集群机器人平台采用集中式通信网络系统和ZigBee低功耗通信协议，虚拟现实智能硬件2019年第1期326电力局域网通信协议。ZigBee最大的特点是支持自组织网络和动态路由，此外还能容纳大量的网络节点（多达65000个节点），从而便于机器人数量的灵活扩展。另一方面，当平台需要迁移时，不需要重复进行网络和路由配置，降低了学习成本，用户使用起来也更方便。我们使用XBee无线通信模块为每个机器人与中央系统进行通信。机器人将自己的位置坐标发送到中央系统。系统通过将坐标与预先存储的地图信息进行比较，确定机器人的当前状态，并将任何可能触发的事件命令发送给机器人。除了与地图信息的比对，中控系统也需要注意多个机器人之间的状态 当当多个机器人之间发生关联事件时，系统需要分别向不同的机器人发送指令（图11）。5平台检验图11多个Xbee模块组成通信网络。考虑到目前的群体机器人数量，只有一个中央协调器。为了验证平台的稳定性和可用性，我们设计了一些实验。这些实验主要验证了机器人的运动能力和定位性能。5.1最高速度/最低速度为了避免负载对机器人速度的影响，在空载条件下完成了最大速度和最小速度的测试。在最大速度测试实验中，机器人的三个轮子中的两个被赋予相反方向的最大速度。在实验中，速度在91 mm/s和400 mm/s之间波动，中值速度为274 mm/s。最小转速试验的目的是探索电机转速的临界值，即机器人相对于电机转速的临界状态。实验验证了当电机的脉宽调制（PWM）值为44时，机器人处于临界状态，该速度值为最大值的17%。5.2定位精度定位精度实验主要验证定位系统的帧数和丢帧率/误帧率。5.2.1静态精度静态测试的实验环境是将机器人放置在地图上，并记录定位系统的读数，确定帧率和误码率。实验分为五组，每组持续20秒。数据组织如下：Yu Peng et al：Swarm机器人智能交互平台327定位系统范围的静态识别帧率为5.08- 5.40 Hz，平均值为5.18 Hz。如图12所示，定位系统静态识别的平均准确率为98.2%，五个数据集中有两个达到100%的准确率。5.2.2动态精度在机器人运动过程中，定位系统可能会出现图像模糊引起的定位误差到图12定位系统的静态识别精度。为了验证定位系统的识别帧率和精度，在此过程中，我们设计了动态测试。为保证机器人在动态测试时在纸上平稳运行，机器人速度设定为最高速度的1/4。实验共进行了六组测试，每组测试持续时间为10 s。机器人移动过程中的时间戳和坐标记录和组织如下：两个有效帧之间的时间间隔也是不稳定的。如图13所示，两个有效帧之间的时间间隔大多集中在0.2s左右，而某些帧之间的间隔更长。以1s作为获取精确数据的时间阈值，可以发现机器人在每组实验中至少在1s内获得一次定位信息。机器人不会以固定的速度移动。图14显示了机器人在两个相邻帧内的移动速度。为了便于数据排序，纵坐标的单位是码点坐标，而不是实际距离。从图中可以看出，机器人的速度集中在0- 60坐标/秒的范围内，许多异常点在图中没有显示出来。由于定位系统的识别误差，这些异常的速度通常非常高。取60坐标/秒作为机器人速度的阈值。高于此速度被视为定位系统识别误差。因此，定位系统在该速度下的有效识别帧率可以是图13 10 s样本数据集中两个有效帧之间的时间差。图14中机器人的速度与两个有效的帧相匹配。计算了如图15所示，动态测试中定位系统的平均识别帧率从静态测试的5.18Hz降低到2.93Hz。5.3讨论和未来的研究方向基于实验，可以推断机器人的最大速度具有非常高的阈值。稳定性难以保证。定位系统在静态条件下可以达到很高的稳定性和精度，在动态条件下容易出现识别错误或丢帧等问题。未来的研究有必要关注这些问题。虚拟现实智能硬件2019年第1期3286结论很显然，群机器人在教育和娱乐领域还有更多尚未被探索的潜在应用场景。本研究仅对群体机器人系统的基本交互模式进行了分类，但这并不意味着群体机器人系统的交互模式仅限于这七种类型。用户可以将这些交互方式组合在一起，也可以根据应用场景创建新的交互形式。该平台主要采用基于微光识别码的纸张定位技术代替投影定位，图15 10s样本数据集中使得Swarm系统具有很强的可移植性。通用群体机器人平台的出现减轻了用户实现底层技术的负担，从而使他们专注于应用程序设计的任务。然而，目前的性能评估，我们的群体机器人只集中在运动潜力。其他方面，如系统稳定性，通信延迟和路径规划尚未得到验证。我们将在未来的实验中关注这些问题。最后，探索更多基于群机器人的应用场景也势在必行。引用1[10]李国华，李国华，李国华，李国华. Zooids：构建Swarm用户界面的模块。In：Proceedings of the 29th AnnualSymposium on User Interface Software and Technology，ACM，2016，97-109 DOI：10.1145/2984511.29845472拉姆兰·本加·D·E了解粒子群算法在动态优化任务中的局限性。ACM Computing Surveys 2016，49（1）：1DOI：10.1145/29061503[10]张文，张文.社交机器人能帮助孩子们理解科学吗在教室里？在：第二届国际会议的人类智能体相互作用的程序。筑波，日本，ACM，2014，83DOI：10.1145/2658861.2658884Özgür A，Lemaignan S，Johal W，Beltran M，Briod M，Pereyre L，Mondada F，Dillenbourg P. Cellulo. 2017年ACM/IEEE人机交互国际会议论文集。维也纳，奥地利，ACM，2017，119-127 DOI：10.1145/2909824.30202475Özgür，A，Johal W，Mondada F，Dillenbourg P. Windfield：用手持触觉机器人演示风气象学。在：2017年ACM/IEEE人机交互国际会议论文集ACM，2017，48DOI：10.1145/3029798.30366646Asselborn T，Guneysu A，Mrini K，Yadollahi E，Ozgur A，Johal W，Dillenbourg P.将字母带到生活中：使用启用触觉的有形机器人进行手写。第17届ACM交互设计与儿童会议论文集。特隆赫姆，挪威，ACM，2018，2197Guneysu Ozgur A ， Wessel M J ， Johal W ， Sharma K ， Özgür A ， Vuadens P ， Mondada F ， Hummel F C ，Dillenbourg P.上肢康复游戏的迭代设计与有形机器人。在：2018年ACM/IEEE会议记录人机交互国际会议。芝加哥，IL，美国，ACM，2018，241DOI：10.1145/3171221.31712628张文忠，张文忠，张文忠. Reactile：通过直接物理操作编程Swarm用户界面。2018 CHI Conference on HumanFactors in Computing Systems会议论文蒙特利尔QC，Yu Peng et al：Swarm机器人智能交互平台329加拿大，ACM，2018，1-13DOI：10.1145/3173574.31737739Kim L H，Follmer S. UbiSwarm：Ubiquitous Robotic Interfaces and Investigation of Abstract Motion as a Display（UbiSwarm：Ubiquitous Robotic Interfaces and Investigation of Abstract Motion as a Display）ACM Interact.暴徒可穿戴普适技术2017，1（3）：1DOI：10.1145/31309310Lee S W.智能人机交互的自动手势识别。第七届自动人脸和手势识别国际会议（FGR 06）。南安普敦，英国，IEEE，2006年，645DOI：10.1109/fgr.2006.25