没有合适的资源?快使用搜索试试~ 我知道了~
智能手机直观人机交互的机器人应用程序
认知机器人1(2021)25-28SMILE:加纳足球机器人帕特里克·菲亚蒂电气/电子,工程,海岸角技术,大学,海岸角,加纳aRT i cL e i nf o关键词:微笑HRI机器人类人Androida b sTR a cTSMILE(智能手机直观的相似性和参与)应用程序,一个便携式Android应用程序,允许人类使用语音输入控制机器人。SMILE是一个新的开源和平台无关的工具,将有助于机器人足球的研究,允许机器人处理器口头命令机器人。该应用程序驻留在嵌入人形机器人面部的智能手机上,使用语音识别引擎来分析用户语音输入,同时使用面部表情和语音生成来向用户表达理解反馈。随着直观的人机交互引入机器人足球领域,我们讨论了几个具体的场景,其中SMILE可以提高比赛的速度和机器人的自主外观。人类口头沟通的能力对于任何合作任务都是必不可少的,特别是快节奏的运动。在足球比赛中,球员必须与教练、裁判和任何一方的其他球员交谈。因此,如果类人生物要在不久的将来与优秀足球运动员在同一个赛场上竞争,那么我们必须期望他们得到像人类一样的对待,包括倾听和交谈的能力。SMILE(智能手机直观的相似性和参与)是第一个平台独立的基于智能手机的工具,可以为机器人提供这些功能。目前,人形足球的研究主要集中在步行动力学,计算机视觉和智能系统,但人-机器人交互(HRI)被忽视。我们通过实现SMILE深入研究了机器人足球的这一领域,SMILE是一个Android应用程序,它在与用户进行口头交互时将数据包发送到机器人1. 介绍机器人定位模块众所周知,从里程表估计机器人位置在长期内会受到很大的误差。因此,必须使用额外的信息源来确定机器人的位置。在我们的案例中,我们提倡使用视觉。基于外观的定位方法[1]因其简单性而吸引人。在这种方法中,机器人位置由在给定时刻观察到的图像与之前观察到的一组图像之间的直接比较。注意,由于图像直接相互比较,我们避免了与地标检测程序相关的错误。基于外观的定位从包括在已知位置处拍摄的图像的训练集出发。这些图像的维数是减少使用标准PCA技术,产生基于外观的环境地图。当机器人移动时,使用PCA进行压缩,并将得到的特征检测器集与存储在基于外观的地图中的特征检测器集进行比较。在马尔可夫过程[2]中使用更接近当前观测的地图点的位置来改善对机器人位置的估计。我们已经获得了很好的结果,结合这种方法使用粒子滤波器估计机器人在我们之前的工作中,我们使用了全向相机。使用这种类型的电子邮件地址:patrick.cctu.edu.ghhttps://doi.org/10.1016/j.cogr.2021.03.001接收日期:2021年2月20日;接收日期:2021年2月25日;接受日期:2021年3月10日2021年3月15日网上发售2667-2413/© 2021作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)可在ScienceDirect上获得目录列表认知机器人期刊首页:http://www.keaipublishing.com/en/journals/cognitive-robotics/P. 菲亚蒂认知机器人1(2021)2526相机的一个重要特点是,图像对环境的任何变化都非常敏感。因此,为了增加鲁棒性,在“Ambience”项目中,我们计划使用安装在机器人头部的两个摄像头。头部可以移动以将相机指向不同的方向。因此,在存在混淆图像(与基于外观的地图中的任何图像不匹配的图像)的情况下,我们可以容易地获得仅移动该头部的新图像。这个想法是选择头部运动,可能提供不那么模糊的观点。通过这种方式,我们将最小化确定机器人位置所需的头部运动次数使用立体视觉系统的另一个优点是,它可以提供比通常的强度图像对照明变化更不敏感的深度图。导航模块的目标是将机器人驱动到所需的位置(表示为抽象的位置,如厨房,卧室等),避免与障碍物碰撞。有两个内部模块:规划器和行为执行模块。规划器使用地图生成从机器人的当前位置到全局目标位置的子目标。在以前的工作中,基于波前距离场(WFDF)算法开发了一个计算效率高的规划器[5]。两个连续子目标之间的直线路径是无障碍的。这避免了子目标过于接近,这在行为执行中是不可取的。定位模块提供的信息用于确定机器人的位置,从而跟踪已经实现的位置变化[6]。导航架构的第二个组件,行为执行模块,接收机器人所需的相对位移作为输入(来自刨削机),并确定执行该位移所需的线速度和角速度。然后,这些速度可以很容易地转换为车轮电机命令[7]。使用基于行为的控制方法实现行为执行。地图中没有的静态和动态障碍物可能会在机器人移动时出现在机器人面前。为了避免碰撞到它们,实现了避障算法。超声波传感器用于检测这些障碍物。快速规划器模块和行为执行模块的合作将机器人引导到他的目标[8]。2. 方法正如诺曼在2001年关于HRI的主题演讲中指出的那样,机器人必须具有个性,以便人类能够预测和理解他们的行为。通过这种方式,人类与机器人合作将能够顺利地预测机器人倾向和局限性。表达个性以及任务相关信息的一种方式是通过自然对话。虽然我们离真正的自然对话还有很长的路要走(正如诺曼所说,问题与其说是“语音识别”,不如说是“语言理解”),但通过将情感交流与自然语言交流相结合,我们正在向真正具有表达力的机器人迈出一步。这种机器人可以以非技术用户感到舒适和自然的方式与人类合作,使他们能够更多地专注于手头的任务,而不是弄清楚如何使用机器人。一些正在开发的服务机器人使用口头对话系统来接收和确认命令,以及在室内环境中导航时获得帮助。这类机器人包括Godot、Lino和Cero。戈多特别使用了一个复杂的认知地图和语义分析系统,从对话过程中获得的信息中补充其关于导航环境的知识。同样,利诺使用情感表达作为对话的一部分,Cero使用简单的手势来表示理解和意图的程度。然而,所有这些机器人 用机械的方式表达情感,这限制了他们情感指标的复杂性。其他机器人开发者已经转向屏幕和投影图像来制作机器人的面部表情,这更容易和更快地制作动画。例如,Baxter是一个半人形工业机器人,旨在与人类一起在工厂环境中工作,它的脸是一个显示两只情感眼睛的屏幕。人类工作人员通过移动Baxter的柔顺关节来训练它,直到它学会手头的任务;所有的工作人员都在训练它。而机器人巴克斯特机器人的人类儿童,表明其个性的积极性,同时融入合作的环境。SMILE应用程序是第一个尝试使用智能手机作为与任务导向机器人的对话和情感界面。我们希望在这项工作的基础上通过探索以任务为导向的对话和情感/人格模型,以提高行为和足球技能,我们的机器人,以及使这些机器人更适合与人类用户合作的任务。3. 结果和讨论3.1. 语音识别和生成方法该应用程序分为两个简单的布局;一个用于欢迎屏幕,另一个用于情感和对话界面。每个布局都与一个实现活动的java类相关联,该类允许访问电话,如触摸屏或麦克风。启动Activity是应用程序启动时出现的内容[9]。当按下开始按钮时,它将启动面部活动。一旦面部活动开始,该应用程序就可以使用谷歌语音识别API将麦克风输入转换为文本,根据当前的SMILE监听模式,可以通过多种方式处理。下面描述的SMILE收听模式是处理语音输入的不同例程[10]1。 正常监听模式。听词汇表中的关键词和短语。如果在词汇表中找到输入,则使用文本到语音转换来输出相应的响应。如果没有,则将该单词重复给用户。2.学习聆听模式。询问用户一个新单词或短语,询问用户对于一种情感,学习项目应该与之匹配,并最终要求在听到该项目时对输出做出反应。未来3.命令监听模式。听命令模式词汇表中的关键字和短语。如果这个词是有效的命令,通过Wi-Fi网络将字符串发送到指定的服务器端口[11]。P. 菲亚蒂认知机器人1(2021)25273.2. 指令监听模式虽然SMILE有一些有趣的收听模式,但我们最关心的是用于机器人足球的命令模式。中游戏情况下,命令模式可以用来改变参数,而不必触摸机器人在游戏中断。专用命令集的实际应用包括改变策略,行走技术或任何其他可以提高性能的机器人行为[12]。在将SMILE开发为工具时,一个重要的考虑因素是,用户必须假设,他或她说,将最终在机器人因此,必须为特定的命令集设计一个鲁棒的算法。这个命令集对于每个团队来说都是唯一的,因为每个团队的口头语言,计算语言和预期的机器人行为之间存在差异根据命令集的复杂性,SMILE可以在命令到达机载PC之前,用于对命令进行初始滤波[14]。3.3. SMILE到板载PC联网当用户向SMILE发出命令时,使用UDP/IP(面向事务的协议)促进包含该命令的数据报分组的传输。这种类型的协议非常适合从智能手机客户端套接字传递到机器人板载PC服务器套接字的简单消息4.结论在本文中,我们讨论了SMILE应用程序,一个平台无关的开源工具,以及它对机器人足球HRI的新贡献。通过将SMILE整合到足球机器人的头部,人类能够以直观的方式与机器人进行口头交流,从而绕过传统形式的用户输入。最重要的是,SMILE能够与机器人的机载PC联网,使其能够操纵机器人的行为。虽然微笑是一种新的工具,在机器人足球场上,必须考虑到与增加机器人头部质量相关的动力学挑战在机器人对机器人的基础上然而,随着在行走动力学领域中所做的出色工作,存在实现充分补偿大头部质量的行走引擎的高潜力。最后,SMILE Android客户端的基础 及其附带的C++服务器使用完全通用的消息,使它们成为可以应用于机器人技术中无数实际应用的工具。我们发布了SMILE Android应用程序和C++服务器,希望其他研究人员能够效仿在我们的脚步,将HRI的领域与加纳的机器人足球相结合。结论在本文中,我们讨论了SMILE应用程序,一个平台无关的开源工具,以及它对机器人足球HRI的新贡献。通过将SMILE整合到足球机器人的头部,人类能够以直观的方式与机器人进行口头交流,从而绕过传统形式的用户输入。最重要的是,SMILE能够与机器人的机载PC联网,来操纵机器人的行为。虽然SMILE是机器人足球领域的一种新工具,但与向机器人头部添加质量相关的动力学挑战必须在机器人对机器人的基础上考虑。尽管如此,由于出色的工作在步行动力学领域,有很大的潜力实现步行引擎,头部大肿块最后,SMILE Android客户端的基础及其附带的C++服务器使用完全通用的消息,使它们成为可以应用于机器人技术中无数实际应用的工具。我们发布了SMILE Android应用程序和C++服务器,希望其他研究人员能够跟随我们的脚步,将HRI领域与机器人足球相结合在加纳。竞争利益作者声明,他们没有已知的竞争性经济利益或个人关系,可能会影响本文报告的工作引用[1] J.P. Titlow,For Robots Like Baxter,the Interface Becomes a Personality,Fast Company Labs,2014年9月29日。可查阅:http://www.fastcolabs.com/3009374/for-robots-likebaxterthe-interface-prosecutes-a\-personality。[2] 谷歌公司“软件包摘要:android.演讲,“android developers,[Online].可查阅:http://developer.android.com/reference/android/speech/package-摘要。html(2013年10月12日访问)[3] 谷歌公司“软件包摘要:android.演讲tts,“Android开发人员,[在线].可从http://developer.android.com/reference/android/speech/tts/packagesummary。html(2013年10月12日访问)[4] J. Cassell,《Conversational Agents:Representation and Intelligence in User Interface》,AI Magazine。[5] A.J. Davison,M. Montemerlo,J. Pineau,N.罗伊,S。Thrunand,V. Verma,《老年人移动机器人指南的经验》,载于:AAAI全国人工智能会议论文集,2002年。[6] P. Elinas,J.Hoey,D. Lahey,J.D.蒙哥马利湾Murray,S.S. James,J.Little,与基于视觉的移动机器人Josée一起等待,在:2002年IEEE机器人与自动化国际会议论文集,华盛顿特区,2002年,pp.���3698-3705 2002年。[7] ITEA 氛围 项目,http://www.extra.research.philips.com/euprojects/ambience/。[8] BJA Kravinose,N.弗尔什河本斯霍滕岛Motomura,Approbabilisticmodelforappearancebasedrob ot localization,Image Vis. Comput. 19(6)(2001年4月)381-391。[9] BJA Kravinose,N.弗尔什河Bunschoten,基于外观的机器人定位的全方位视觉,在:计算机科学讲义,Springer,2002年,pp. 39-50. 页面.[10] M.米斯佩尔,S. Behnke,具有柔顺关节的自稳定全向行走,在:第8届仿人足球机器人研讨会论文集,第13届IEEE-RAS国际会议人形机器人(Humanoid),亚特兰大,GA,2013年。[11] J.M.波尔塔湾特韦恩湾王志荣,以熵值法为基础之机器人动作选择方法,国立成功大学机械工程研究所硕士论文,2003年。P. 菲亚蒂认知机器人1(2021)2528[12] H. Faraz,M. Hosseini,V. Mohammadi,F. Jafari,D. Rahmati,E.班达德博士,Baset Teen Size 2014 Team Description Paper,2014 Available:http://application.germanteam.org/upload/7708a96f5dbd4e541e64bacc933c3db21f90410c/Baset-Teen_TDP.pdf.[13] D.A. 诺 曼 , 人 类 如 何 与 机 器 人 的 人 机 交 互 和 机 器 人 学 定 律 互 动 Robot Interaction , San Luis Obispo , CA , 2001 年 9 月 ) 。 [ 联 机 ] 。 可 查 阅 :http://www.jnd.org/dn.mss/Humans_and_Robots.html(2002年7月)。[14] C. Theobalt等人《与戈多对话:与移动机器人对话》 智能机器人与系统,IEEE/RSJ 2002国际会议,2,IEEE,2002年。[15] BenJA Krse,etal. 林,用户界面机器人,环境智能,施普林格,柏林海德堡,2003年。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功