没有合适的资源?快使用搜索试试~ 我知道了~
SoftwareX 11(2020)100421原始软件出版物CoZ:一个群体驱动的社交机器人Tahir Abbasa,b,Bazhir,Vassilis-Javed Khana,Panos Markopoulosaa荷兰埃因霍温理工大学工业设计系,5600 MBb巴基斯坦米尔布尔AJK 10250米尔布尔科技大学软件工程系ar t i cl e i nf o文章历史记录:收到2019年2020年2月10日收到修订版2020年2月10日接受保留字:群体动力系统实时人类计算社会机器人远程遥操作a b st ra ct我们提出了群众的奥兹(CoZ)-一个群体动力系统,使软银的胡椒机器人和用户之间的实时对话,我们通过以下方式实现这一目标(1)提供媒体丰富的接口和底层架构,以帮助工作人员将对话置于上下文中;以及(2)提出并实现Pavilion算法,该算法确保所需数量的工作人员参与。我们已经在实验室环境中证明,通过CoZ,我们可以利用众包来驱动Pepper机器人进行两个主题的对话:管理与学习相关的压力和计划假期。我们的初步结果表明,人群©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章(http://creativecommons.org/licenses/by/4.0/)中找到。代码元数据当前代码版本1.0.0指向此代码版本所用代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_265Code Ocean compute capsule N/A法律代码许可证MIT使用GIT的代码版本控制系统使用Python、Flask、Flask-SocketIO、OpenToK(WebRTC协议)、Amazon Boto 3、Amazon Simple Notification System的软件代码语言、工具和服务编译要求、操作环境依赖性操作系统:Windows、Linux或Mac(用于中间件); Pepper或NAO机器人(如有)开发人员文档/手册https://github.com/tahir80/Crowd_of_Oz/blob/master/README.mdtue.nl支持电子邮件1. 动机和意义最近的技术进步使社会机器人(即与人进行社会互动的机器人)的愿景更加接近。这些进步涉及许多技术,例如用于维持口语对话的自然语言理解和用于识别诸如手势、凝视和面部表情的交流线索的计算机视觉技术。然而,对于社交机器人来说,问题不仅局限于自然语言的理解和生成,还涉及通过面部表情和手势理解用户EindhovenUniversity of Technology,5600 MB Eindhoven,The Netherlands.电子邮件地址:t.abbas@ tue.nl(T. Abbas)。https://doi.org/10.1016/j.softx.2020.100421会话的上下文来同情和赞美用户。在会话代理领域,这被称为社会智能,指的是一个人目前,人工智能(AI)还不能完全实现上述目标。因此,构建一个能够处理复杂会话任务的全自动机器人仍然是一个挑战。解决方案是使用人在回路或HITL方法开发系统。人类操作员可以提供的感知和推理能力因此,大多数社会机器人的研究依赖于绿野仙踪(WoZ)技术,其中受过训练的人员通过控制界面远程控制机器人。虽然对于实验情况有效;然而,这种方法不能扩展并且不能支持实际使用。2352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章,使用CC BY许可证(http://creativecommons.org/licenses/by/4.0/)。可在ScienceDirect上获得目录列表SoftwareX期刊主页:www.elsevier.com/locate/softx2T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)100421众包或人类计算[2]使用匿名群体的智慧来解决问题,这些问题无法单独使用当前的人工智能系统来解决。例如,研究人员利用众包来理解和解释图像[3],生成创意内容[4,5],写作[6],信息检索[7],训练和操纵机器人我们的研究探讨是否可以采用众包外包复杂的会话任务的拟人机器人。最近,众包领域的研究人员已经开发出快速招募工人并延长他们的时间的方法[10]。这些先进的招聘方法有助于在几秒钟内得到工人的回应,这在过去是几个小时或几天的事情[11]。这引入了实时众包(RTC)的概念[12]。由此产生的利用RTC的系统被称为实时群体供电系统。最早的一个是VizWiz [10],它允许盲人用户将物体的图片和音频问题发送给一组工作人员。作为回报,工作人员会写下物体在另一个例子中,Chorus[7]通过与多个像一个人一样行动的并发工作者保持一致的对话来帮助用户完成一般知识任务。为了实现一致的对话,合唱团采用了工作记忆和投票机制来判断人群最近,基于RTC的遥操作技术被用于导航和操作任务。例如,Legion [13]允许最终用户将部分GUI(来自机器人摄像头的视频馈送)外包给实时同步人群,以通过键盘命令(例如,按下左键或右键)。此外,Legion还提出了各种整合工人投入的中介策略在另一个例子中,EURECA [14]通过允许工人实时协作分割和标记不熟悉的物体,解决了机器人学习新物体的复杂任务。最后,CrowdDrone [15]引入了新颖的聚合策略,将不同的命令实时组合成一个单独的命令;随后,这有助于在未知的环境。之前的研究主要集中在使RTC能够支持机器人进行导航和操作任务。然而,还没有人研究RTC以使社交机器人能够处理复杂的会话任务。为此,我们开发了Crowd系统其中软银的Pepper机器人向工人播放对话者的实时音频和视频(AV)。然后,工作人员根据对话的上下文迅速输入响应为了保持会话的连续性,一个艰巨的挑战是在任务的生命周期内保留足够数量的工作者作为备份。这被称为工作者保留,指的是在活动队列(包含执行任务的工作者的队列)中保持足够数量的工作者等待的worker会一直保持在等待队列中,直到有新的任务可用,或者调用它们来替换在任务执行期间离开活动队列在众包平台上,有必要制定策略来留住那些随时可以离开任务的员工,例如由于无聊。有两个极端:只保留等待的工人[11]或那些已经从事主要任务的工人(活跃的工人)[16]。例如,quikTurkit[10]是一种算法,它通过提前雇用工人并让他们参与旧任务来处理保留器中的工人。与让他们从事旧任务相反任务的生命周期。因此,我们的算法能够保留所需数量的工人,尽管任务放弃[17],甚至当有一个高周转率。综上所述,本文的贡献有两点:(1)CoZ:一个群体动力系统,用于实现社会机器人的实时众包;(2)Pavilion算法,用于管理工作人员2. 软件描述在这里,我们介绍了CoZ2.1. 软件构架CoZ的高级系统架构(图1)结合了四个主要组件:Pepper机器人,中间件,基于Flask的Web服务器应用程序和Crowd接口。2.1.1. Pepper机器人CoZ使用软银Pepper已被部署到各种应用领域,包括零售、银行、教育和医疗保健。它配备了平板电脑(安装在胸部,用于快速交互),扬声器,麦克风,2D摄像头,3D传感器和激光技术。这些先进的传感器和致动器基本上帮助Pepper表现出社会行为,如运动,身体姿势,并通过头部运动和眼神接触跟随用户的目光。2.1.2. 中间件运行在Windows PC上的中间件充当应用服务器和Pepper之间的桥梁。所有AV和文本都由中间件处理它运行两个主要组件:媒体管理器和通信适配器。媒体管理器负责将用户媒体管理器包含AV发布者。该au-dio publisher实现OpenTOK API1来广播用户音频.视频发布者获取Pepper共享扩展有助于从Choregraph应用程序捕获实况视频馈送)。视频管理器还实现了OpenTOK API。通信适配器运行四个主要程序:语音识别,OOCSI [18]发送者/接收者客户端,基于Flask的SocketIO客户端和脚本(平板显示器),以在Pepper的平板上显示消息语音识别程序实现了Google的Speech to Text(STT)API。当用户说话时,她的原始音频被发送到Google STT服务。如果转录过程成功,它将返回转录,并在Pepper的平板电脑上为用户显示转录的文本另一个重要的程序是OOCSI客户端,它负责在SocketIO客户端和Pepper机器人之间交换消息。OOCSI是一个用于设计分布式产品的原型中间件它包含简单的API,通过WebSocket协议将异构应用程序连接在一起。下一个重要的程序是算法[11]向等待的工人支付固定金额,一个小的激励,以迅速作出反应的警报。我们在CoZ中引入的一个新方面是,它包括一个名为Pavilion的算法,该算法在运行期间管理等待和活动的工作人员。1 https://tokbox.com/网站。2 https://github.com/opentok/screensharing-extensions/tree/master/chrome/屏幕共享。T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)1004213图1.一、 高级系统架构图(使用Visual Paradigm社区版制作)。SocketIO客户端,它支持应用服务器和运行在中间件上的OOCI客户端之间基于文本的双向通信。SocketIO通过OOCSI客户端接收来自Pepper的消息,并将其转发到服务器上运行的Flask-SocketIO引擎。它还从服务器接收工人消息,并通过OOCSI客户端将其转发给机器人。最后,平板电脑的目的是显示来自用户本人和工作人员的消息2.1.3. Flask Web应用程序下一个主要组件是基于Flask的Web应用程序,这是系统的关键。Flask应用程序实现了以下组件:Flask-SocketIO,3Amazon SimpleNotificationservice(SNS)4和Amazon Boto 3。5用于存储应用程序聊天信息等数据,我们使用Heroku6Fi-最 后 , 群 接 口 包 含 OpenTOKCrowd 接 口 还 包 含 一 个 Flask-SocketIO JavaScript客户端,用于与应用服务器建立WebSocket连接,进行双向文本通信。2.2. 软件功能我们使用基于Python的Web框架Flask开发了服务器端应用程序,并使用HTML,Bootstrap,jQuery和CSS开发了客户端应用程序。我们使用Flask蓝图使CoZ应用程序更加模块化。蓝图是一个概念,其中可以在应用程序上注册一组操作,以简化大型应用程序的工作。我们的服务器端应用程序包括两个主要模块:(1)管理面板;(2)人群控制。3 https://flask-socketio.readthedocs.io/en/latest/网站。4 https://aws.amazon.com/sns/网站。5 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/mturk.html。6 https://www.heroku.com/postgres网站。7 http://flask.pocoo.org/docs/1.0/blueprints/网站。2.2.1. 管理面板首先,管理员创建一个新的项目和一个新的人工智能任务(HIT -即MTurk任务),通过输入几个属性:项目的标题,描述,固定奖励,关键字,资格要求等,管理员还可以输入参与实际任务所需的活动工人数量和等待工人的所需数量稍后,Pavilion算法使用这些变量来管理相应队列中的输入所有属性后,管理员可以在MTurk上发布HIT管理员还可以强制HIT停止和过期。一旦HIT被停止,它将从所有当前活动的工作进程自动提交。管理员还可以审查HIT和管理付款。2.2.2. 人群控制Crowd Control是CoZ的主要模块,包括以下逻辑:(a)管理队列中的工人;(b)处理来自人群和用户的输入;以及(3)根据他们的贡献动态支付工人。主要有两个人群界面:等待页面和主页面。现在,我们解释如何在任务的整个生命周期中在两个页面中管理工作器在接受HIT之后,工作者被重定向到等待页面,在那里他们被保留,直到任务为他们准备好(所需数量的工作者已经被雇用)或者来自主页面的工作者已经离开任务。如果任务已经启动,那么工作人员可以看到机器人和用户之间正在进行的对话,以了解对话的上下文。我们还在等待页面上显示基于时间的总时间。工人在等待期间获得经济补偿(根据美国平均最低工资:7.25美元/小时)。主页顶部(点A)包含一个任务功能区在图2)根据工人对主要任务的贡献和他们在等待页面上等待的总时间显示工人的累积奖金。工人们每贡献一条消息就得到2美分的报酬(他们只允许每一个用户的话语发送一条消息),如果消息被选中。主页面还包含工作人员和用户之间的聊天历史(B点)。红色4T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)100421图二、 群组工作者的 主 要 任 务 页 面 。 (关于此图例中颜色的参考解释,请读者参考本文的网络版本颜色表示用户来自工人的消息在他们之间共享,以限制他们重复相同的消息。我们还展示了机器人3D模型的实时视图和AV馈送(C点),以增强上下文感知。我们还包括一个用于语音到文本的按钮(D点)(基于IBM我们鼓励人群工作人员使用这种语音到文本的方式,希望它能减少延迟。为了推动员工快速响应,我们实现了一个进度条(E点)。当用户停止说话时,除了2秒的空闲释放时间之外,进度条最多会启动7秒,以确定暂停。因此,我们这标志着工人在这段时间内撰写和提交他们的信息。2.2.3. Pavilion算法我们的Pavilion算法扩展了Ignition [16],具有处理周转条件的新功能,例如,当工人从等待页面或实际任务页面离开任务时。工作人员可以在提交任务时离开任务,我们专注于人员流动条件,因为某些任务需要特定数量的工人作为可用的在任务的生命周期中的先决条件在解释Pavilion之前,我们首先描述返回和提交状态之间的区别。在提交状态下,工作者通过向MTurk提交HIT来离开任务。这可能意味着她对金钱奖励感兴趣,将对HIT进行适当的审查和补偿(或拒绝)。 在返回状态下,工人离开任务,但她对金钱奖励不再感兴趣,并且她返回的HIT再次可用于其他合格的工人。我们最初雇用固定数量的工人,然后Pavilion谨慎地雇用更多的工人,如果需要的话。但是,聊天会话仅在最低所需工作人员可用时才开始。一个工人首先接受HIT并进入等待状态(图1)。3)。在等待期间,工作人员可以返回任务或提交任务。当任务在等待状态下提交时,系统将雇用新工作人员来完成短缺。当一个任务到达时,工作者被切换到活动状态。当处于活动状态时,工作者可以提交任务或返回任务。当任务提交时,系统将工作者从等待状态当任务返回时,系统只是将一个工作者从等待状态切换到活动状态。图3.第三章。Pa v i l i o n 基于人员流动情况管理员工的 生 命 周 期 。我们使用Amazon的Simple Notification Service(SNS)和Flask-socketIO来实时跟踪工作者何时离开会话,然后雇佣新的工作者或从保留器(等待页面)召回旧的工作者。3. 说明性实例首先,当用户对机器人说话时,她的声音会使用语音识别脚本转换为文本。同时,CoZ发送一个信号到人群接口,以启用某些控件(发送按钮,语音到文本按钮),因为我们只允许工作人员在用户发言后撰写消息。CoZ还通过OOCSI和SocketIO客户端将转录的文本发送到Crowd接口。此外,它还为用户显示Pepper平板电脑上的文本。在服务器端,Flask-SocketIO的一个事件处理程序接收消息,向worker支付奖金,在crowd界面和Pepper's Tablet上显示它T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)1004215=-=-在接收到用户的消息后,工作人员可以键入消息或使用语音转文本。发送消息后,Flask的事件处理程序接收消息,根据我们的第一响应策略选择一条消息(对于这个版本的CoZ,我们实施第一响应策略以选择来自工人的最快消息),将消息显示到Pepper至关重要的是,它还通过中间件向Pepper发送一条消息,在那里使用Pepper4. 实验我们最近成功地在实验室中演示了CoZ作为减轻压力的教练和计划旅行的旅行社4.1. 研究1:CoZ作为生活教练我们进行这项研究主要是为了回答研究问题:如何在队列中的工人的目标数量影响响应延迟和会话质量?4.1.1. 参与者我们从亚马逊的MTurk雇佣了245名美国工人,他们的资格要求如下:超过98%的支持率和1000个HIT批准。我们按照美国最低时薪(7.25美元)支付工人工资。4.1.2. 程序由于这是我们第一次利用人群作为教练来缓解压力,我们选择聘请一位专业女演员扮演一位压力很大的大学生。出于道德原因,我们选择了这种方法;我们不确定CoZ处理任务的效率如何。我们有四个条件:(1)一个工人;(2)两个工人;(3)四个人一组;(4)八个人一组。使用这种几何顺序的原因是为了确保在不同条件下招聘的工人数量之间有足够的差异。这位职业女演员即兴表演了在所有条件下进行对话,每个条件执行五次(共20次)。可以看到来自一个会话的样本视频8欲了解更多详情,请参阅阿巴斯等人。[19 ]第10段。4.1.3. 措施(1) 延迟:在所有条件下,在女演员发言之后从人群接收第一条消息所需的平均时间(以秒为单位)。(2)响应质量:我们使用对话适当性测量来测量对话质量[20]。通过适当性,人们可以对于每个用户-机器人话语)。评分员给出一个标签(例如,适当或不适当),然后转换为数字值两名研究人员分别注释了所有20个对话,具有很强的一致性(k= 0.90,p 0.0005);<4.1.4. 结果详细结果如图所示。四、我们进行了单因素方差分析,以找出反应潜伏期和对话质量之间的任何差异。我们发现所有条件下的反应潜伏期总体上存在显著差异(F(3,16)4.184,p 0.023)。然而,事后Bonferroni检验表明,这种差异仅在1名和8名工人的条件下才有意义(p= 0.017)。我们没有发现所有条件下的对话质量有任何差异(F(3,16)=0.50,p= 0.687)。8 https://www.youtube.com/watch? v= 2M31keVIQ。4.2. 研究2:CoZ作为旅行社在随后的研究中,我们在旅行计划任务中部署了CoZ目的是比较用户在知道CoZ广播他们的音频和视频时对CoZ的体验,以及知道CoZ只向工人广播音频时的体验4.2.1. 参与者我们招募了14名大学生(19 - 26岁),进行了被试间研究。每一阶段都由两名具有与前一项研究相同资格的工人进行处理。4.2.2. 程序参与者被要求使用CoZ找到他们的下一个假期目的地。一半的参与者被随机分配到音频-视频组,另一半被分配到仅音频组。每次平均10分钟。一旦互动完成,参与者填写:(1)社会行为问卷(SBQ)[1],衡量(2) 用户体验问卷(UEQ)[21]和(3)一个关于隐私的开放式问题。4.2.3. 结果SBQ:两种情况下受试者均未出现显著差异。然而,在只有音频的条件下,参与者认为机器人更有同情心:t(12)77.65,p001UEQ:两组之间没有发现任何显著差异;总体上,参与者在吸引力、清晰度、刺激性和新颖性方面得分较高,而在效率方面得分较低。由于任务的性质(工人有时不得不在互联网上查找相关信息),效率得分较低隐私:两组的参与者对隐私都表现出复杂的感觉。只听音频的那组人更挑剔。出乎意料的是,在视听组中,几乎一半的参与者并没有感到很大的威胁。5. 影响我们部署了CoZ,一个群体驱动的社交机器人,在两个领域:缓解压力和旅行计划。还有许多其他应用领域,CoZ可以长期部署。例如,CoZ可以部署在老年护理中心作为伴侣。我们从之前的一项研究中获得了这个灵感[22],该研究表明,与相机相比,使用拟人机器人进行监控可以减少老年人的隐私增强行为。从技术的角度来看,开发人员和机器人专家可以将CoZ集成到Pepper以外的其他机器人中。由于我们使用Flask蓝图以模块化的方式开发了我们的应用程序,并且NAO和Pepper都使用相同的基于Linux的操作系统(NAOqi),实际上不需要改变就可以使用CoZ作为NAO机器人的会话9最后,CoZ有可能使研究人员能够运行在线实验,以收集会话对话数据,用于训练完全自动化的会话助理,类似于[23,24],其分别使用绿野仙踪(WoZ)和人群来收集大规模训练数据。CoZ心理健康、儿童教育、接待员)。9 https://www.softbankrobotics.com/emea/en/nao网站。6T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)100421见图4。(左)反应延迟:在18个工人的条件之间,平均反应时间存在显著差异;(右)对话质量:在所有条件之间,质量分数没有显著差异6. 结论我们提出了群众的奥兹(CoZ),一种新的系统,以引起人群产生的反应,在实时,以维持机器人和人类之间的通用对话。我们在两种情况下证明了CoZCoZ有可能以多种方式重新利用,例如:(1)将其集成到其他机器人中,如NAO,而无需修改系统;(2)收集对话数据,用于在各种领域中进行人类或机器的培训。根据我们目前的研究,我们希望通过减少用户的感知延迟,引入会话填充物[ 25 ]以及通过培训工作人员和增强他们的上下文意识来提高会话的凝聚力来进一步改善Crowd of Oz7. 限制目前,CoZ支持简单而有效的FIFO或第一响应策略,以获得工人最快的答案。然而,人们可以采用更复杂的策略来处理质量问题。例如,给定来自工作人员的两个响应,可以选择与用户的话语最合适或最相关的响应这值得一个单独的研究来调查这个复杂的NLP问题。此外,CoZ提供的延迟可能比即兴演员对用户产生更显著的影响。为了克服延迟,我们计划在未来包括concentional filler竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作CRediT作者贡献声明Tahir Abbas:软件,形式分析,调查,写作- 原始草案。Vassilis-Javed Khan:方法论,形式分析,监督,写作-评论编辑。Panos Markopoulos:概念化,方法论,监督,写作-评论编辑。致谢我们感谢Ama- zon Mechanical Turk的工作人员,专业演员和参与我们研究的硕士研究生。资金这项工作得到了巴基斯坦高等教育委员会(HEC)与Mirpur科技大学(MUST)合作的支持,Mirpur AJK-10250,巴基斯坦,资助号:611-19/P.D/2017。引用[1] de Ruyter B,Saini P,Markopoulos P,van Breemen A.评估在家庭机器人 界 面 中 建 立 社 会 智 能 的 影 响 。 交 互 计 算 2005;17 ( 5 ) : 522-41.http://dx.doi.org/10.1016/j.intcom.2005的网站。三点零三分[2]冯安L,计算人类。人类计算。2008年IEEE第24届数据工程国际会议。2008年,第1-2页。http://dx.doi的网站。org/10.1109/ICDE.2008.4497403。[3]von Ahn L,Dabbish L.用电脑游戏标记图像。在:CHINew York,NY,USA:ACM; 2004,p. 319-26. http://dx.doi.org/10.1145/985692.985733。[4]Abbas T,Khan V-J,Markopoulos P.调查人群创造按需物联网场景的创造力。IntJHum-ComputInteract2020;1-28.http://dx.doi.org/10.1080/10447318.2019.1709331网站。[5]Yu L,Nickerson JV.厨师或鞋匠通过组合人群的创造力。在:2011年计算机系统中的人为因素年会论文集- CHI '11。New York,New York,USA:ACM Press; 2011,p. 1393. http://dx.doi.org/10.1145/1978942.1979147网站。[6]Bernstein MS,Little G,Miller RC,Hartmann B,Ackerman MS,KargerDR,Crowell D,Panovich K. Soylent:一个里面有一群人的文字处理器。第23 届 ACM 用 户 界 面 软 件 与 技 术 研 讨 会 论 文 集 。 2010 , p.313 -22.http://dx.doi.org/10.1145/1866029的网站。1866078[7]Lasecki WS,Wesley R,Nichols J,Kulkarni A,Allen JF,Bigham JP.合唱:一个由大众提供动力的对话助手。在:第26届年度ACM用户界面软件和技术研讨会的会议记录,UIST '13。New York,NY,USA:Association forComputingMachinery;2013,p.151-62.http://dx.doi.org/10.1145/2501988.2502057网站。[8]De Croon G,Gerke PK,Sprinkhuizen-Kuyper I.众包作为一种方法学,以获 得 大 的 和 不 同 的 机 器 人 数 据 集 。 IEEE International Conference onIntelligent Robots and Systems ( IROS ) 智 能 机 器 人 与 系 统 国 际 会 议2014,第1595-600页。http://dx.doi.org/10.1109/IROS.2014.6942768网站。[9] Toris R,Kent D,Chernova S.机器人管理系统:通过众包进行人机交互研究的框架JHum-RobotInteract2014;3(2):25-49.http://dx.doi.org/10.5555/3109829的网站。3109831。[10]Bigham JP等人,Vizwiz:几乎实时回答视觉问题。 在:第23届年度ACM用户界面软件和技术研讨会的会议记录,UIST '10。 New York,NY,USA:AssociationforComputingMachinery;2010,p.333-42.http://dx.doi.org/10.1145/1866029.1866080.[11]Bernstein MS , Brandt J , Miller RC , Karger DR , Crowds in TwoSeconds : Enhancing realtime crowd-powered interfaces. 在 : 第 24 届 年 度ACM用户界面软件和技术研讨会的会议记录,UIST '11。New York,NY,USA:AssociationforComputingMachinery;2011,p.33-42.http://dx.doi.org/10.1145/2047196.2047201网站。T. Abbas,V. J. Khan和P. Markopoulos / SoftwareX 11(2020)1004217[12]Lasecki WS,Homan C,Bigham JP.构建实时群体动力系统。《计算机》2014;1(1):67-93。 http://dx.doi.org/10.15346/hc的网站。v1i1.5.[13]Lasecki WS,Murray KI,White S,Miller RC,Bigham JP.现有界面的实时人群控制。在:第24届年度ACM用户界面软件和技术研讨会的会议记录,UIST '11。 New York,NY,USA:Association for Computing Machinery;2011,p. 23-32. http://dx.doi.org/10.1145/2047196.2047200网站。[14]Gouravajhala SR,Yim J,Desingh K,Huang Y,Jenkins OC,Lasecki WS.EU- RECA:通过人群辅助增强对真实环境的理解。第六届AAAI人类计算和众包会议。2018年,网址:https://aaai.org/ocs/index.php/HCOMP/HCOMP18/paper/view/17933。[15]Salisbury E,Stein S,Ramchurn S.面向人群机器人的实时意见聚合方法。在:2015年自主代理和 多代理系统国际会议的会议 记录,AAMAS '15。Richland , SC : International Foundation for Autonomous Agents andMultiagentSystems;2015,p.841-9.http://dx.doi.org/10.5555/2772879.2773261网站。[16]黄天港,毕汉太平绅士。为期10个月的低延迟众包按需招聘部署研究。第五届AAAI 人 类 计 算 和 众 包 会 议 ( HCOMP 2017 ) 。 2017 , URL :https://aaai.org/ocs/index.php/HCOMP/HCOMP17/paper/view/15944.[17][10]杨文,李文.所有那些浪费的时间:在众包中放弃任务。WSDM 2019 -第12届ACM网络搜索和数据挖掘国际会议论文集。Association for ComputingMachinery,Inc; 2019,p. 321-9. http://dx.doi.org/10.1145/3289600.3291035网站。[18个国家]放克·MOOCSI。2019年,http://dx.doi.org/10.5281/zenodo.1321220。[19]Abbas T,Khan V-J,Gadiraju U,Barakova E,Markopoulos P.用于压力管 理 的 群 体 动 力 社 会 机 器 人 系 统 。 传 感 器 2020;20 : 569.http://dx.doi.org/10.3390/s20020569网站。[20]杨伟华,王伟华,王伟华.评估人机对话的适当性。第七届语言资源与评价国际会议(LREC'10)。马耳他瓦莱塔:欧洲语言资源协会(ELRA); 2010年,URL:http://www.lrec-conf.org/proceedings/lrec2010/pdf/115_Paper.pdf网站。[21]杨伟杰,王伟杰,王伟杰.用户体验问卷的构建和评估。在:奥地利HCI和可用性工程组的研讨会。Springer; 2008,p. 63-76. http://dx.doi.org/10.1007/978-3-540-89350-9_6。[22]放大图片创作者:John M.摄像机和机器人监控对老年人隐私增强行为的影响。见:Proc.HRI'12。2012年,第343页。http://dx.doi.org/10.1145/2157689.2157807网站。[23]Higashinaka R,Mizukami M,Kawabata H,Yamaguchi E,Adachi N,Tomita J.真实用户基于角色扮演的问答,用于构建具有一致个性的聊天机器人。第19届话语与对话年度会议论文集。墨尔本,澳大利亚:计算语言学协会;2018年,第264-72页。http://dx.doi.org/10.18653/v1/W18-5031。[24]Bonial C,Marge M,Artstein R,Foots A,Gervits F,Hayes CJ,HenryC,Hill SG,Leuski A,Lukin SM,Moolchandani P,Pollard KA,TraumDR,Voss CR.铺设黄砖路:开发一个收集人机对话的向导界面。2017,ArXivabs/1710.06406,URL:https://arxiv.org/abs/1710.06406。[25]齐默尔曼DH致谢令牌和议长资格的初始重新审视。Res Lang Soc Interact1993;26(2):179-94.http://dx.doi.org/10的网站。1207/s15327973rlsi2602_4。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功