Web浏览器上的MMDAgent对话框场景编辑器

⃝⃝可在www.sciencedirect.com在线ScienceDirectICT Express 5（2019）47www.elsevier.com/locate/icteMMDAE：Web浏览器上MMDAgent的对话框场景编辑器日本德岛大学技术、工业和社会科学系b日本名古屋名古屋工业大学计算机科学系接收日期：2018年2月7日;接受日期：2018年在线提供2018年摘要我们开发了MMDAgent（一个完全开源的语音交互系统工具包），它可以在个人电脑和智能手机等各种平台上运行。由此，对话场景的编辑环境也需要在各种平台上操作。因此，我们开发了一个在Web浏览器上实现的场景编辑器本文的目的还包括简化场景的编辑使用建议的场景编辑器的主题进行了实验结果发现，我们提出的系统提供了更好的可读性的情况下，并允许更容易编辑。c2018韩国通信与信息科学研究所（KICS）。Elsevier B.V.的出版服务。这是一个开放获取CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：口语对话系统;场景编辑器; Web浏览器; MMDAgent1. 介绍最近已经开发了各种语音处理技术其中，语音识别和语音合成技术被广泛使用。集成这些技术的口语对话系统（SDS）也已经开发出来。口语对话系统的先驱是麻省理工学院的VOYAGER。它是在20世纪90年代初开发的ATIS项目[1]于20世纪90年代初由美国DARPA领导开展近年来，商业系统，例如Siri（Apple Inc.）[4]，并已出现，并获得了普及。然而，SDS尚未得到广泛使用。因此，为了让任何人都能够轻松使用SDS，我们使用语音处理技术构建了一个完全开源的语音交互系统工具包（MMDAgent [5]）作为一个实际的例子，数字标牌已经建立在一所大学的正门前（名古屋大学）。*通讯作者。电子邮件地址：ryota@nishimura.name（R. Nishimura）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2018.03.002技术）[6]，允许任何人与名为“Mei-chan”（图1）的真人大小的三维（3D）角色进行交互SDS软件已开发用于个人计算机（PC;运行Windows，Mac OS或Linux），它也已移植到Android，以便在任何智能手机上工作[7]。此外，还开发了使用Skype（互联网协议语音）视频通信功能的SDS [8]。MMDAgent工具包包括用于语音识别、语音合成、作为3D计算机图形和对话管理的一部分的字符绘制的软件，以满足SDS的要求。使用此工具包可以轻松创建构建SDS的环境。然而，即使要创建环境，在构建SDS时也需要口语对话的专业知识。新手用户发现没有这些知识很难构建对话系统。在SDS的构造中，有必要编辑对话内容的对话场景。然而，在当前的编辑环境中，难以在复杂的对话场景中进行阅读因此，本文开发了一个对话场景编辑器来改善编辑环境。2405-9595/c2018韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。48R. Nishimura，D.山本，T.Uchiya等人/ICT Express 5（2019）47|⟨⟩|||⟨⟩Fig. 1. 真人大小的3D人物“美酱”在一所大学的大门。2. 对话场景作为描述口头对话的方法，VoiceXML（VXML）是公知的[9]。人与人之间的相互作用-computer已经以XML格式描述。VoiceXML是W3C的一种标准XML格式。XISL也已开发[10]，可以使用任何模态描述相互作用。MMDAgent中的对话场景根据有限状态转换器（FST）格式进行管理当用户创建场景时，需要描述在一个文本文件中的FST（图3）。FST格式是一个四个值，即状态号、过渡状态号、接受条件和命令，用空格分隔。在图3的示例中， 当在状态1中接收到事 件（RECOG STOPHello）时，系统转换到状态10而没有任何输出（eps）。然后，它输出一个命令消息（MOTION ADD mei greetgreet.vmd），系统转换到状态11。因此，系统通过重复内部消息和状态转换的交换来控制对话。eps表示无输入或无输出的转换，即无输入转换。在场景文件中，如图3所示，缩进使用空格或制表符手动执行每个项目的在图三. 对话场景FST的示例（简化了一些符号）。在某些情况下，压痕不对齐，因此可读性差。此外，用户必须记住命令来描述这个场景。因此，在文本编辑器中编辑场景即使对于专家用户也是困难的。3. 对话场景编辑器（MMDAE）为了改善口语对话场景的创建环境，从而解决上述问题，我们开发了一个场景编辑器（图2）。方案编辑器名为 MMDAE （ MMDAgent 方 案 编 辑 器 ） 。 下 面 讨 论MMDAE的三个特性3.1. 1：完成输入要创建场景，需要输入四个项目，如图3所示。很难输入所有的对话框场景（条件和命令）。因此，在系统中实现了输入补码功能。此外，输入命令后，将显示用于输入参数的文本区域。3.2. 2：在各种平台MMDAgent可以在各种平台上运行，例如PC（运行Windows 、 Mac OS 或 Linux ） 和 智 能 手 机 （ 运 行Android）。由此，对话场景的编辑环境也需要在各种平台上操作。因此，我们开发了一个在Web浏览器上实现的场景编辑器。此外，MMDAgent具有在Internet上共享对话场景的能力，在这方面，使用Web浏览器是有效的。图二. 对话场景编辑器（MMDAE）。R. Nishimura，D.山本，T.Uchiya等人/ICT Express 5（2019）4749见图4。 简单的编辑模式。3.3. 3：更改编辑模式要根据用户使用SDS的知识和经验来更改编辑对话框场景的容易程度，可以更改编辑模式。只有少数项目显示给新手用户。以这种方式，用户可以在不知道场景描述方法的情况下编辑对话场景。专家用户提出了许多项目，并提供 一种环境，在其中使用MMDAgent的全部功能创建方案。此外，根据用于编辑场景的硬件（例如，PC或智能手机）， 可以选择适当的显示方法。例如，一个紧凑的显示器是为智能手机的小屏幕，如图所示。 四、4. 评价通过实验对MMDAE算法的性能进行了评估。研究对象为13名20多岁的男性本科根据以下程序进行实验1. 实验说明2. 交互情景（FST）3. 调查表项目4. 实验（场景编辑）• 使用文本编辑器（记事本）进行• 解释如何使用MMDAE• 使用MMDAE5. 问卷在对 话框 场景 的编 辑环 境评 估中 ，比 较了 记事 本（Windows中的标准文本编辑器）和在实验中，受试者将对话框的内容添加到场景文件中。编辑工具的使用顺序可能会影响实验结果，因为受试者可能会习惯于编辑。因此，受试者被分为两组，每组使用编辑工具的顺序不同每个人编辑的时间图五. 编辑任务的例子。主题被记录。实验使用实验室中受试者通常使用的PC进行。任务以图的形式呈现给每个受试者。 五、有四种类型的任务，受试者使用MMDAE和记事本的每一个任务。实验结束后进行问卷调查对于以下项目，受试者在五点李克特量表上进行评分例如，在Q1的情况下，被检者发现难以编辑的回答被给予1分，并且容易编辑的回答被给予5分。易于编辑（Q1：记事本，Q2：MMDAE）可读性（Q3：记事本，Q4：MMDAE）易于理解的用法（Q5：记事本，Q6：MMDAE）• 功能便利性– Q7：输入补码功能– Q8：通过TAB键切换焦点– Q9：根据参数• 关于MMDAgent– Q10：你以前知道MMDAgent吗– Q11：你以前用过MMDAgent吗• 对于以下项目，受试者自由– Q12：系统需要哪些功能？– Q13：其他评论（关于系统的好的和坏的观点）。5. 结果基于五点Likert量表的主观评价和基于编辑持续时间的客观评价的结果如下所示。5.1. 主观评价实验结果如图6所示。问题Q1 图 6显示，在比较两个编辑系统（即，Q1与Q2、Q3与Q4和Q5对Q6），MMDAE在所有项目上都获得了较高的分数，得分之间的差异超过1分。在···50R. Nishimura，D.山本，T.Uchiya等人/ICT Express 5（2019）47见图6。主观评价结果（五点量表）。表1编辑时间。记事本MMDAE平均4：50 3：58特别是在易于编辑和易于理解使用方面，MMDAE平均得分为4分以上此外，MMDAE的功能（Q7、Q8和Q9）得分很高。根据这些结果，MMDAE比记事本更适合于对话框编辑。5.2. 客观评价比较了不同编辑系统的编辑时间和效率结果在表1中给出。而使用记事本的编辑时间平均为4分50秒，使用MMDAE的编辑时间平均为3分58秒;即，当使用MMDAE时，编辑5.3. 调查表中的意见受试者有以下积极的意见。利用MMDAE的输入互补功能，大大提高了工作效率使用MMDAE的可读性优于使用文本编辑器。在没有任何FST知识的情况下，加上对话命令的自动完成，编辑就很容易了。根据这些评论，受试者认为MMDAE提高了效率。特别是，在可读性方面有许多本实验中的受试者在实验前没有编辑对话场景文件的经验，也不知道FST的命令。然而，由于输入是由MMDAE补充的，因此用户可以在编辑时学习FST。但有以下负面意见。• 显示了许多文本框，这令人困惑。在可读性方面，意见往往是积极的，但也有负面的意见，认为每个用户都应该有一个适合他们的格式。本实验仅使用详细编辑模式进行，并且应使用图4所示的简单编辑模式重复实验。如果用户对详细编辑模式中的许多文本框感到困惑，可能会发现使用简单编辑模式更容易。有以下意见。当鼠标光标在按钮上时，应显示按钮的说明。• 应该有一个行复制功能。对于MMDAE的新手用户，该功能显示在每个按钮或显示器的一部分上，因此可以在学习如何使用系统的同时编辑对话框场景。由于此功能对初学者很重要，因此将来将添加到MMDAE的所有编辑模式中。此外，当描述像先前已经描述的会话场景那样结构化的对话场景时，复制一行或多行的能力将是有用的这个功能也将被添加。6. 结论为了改善编辑在SDS的基础上，我们开发了一个场景编辑器（MMDAE）。在一项实验中，受试者更喜欢在MMDAE中编辑一个场景，而不是在记事本中，使用MMDAE时编辑时间减少了约18%。在可用性方面，MMDAE在用户调查中的评分高于Notepad。在未来的工作中，从主题问卷中获得的结果，我们将添加必要的功能，系统。除了“客观评价”部分中列出的项目外此外，我们希望添加一个功能，以使用语音识别进入对话场景。使用此功能，可以在检查系统行为的同时创建场景。在使用语音来编辑系统响应时，可以输入诸如语速、重音和音高的韵律信息。致谢本研究得到了日本科学技术厅（JST）进化科学技术核心研究（CREST）（11102610），JSPS KAKENHI资助号JP 25700009，以及日本总务省（MIC）战略信息和通信研发促进····R. Nishimura，D.山本，T.Uchiya等人/ICT Express 5（2019）4751利益冲突作者声明，本文中不存在利益冲突引用[1] P.J. Price，口语系统的评估：ATIS领域，在：Proc. DARPA SpeechNatural Language Workshop，1990，pp.91比95[2] S.川本，H。Shimodaira，T. Nitta，T. Nishimoto，S.中村K. Itou，S.Morishima，T. Yotsukura，A. Kai，黑冠菊A.李，Y。山下T.小林K.Tokuda ， K.Hirose ， N.Minematsu ， A. 山 田 ， 澳 - 地 Den ，T.Utsuro，S.Sagayama，用于开发拟人口语对话代理的开源软件，在：Proc.PRICAI-02，国际研讨会上栩栩如生的动画代理人，2002年，页。六四比六十九[3] Y.松山湾细谷谷山，H. Tsuboi，S.福杰T.小林，SCHEMA：面向多方交互的人形机器人，在：ACM SIGGRAPH ASIA 2009 Art GalleryEmerging Technologies：Adaptation，2009，pp.82比82[4] 苹果公司（Apple Inc.）Siri，http：//www. apple. com/ios/siri/.[5] A.李，K. Oura，K. Tokuda，MMDAgent -一个完全开源的语音交互系统工具包，在：Proc. of ICASSP 2013，2013，pp. 8382-8385。[6] K. Oura，D.山本岛Takumi，A.李，K.校园内、使用者可参与及语音互动式数位标示系统，J.Jpn。Soc. Artif. 内特尔28（1）（2013）60-67。[7] D. 山本K.乌拉河西村T.Uchiya，A.李岛，智-地拓海，K. Tokuda，Voice interaction system with 3D-CG modeling for stand-alone smartphones，in：Proc. of International Conference on Human-Agent Interaction（IHAI）2014，2014，pp. 323-330[8] T. Uchiya，D.山本，M。Shibakawa，M.吉田河西村岛Takumi，基于名为“Mobile Mei-chan”的视频呼叫的口语对话服务的开发一比三[9] VoiceXML论坛，VoiceXML：语音对话的标准应用语言，http：//www. voicexml. 或g/。[10] K. Katsurada，Y.中村，H。山田，T. Nitta，XISL：描述多模态交互场景的语言，在：Proc. of ICMI'03，2003，pp. 281-284.