Duenna语言教学实验软件-计算机辅助语言学习的文语转换工具

⃝⃝可在www.sciencedirect.com上在线获取ScienceDirectSoftwareX 5（2016）171原始软件出版物www.elsevier.com/locate/softxDuenna语言教学实验软件Bala' zs Zsigmond Horva' tha，Bence Blaskeb，Anita Szabo'caPoga′ nyFrigyesVoirschool，11Tho ko lyu′t，1183Budapest，HungarybSAPHungary，7Za′ honyutca，1031Budapest，HungarycEL TE大学艺术与人文科学系，4/AMu'zeumko？ ru' t，1088Budapest，Hungary接收日期：2016年4月10日;接收日期：2016年7月31日;接受日期：2016年8月2日摘要文语转换（TTS）应用是语言教学的辅助工具。它利用计算机生成的声音来模拟代表不同语法问题或语音上下文的对话。该软件能够根据需要生成尽可能多的对话示例，以增强语言学习体验，从而同时为课程表示，语法语境化和发音服务。它被设计成在语言课堂上定期使用，学生们很乐意用它来编写听力理解任务的材料所使用的声音能够有效地让学生参与进来，就像他们在听录音一样。c2016作者。由Elsevier B.V.发布。这是CC BY许可下的开放获取文章（http：//creativecommons. org/licenses/在/4。0/）。关键词：计算机辅助语言学习;文语转换;语言教学元数据当前代码版本2.1此代码版本所用代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-16-00039法律代码许可证MIT使用的代码版本控制系统无使用的软件代码编译要求，操作环境依赖性Adobe Flash Builder 4.5，Windows如果可用，链接到开发人员文档/手册https://github.com/ElsevierSoftwareX/SOFTX-D-16-00039/blob/master/README.md问题支持电子邮件bence.yahoo.com软件元数据当前软件版本2.1指向此版本可执行文件的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-16-00039/tree/master/build法律软件许可证MIT基于Web的计算平台/操作系统安装要求依赖性Internet浏览器如果可用，用户手册链接-如果正式出版，请在参考列表中引用该出版物无（内置）问题支持电子邮件bence. yahoo.com*通讯作者。电子邮件地址：zsmondi@gmail.com（B.Z.Horva' th），bence2000@yahoo.com（B. Blask e），plussmacskanita@gmail.com（A.Szabo'）.http://dx.doi.org/10.1016/j.softx.2016.08.0022352-7110/c2016作者。由Elsevier B.V.发布。这是CC BY许可下的开放获取文章（http：//creativecommons. org/licenses/by/4. 0/）。172B.Z. Horva' th等/Softwar eX 5（2016）1711. 介绍文本到语音（TTS）应用程序读出任何书面文本产生的各种类型的软件。只要字符可识别为可打字的文本，并且它们没有被转换为图像，它们就可以被这些应用程序读出。TTS技术主要以屏幕阅读器的形式被识别和使用，但还有更多的可能性，TTS应该应用于更广泛的语言教育领域。与其局限于朗读较长的文本，还可以制作独立的学习材料，通过使用对话将语法元素放入交际环境中来展示课程的一部分对话框还可以进行图解和动画处理，以使其更加用户友好。2. 问题和背景语音仿真或TTS研究是应用语言学的一个分支，该技术确实可以用于对话模拟，而不仅仅是简单的文本阅读。对于一个已经在课堂上使用媒体的教师来说，用它来编写独立的听力理解任务并不难。应用的成功更多地取决于教学人 员 的 创 造 力 ， 而 不 是 技 术 问 题 。早 在 1998 年 ，Warschauer [1]就指出，任何计算机在课堂上的应用都需要一个“娱乐因素”，让学生在个人和团体层面上参与进来。这里所描述的软件的主要特点是，所有的感官需要的语言学习，而学生正在使用它，就像他们在一个插图角色扮演游戏，它类似于。如今，教学材料有时需要与游戏行业竞争，以获得他们的信息，而交际语言学习方法，结合技术上模拟任何语音内容的可能性，可以实现这一目标。21世纪的交际语言教学要求提高语言运用能力，以帮助学习者有效地掌握外语。Savignon [2]指出，现代技术的发展和对学习者自主性的新关注意味着语境化需要通过尽可能多的情景来向学习者呈现。为不同的背景建立数据集可能是可取的，但目前这种数据集需要太多的存储空间。通过运用文语转换技术，为本研究提供了理论背景，因为它是一个有价值的帮助为了使交互环境对学习者来说更有形，它使用了计算机化的测试，这些测试通常比任何其他教材占用更少的计算资源确实可以满足解决办法的需要，以体现教学实践或战略，萨维尼翁[ 2 ]的推理和教材的不同用途之间的联系这里最重要的考虑因素是检查TTS语音技术是否能够创建足够质量的数据库就像萨维尼翁提到的那样。随着微软语音应用程序编程接口（SAPI）5.0语音引擎的引入，TTS技术在质量上得到了作者列举了TTS的功能：以任何速度、任何语音质量、不同口音（男性、女性、英国英语和美国英语等）阅读任何文本。Kilickaya [3]也承认存在局限性：虽然语音程序可以创建逼真的、听起来像人的声音，但在语调和重音方面总是存在差异。这些假设是有根据的，但语音仿真技术自2006年以来经历了许多变化。Sobkowiak [4]指出，随着时间的推移，所有的技术都会进入教育领域，所以这只是一个时间问题，取决于技术研究的速度，直到TTS取得进展。在2008年，Azuma [5]已经高度评价了TTS研究的技术发展，甚至声称这种可能性可能会在各种形式的语言教学中开辟一个全新的视野。Azuma提请注意低成本 这也是本软件出版物的目的。研究者描述了他在课堂和社交中使用宾得“语音文本”系统的经历基于网络的电子学习环境。McKeeman和Oviedo [6]也支持TTS场景，他们提到了不同的计算机应用程序来增强交际能力，并且他们的范围将TTS视为一种可能性。作者提到，学生们能够在在线环境的帮助下自己编写对话，例如，允许他们从自己的材料中编辑然而，作者并没有强调语境化和材料结构的真正好处合成的对话应该模拟说话情景的各种结果。作为一种不同的方法，进行了一项纵向研究， Hodapp及其同事[7]为爱荷华州教育部在课堂环境中进行的一项研究表明，在轻度残疾的学习者中，使用屏幕阅读器的人数越来越多。这项研究的重点是阅读理解，并显示80%至95%的学生报告说，TTS帮助他们的独立学习，使他们更好地理解他们的材料。这项研究通过提供学生的学业测试结果来支持这些说法。Laupissa和他的同事[8]提请注意这样一个事实，即TTS应用程序通常也会通过突出显示来指示计算机正在发音的单词和句子，因此它们对有阅读障碍的学生也有好处。正如Socol [9]在他的文章中指出的那样，即使对八年级的学生来说，总共有76%的孩子说，用TTS阅读更长的段落“更有趣”。无论阅读材料是什么，都报告了对TTS阅读段落的偏好。这表明，突出TTS系统提供的双重感觉系统比传统的阅读模式更能吸引SocolB.Z. Horva' th等/Softwar eX 5（2016）171173图3.1. 描述用户交互方案的Duenna软件架构。回到语言学习的话题，计算机模拟声音最广泛的应用是在线词典中单词Ruedas [10]进行了一项研究，其中化学领域的不同词汇项目由TTS语音读出，然后为大学生录制结果显示– that drilling via the audio materials helped them to learn theexpressions, especially in cases of missedTTS技术无疑是有用的语言学习和所提出的软件是为了扩大其使用，甚至进一步说明阅读文本与图形小说风格的照片的发言者，集中在他们的面部表情和肢体语言。挑战是将文献中列出的经验结合成一种对语言学习者有用的新的创造性形式。3. 软件框架3.1. 软件构架整个软件架构如上图所示（图3.1）：参与者是ESL学习者。他/她通过Duenna用户界面（UI）访问软件功能所述UI允许ESL学习者从说明语法区域的各种主题中选择对话 因 此 ， 该 应 用 程 序 利 用 外 部 网 络 服 务 （ AcapelaVAAS）以及软件资源文件，例如面部表情图像、背景音频和背景图像。3.2. 软件功能主要的软件功能如下图所示（图1和图2）。3.2-3.8）。同样，Duenna图形用户界面使学习者能够观察使用演员照片和利用TTS语音回放的想象情况。其他功能包括一个显示语法解释的窗口，该软件还可以显示对话记录。它还允许用户暂停和恢复正在播放的对话学习者可以从属于某个主题的各种主题和对话中选择3.3. 软件结构下面的类图描述了软件的总体结构（图3.9）。Main类为整个应用程序提供服务和功能，例如跟踪实际会话，控制应用程序的状态以及触发其他子功能。这样的子功能包括例如配置窗口（设置）、对话转录窗口和语法解释窗口。Main类还访问外部第三方TTS Web服务（AcapelaVAAS）。该软件只需要时间来加载语音，而这又取决于互联网连接的速度。4. 执行情况和实证结果4.1. 实现细节文语转换系统是一种辅助语言教学的工具。它利用计算机生成的声音来模拟代表不同语法问题或语音上下文的对话。该软件能够根据需要展示尽可能多的语言示例，以增强语言学习体验。Duenna使用一种名为Adobe Flash的技术实现。这与其他竞争产品相比具有独特的优势。竞争产品在许多情况下依赖于本地计算机安装，因此需要有一个额外的步骤才能使用该产品。此外，Duenna直接在Web浏览器中运行与许多竞争产品相比，它具有以下优点：1. 几乎立即加载，无需安装，2. 产品内容（对话，语音）从快速的Web服务器加载非常快，3. 产品内容可以在Web服务器端更新，从而提供无缝升级体验，174B.Z. Horva' th等/Softwar eX 5（2016）171图3.2. Duenna用户界面概述，详细介绍了屏幕上控件的位置。图3.3. Duenna用户界面概述。图3.4.语法规则如何表示的细节，这些语法规则与对话框有关。B.Z. Horva' th等/Softwar eX 5（2016）171175图3.5. 对话记录及其翻译的详细信息。图3.6. 字典的详细信息（目前正在开发中）。图3.7.详细的设置菜单-其中男性和女性的声音可以选择和背景声音打开或关闭。4. Adobe Flash是一个跨平台的解决方案，因此Duenna可以在各种操作系统和设备上使用，5. 由于运行时环境，它可以在低端机器上完美事实证明，与最接近的面向化身的TTS教学176B.Z. Horva' th等/Softwar eX 5（2016）171图3.8. 帮助菜单的详细信息。图3.9. 表示Duenna软件结构的类图。提交本文时在Internet上找到的解决方案（基于Gtdom页面性能诊断结果）。4.2. 实证结果目前的软件在语言课堂上定期使用，学生们很乐意用它来编写听力理解任务的对话所使用的声音能够让学生参与进来，就像他们在听录音一样。结果表明，听力理解任务能够成功完成。对照组和试验组的结果始终彼此相当。任何一个小组的学生都没有得到低于30%的成绩，这表明我们可以接受这些声音是可以理解的。任务表由简答题、配对题和是非题组成。事实证明，简短回答问题比配对和真假任务更容易解决。配对活动的成功率达到80%，从未低于56%。 学生们自己并不认为语音质量是一个决定性因素。从那时起，有两个进一步分析的测试事件：2015年9月和2016年2月。第一次，11名11年级的新学生观看了三个演示对话，以介绍该软件。每段对话播放两次。在观看演示时，他们必须回答简短的问题。全班学生中有八个人答对了所有的问题。课后，学生们被要求写对话作为家庭作业，代表英语的使用或上下文问题。在第二次考试中，他们又从原来的书面材料中选出两份将样品再次播放两次。三个学生在第一次播放后理解了第一篇课文，B.Z. Horva' th等/Softwar eX 5（2016）171177其余的在第二个之后。第二段对话，在第一次播放之后，所有人都听懂了。80%的学生能够接受地回答问题，并承认练习的有用性。学生们表示他们需要进一步练习该软件，因为它表明任何说话情况都可以模拟。随着时间的推移，将进行进一步的测试。5. 说明性实例随附的视频显示了在Duenna发现的一些对话样本的录音。它详细说明了该软件提供的一些附加功能。它基本上是一个应用程序的演练，让用户界面和功能一瞥。6. 结论总之，我们可以观察到，迄今为止，除了阅读较长的文本片段或有目的地将日常口语情景更接近学习者之外，几乎没有迹象表明TTS用于任何目的。 词汇的使用是有希望的，但实现似乎很偶然。谷歌翻译会犯错误，对于学术目的来说还不够可靠。研究人员探索了TTS利用的各种可能性，但确实还有更多实证研究的空间。围绕这一技术构建整个语言课程的想法是一个值得认真考虑的未来梦想;使用简化或完整版本的书籍是另一个有趣的前景，因为当然它们通常包含人物之间的互动，但为语言学习者制作刺激和有代表性的对话是重要的第一步。该软件框架适用于任何使用SAPI语音的TTS系统。该技术已被证明是足够的听力理解任务。这些结果在实践层面上证实了Kilickaya [3]和Azuma [5]的概念，并鼓励继续研究和开发TTS技术。在视障者信息技术基金会（匈牙利布达佩斯信息技术基金会）的智力帮助下，正在进行进一步的致谢作 者 要 感 谢 布 达 佩 斯 ELTE 英 语 语 言 教 育 系 的Christopher Ryan和所有参与该项目的学生。供资来源这项研究没有从公共、商业或非营利部门的资助机构获得任何具体的资助附录A. 补充数据与本文相关的补充材料可以在http://dx.doi.org/10.1016/j.softx.2016.08.002上找到。引用[1] 放 大 图 片 作 者 ： W. 计 算 机 与 语 言 学 习 ： 一 个 综 述 。 LangTeach1998;31：57-71.[2] 萨维尼翁SJ。超越交际语言教学：未来是什么？J Pragmat2006;39：207-20.[3] 基利卡亚湾语言学习者？CALL-EJOnline2006;7（2）：http://callej.org/journal/7-2/Kilickaya.html。[4] 索布克·奥维亚克TTS在EFL CALL中的应用--一些教学上的考虑。《英语教学技术》2003;3（4）：3-11.[5] 将TTS技术应用于外语教学。In：Zhang F，Barber B，editors.计算机辅助语言习得与学习研究手册。2008. p. 497-506[6] McKeeman L，Oviedo B.通过以下方式提高交际能力整合21世纪的技能和工具。中央州外语教学会议报告，阿肯色大学小石城分校，2013年，第101页。39比54[7] Hodapp J. 爱 荷 华 州 教 育 部 年 度 研 究 报 告 。 Cambium LearningTechnologies，2007，http：//www.kurzweiledu。com/files/IowaTextReaderStudy Report. PDF.[8] 拉 科 鲁 尼 亚 湾 密 苏 里 州 辅 助 技 术 年 度 报 告 ， 2008 年 ，http://www.at.mo.gov/pubs/documents/2008AnnualReport.pdf。[9] Socol ID。你可以比自己阅读更好地理解它。NCSET-支持的尚未发表 的 研 究 ， 2009 年 ， http ： //www.ncset-supported-yet-publishedresearch，http：//www. 学术界edu/216729/你可以比自己读更好地理解它中学生信息语篇与语篇转换。[10] Ruedas MJ.使用文字转语音产生的音频文件学习化学在高等教育。Eurasian J Phys Chem Educ 2011;4（1）：65-77.