聊天机器人语言设计对旅游助理的影响

ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月→聊天机器人语言设计：语言变异对旅游助理聊天机器人ANA PAUCHAVES、北亚利桑那大学和巴拉那联邦理工大学JESSE EGBERT，北亚利桑那大学英语系北亚利桑那大学信息学、计算和网络系统学院的Toby Hocking、ECK DOERRY和MARCO AURELIOGEROSA聊天机器人通常被设计成模仿人类的社会角色然而，人们对使用不符合相关社会角色的语言的影响知之甚少我们的研究借鉴了社会语言学来研究聊天机器人的语言选择如何能够坚持代理在上下文中执行的预期社会角色。我们试图了解聊天机器人的设计是否应该考虑语言寄存器。本研究分析了语域差异如何在塑造用户对人机交互的感知中发挥作用我们在旅游领域制作了具有相似内容和不同语域特征的对话平行语料库，并在适当性，可信度和用户体验方面评估了聊天机器人语言选择的用户 我们的研究结果表明，注册特征是用户偏好的强预测因子，这表明需要设计具有注册适当语言的聊天机器人，以提高接受度和用户对聊天机器人交互的感知。CCS概念：·以人为中心的计算人机交互（HCI）;HCI的经验;自然语言接口;附加关键词和短语：聊天机器人，会话代理，语言设计，注册，用户感知ACM参考格式：Ana Paula Chaves，Jesse Egbert，Toby Hocking，Eck Doerry和Marco Aurelio Gerosa。2022年聊天机器人语言设计：语言变化对旅游助理聊天机器人用户体验的影响ACMTrans. 计算。- Hum. 互动. 29，2，第13条（2022年1月），38页。https://doi.org/10.1145/3487193感谢NAU CS本科生Caitlin Abuel和Tyler Conger在实验室会议期间对招募和定性数据收集的贡献 这项工作得到了美国国家科学基金会的部分支持，资助号为1815503和1900903。作者地址：A. P. Chaves，Northern Arizona University，1295 S Knoles Dr，Flagstaff，Arizona 86011，and FederalUniversity of Technology-Paraná，R.Rosalina Maria dos Santos，1233，Campo Cristão，PR 87301-006，Brazil;电子邮件：anachaves@utfpr.edu.br; J.埃格伯特，英语系，北亚利桑那大学，705 S海狸街，弗拉格斯塔夫，亚利桑那州86011;电子邮件：杰西。nau.eduHocking，E.Doerry和M.A. Gerosa，信息学、计算和计算机系统学院，北亚利桑那大学 ， 1295 S Knoles Dr ， Flagstaff ， Arizona 86011; 电 子 邮 件 ： {Toby.Hocking ， Eck.Doerry ， Marco.Gerosa}@nau.edu。允许制作本作品的全部或部分数字或硬拷贝供个人或课堂使用，无需付费，前提是复制品不以营利或商业利益为目的制作或分发，并且复制品在第一页上带有此通知和完整的引用版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许用信用进行提取 复制，或重新发布，张贴在服务器上或重新分发到列表，需要事先特定的许可和/或费用。从permissions@acm.org请求权限。© 2022计算机协会1073-0516/2022/01-ART13 $15.00https://doi.org/10.1145/348719313ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月十三：2A. P. Chaves等人1介绍会话技术的最新进展促进了聊天机器人的日益普及[63，153]，聊天机器人是通过基于文本的消息传递界面以自然语言最近一份关于聊天机器人市场的报告[62]证明了他们不断增长的需求，预测到2025年全球聊天机器人市场将达到12.5亿美元。 对聊天机器人技术的兴趣飙升为HCI领域带来了新的挑战[25，53，63，115]，尽管设计有所改进，但用户通常对他们的体验不满意[87，103，157]，这可能会影响他们对技术的态度[86]。对于聊天机器人来说，自然语言对话是实现交互目标的主要机制因此，更全面地了解聊天机器人对话的语言设计及其对用户感知的影响对聊天机器人技术的成功至关重要。以前对聊天机器人设计的研究表明，当聊天机器人滥用语言时（例如，传达过度（不）正式或使用不连贯的风格），对话听起来对用户来说很奇怪，并导致沮丧[42，85，105]。到目前为止，聊天机器人的语言设计主要集中在确保聊天机器人产生连贯和语法正确的响应，以及提高功能性能和准确性（参见例如，[80，107，108，159]）。虽然目前的聊天机器人可能在某种功能层面上为用户提供他们所寻求的答案，但这些话语描绘了可能不考虑干扰情况的任意语言模式例如，人们会期望代表财务顾问的聊天机器人使用与建议青少年当前时尚选择的聊天机器人不同的语气和语言特征。目前，特定聊天机器人的语言选择的设计通常基于对用户特征或聊天机器人角色的对于机器语言生成，模型使用目标领域中的可用语料库进行训练，但它们不考虑语料库对话的特定上下文。关于这些设计决策对用户感知的影响知之甚少如何根据特定的使用情况定制聊天机器人设计 在探索可能影响用户对聊天机器人的看法的关键因素时，学者们甚至认为，只要用户能够理解聊天机器人的答案，使用适当的语言风格就不相关[ 9，23 ]。相比之下，实证研究一再表明，聊天机器人的语言选择会影响用户对聊天机器人的看法和行为[5，46，127，142，146]。使用适当的语言选择潜在地增加了人性化[59，68，79]和可信度[79，112，113，141]，以及增强了对交互质量的整体感知[78]。Resendez [127]表明，聊天机器人开发一个强大的基础，不仅设计聊天机器人说什么，而且设计它如何说，这必须是创建下一代聊天机器人的优先事项本研究建立了一个分析语言选择对用户感知影响的框架人类已经发展出了一种如何使自己的语调、习惯用语和表达方式适应各种对话语境的意识。根据社会语言学家[16]的说法，人类的语言选择不是任意的，而是由说话者精心设计的，不仅要传达信息有效载荷，还要传达大量微妙但重要的社交线索[82，84]。这个概念被称为语域，它已经成为人与人之间交流中语言变异的最重要的预测因素之一[ 13 ]。例如，语域理论认为，写这篇文章所用的语言模式不同于一个人在演讲或给朋友发短信时讨论同一主题所用的语言虽然语域在人与人之间的交际中的相关性尚未在聊天机器人语言设计的背景下进行探索聊天机器人语言设计：语言变异对用户体验的影响十三：3ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月Argamon [6]认为语域的社会语言学概念可以形式化，为机器语言生成提供理论基础为了实现这一目标，聊天机器人需要用计算模型来丰富，这些模型可以评估对话情况，并调整聊天机器人的语言选择以符合预期的语域，这类似于人类潜意识的实现这一目标的第一步是了解注册理论是否适用于聊天机器人交互，以及它如何影响聊天机器人这项工作的基石是分析，以揭示聊天机器人语言选择的感知效果，同时减少语言以外的变量的影响（例如，会话上下文和内容的变化这就需要内容相似的平行对话，但每个对话代表不同的语言语域。在我们之前的工作中[29，30]，我们探讨了旅游相关互动背景下的语言变化，旨在揭示该领域内语域和互动情况之间的关系我们的研究结果符合社会语言学的理论：核心语言特征随情景参数的变化而变化，从而导致不同的语言模式。在本文中，我们进入下一步，分析我们认真识别的语域差异在塑造用户对人类-聊天机器人交互的感知方面发挥的作用 引导我们调查的问题是：注册专用语言的使用是否会影响用户的旅游助理聊天机器人的看法为了回答这个问题，我们分析了两个会话语料库（F LG和DailyDialoд）的语域，以表征它们的语域差异，并利用分析结果建立了一个旅游领域的标准语料库（F LG模型），它与F LG具有相似的信息内容，但在语言使用模式上存在差异然后，我们进行了一项用户研究，要求参与者比较两个语料库的答案，并表达他们在适当性，可信度和用户体验（UX）方面的偏好最后，我们使用广义线性模型（GLM）[56]（二元响应）对用户研究数据进行了统计分析，以确定核心语言特征的频率与用户语言使用偏好之间的关联。我们的研究结果表明，语言特征与用户对适当性、可信度和用户体验的认知之间存在关联这些结果对聊天机器人的设计具有重要意义，例如， 需要设计聊天机器人以生成用于硬编码和动态生成的话语的寄存器特定语言，以提高聊天机器人交互的接受度和用户感知。2背景在下文中，我们总结了社会语言学语域的概念以及将此概念作为聊天机器人语言设计的理论基础的基本原理我们还讨论了我们选择的信息搜索互动在旅游环境中作为我们的研究的试验台。2.1语域与语言变异语言学家早就知道，语言根据使用它的情景语境而变化（参见Malinowski [106]）。根据情境定义的变体通常被称为语言中的然而，关于如何对寄存器变化进行最佳建模，存在截然不同的理论 在传统社会语言学中通常采用的一种理论中，研究人员将语域的结构简化为一个简单的形式连续体，从非常正式到非常随意（参见，例如，Joos [81]，Trudgill [149]）.在另一个著名的理论框架中，被称为系统功能语言学（SFL），语域是根据三个抽象参数来表征的：场，语旨和模式[65]。但是，没有关于如何操作的协议十三：4A. P. Chaves等人ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月图1. 语篇语域框架下的情景、功能和语言形式的三向关系迄今为止，系统功能语言学学者对语域的研究几乎都是理论性的，而不是实证性的。因此，系统功能语言学对我们理解语域对实际语言使用的影响贡献不大一个较新的语域理论框架解决了这些其他理论的局限性：文本语言语域框架。语篇-语言语域框架是由Douglas Biber及其同事在过去40年中发展起来的与把语域简单化为一种形式尺度的观点相反，语篇-语言学框架涉及一套全面的情景参数，包括会话发生的情景，如参与者、渠道、产生环境和目的等。此外，文本语言学框架远远超出了抽象的理论;它是一种充分发展的方法论，已被应用于数百项实证研究（参见Biber [15]的概述）。根据语篇-语言学框架，“语域是与特定使用情境（包括特定交际目的）相关的这一方法主要包括三个方面：对情景语境的定性描述，对普遍存在的语言特征的定量描述，以及对情景和语言之间关系的功能解释。 图1显示了文本语言学语域研究中这三个组成部分之间的关系（参见Biber [15]，Biber和Conrad [16]）。因此，根据语篇语言学框架，语域可以被解释为语篇的分布在情境定义的语言变体中的语言特征的集合;语言特征包括在会话中出现的词或语法特征的集合，并且情境是表征会话发生的上下文的参数的集合，例如，参与者、渠道、生产环境等等。许多语篇语言学研究表明，语域对于语言变异和使用的语言学研究至关重要[13]：大多数语言特征在不同语域中以不同的方式和程度被采用例如，一些研究集中在使用较窄的特征集来描述语域变化，例如语法复杂性特征[20，21]，词汇束[17，73]和评估[71]。 朗文英语口语和书面语语法[22]记录了英语中大多数语法特征的语域变异的系统模式，揭示了语域作为语言变异的重要预测因素的力量。事实上，我们利用这一语法来支持我们围绕旅游助理话语中特定语言特征的使用进行的讨论（见第8节）。在语言描述和计算语言模型中忽视语域会导致对语言使用的错误结论Biber [13]提供了许多关于语言使用的错误结论的例子，这些结论是在忽视语域的情况下得出的例如，当研究人员指出特定的语言特征在一种文本中比在另一种文本中更“频繁”时（例如，写VS。该结论旨在报告，当该特征确实发生时，它优于另一然而，对这一结论的一种常见解释是，该特征在该寄存器中常见，这不一定准确[13]。鉴于语域在人与人交流中的重要作用尽管语域在人与人之间的交流中的相关性聊天机器人语言设计：语言变异对用户体验的影响十三：5ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月理论适用于人类聊天机器人的互动还有待广泛研究。有一些证据表明，聊天机器人应该使用适合聊天机器人所代表的服务类别的语言[9]。尽管如此，还没有系统地分析用户的感知如何受到关于聊天机器人语言的期望的影响，或者探索确定语言适合度的适当性 在下一节中，我们将讨论聊天机器人语言设计的现状，以及为什么在聊天机器人交互中应该考虑注册。2.2聊天机器人语言设计聊天机器人通常被设计为模仿通常与人类合作伙伴，例如，好友[144]，导师[44，143]，医疗保健提供者[50，110]，销售人员[59，161]，酒店礼宾[92]，或者，如本研究中所述，旅游助理[30，31]。对心智感知理论的研究[67，83，93]表明，尽管人工智能被假定为具有低于标准的智力，但人们仍然对它们施加某些社会刻板印象因此，可以合理地假设“当机器被认为具有高阶思维时，可能会受到不同的 随着聊天机器人丰富了他们的沟通和社交技能，用户的期望可能会随着聊天机器人的对话能力和感知的社会角色接近他们旨在代表的人类形象而增长。根据[45]，研究社区参与社会结构以了解用户行为并促进会话技术的采用至关重要各种因素影响人们如何看待聊天机器人的沟通技巧[32，48，77，136]，随着用户对熟练程度的期望增加，增强聊天机器人互动的一个重要方法是仔细规划他们的语言使用，以模仿人类在特定情况下如何使用语言[60，85]。大多数语言学家都认为人类的语言选择是系统性的[84]，大量的研究提供了充足的证据，表明语言内部的变化通常可以由诸如个人作者/说话者风格（例如，[7，96]），方言（例如， [90，140]）、流派（例如，[2019- 12 -19][2019 - 11][2019 - 01 - 19][2019 - 01 - 11][2019 - 01 -11][2019 - 11] 19：00：0 [11、16]）。风格特别吸引了研究人员对会话代理人的关注[48，78，99，117，146]，探索范围从一贯模仿特定角色的风格[99，139]到动态匹配会话伙伴的风格[69，117，129]。 例如，Svikhnushina和Pu [137]声称聊天机器人与用户风格和语言的一致性对于塑造用户体验至关重要，并且风格匹配可以确保更高水平的个性化和参与度。虽然一些学者将风格定义为剖腹产与现代英语）。风格的流行与基于角色的设计的普遍使用有关，其中聊天机器人的语言计划符合预期角色的个人特征[61，72]。特别是，一些研究试图通过聊天机器人来实证评估会话风格对UX的影响[5，46]。例如，Elsholz et al.[46]将使用现代英语的聊天机器人与使用阿拉伯语风格的聊天机器用户认为使用现代英语风格的聊天机器人很容易使用，而使用西方英语的聊天机器人被认为使用起来更有趣Cowan等人[39]证明了会话伙伴的口音影响人类对话者的词汇选择。在一项旨在确定移民对信息搜索聊天机器人的期望的研究中，参与者报告说，过于根据探索性分析，Tariverdiyeva [142]得出结论，十三：6A. P. Chaves等人ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月正式性”（在随后的工作中更名为“适当的语言风格”[ 9 ]）与用户满意度直接相关。 我们注意到，这些研究将“适当的语言”定义为“聊天机器人在上下文中使用适当语言风格的能力”。这种感知到的语言适当性与上下文的联系很重要，并反映了明确的证据，即语言的适当性不是绝对的，而是受到用户对聊天机器人的交际行为和社会类别的刻板印象的具体期望的影响例如，当评估语言风格对与客户在线互动中品牌信任的影响时，Jakic et al. [78]得出的结论是，品牌和产品/服务类别之间的感知语言契合度提高了互动的质量。社会语言学研究还强调，“像代词和动词这样的[1]在某种程度上，语域和风格包含了类似的语言分析，包括理解核心词汇和语法特征的使用[16]。 语体是指语篇在一个语域中所表达的语言变异，语体关注的是审美和个人的选择，语域关注的是语言模式与插入语境之间的关联，而这种关联是由语境参数决定的。语域理论指出，对于每一种插话情况，都有一个使用语言来实现交际功能的规范和期望的子集[16]。 在对话中，每个话语都受到社会氛围的影响[8，76]，社会氛围以情景参数的形式表示，例如参与者之间的关系，交互的目的和对话的主题等[16，82]。这就导致了根据情境定义的语言变体的出现从这个意义上说，我们并不建议在聊天机器人语言设计中忽略风格;相反，我们想证明，语域必须封装定义语言风格的可能变化。2.2.1注册聊天机器人语言设计。 本文旨在确定核心语言特征（例如，名词，代词，动词时态，副词2）以及用户 为了识别互动中存在的典型语言模式，我们采用了比伯和康拉德[16]提出的文本语言框架，并在第2.1节中介绍。因此，我们的语域分析包括三个主要步骤：情景描述、语言分析和功能解释。情境分析旨在将互动置于情境参数的广泛分类中，遵循Biber和Conrad提出的情境分析框架[16]。在下文中，我们将讨论选择旅游作为互动领域的合理性。2.3旅游领域的聊天机器人旅游业是世界上增长最快的经济部门之一，也是国际服务贸易的主要类别[152]。随着旅游业的发展，对目的地及时准确信息的需求也在增加;最近的一项调查[ 102 ]显示，互联网是旅行计划的首要来源 随着具有数据访问功能的智能手机设备的普及，旅行者越来越多地在途中搜索信息并做出决策[26，145，155]。[1]在某些情况下，语言学家使用术语然而，这两个术语更常用于指语言学中的其他结构例如，风格通常用于指特定于作者或说话者的语言使用模式（即，个人风格），在文体学领域的研究术语体裁通常用于指用于创建完整文本的常规结构，与通常与语域相关的普遍和功能特征形成对比（参见Biber [15]）。2关于本研究中考虑的语言特征的词汇表，见补充材料第2聊天机器人语言设计：语言变异对用户体验的影响十三：7ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月然而，使用小屏幕移动设备进行途中旅行信息搜索可能是一种压倒性的体验[91，120]，因为信息过载加上缺乏可靠的机制来查找准确，可信和相关的信息[91]。Radlinski和Craswell [123]认为，复杂的信息搜索可以受益于约定界面，事实上，已经开发了几种具有广泛特征的会话代理，以改善旅游信息搜索和旅行计划[2，75，94，100]。Loo[102]声称，各国超过三分之一的旅行者有兴趣使用数字助理来研究或预订旅行，并且在短短两年内，移动设备上与旅行相关的“今晚”和“今天”搜索增长了150%以上。特别是，一份关于聊天机器人市场的报告[62]将旅游业&列为到2025年收入前景最好的五大市场之一。为了应对这一趋势，在线旅游部门的聊天机器人数量有所增加。例如，BotList网站在旅行类别下列出了近100个可用的聊天机器人;一些例子包括Expedia 3和Marina Alterra 4虚拟助手。旅行计划也是一个领域，在这个领域中，感知能力和可信度是用户体验的核心;没有适当呈现的建议不太可能被信任和利用。从更务实的角度来看，旅游助理（人类和聊天机器人）的普及意味着这个领域的对话语料库越来越多，可以作为我们分析的种子总之，我们选择旅游咨询领域来开发一个实用的框架，以便在聊天机器人对话引擎的设计中包括注册，因为正确使用对话注册可能对该领域的用户体验特别重要，现实世界对旅游咨询的聊天机器人以及该领域中人类和聊天机器人交互的几个语料库都有需求都是可用的。3研究方法如前所述，本研究旨在探索用户体验与聊天机器人使用的传统语域相关的程度出于这个目的，我们比较了在不同的寄存器中表达的对话，将它们呈现给用户进行评估。 为了分离出语域对感知用户体验的影响，我们比较了内容相同但语言模式不同的对话。找到这样的并行数据-具有相同语义内容但以不同形式表达的自然语言文本[116]-是困难的。以前需要这种平行数据的研究通常使用多个版本的书面文本，例如，圣经或阿拉伯文文本的原始和现代语言形式的版本（见[148]）。 虽然这些语料库可能有助于在NLP研究的抽象背景下进行分析，但它们描绘的是以不太可能与大多数现代聊天机器人用户相关的主题为中心的古老语言，更不用说旅游助理的设计了。因此，我们的方法是基于生产的平行语料库。该语料库基于真实的会话，根据语域理论对会话进行了精心的处理，以产生内容相同但语域不同的会话。与以前的研究不同，这些研究侧重于风格[46，69，142]（即，与作者或历史时期相关的偏好），我们依靠语域理论来识别和再现旅游助理聊天机器人可能使用的语言变体此外，在聊天机器人语言的设计中为显式操纵会话寄存器开发具体的基础需要寄存器的显式表征因此，我们确定了一组语言特征，共同表征寄存器，并显示如何改变这些功能会影响用户的会话质量的看法3https://botlist.co/bots/expedia。4https://botlist.co/bots/marina-alterra。十三：8A. P. Chaves等人ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月图2. 研究方法概述 该方法由五个主要步骤组成，一个步骤的结果被播种到下一个步骤。我们的方法包括五个步骤，如图2所示。我们收集了旅游领域的两个会话语料库，并利用它们开发了平行语料库，这些语料库虽然内容相同，但在会话语域的不同维度上有所不同然后将这些对话呈现给用户，以生成主观对话质量的多方面评估最后，用户感知的变化方面的语域分析，揭示语言模式和用户感知之间的关系 这些步骤将在下文进一步说明。(1) 数据收集：为了为我们的分析提供基础，我们收集了人类领域专家（旅游助理）在基于文本的旅游信息搜索场景中与游客互动的对话;我们将其称为F LG语料库。由于会话语域的特点是在不同的插话情况下比较语言表达，因此我们还选择了另一个在线可用的旅游领域会话语料库，即DailyDialoд [97]。 这个语料库中的对话涵盖了从日常生活到政治、健康、旅游和其他话题的各种日常生活话题。关于语料库收集的详细信息见第4节。(2) 语域表征：我们的下一个目标是描述我们两个语料库中基于广泛的语言学特征，这些特征已被预先确定为与表征会话语域相关[11]，我们分别对F LG和DailyDialoд语料库进行了语域分析，然后对它们之间的语言模式进行了统计比较，类似于Chaves等人进行的分析。[29]. 寄存器表征步骤详见第5节。(3) 文本修改：在确定了两个语料库中存在的离散语域变化后，我们的重点转移到使用这些语域特征来生成一个平行语料库，其中对话具有相同的信息内容，但使用不同的语言格式。具体来说，对于F LG语料库中旅游助理提供的每个答案，我们进行了语言修改，以产生一个新的对应答案，聊天机器人语言设计：语言变异对用户体验的影响十三：9ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月语言模式，模仿从DailyDialoд语料库的寄存器的特点，我们称之为产生的平行语料库FLG模。例如，考虑句子“在弗拉格斯塔夫市中心总是有很多很 （F LG）;文本修改增加了第一和第二人称代词、现在时动词（“visit”）和可能性情态动词（“can”）的频率，同时减少了放大词（“great”）、名词（“downtown Flagstaff”）和介词（“of”、“in”）的频率，结果是“我们总有你可以参观的地方”（F LG mod）（见图2）。第6节详细说明了文本修改。(4) 文本修改的验证：为了评估F LGmod中修改后的答案是否保留了原始答案的信息内容，我们进行了一项研究以验证文本修改，见第6.2节。我们邀请参与者从自然性和内容保存方面比较Par-Answer答案在完成这些基础步骤之后，我们最终得到了两个平行语料库（FLG和F LGmod）。(5) 用户偏好评估：在开发和验证了仅在描述的语域中存在差异的平行语料库之后，我们进行了一项研究，以揭示用户是否感知到语域变化，如果是，语域表征中的哪些语言变化对用户体验的各个方面影响最大。总的来说，我们希望从F LG语料库中找到对原始答案的偏好，因为这些是由人类产生的特定于寄存器的语言为了进行分析，我们从F LG和F LGmod中选择了一组游客问题及其相应的答案。参与者被展示了这些个人然后，我们拟合了一个统计学习模型来识别最能预测用户选择的语言特征。本研究详见第7节。在概述了我们的研究方法之后，以下部分详细介绍了上述每个步骤。4数据收集数据收集包括两个子步骤：（i）收集旅游助理和游客之间的人与人对话的基线语料库在下文中，我们将介绍所收集的语料库。4.1FLG为了收集F LG语料库，我们聘请了来自美国亚利桑那州弗拉格斯塔夫市弗拉格斯塔夫游客中心的三位经验丰富的专业人士，在2018年夏季回答有关城市和附近旅游目的地的游客问题政府官方网站报告说，弗拉格斯塔夫每年接待超过500万游客，包括州内，州外和国际游客。根据2017-2018年弗拉格斯塔夫游客调查，弗拉格斯塔夫是参观旅游目的地的中心枢纽，如大峡谷国家公园，亚利桑那州 区域旅游也很重要，大量游客寻求逃离凤凰城大都市区的炎热和拥挤。这三名旅游助理均为母语为英语的女性，受过一定程度的大专教育，并有四年或四年以上的旅游助理经验其中两人年龄在25 虽然他们在游客中心有超过四年的面对面交流提供旅游信息的经验，但他们从未通过在线平台专业提供信息。十三：A. P. Chaves等人ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月为了吸引游客与旅游助理互动，我们通过传单在弗拉格斯塔夫市宣传免费旅游助理在线服务，并在历史市中心的弗拉格斯塔夫游客中心拦截游客，引导他们到一个摊位使用服务。游客使用招聘人员提供的Facebook Messenger帐户提出问题，并等待回应（同步互动）。约30名游客参与了互动。我们还从Quora、谷歌地图和TripAd-visor等网站上收集了关于弗拉格斯塔夫的旅游相关问题，一位研究人员使用同一个Messenger帐户将这些问题发布给旅游助理网站上的问题是在与真实游客的互动之间发布的，这也有助于让旅游助理保持忙碌。 旅游助理不知道这些问题的由来，以为他们一直在和真正的游客互动。2018年夏天，旅游咨询对话通过Facebook Messenger帐户进行[47]人类旅游助理参与了我们实验室的研究在第一次互动之前，旅游助理参加了一个培训课程，我们介绍了环境和工具。在研究过程中，一名研究人员观察了互动，并记录了旅游助理的评论。因为我们想了解旅游相关互动中的自然语言变化，游客和旅游助理都可以根据他们的需求，兴趣和知识自由互动没有向游客提出任务，也没有向旅游助理提供任何脚本文本交换从Facebook Messenger导出并存档以创建FLG语料库;语料库包括144个交互，约540个为了分析谈话的语域，我们只使用了旅游服务员的回答。4.2DailyDialog我们选择的第二个语料库是DailyDialoд[97]，这是一个在线语料库，用作旅游领域自然语言生成研究的参考DailyDialog由从英语学习网站上抓取的日常生活对话组成，主题从日常生活到政治，健康和旅游。类似于使用这个语料库来训练聊天机器人的人，我们过滤了原始语料库，只选择最初标记为“旅游”的对话，并显示客户服务提供商的交互，例如，酒店客人-礼宾，商务人员-接待员，游客-导游等。我们选择DailyDialo <$д是因为它包含了旅游领域的大量对话，并且它可能被用作聊天机器人对话的基线模型[57]。我们从DailyDialo的网站上下载了这个语料库5过滤后，以旅游为重点相关的交互，在这项研究中使用的DailyDialo的子集包括999个交互。因为我们只对服务提供商（DailyDialoд）和旅游助理（F LG）产生的话语感兴趣，所以我们编辑了对话以删除游客的话语。4.3语料库特征：情境参数我们遵循Biber和Conrad [16]提出的情景分析框架来确定对话发生的情景参数情境分析的主要结果在Chaves et al. [30]并在表1中进行了总结。简而言之，情景分析包括解释对话的上下文，以赋予情景分析框架中每个参 数的价值例如，对于表 1中的 Production 参数， 我们定义DailyDialo <$isplanned，因为DailyDialo <$中的会话是5http://yanran.li/dailydialog。聊天机器人语言设计：语言变异对用户体验的影响十三：ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月情境参数表1.情况分析DailyDialog FLG客户和服务提供商游客和旅游助理关系角色、权力和知识关系各不相同服务提供者、旅游助理拥有知识渠道人写的，代表面对面的书面的，即时通讯工具生产计划准实时设置私人的、共享的时间和大部分物理上共享的地方私 人 的、共享的时间、虚拟的共享场所目的提供服务或信息信息搜索主题因旅游业而异当地信息（例如，活动、景点）情境参数是从情境分析框架中提取的[16]。为了达到教育目的而精心编写和计划的相比之下，F LG是准实时的，因为虽然语言是书面的，但它是在即时通讯工具中产生的，旅游助理只有有限的时间来计划回答游客的问题。根据语域理论[16]，情景参数的差异导致不同的语域;人们根据上下文使用不同的语言模式DailyDialo在情境参数方面呈现出更大的可变性（例如，参与者，目的和主题）比F LG。DailyDialog包括与服务提供商的几种面对面互动，例如，酒店入住或机场接送，而FLG的主题和目的则缩小到旅游目的地的当地信息搜索。关于渠道和生产，人们在F LG生产语言通过即时通讯工具（准）实时。相比之下，DailyDialo最后，DailyDialoд描绘了参与者及其关系的显著变化，包括参与者在对话中扮演的角色，权力关系和知识（例如，酒店礼宾和游客与边境管制人员和游客）。鉴于情景参数的差异，我们预期F LG中的语言特征不同于DailyDialoд中的语言特征。在下一节中，我们将讨论我们的语域特征分析，该分析确定了决定每个语料库语域的语言特征，以及典型语言在旅游领域的不同情况下如何变化5旅游互动中会话语域的变化为了描述我们两个语料库对话中使用的不同会话语域，我们进行了语域分析[11]。 语域分析包括识别语料库中通常使用的语言特征，这是基于对话语中存在的语言特征进行标记和计数，并根据它们在句子中的功能对其进行解释[11，16]。我们对F LG和DailyDialoд语料库进行了语域分析，然后比较了结果，以确定语料库中语言使用的差异;以下小节详细介绍了这一分析及其结果5.1语域分析5.1.1程序. 我们的语域分析依赖于Biber语法标记[14]的信息来识别每个语料库中存在的语言变异。有关tagger的详细信息可以在其他地方找到[11，14]。总之，给定一组文本，此工具标记并统计文本中存在的语言特征，并返回每10，000个单词的标准化计数标注器还计算每个文本的维度分数，这些分数基于使用多维分析算法导出的特征子集的聚合。 各方面的得分显示了登记册的主要特点，即，以下每个特征的水平十三：A. P. Chaves等人ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月— 维度1— 维度2-叙事— 维度3-语境参照：指示明确的参照与情境依赖的参照对立;高/正分数指示高度明确和详细的话语，其中话语使用对先前话语的精确参照，并且不假设互见者之间的共同点。低/负的分数表明外指，情况依赖的参考，这意味着对话者之间的共同点。— 维度4— 维度5-补充材料包含每个维度的语言特征词汇表包括定义和使用示例。我们首先分析了每个语料库中语篇的维度得分，以了解语篇的语言特点和变化遵循Biber [11]的方法，我们应用单因素多变量分析方法（MANOVA）来生成跨语料库的维度得分的统计比较，其中因变量是五个维度得分的值，自变量是DailyDialoд（控制组），来自F LG语料库的三个旅游助理是TA1，TA2和TA3（实验组）。每个文本对应于我们模型中的一个观察，其中文本是由对话者产生的一个或多个连续句子的集合（即，一个答案）。 考虑到显著的总体MANOVA检验，我们还对五个维度中的每个维度进行了单向单变量分析（df = 3，1139），以确定影响主要寄存器特征的各个维度。最后，对于用于计算维度分数的49个个体特征中的每一个，我们进行了ANOVA统计检验（df=3，1139），其中因变量是每10，000个单词归一化的特征的出现频率，而自变量是两个语料库：对照组是DailyDialoд，实验组是来自F LG语料库的三个旅游助理中的每一个 所有报告的统计量均使用5%的显著性水平（α= 0. 05）。5.1.2结果MANOVA结果显示，三位导游员的维度得分与DailyDialo语篇的平均得分存在显著差异（Wilks = 0 . 001，P < 0. 01）。92，F = 6。23，p <0. 0001）。表2总结了每个维度的单变量分析维度分析表明，DailyDialoд描述的是一种口头话语，而FLG中的导游员更多的是文字和信息，而不是参与（维度1），这可以通过DailyDialoд中面对面的对话性质以及参与者角色和权力的变化来解释DailyDialoд在语境参照（维度3）方面的得分也更低，这可能是因为面对面互动提供了共享空间和共同DailyDialoд也有稍微正式的话语和详细的语言，尽管这种差异并不显著。 两个语料库都显示了描述性而非叙述性语言（维度2的负估计）和轻微的说服性语言（维度4的正估计）。聊天机器人语言设计：语言变异对用户体验的影响十三：ACM Transactions on Computer-Human Interaction，Vol.29，不。2、第十三条。出版日期：2022年1月±表2. 维度评分的单变量分析（df = 3，1139）−4.10± 0.09−4.45±0.41−4.31±0.41 −4.79± 0.39−6.28± 0.33−3.33±1.52−1.75±1.54 −2.65 ±1.465.440.00102.43± 0.30 1.98±1.40 −0.02± 1.41 1.93± 1.34 1.01 0.38770.36± 0.26−0.81±1.20-1.70± 1.21-2.10 ±1.152.410.0658对于每个维度，该表显示了估计的维度得分、每组的标准误（DailyDialo <$，T A1，T A2，T