交互式社会代理人的神秘谷：实验研究

虚拟现实智能硬件• 文章·2022年10月第4卷第5期：39310.1016/j.vrih.2022.08.003交互式社会主体的神秘谷：一项实验研究Nidhi MISHRA1，Manoj RAMANATHAN2*，GauriTULSULKAR1，Nadia Magneat THALMANN3，41. 南洋理工大学媒体创新研究所637553，新加坡;2. 新加坡南洋理工大学康复研究所308232，新加坡;3. 南洋理工大学媒体创新研究所637553，新加坡;4. MIRALab，Battelle，Building A7，Route de Drize，CH- 1227Carouge，Geneva，Switzerland接收日期：2022年6月10日;修订日期：2022年7月22日;接受日期：2022年8月18日翻译后摘要：背景的神秘谷假说指出，用户可能会遇到不适时，互动几乎像人一样的人工字符。人工智能、机器人技术和计算机图形学的进步导致了虚拟人和人形机器人的发展。有必要重新审视这一假设，以检查它们对高度习惯于最新技术的当前人口产生的积极或消极影响方法在这项研究中，我们提出了一个独特的评价恐怖谷假说，让参与者与四个人形机器人，具有不同程度的人类相似的生活。每个参与者都完成了一份调查问卷，以评估每个机器人的亲和力。此外，我们使用深度学习方法，通过记录参与者与机器人的互动，使用多模态线索（包括视觉、音频和文本线索）来量化参与者的情绪状态。结果多模态分析和调查提供了有趣的结果和见解的恐怖谷假说。关键词：恐怖谷假说;人机交互;交互式机器人;类人机器人;虚拟人由新加坡国家研究基金会在其新加坡国际研究中心资助计划下支持;以及南洋理工大学媒体创新研究所（IMI-NTU）。引文：Nidhi MISHRA，Manoj RAMANATHAN，Gauri TULSULKAR，Nadia Magneat THALMANN.互动社会代理人的神秘谷：实验研究。虚拟现实智能硬件，2022，4（5）：3931 介绍在过去的十年中，机器人和人工智能（AI）科学取得了重大进展这导致了人形机器人或虚拟人的发展，具有类似人类的外观，智力和行为（语言和非语言），如Nadine[1]，Erica[2]和Sophia。尽管在现实生活中的应用中得到了验证，如银行[3]，新闻广播[2]，治疗和其他角色[4以前的一项研究[8]假设，*通讯作者 ，mramanathan@ntu.edu.sg2096-5796/©版权所有2022北京中科学报出版有限公司有限公司、出版社：Elsevier B.V.我代表科爱通信有限公司公司 这是CC BY-NC-ND许可下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。394虚拟现实智能硬件 2022年10月第4卷第5期人的情绪或情感反应取决于与他们交互的机器人的外观。一个人可能会对一个更像人类的机器人感到不安和不安这一假设主要是在设计类人机器人时考虑的，尽管其他研究[9，10]发现了不一致的经验证据支持它。最初的假设将类人机器人的定义概括为单个数据点，这可能是不准确的。例如，伊顿提供了一个全面的分类不同类型的可能的类人[11]。随着人类大小的机器人的发展，如Nadine[1]，Erica[2]和Ishiguro[12，13]，可以放置在社交场景中与用户直接互动，重新评估恐怖谷假设的相关性至关重要。一个更详细的检查这一假设的互动，社会类人机器人需要评估目前的意见，这样的代理。没有专门的研究已经检查了互动机器人在行动中的恐怖谷问题。大多数研究在其评估中不涉及相互作用[14相反，他们向参与者展示了机器人或虚拟化身的视频，然后向参与者提出问题，以评估机器人外观的影响在这项研究中，我们通过与四个类人实体的真人互动来评估恐怖谷理论：1. Maya：简单的语音助手（只有人声）。2. Nao[17]：儿童大小的可编程人形机器人，有关节四肢，但没有皮肤或头发。3. 妮可：虚拟人，具有完整的虚拟人般的化身。4. Nadine[1]：完整的真人大小的人形机器人，有皮肤，关节手和其他类似人类的特征。本研究拟回答以下研究问题。·交互式人形机器人的神秘谷：探索这一理论，以提供深入的了解人们的情绪和感知如何在不同类型的类人交互式机器人中变化研究恐怖谷如何影响当前的人类一代，他们更习惯于先进的技术，可能对类人实体更开放·使用AI进行恐怖谷量化：使用调查和多模态情绪和情感分析（使用视觉，音频和文本）量化参与者的情绪反应本文其余部分的结构如下：· 第二节回顾了恐怖谷假说的研究进展· 第3节介绍了我们提出的实验装置和目前研究中使用的每个人形机器人的细节。· 第4节详细介绍了本研究中采用的数据收集程序和情绪分析方法。· 第5节详细介绍了所获得的结果，并提供了从视觉，音频，文本和调查数据分析的见解。· 最后，第6节提供了结论和讨论。2 相关工作根据恐怖谷假说[8]，用户在与接近人类的实体或代理交互时可能会体验到负面的情感情绪或怪异的状态。因此，增加代理因此，该假设仍然是机器人设计和跨模态技术的指导原则，例如虚拟角色设计[18]，视频游戏和动画[19]。自该假设提出以来，一些研究已经重新创建或可视化了该效应[20]，测试了其有效性[9，10]，并使用感知分析，认知分析[21以前的一项研究[10]指出，原始假设没有得到任何实证检验的验证研究395Nidhi MISHRA，et al.交互式社会主体的神秘谷：一项实验研究研究的有效性的假设[9]没有发现任何经验证据来支持它，并报告了不一致的结果与不同的概念。其他一些研究[9，10]主要是由于感知不匹配，分类模糊和其他因素而感知到不可思议的山谷。例如，不寻常的物理属性或不一致的类人现实主义可能会导致负面情绪。与人类或非人类机器人做出的相同选择相比，人们也不喜欢像人类一样的机器人做出道德决定[24]。这些研究还指出，不可思议的效果在不同的个体、刺激、情境、任务和时间中是不可推广的。需要有细致入微的理解才能准确地知道何时以及在什么条件下观察到负面情绪原始假设的一个主要缺点是它没有提供人类相似性，亲和力，怪异性的确切定义或标准以及量化这些的方法[9，25]，这导致了方法论的循环[25]。近年来，研究人员已经扩大了他们的调查，以研究在动物形态机器人[26]或虚拟动物[27]中观察相同的神秘谷的可能性。像人形机器人一样，结合现实和非现实特征的兽形机器人不太受欢迎[26]。在最近的技术进步、人工智能的发展和逼真的社会人形机器人（如Nadine[1]、Erica[2]和Ishiguro[12，13]）之后，定义可能导致恐怖谷效应的形态特征类型变得至关重要此外，一些研究还没有充分控制刺激图像中描绘的人类相似性的变化，即，引起恐怖谷的刺激的性质没有很好地定义或量化[25]。因此，分析用户在与具有不同程度的人类相似性的机器人交互时的情感状态是必要的。在这项研究中，我们考虑如上所述的机器人或代理，它们在外观上具有不同程度的人类相似性在过去，这一假设主要通过允许参与者查看机器人的非变形[28-由于人类的面部特征是一个重要的特征，有助于代理的现实主义，许多研究都集中在简单地显示虚拟面孔[31，35]和面部图像[30，36]的参与者。然而，这些方法只考虑人脸，并避免了其他可能导致恐怖谷的原因，例如机器人的运动[37]中报告的研究表明，皮肤和身体运动等属性大多数机器人被设计成与人类及其环境交互以完成任务。对于社会类人机器人，机器人的交互能力变得至关重要。仅仅通过观看图像或视频剪辑来评估或研究恐怖谷是很困难的，因为人们不会与这些机器人互动，也不会将它们用于任何目的。相比之下，在这项研究中，我们让参与者与四个不同的机器人进行现场互动，这些机器人具有不同的人类特征。由于COVID-19的限制，参与者我们分析了人类与机器人的互动，以观察参与者的任何恐怖谷效应。这一假设的另一个关键方面是如何量化或测量由机器人外观引起的与用户相关的亲和力和怪异感几项研究试图使用功能性MRI（fMRI）来描述人类行为并观察对参与者的不可思议的影响，以检查恐怖谷假说[21- 23，38]的心理方面然而，这些研究将受试者连接到庞大的MRI机器上。虽然[9，20]中的方法仔细检查了过去的研究，以找到神秘效应的经验证据，但[39，40]中报道的研究提供了对观察到的现象的贝叶斯解释。研究报告[39]得出结论，人类机器人具有巨大的潜力，可以改善自闭症患者的社会互动。用于确定和验证参与者的情感或情绪状态的定义的协议是不可用的。大多数研究[30]使用特设自评量表[10]。很少有研究[14，41]考虑有效的心理测量和行为评估方法来研究人类思维如何感知人类和非人类实体。因为我们允许受试者直接与机器人互动，所以我们通过视频、音频和文本（在受试者同意的情况下通过Zoom）记录了互动我们396虚拟现实智能硬件 2022年10月第4卷第5期使用最先进的深度学习视频、音频和文本情感和情绪分析方法分析了这些不同的模式，以确定在这些互动过程中是否有任何负面的情感特征除了这些模式，参与者还为每个机器人完成了一份Godspeed问卷[42]使用调查问卷和多模态深度学习情感和情绪分析，我们量化了每个机器人的受欢迎程度，并仔细研究了社交互动类人机器人（每个机器人都有不同程度的人性）的恐怖谷现象。3 实验装置实验设置的目的是研究交互式人形机器人的恐怖谷假设，并确定我们是否可以观察到参与者的任何神秘效应的存在与以前的研究不同，我们允许参与者与机器人（或代理人）互动由于COVID-19大流行相关的限制，我们通过Zoom视频通话在线进行了实验。在电话会议上，我们首先向参与者介绍了所有机器人，并解释了互动的性质。提供这些信息是为了消除任何可能导致恐怖谷效应的分类模糊性。在最初的解释过程中获得了录音和录像的同意在人机交互结束时，参与者被要求填写一份问卷。参与者在同一场景中与以下四种类型的机器人（或代理）进行交互1. Maya，语音助手;2. Nao，儿童大小的人形机器人;3. 妮可，拥有人类外表的虚拟人;4. Nadine，一个完整的真人大小的人形社交机器人，有皮肤、关节手和其他类似人类的特征。图1显示了这些类人代理/实体。所有的机器人都有相同的结构。有关架构以及如何处理输入信息的更多信息，请参见[1]正如所指出的那样，机器人只在外表上有所不同Mava（语音助手）Nao Robot Nicole（虚拟人）Nadine Social Robot图1实验中使用的四种不同的机器人记录用户交互的音频和视频以供分析。尽管在对话会话期间缺乏与物理存在相关的限制，但我们确保了参与者和机器人之间的流畅对话。在这些互动过程中，参与者可以自由地以任何形式与机器人进行一对一的互动，包括语言和非语言方面。他们可以问和讨论他们选择的任何话题人形机器人Nao和Nadine能够向参与者打招呼和挥手，因为他们的身体能力。纳丁的控制器生成物理手势，而妮可的控制器生成动画手势。纳丁和妮可都可以通过嘴唇同步来表达表情，凝视参与者，并根据对话的上下文生成手势。因为玛雅是一个语音助手，物理或虚拟的非语言形式的沟通是不存在的。这些机器人被放置在一个隔离的房间里，在那里，外部噪音被排除在外，397Nidhi MISHRA，et al.交互式社会主体的神秘谷：一项实验研究1Maya妮可Nao纳丁用来提高学员的注意力。所有对话都是用英语进行的。在研究结束时，参与者完成了五组问卷，以获得他们与机器人一对一会话的总体反馈和经验。4 数据收集和分析为了全面了解每个机器人（或代理）与参与者的交互会话的效果，我们记录了每个会话并分析了77名参与者的视频客观工具基于自然语言处理和计算机视觉技术，并使用最先进的深度神经网络（DNN）来自动评估参与者在对话期间的精神状态。主观工具包括针对每个机器人的五份问卷，包括针对参与者的一般调查。此外，我们还进行了统计分析，以得出有意义的比较。在我们的分析中，我们旨在通过测量参与者的怪异或令人毛骨悚然的经历来识别恐怖谷[14，43]等研究通过实验表明，恐惧、震惊、厌恶、焦虑和紧张等负面情绪与怪异有关。[14]中的fMRI样本已经被证明显示了恐怖谷和这些情绪之间的相关性以同样的方式，我们使用这些客观和主观的分析工具来识别人机交互过程中的负面情绪，并将其作为恐怖谷的证据4.1 视频分析非语言线索，如表情和手势，以及言语线索在确定对话参与度方面同样重要[44]。为了识别视频中参与者的面部情绪，我们首先使用基于卷积神经网络（CNN）的技术检测面部，并使用Dlib1。使用ResNet-50[45]作为骨干，我们训练了一个具有八个表情类别的情感识别器：中性，快乐，悲伤，惊讶，恐惧，厌恶，愤怒和蔑视。然后，我们使用识别器对视频帧进行面部表情检测我们的情感识别器是在最大的野生面部表情数据集上训练的，称为AffectNet[46]（大约有320000张图像，不包括无，不确定和非面部类别），直到网络收敛。为了进行分析，该模型为每个视频帧中每个检测到的面部上观察到的每个情绪提供了置信水平。因此，我们将参与者在完整视频流中交互期间显示的平均情绪定义如下：情感L=情感（一）Ll=1t其中情感t∈[0，1]表示参与者在第l帧中检测到的面部情感属于由我们的情感识别器估计的八个类别中的每一个的概率图2显示了在帧中检测到的一些情绪我们用了-统计方法来评估与不同代理（或机器人）的交互差异，并将其进行比较。4.2 音频分析受试者的音频或语音模式是他们情绪状态的另一个直接指示。音频数据可以包含若干明确和微妙的线索，这些线索反映了主题词 心理 状态 虽然 众多音频图 2在视频分析中检测到不同的情绪。第1http://dlib.net/398虚拟现实智能硬件 2022年10月第4卷第5期情绪识别研究已经进行，我们遇到了两个问题时，实现它们。首先，一些研究没有预先训练的模型[47，48]。第二，这些研究并没有集中在一组情绪上，这对全面研究和评估恐怖谷是有用的。例如，[49]中的研究报告只对五种情绪进行了分类，并确定了性别。因此，我们使用实现2来训练音频情感分类器。采用了基于RNN的深度学习模型，并使用四个不同的数据集进行训练：RAVDESS[50]，TESS[51，52]，RINDB和自定义数据集。我们的模型包括两个RNN层和两个稠密层，每个层有128个单元。我们在这些数据集上运行了一个训练-测试-验证循环，以获得最终模型。该模型考虑了九种不同的情绪：“中性”，“平静”，“快乐”，“悲伤”，“愤怒”，“恐惧”，“厌恶”，“ps”（惊喜）和“无聊”。之所以选择这些不同的情绪，是因为它们可以让我们更好地衡量恐怖谷效应。分析了整个音频记录，并通过模型提供了观察到的每种情绪的强度4.3 文本分析对于文本分析，我们使用Google Speech-to-Text3将获得的音频文件转换为文本。为了在参与者和代理之间的对话中识别上下文中的情绪，我们使用了SenticNet中的情绪分类模型[53]。该API使用情绪沙漏[54]，一种用于情感分析的生物启发和心理动机的情感分类模型，结合SenticNet和深度学习从文本中提取情感标签这个API的输入是一段文本（一个句子或段落），输出是一个情感标签列表根据为每个代理收集的数据，使用统计分析确定主导情绪4.4 问卷[42]中定义的Godspeed问卷被用来评估参与者对四个机器人的感知《一路顺风》问卷测量了五个因素：感知拟人化、生命力、可爱性、智力和安全性。这五个指标共有24个语义差异项。参与者被要求根据这24个语义特征对他们对每个机器人的印象进行评分，这使得这是一个全面的调查。我们利用收集到的调查数据来评估参与者对每个代理人的印象以及代理人对五个指标的影响。该调查使用Survey Monkey在线进行。总共有五个不同的参与者的人口统计信息，如年龄、教育状况和使用机器人的经验。我们制定了一个100分制的综合主观评分量表。参与者为每个项目分配的分数用于验证使用视频，音频和文本数据捕获的关系或比较此外，我们的调查还包括关于所有机器人的一般问题（表1）。5 结果表 1一般情况调查表调查问卷你以前和机器人打过交道吗？你和虚拟人物有过互动吗？你以前用过语音助手吗？你认为哪个机器人/智能体最像人类？你最喜欢哪个机器人/特工？机器人/智能体的人类外观是否对你的互动产生了积极的影响？机器人/代理人的类似人类的声音是否影响了你的sitively？在本节中，我们将检查每种分析方法的结果：视频、音频、文本和调查问卷分析。基于这些评估，我们提供了关于每种模态揭示了什么的见解2https://github.com/x4nth055/emotion-recognition-using-speech3https://cloud.google.com/speech-to-text/https://www.bartneck.de/2008/03/11/the-godspeedquestionnaire-series/399Nidhi MISHRA，et al.交互式社会主体的神秘谷：一项实验研究参与者在与我们的代理人互动时会表达情绪和情感状态。对每种模式收集的数据进行统计分析，以确定与每种代理互动期间观察到的情绪。5.1 视频分析结果图3显示了参与者在遇到每个机器人时所表达的平均情绪我们进行重复测量方差分析（ANOVA）测试，以确定机器人在每个变量上的情绪之间是否存在显著差异。因为四个机器人中的每一个都有相同的面部表情，所以每个机器人所表达的情绪的分数被认为是独立变量。当变量违反的假设球度，Greenhouse-Geisser修正[55]，0.60.50.40.30.20.10Maya Nadine Nicole Nao中性微笑悲伤惊讶恐惧厌恶愤怒蔑视使用了自由度。表2显示了ANOVA结果。图3从每个机器人的面部表情中观察到的每种情绪的平均水平。表2所有情绪的重复测量方差分析结果;基于视频的面部表情分析情感自由度（DF）F统计量（F）测试值（p）中性（2.547，152.824）7.6550.000微笑（2.429，145.715）15.8820.000伤心（1.882，112.910）2.6120.081惊喜（2.625，157.494）2.7520.052恐惧（2.201，132.045）0.7910.466厌恶（2.402，144.146）0.4190.695愤怒（2.286，137.133）2.9440.049蔑视（1.351，81.085）0.7110.4425.2音频分析结果图4显示了每个机器人参与者的平均情绪。与视频模态一样，对音频模态进行重复测量ANOVA检验，并在必要时应用Greenhouse-Geisser修正[55]表3列出了这些ANOVA测试的结果，并显示了机器人之间所有情绪的显着差异因此，对所有结果进行了事后分析，以确定机器人引起的情绪的具体差异·愤怒的事后检验显示，与Maya的互动最高，与其他人显著不同（所有三对p0.001）。其他机器人在这一指标上没有差异（p值范围为0.530至0.962）。· 无聊的事后测试表明，与Maya的交互作用也是最高的，与其他三种交互 作 用 存 在 显 著 差 异 （ p 值 范 围 为 0.001 至0.002）。Nicole与Nao略有差异（p=0.046），但与Nadine无差异（p=0.380）。Nao和Nadine显示无显著差异（p=0.160）。· 事后冷静测试表明，玛雅煽动的最低水平，这是签署-0.2000.1800.1600.1400.1200.1000.0800.0600.0400.0200.000生气无聊 冷静厌恶恐惧快乐中性愉悦惊喜伤心与其他三个显著不同（p值图 4从录音中衍生出不同的情感。Maya纳丁妮可Nao400虚拟现实智能硬件 2022年10月第4卷第5期表3所有情绪的重复测量ANOVA检验结果;录音分析情感自由度（DF）F统计量（F）测试值（p）生气（2.636，168.711）11.4980.000无聊（2.186，139.885）7.2440.001冷静（3，192）6.2240.000厌恶（3，192）21.9690.000恐惧（2.599，166.348）18.8950.000快乐（2.683，171.731）16.0430.000中性（3，192）20.5140.000PS（3，192）24.2990.000伤心（3，192）41.4990.000范围为0.001至0.003）。其他三个机器人没有显示出显著差异（p值范围从0.553到0.943）。· 厌恶的事后检验显示，对Nao表达最多（p0.001）。其他三个机器人在这种情绪上没有显著差异（p值范围从0. 072到0. 628）。·恐惧的事后检验显示，Nao其次是Nicole，与Nadine略有差异（p= 0.049），与Maya有显著差异（p=0.012）。Nadine和Maya没有显著差异（p=0.210）。· 幸福的事后检验显示，玛雅激发了最多的这种情绪，显著高于其他人（所有对p0.001Nadine显著高于Nao（p=0.002），但不高于Nicole（p=0.082）。Nicole和Nao无显著差异（p=0.217）。5.3 文本分析结果图5显示了情感分析结果。最普遍的情绪是狂喜、热情和喜悦。有数字差异，对于每种情绪，对各种机器人的情绪流行率，但由于数据收集的性质，这些差异无法进行统计测试。然而，它们在观察机器人对每种情绪的排名时是有用的。玛雅引起了最大的狂喜和喜悦，其次是妮可，纳丁和瑙。在热情方面，妮可得分最高，其次是纳丁。排名第三的是Nao和Maya，454035302520151050图5在语音文本中对每个机器人的每个情感的检测数量。相同的事件数量。愤怒最多的是玛雅，其他三个代理人的愤怒程度相同。宝绮思主要是针对尼科尔的，很少针对其他人。悲伤主要表现在与妮可和纳丁的互动中，而不是与玛雅和瑙的互动接受度最高的是Nao，最低的是其他人。很少表现出忧虑、喜悦、厌恶、反应、忧郁和焦虑（即，所有机器人组合总共五次5.4 问卷结果图6显示了参与者在四个机器人的五个量表上的平均得分为了确定每个尺度上机器人之间是否存在显著差异，进行了五次方差分析和事后检验，以确定特定机器人对之间是否存在差异。如表4所示，所有5个多指标ANOVA均在0.01水平下具有显著性，除感知安全性量表外，所有其他量表均在0.001水平下具有显著性。Maya纳丁奈绪401Nidhi MISHRA，et al.交互式社会主体的神秘谷：一项实验研究Maya Nadine Nicole Nao玛雅2%Nao5%这表明机器人之间的差异对于每个尺度都是显著的。为了确定哪些机器人引起了差异，我们进行了事后分析，并获得了以下结果：·拟人化的事后分析显示，Nadine的得分最高，与其他机器人的得分显著不同（所有p<0.001）。Nicole的得分是第二高的，与Maya（p=0.004）有很大差异，与9080706050403020100拟人性有生命性可爱性感知智力 感知安全图6四个机器人在五个量表上的平均得分。Nao评分（p=0.061）。Nao和Maya评分无显著差异（p=0.314）。表 4五个量表情感自由度F统计量（F）测试值（p）拟人化（3，161）25.2950.000生命性（3，161）18.5130.000可爱度（3，164）6.7010.000感知智能（3，160）12.1080.000感知安全（3，164）5.2180.002·Nadine的生命力事后分析也高于其他机器人（p0.001）。Nicole的生命力评分显著高于Maya（p0.001），但不高于Nao（p=0.215）。最后，Nao Jiang评分显著高于Maya Jiang评分（p0.001）。· 喜爱性的事后分析显示，Nadine的评分显著高于Maya和Nicole（p0.001），但不高于Nao（p=0.351）。Nao与Maya和Nicole的评分也有显著差异（分别为p=0.013和0.008Maya和Nicole的评分无显著差异（p=0.779）。· 对感知智力的事后测试显示，纳丁·巴特尔的得分显著高于其他组（P0.001）。Nicole的评分显著高于Maya（p=0.029），但不高于Nao（p=0.551）。Nao和Maya评分之间无显著差异（p=0.116）。· 感知安全性的事后检验显示，Nadine的得分最高，与其他机器人的得分显著不同（p值范围为0.001至0.04）。其余机器人在该测量中没有差异（p值范围为0.125至0.587）。参与者还完成了一份关于他们过去使用机器人经验的一般问卷;45%的人以前有过使用机器人的经验，60%的人有过使用机器人的经验。有使用虚拟角色的经验，95%的人有使用语音助手的经验。他们选择Nadine作为最像人类的机器人，如图7a所示。对于“最喜欢的机器人”，大多数参与者也给了Nadine最高的好感度。然而，如图7b所示，所有机器人之间的差异并不显著。最后，参与者评估了人类的外表，手势，声音和纳丁9%Maya纳丁84%纳丁妮可Nao（一）Maya纳丁（b）第（1）款妮可Nao面部表情影响他们互动的质量。如图8所示，参与者图7（a）基于参与者感知的最像人类的机器人。(b)最喜欢的机器人玛雅10%Nao26%纳丁43%妮可21%402虚拟现实智能硬件 2022年10月第4卷第5期所有功能都很重要。6 结论与讨论结果表明，所有四个机器人都以不同的方式被感知，并且在它们方面表达的情绪也各不相同。如图6所示，Nadine被选为“最受欢迎”的她唯一未能超越的特点是讨人喜欢，她与Nao并列。此外，玛雅被视为最不拟人化的面部表情手势声音外观0.00% 20.00% 40.00% 60.00% 80.00%强烈同意同意既不同意也不反对强烈反对图8机器人各种类人特征的重要性和动画，这是可以预见的，因为她只是一个语音助理。Nao和Nicole在拟人化和有生命性方面得分相同。然而，Nao明显更讨人喜欢，这表明物理身体可能会引起更高程度的讨人喜欢。多模态分析和调查的结果并没有清楚地表明“恐怖谷”的任何影响Nadine是最具人形的机器人，被认为是最讨人喜欢的Nao，一个类人但玩具般的机器人，也被认为是可爱的，并引起了最高的积极惊喜。然而，通过对音频数据的分析确定，它引起了高度的厌恶，而没有引起许多情绪。然而，虽然是最可爱的，纳丁产生了最多的悲伤，是第二个最可怕的。这种恐惧可能是“恐怖谷”效应的表现。尽管如此，在“恐怖谷”中，人们认为随着拟人化程度的增加，怪异感也会增加，但事实并非如此。最高的恐惧是对没有视觉特征的语音助手Maya表示的。然而，由于Nadine的人类外观，大多数参与者都是试探性的和恐惧的，因为他们想给她留下深刻印象。这种恐惧可以被认为是好的，因为它表明人们想与她联系。将我们的多模态分析扩展到其他线索，如姿势估计[57，58]，肢体语言线索[59虽然Nao有一个玩具般的，幼稚的吸引力，但Nadine有一个类似人类的身体，这显然足以增加她的可爱性，而不是身体或虚拟代理。然而，所有的机器人都很受欢迎.排名最低的机器人得分超过60/100，这表明在本研究中没有此外，更拟人化和更不讨人喜欢与激发更多负面情绪之间缺乏相关性，这为该假设提供了证据[10]。与以前的研究相比，这次调查中使用的机器人可能不会引起恐怖谷效应，因为它们是经过仔细和连贯的设计和建造的。如[9，10]所示，恐怖谷由显著的特征或方面触发（例如，具有人类外观的代理的非人类特征，反之亦然）。结果显示，这些机器人激发了不同的情绪，但最拟人化的机器人最受欢迎。此外，所有的机器人都很受欢迎，机器人的拟人性和它们引起的负面情绪之间没有相关性。因此，本研究与以前的研究[9，10，25]一样，没有观察到或证实恐怖谷假说。这可能是因为这些特定机器人的特性或当今世界的具体情况，其中人形和非人形机器人都变得越来越普遍，人们已经习惯了它们。无论如何，交互式机器人的未来设计应该是开放的，以创造拟人化的机器人，同时确保连贯的设计。403Nidhi MISHRA，et al.交互式社会主体的神秘谷：一项实验研究竞合利益我们声明我们没有利益冲突确认本材料中表达的任何观点、发现和结论或建议均为作者的观点，并不反映新加坡国家研究基金会的观点我们感谢我们的同事Tham Yiep Soon在研究期间提供的强有力的引用1 [10]杨文，杨文.纳丁人形社交机器人平台。计算机图形学的进展。Springer International Publishing，2019，490DOI：10.1007/978-3-030-22514-8_492 普拉纳夫D.一个叫艾丽卡的机器人将成为日本的新闻主播20183 [10]杨文，李文.类人机器人能成为组织劳动力的一部分吗？利用情感分析的用户研究。2019年第28届IEEE机器人与人类交互通信国际会议（RO-MAN）2019DOI：10.1109/ro-man46459.2019.89563494 [10]杨文，李文.类人机器人能成为组织劳动力的一部分吗？利用情绪分析的用户研究20195 放大图片作者：Mishra N，Baka E，Magnenat Thalmann N.探索社会智能机器人的潜力和接受度。智能场景建模与人机交互。施普林格国际出版社，2021年，259DOI：10.1007/978-3-030-71002-6_156 [10]李明平，林明英，陈世凯，林文辉.类人社交机器人能刺激认知障碍老年人的互动吗？深入研究了基于计算机视觉的方法。视觉计算机，2021，37（12）：3019-3038 DOI：10.1007/s00371-021-02242-y7 [10]李洪志，李洪志.老年人喜欢和机器人玩宾果游戏吗？一个案例研究与人形机器人纳丁。20218 莫里湾神秘谷（Bukimi no tani能源，1970，7：339 Käti J，Förger K，Mäkäräinen M，Takala T.不同神秘谷假说的经验证据综述：知觉不匹配是通往神秘谷的一条道路心理学前沿，2015，6390DOI：10.3389/fpsyg.2015.0039010 奇塔姆湾社论：恐怖谷假说及以后。心理学前沿，2017，81738DOI：10.3389/fpsyg.2017.0173811 伊顿湾类人机器人，他们的模拟器，以及现实差距。上一篇：进化的人形机器人SpringerBriefs in Intelligent Systems（ArtificialIntelligence，Multiagent Systems，and Cognitive Robotics）的一部分。201512 Minato T，Shimada M，Ishiguro H，Itakura S.研究人机互动的机器人机器人之发展。应用人工智能的创新，200413 吉佐·E石黑浩：复制自己的人，201014 作者：Hu C C，MacDorman K F.重温恐怖谷理论：开发和验证一种替代的一路顺风指数。计算机在人类行为中的应用，2010，26（6）：1508DOI：10.1016/j.chb.2010.05.01515 作者：J. J.恐怖谷：现实主义对人造人脸印象的影响。Presence：TeleoperatorandVirtual Environments， 2007，16（4）：337DOI：10.1162/pres.16.4.33716 作者：Hu C C，MacDorman K F.测量恐怖谷效应。International Journal of Social Robotics，2017，9（1）：129 - 139DOI：10.1007/s12369 - 016 - 0380 - 917 软银机器人Nao，人形和可编程机器人，2021年18 吴伟杰，李伟杰，李伟杰.虚拟人物的表情和对恐怖谷的感知。计算机在人类行为中的应用，2011，27（2）：741DOI：10.1016/j.chb.2010.10.01819 廷韦尔游戏与动画中的神秘谷博卡拉顿：CRC出版社，2014年20 2005年10月26日，中国科学院院士。评估恐怖谷效应的可复制性。Heliyon，2018，4（11）：e00939DOI：10.1016/j.heliyon.2018.e0093921 波利克湾神秘谷的骑士2009，40（12）：69404虚拟现实智能硬件 2022年10月第4卷第5期22 [14]杨克，杨克.“恐怖谷假说”的人类相似性维度：行为和功能MRI结果。人类神经科学前沿2011，5126电话：+86-021 - 8888888传真：+86-021 - 8888888823 张文忠，张文忠.不应该发生的事情：预测编码和感知人类和类人机器人动作的神秘谷。社会认知与情感神经科学，2012，7（4）：413DOI：10.1093/扫描/扫描仪02524 Laakasuo M ， Palomäki J ，Köbis N. 道德 恐怖 谷： 机器人 的外 表会 影响人 们对 它的 决定的 判断 。InternationalJournal ofSocialRobotics，2021，13（7）：1679DOI：10.1007/s12369-020-00738-625 Lay S，Brace N，Pike G，Pollick F.绕着恐怖谷打转：研究类人与怪诞关系的设计原则。i-Perception，2016，7（6）：204166951668130DOI：10.1177/204166951668130926 放大图片Löffler D，Dörrenbächer J，Hassenzahl M.兽形机器人中的恐怖谷效应：动物相似性和可爱性之间的U形关系。2020年ACM/IEEE人机交互国际会议论文集。英国剑桥。纽约，ACM，2020年，261DOI：10.1145/3319502.337478827 Schwind V，Leicht K，Jäger S，Wolf K，Henze N.有没有一个虚拟动物的神秘山谷定量和定性调查。InternationalJournal ofHuman-ComputerStudies，2018，11149DOI：10.1016/j.ijhcs.2017.11.00328 刘伟，王晓.恐怖谷是恐怖悬崖吗？2007年，9：36829 作者：J.K.在认知和社会科学研究中使用机器人的不可思议的优势相互作用研究。 生物与人工系统中的社会行为与交流，2006，7（3）：297-337DOI：10.1075/is.7.3.03mac30 Looser C E，Wheatley T.生命力的临界点。心理科学，2010，21（12）：1854 -1862 DOI：10.1177/095679761038804431 张文辉，张文辉.太真实了？对电脑生成的面孔做出不可思议的反应。计算机在人类行为中的应用，2009，25（3）：695DOI：10.1016/j.chb.2008.12.02632 麦克多曼机器人视频剪辑对人类相似性、熟悉性和怪异性的主观评价：神秘谷的探索在：ICCS/CogSci-2006长研讨会：走向Android科学的社会机制200633 [10]杨文辉，李文辉.避免恐怖谷：机器人伴侣在寻求注意力的家庭场景中的机器人外观、个性和行为自主机器人，2008，24（2）：159DOI：10.1007/s10514-007-9058-334 [10]杨晓波，李晓波，李晓波.恐怖谷假说的类人评估。Bio-AlgorithmsandMed-Systems， 2017，13（3）：125DOI：10.1515/bams-2017-000835 McDonnell R，Breidt M.面对现实：调查虚拟面孔的恐怖谷。ACM SIGGRAPH ASIA 2010速写。大韩民国首尔New York，ACM，2010，1DOI：10.1145/1899950.189999