多模态表情动画：丰富虚拟代理人际互动

本文主要探讨了多模态表情动画在人机交互中的重要性和应用。在现代虚拟代理技术中，为了提升其与用户的自然互动体验，赋予虚拟代理更丰富的交际能力至关重要。传统的虚拟代理往往只能展示六种基础表情，这些表情显得机械且表达受限，无法充分传达复杂的情绪状态。人机交互场景中，满足诸如满意、沮丧、困扰或混乱等多元情绪需求需要更广泛的表情库。 为了克服这一局限，作者提出了一种新的多模态表情生成方法——多通道连续表情（MSE）。MSE通过结合不同类型的非语言行为，如面部表情、眼神、动作、头部和躯体动作，构建出一系列随时间变化且具有多样性的表情序列。这种方式避免了单一表情模式的重复，每个表情都由多个信号组成，这些信号在时间上有所排序，属于不同的非语言交流渠道。 不同于现有模型仅依赖于预先定义的面部表情，该模型允许虚拟代理在任意时间生成各种各样的多通道情感表达。这种生成过程利用符号表示的高级行为，通过自定义每个信号的外观和时间约束来实现情感表现的变异。虽然捕捉的数据不直接复制原始信号，但生成的表达能够产生类似但不完全相同的多模态效果，这为虚拟代理提供了更为生动和真实的交流手段。 本文的贡献在于提供了一种创新的方法，通过多模态表达扩展了虚拟代理的动态情感表达能力，使得他们在人机交互中更具吸引力和人性化，从而提高了用户体验和交互的真实感。这种技术的发展对于增强人工智能的社交智能和适应性具有重要意义。