参数化面部动画：虚拟环境中有效交互的关键

可在www.sciencedirect.com在线获取理论计算机科学电子笔记343（2019）73-88www.elsevier.com/locate/entcs用于有效交互的参数化面部动画[编辑]Avatar重定向的胡安·塞巴斯蒂安·巴尔加斯·莫拉诺a，1，格洛丽亚·梅塞德斯·达兹b，2和威尔逊·J·萨米恩托a，3军事多媒体研究小组新格拉纳达大学B或GotaD.C. 哥伦比亚。bGrupodeInvestigaciónonAutomatica，Electronica和计算机科学研究所TecnologicoMetropolitanoM ede ln，哥伦比亚。摘要式虚拟化身/角色在与虚拟环境和3D视频游戏的交互中是必不可少的。虽然这些化身可以由机器人或人类控制，但他们需要一个合适的模型，允许情绪表示，而不考虑是什么或谁在控制他们，因为它增加了互动和沉浸感。向任何化身提供面部表情需要在将其包括在虚拟环境中之前进行动画处理以模拟特定手势或情绪。该过程特定于化身中所需的每个单个本文提出了一个初步的方法来帮助解决这个问题，工作流程是应用一个众所周知的参数化人脸模型，称为Candide。建议的目标是什么通过自动形态调整和纹理映射将Candide调整为先前建模的任何化身本作品包括本作品在知识共享版权下许可的六个字符中的应用我们还提供了面部情感动画的例子，以及由视听和动画制作领域的五位专家进行关键词：动画，阿凡达，老实人，情感。1介绍性在虚拟环境（VE）中，化身/角色是用户交互的主要方式。在一个严格的定义中，一个化身，也被称为化身，是一个用户的视觉表示[11];而一个角色，或不可玩的角色（NPC），是一个人工代理的表示[27]。在这部作品中，使用了化身这个词。1封电子邮件：u1201559@unimilitar.edu.co2电子邮件地址：gloriadiaz@itm.edu.co3电子邮件：wilson. unimilitar.edu.cohttps://doi.org/10.1016/j.entcs.2019.04.0111571-0661/© 2019作者。出版商：Elsevier B.V.这是CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）下的开放获取文章。74J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73以一般的方式参考这两个概念。 化身作为交互元素的潜力在于，它成为了虚拟现实中一个人的虚拟投影。因此，一个理想的化身必须准备好支持自然的互动和交流，加上人类行为，包括情绪行为[3]。但在原始级别，化身仅是3D网格，即3D网格。一组正确链接的垂直线因此，在化身中表现任何行为的传统方式是通过动画化过程，这需要动画师（3D数字艺术专家）手工构建一个一致的视觉运动，该视觉运动表示这种高水平的行为，例如，一种情绪[5]。通常的方法来动画一个化身是众所周知的索具，它是由两个阶段。在第一种情况下，即所谓的钻机建造中，创建了具有物理约束的骨骼（骨架）的层次结构，并应用了这些骨骼的直接和反向运动学方法[16]。对于每个骨骼，有必要执行一个称为权重绘制的过程，其中动画师分配了一组用于操纵的化身几何体的垂直线。本质上，3D模型的几何图形是绘制在其上的，并且该绘制对骨骼移动一组垂直线起着影响作用。然后，Bones根据权重绘制设置的影响区域移动选定的垂直线。由于骨充当这些垂直线的父级，因此它移动其指定的几何体，并且这种变换被广播到层次链中的所有子骨[13]。 第二阶段在钻机完成后开始，即开始。 动画师可以像操纵玩偶一样自由地移动钻机的每个骨头，因为骨头移动了网格的垂直线。这个阶段是动画本身;它是动画师通过在时间、位置和速度上应用正确的运动来赋予化身生命的时候。 这种方法的一个优点是动画是独立的。 在某种程度上，它是可能的，以获得许多动画与相同的。[19]或[ 19 ]。另一个优点是，构建人类化身的身体装备的过程是众所周知的和有文档记录的，甚至有可能为它制定一些事实上的标准。然而，没有一个典型的或通常的方法来创建面部装备;每个动画师都定义了它应该如何自己完成。另一种使化身动画化的方法被称为混合形状或变形目标。在这种方法中，动画师从初始状态到最终状态，一个顶点接一个顶点，一只手接一只手地变形（变形）网格本身的几何形状。动画通过插入顶点的中间位置来运行[23]。这种方法的主要优点是，动画师可以自由地变形几何图形，因为它/她看起来适合没有任何限制。换句话说，他不受钻机结构的限制。由于这个原因，一些动画师更喜欢这种方法来生成面部动画，尽管它比索具更需要计算。在任何情况下，动画制作过程都非常耗时，需要训练有素的数字3D艺术家（动画师），还需要使用专业的3D软件，并且结果高度依赖于动画师的技能和经验[21]。此外，如果需要为多个化身设置动画，则此过程会变得更加复杂，因为每个角色都必须单独设置动画;因此，完成任务所需的时间量会随着所需化身和情绪的数量而增加。在此之前，这些动画，一次导出到一个游戏J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7375[28][29][29][20][21][22]因此，要修改一个特定的动画，有必要回到专业的3D动画软件，并要求动画师重做动画。这项工作旨在通过提出一个解决方案来解决这个问题，该解决方案可以在没有动画师要求的情况下将任何头像的脸重定向为情绪就绪的脸。该提案的核心是一个工作流，它用一个不需要受过训练的3D艺术家来制作动画的参数化面部来替换化身的原始面部。面部动画在运行时自动工作，并且这些动画也可以在不需要外部3D软件的情况下被修改或创建。该提案基于Candide模型，Candide模型是一种专门为人脸编码开发的参数化3D人脸网格[20，1]。该掩模实现了一组动作单元（AU），其被设计成再现面部微表情，其正确耦合可以表示3D面部网格中的情绪[20，1]。本文的其余部分组织如下：第2节介绍了一些以前的工作，这些工作有助于解决激发这项工作的问题。第3节解释了拟议的工作流程，详细描述了为实现预期结果而必须遵循的整个流程。第4节展示了该提案在六个具有不同特征和几何配置的化身中的最后，第5节包含了本工作的最后评论、未决问题和观点。2相关工作与背景Candide最初由Rydfalk于1987年引入[20]。Ahlberg在2001年提出了对该模型的更新[1]。Candide是一个人脸的参数化计算机图形模型，最初是为了在MPEG-4标准中进行穿孔人脸编码而提出的。该模型的灵感来自Ekman的工作，Ekman确定了一组微面部表情，任何人都可以将其作为一些情绪的自然表达[7，8]。以这种方式，Candide模型实现了一组动作单元（AU），每个动作单元旨在复制Ekman微表达式。当前模型遗漏了10个微表达式，这是由于模型的多边形解析受到限制[1]。Candide模型的一个优势在于它的灵感来源，因为Ekman的工作表明，微表情集是人类情绪的指标[7，8]。出于这个原因，Candide AU的子集可以播放特定的情绪。此外，在化身中产生合适的情绪行为是VE的一个理想目标。也许，Fabri等人的研究[10]是第一个引入情绪化身这个术语的研究。他们的底线是，在存在非语言交流形式的虚拟环境中，情绪的准确表现是多么重要。然而，Benford等人先前已经指出了在化身中提供非语言和有效交流的合适渠道的相关性，作为在协作虚拟环境中产生共现的要求[4]。从这些[4，10]，以及这项工作[6，12]概念指南已经出现。76J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73创建一些建议，以生成在化身中释放情绪的能力。Lukasz Zalewski[29]您基于照片的片段创建3D形状，生成简单的3D几何图形和映射到该几何图形的纹理，但是，该3D表示是通用的，并且不链接到任何化身。Zhiyong Wu等人[26]在三维头像中使用MPEG-4 FAP特征创建面部表情。虽然它仍然使用人类表演，但以视频记录的方式，它也可以识别六种不同的表达，并在3D化身上显示它们。然而，所有这些表达式都是在这样的手之前创建的，是静态的，不可修改的。此外，他们被映射到一个化身的顶部。Thibaut Weise[25]Show是一种有趣的面部动画方法，但它要求演员为角色提供面部表演，就像Ming Ouhyoung的作品一样[ 17 ]，它使用深度和特征提取来映射演员的表演Robin Palmberg、Christopher Peters和Adam Qureshi在他们于2017年发表的论文[18]中解释说，面部表情的强度确实对参与他们体验的每个人的感知产生了非常强烈的影响。此外，理解为什么情绪的肖像在虚拟化身中很重要也是至关重要的。Marc Fabri这些人对那些以人类的方式表达自己情感的化身的反应更为积极。拉勒米D.Taylor等人。他们还解释了他们的工作[22]，如果有一个化身与所说的消息相关联，并且如果化身表现出同理心，那么人们更有可能给出答案，那么人们更有可能回答消息和问题。同样，在Russell Beale和Chris Creed等人[3]发表的一篇论文中，我们找到了大量支持性证据，证明情绪代理可以导致其他用户的行为。他们发现，情绪化化身的使用与非情绪化化身的使用相反，确实增强了对给定系统的感知，他们还发现，当使用情绪化化身时，受试者变得更加参与给定任务。最后，已经有了不同的方法来实现情绪化的化身。Ba- sori等人[2]证明了触觉振动在支持虚拟现实系统中化身的情绪表达方面的重要性，声称当前的实现仍然缺乏交互性和沉浸性。虽然实际上不是一个使用动画本身的实现，但他们的目标是使用硬件创建一个基于触觉瓷砖频率的真实化身。他们的结论是，他们能够增加通过触觉振动的方式来感受情感。基于类似的说法，Kim等人[14]提出了一种创建情感化身的方法。他们使用图像处理技术从表示任何一种情绪的人类图像中提取信息，然后能够将这种情绪映射到VE中的化身 这种方法是新颖的，但它要求人类适当地指定一种情绪，以及一种允许图像处理的适当图像。关于信号处理的相同主题，Hiroki Mori等人。[15]提出了一个从日常对话中的情绪状态生成面部表情的框架J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7377该框架允许化身基于说话者的语音的合成和信号处理来显示说话者的情绪。[10]虽然这项工作更多地集中在语音上，但结果表明，语音合成不仅用于使各种应用中的虚拟字符更具表达力，而且还用于与面部、语音和情感有关的基本心理学研究理解了这一点，我们知道情感化身确实有助于增强用户与给定环境交互的体验，并且也清楚地表明，最先进的解决方案确实能够解决面部动画本身的问题，但它往往是成本密集型的，或者需要受过训练的演员来为化身做面部动画。此外，这些解决方案通常是静态的，并且只能应用于符合其设计中的非常特定的特征的选定数量的化身。这项工作的目的是使一个面部动画系统，可以应用于任何种类的人形化身，并在一次多个，也能够自动替换原来的脸，这允许面部动画和表情的创建，而不需要一个演员或视频记录，也是一个它可以通过添加或更改参数来在飞行中进行修改，而不需要外部3D软件包来执行此操作。输出图1。建议的工作流程，以重新定位头像，使其能够情绪化的面部动画。 五个步骤组成的建议，即，1）头像验证，2）头像回滚，3）形态拟合，4）面部交换和5）情感动画。请注意，输入是一个标准的化身，输出是一个化身有了表情面部表情的能力。3方法[编辑]如上所述，这项工作显示了一个工作流程的第一个版本，以提供情感面部表情的能力，以前设计的化身。图1在流程图中显示了构成拟议工作流程的步骤序列，其中输入是一个标准的化身（没有面部表情能力），输出是一个准备好通过面部表情传达情绪的化身。第一步是验证关于化身的一些强制性标准第二个步骤是输入是的有一张人形的脸无中止&否有一个干净的3D网格脸退出4换脸术是的31阿凡达验证有一个合适的纹理映射图形态拟合[编辑]否2是Avatar纹理地图RebakeHas MoreThan One纹理地图否5情绪化动画78J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73有条件地，在某些情况下，如果化身不满足所有验证标准，则有可能进行化身文本重绘的过程。下一步（第三步）是在Candide模型和头像的原始面孔之间进行形态匹配。在第四步中，头像被替换为CandideFace Model。然后，化身准备好了，并且VE可以播放化身的任何情绪面部动画。下面的小节详细描述了拟议工作流程的每一步。3.1Avatar验证这个过程的起点是获得一个化身，并验证它是否是它。它适合于进一步的治疗。在获得一个化身之后，必须考虑一个接受检查表，以便确定是否必须对化身进行工作。我们称这个检查表为：化身验证检查表，它是图1中的步骤1。然后必须遵循决策树，这取决于字符是否检查了列表中的某些参数。必须根据avatar检查的属性采取不同的操作。..此Avatar验证检查表包括：• 阿凡达有一张人形的脸。• 头像有一个干净的3D网格脸。• 头像有一个可匹配的纹理映射。• 头像有不止一个纹理地图。下面的三个项目将详细解释当检查表中的项目不满意时必须做什么。3.1.1阿凡达有一张人形的脸这个标准与化身的面部解剖学有关;它是化身的面部解剖学所必需的这个标准似乎微不足道（两只眼睛，一个嘴，一个鼻子，下巴，前额，脸颊），然而在某些情况下，通过艺术概念，一个化身可能有一个人的方面，但一些解剖特征不是人的，例如，大而圆的眼睛，无嗅的鼻子，球形的鼻子，以及其他的，就像拟人化的动物或东西一样。图2显示了一些不满足此标准的化身的示例。如果不满足此标准，则无法使用此3D虚拟形象，并且必须中止该过程。换句话说，这是一个不可纠正的条件。图2。 不适用于外部模型的化身的示例。 一般来说，说话，人类化身，如长因为他们没有夸大的特征，他们是唯一有效的东西J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73793.1.2阿凡达有一个干净的3D网格脸Avatar重定向过程在网格中与面部相对应的部分上工作，因此，有必要验证哪个Avatar面部/头部附件，例如，哪个Avatar头部附件头像的眼镜、穿孔或帽子是独立的3D网格，不会妨碍该过程。如果头像不是干净的3D网格（没有附件），则不可能继续该过程。3.1.3阿凡达有一个合适的纹理地图通常，3D艺术家允许专业的3D软件自动生成纹理映射（在3D内容的生产领域中称为UV映射），其将在渲染时在化身中使用。这种做法的问题是如果生成的文本映射是不可理解的，则此事实使其难以理解。在某些情况下，不可能对图像文本进行任何后处理，并且所提出的用于化身重定向的工作流基本上是后处理方法。出于这个原因，有必要验证化身的脸是完全平坦的，并且在纹理映射上没有障碍物。在图3中，我们有一个清晰的例子，你可以看到一个化身的图3。一个头像与它的紫外线地图，这是由原来的艺术家。这张地图无法理解，需要重新绘制......3.1.4头像只有一个纹理地图。一个3D艺术家经常用一个以上的纹理映射来打包一个头像，以保持分辨率，但是如果纹理映射被打包在一个保持所需质量的高分辨率图像上，这可能会被绕过。为了消除为角色使用多个纹理图像的麻烦，有必要具有一个仅分配了一个纹理图像的化身。在这种情况下，还需要一个回退过程来获得一个独特的纹理映射。80J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）733.2阿凡达纹理地图Rebake在化身具有先前识别的纹理映射问题（步骤1）的情况下，可以通过纹理映射回退过程来修正此失败。为了使化身重定向工作流正确地工作，适当的纹理映射必须在视觉上是可理解的，因此化身的脸是完全平坦的并且在其上没有障碍物，并且纹理映射在唯一图像上也是必要的。如果纹理不是这样的，我们建议一种纹理映射切割方法，该方法将显示在我们论文的结果部分。这可以在任何3D包中完成以准备化身，并且必须将接缝应用于图6中呈现绿线的网格，以便为化身具有正确的纹理映射布局。3.3形态拟合[编辑]为了将掩模调整到化身的脸的大小图4说明了必须进行的测量的详细信息。(a)（b）（c）（d）（e）（f）图4。Candide面罩的侧视图（a）（b），具有必须进行的5项测量。A =前向长度。 B =鼻尖长度，C =头顶到眼睛中心。 D =眼睛中心到底部鼻子的。E =嘴的中间到头的前视图（c）具有其他3个测量值一定要做好。F =前端宽度。H =眼距距离。G =下颌宽度。(d)（e）和（f）指定非常相同的测量，但在选择的化身在对两者进行了测量之后，可以为Candide掩模创建缩放因子=Avatar的度量/Candide的度量并且它必须分别应用于X、Y和Z。 因此，Candide面具可以在所有三个轴上缩放，缩放因子与Avatar的3.4换脸术在选择引擎中，有必要选择与化身的脸相对应的垂直线，并将它们推回来，以便为面具腾出空间。图5详细说明了这一步。之后，面具的鼻子必须放置在头像的鼻子用来放置面具的J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7381是的。由于在前一步中进行了测量，因此面具将适合作为化身的新面孔。(a)（b）图5。 头像的脸被替换的侧面视图。 请注意（a）中的垂直线如何对应于为了给（b）中的假面具腾出空间，脸被为了对其进行纹理处理，在引擎中，必须对Candide的纹理映射进行处理，以便将其纹理映射放置在图像中字符面部的顶部。平移、旋转和缩放应该应用于纹理映射坐标中，以实现这一点，从而实现这一点。一旦Candide的纹理地图出现在脸的顶部在图7中，（c）精确地显示了Candide纹理映射应该如何定位在Avatar纹理的顶部3.5情绪化动画该参数化动画系统使用以下参数化方程（1），−→L=（1−t）*−→A+t*−→B（1）其中−→A和−→B是3个D向量，表示b是初始c或o，表示d是目的地。每个面部顶点的国家协调机构，分别为。 有了这个，我们可以通过修改参数t，在3D空间中移动顶点，从需要的地方移动到需要的地方。表达式是通过在相同的时间将不同的对象组移动到不同的位置来生成的。这些指令可以从XML文件中读取，因此，可以在fly中添加或修改表达式，因为XML文件可以包含需要移动以创建面部表情的垂直线，以及它们需要在3D空间中移动到的位置。简单地添加或修改此XML文件将使动画可修改。4结果我们的方法是在Unity游戏引擎中实现的，有六个具有不同特征、几何配置和纹理映射的化身。这些字符是从网站Blendswap.com是一个免费的3D模型库，在知识共享许可证下运行。纹理地图修改是由专门的3D软件开发的。图6、图7、图8和图9显示了实现的结果，并且还指定了通过我们建议的方法进行正确文本映射的结果，以及82J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73在类人化身中的接缝的正确位置 接缝必须放置在图6中绿线所在的位置。图6。简单的阿凡达映射与彩色网格纹理。(a)在应用了建议的方法之后，它表示了完成的纹理映射。请注意图像中的脸（d）是如何不受阻碍的。（b）和（c）详细说明如何正确地创建字符的接缝，显示这样的接缝必须放置在正确的位置。绿线在（b）和（c）中(b)（c）图7。我们实施的结果。(a)在治疗前展示一个化身。(b)显示了原始化身纹理映射和由所提出的方法创建的化身纹理映射之间的比较。(c)对在Candide掩码上完成的纹理映射进行depicts纹理映射处理的依赖性在图7中可见。一个Candide的纹理（J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7383幸福感悲伤愤怒t = 0.33t = 0.66t = 1t = 0.33t = 0.66t = 1t = 0.33t = 0.66t = 1图8。使用参数化动画替换Candide Face的结果。表现了快乐、悲伤和愤怒的情绪。 没有专业的动画师在场，以开发动画和该系统是用一系列不同的化身进行测试的。 请注意，无论化身是什么，都有可能使用我们的系统生成面部表情。在这里，我们分别用0.33、0.66和1的参数t来表示每个情绪。此外，Candide面具也是完全动画化的。图8还代表了每个戴着Candide面具的化身的快乐、悲伤和愤怒的情绪，就像线框渲染的Candide面具一样，具体说明了它的真实样子。图9显示了这些化身在它们的原始面孔和它们被Candide替换的面孔之间的比较，其中六个化身用于测试我们的工作是否顺利进行。为了进一步验证我们的结果，我们请了六位专家来评估我们的候选人面具更换，生成一个问题，让他们解决来自该领域专业人士的反馈，我们能够量化我们的方法对化身的脸有多大的影响。每个专业人士都看到了原始化身的每个化身都有六个问题，分别询问一般差异、多边形差异、纹理差异、表达差异和特征差异（见下文）。[10][11]这些假设是用一个数字来分级的，其中1表示强烈的异议，5表示强烈的异议，这取决于专家的想法。如果他们愿意，他们也有一个离开的选择。对每个类别的评论。表1显示了问题的各个方面。然后，在问卷的帮助下收集专家的意见，结果可在表2和表3中查看。有六个不同的行，表示回答问题的六位专家，其中每一位都回答了问题。84J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73类别一个菲尔马一般这两个图像之间存在很大的差异多边形在这两个字符中，多边形的数量存在很大的差异。纹理在这两个字符的纹理和布局上都有很大的差异。表达式这两种性格在面部表情上都有很大的差异。功能性这两种性格在面部特征上都有很大的差异。表1专家在调查问卷中所示的位置的一个例子。 其中每一个都与某个类别相关。专家们的回答是强烈的不同意（1级）、不同意（2级）、边缘同意（3级）、同意（4级）和强烈同意（5级）。在5个类别中。请注意，分数越低，某个类别中的最佳类别实际上是分级的。原始面孔Candide替换的脸图9。 在所有六个化身上的Candide Face Replacement的结果。 在每一列，我们都有一个投降正面视图、侧面视图和3/4视图中的头像。问卷调查的结果表明，纹理映射差异是最好的等级，而一般和特征差异是最差的等级。[10]专家们也能够很好地区分多边形中的一些缺陷，这是值得注意的。J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7385一般多边形纹理表达式功能性3,332,332,672,672,503,173,331,672,672,834,333,172,833,834,332,502,332,171,832,673,002,672,002,333,333,334,172,333,003,33表2调查问卷的结果是什么？排名最差的类别是"一般"，而排名最好的类别是"纹理"。在此图中，您可以确切地看到每个专家对我们在每个可分级类别中的实现的看法。一般多边形纹理表达式功能性Min2,502,331,671,832,50最大4,334,172,833,834,33平均值3,283,002,282,723,17表3调查问卷的结果是什么？此表显示了每个类别的最差等级、最佳等级和平均等级。作为面孔的表达，他声称最大的差异是在化身的鼻子和下巴上发现的。顺便说一句，在极少数情况下，答案会越过边界线，所有类别的最高平均值也会勉强越过边界线，这意味着原始字符和我们的方法之间存在的图形差异并不显著5结论和进一步工作在这项工作中，提出了一个生成可在运行时再现情绪表达的化身的工作流。它是基于一个预先设计的化身的重定向，通过用参数化面具（Candide）替换它的原始脸，避免每次执行3D动画处理。这里使用Candide模型是因为它的灵感来自Ekaman情绪模型，该模型可以生成许多面部表情，从简单的眨眼到更复杂的表情，如快乐、悲伤和愤怒。所提出的工作流程被实现为在知识共享版权下许可的6个可用化身中表示面部表情中的情绪状态。所提出的框架中最具挑战性的任务之一是解剖学86J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73化身面部的修改，这是由面部替换产生为了评估这些修改的效果，一个由六位数字艺术家组成的小组对每个原始头像和重定向头像进行了主观比较。关于每个化身是如何生成的细节对专家是隐藏的，以避免任何偏见。[10]专家们表示，他们观察到两个化身之间的差异，但在所有情况下，这些差异都被认为是弱的（在1到3的尺度上小于3）。5），其中允许得出结论，重定向过程生成了一个与原始化身非常相似的化身。有趣的是，所有的数字艺术家都认为，化身的解剖学面部变化是由于面部多边形数量的变化，而这些变化中没有一个涉及面部置换。这也允许得出这样的结论：所提出的过程生成的化身类似于用常规3D动画过程获得的化身。关于解剖学特征，专家们观察到鼻子和下巴有很大的差异，这可能是由于Candide面具的锐利特征面造成的，他们在进一步的工作中证明了将3D网格变形模型应用于Candide面具，以最大限度地减少最终化身和原始化身之间的解剖学差异。此外，它也是必要的，以自动化的形态拟合过程，这是手动完成的。最后，应该考虑的是，这项工作使用了Candide（2001）的最新可用版本，该版本旨在进行面部编码，而不是动画。即使如此，所获得的结果是有希望的，因此需要提出一个更新的Candide模型面向动画的3D化身是显而易见的。确认书，确认书这是由美国新格拉纳达军事研究所资助的，研究项目ID为INV-ING-2643，项目编号为INV-ING-2643。参考文献[1] Ahlberg，J. CANDIDE-3-更新的参数化面，技术报告，图像编码组部门。 电气工程，林克平大学，2001年（昭和30年）。URLhttp://www.bk.isy.liu.se/publications/LiTH-ISY-R-2326.pdf[2] 巴索里，A. H.，A.巴德，M. S. Sunar，D.达曼和N. Saari，《阿凡达情感表达的触觉振动以增强虚拟现实的现实性》，载于：2009年计算机技术与发展国际会议（2009年），第416-420。URLhttp://ieeexplore.ieee.org/document/5360181/[3] 比尔，R.和C。Creed，《有效交互：情绪代理如何影响其他用户》，《国际人类计算机研究杂志》67（2009），第755-776。URLhttps://dx.doi.org/10.1016/j.ijhcs.2009.05.001[4] 本福德，S.，J. B owers，F ah le，L. E. N，C。格林哈尔和D. SN或wdon，Emb或diments，化身，克隆多用户、多传感器虚拟世界的代理，多媒体系统5（1997），第93-104。网址https://doi.org/10.1007/s005300050045[5] 陈，C. S.和F。S.蔡，面部情绪的计算机动画，载于：2010年网络世界国际会议（2010年），第425-429。网址https://dx.doi.org/10.1109/CW.2010.49J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）7387[6] 丘吉尔，E. F.和D。Snowdon，《协作虚拟环境：问题和系统的介绍性综述》，《虚拟现实3》（1998年），第3-15。URLhttps://doi.org/10.1007/BF01434994[7] Ekman，P.和W.V. Friesen，测量面部运动，环境心理学和非语言行为1（1976），第56-75。URLhttps://doi.org/10.1007/BF01115465[8] Ekman，P. F.华莱士，W. V.弗赖森和S. Ancoli，《情绪体验的面部特征》，《人格与社会心理学杂志》6（1980），第1125-1134年。网址https://doi.org/10.1037/h0077722[9] Fabri，M.，S.和。A. Elzouki和D.摩尔，情感表达化身的聊天，学习和治疗干预，在：人机交互。HCI智能多模式交互环境，Springer Berlin Heidelberg，柏林，海德堡，2007年，第275-285。URLhttps://dx.doi.org/10.1007/978-3-540-73110-8_29[10] Fabri，M.，D. J.摩尔和D. J.Hobbs，《情感化身：协作虚拟环境中居民之间的》，载于：A.布拉霍特，R.Gherbi，S.Gibet，D.Teil和J. Richardson，编辑，《计算机科学讲义》（包括《计算机科学讲义》的子系列）人工智能和生物信息学讲座笔记，LNCS1739，Springer Berlin/Heidelberg，1999年，第100页。269-273。URLhttps://dx.doi.org/10.1007/3-540-46616-9_24[11] Gazzard，A. 《阿凡达与玩家：理解屏幕之外的关系》，《2009年严肃应用游戏和虚拟世界会议论文集》，VS-GAMES 2009（2009），第100页。190-193。URLhttps://dx.doi.org/10.1109/VS-GAMES.2009.11[12] Gu和e-Vuil l'eme，A. T. K. 卡平，我。S. PAndzic，N. M. Thalmann和D. Thalmann，《协作虚拟环境的通信接口》，Virtual Reality 4（1999），第100页。49-59。[13] Jin Ok Kim，Bum Ro Lee，Chin Hyun Chung，论关节体的感应逆运动学算法，第5卷（2002），第100页。5.URLhttp://ieeexplore.ieee.org/document/1176418/[14] Kim，M. S.和K。S. Hong，An avatar expression method using biological signals of face-images，in：2016信息与通信技术融合国际会议（ICTC）（2016），pp. 1101-1103。URLhttp://ieeexplore.ieee.org/document/7763378/[15] Mori，H.，K.大岛和M. Nakamura，Generating avatar5720-5723。URLhttp://ieeexplore.ieee.org/document/5947659/[16] 奥尔蒂斯，A. D. Oyarzun，我。Aizpurua和J. Posada，使用H-Anim和反转运动学在虚拟环境中的行为的三维全体虚拟角色动画，在：计算机图形国际会议论文集，CGI（2004），第307-310。网址https://dx.doi.org/10.1109/CGI.2004.1309226[17] Ouhyoung，M. H.- S.林，还有。T.吴，Y。S. Cheng和D. Seifert，面部动画和跟踪的非，SIGGRAPH Asia2012年技术简报-SA1-4。网址https://dx.doi.org/10.1145/2407746.2407770[18] Palmberg，R. C.彼得斯和A. Qureshi，当面部表情主导虚拟角色群体中的情绪感知时，2017年第九届虚拟世界和严肃应用游戏国际会议，VS-Games 2017-Proceedings（2017），pp.157-160.URLhttps://dx.doi.org/10.1109/VS-GAMES.2017.8056588[19] Pranatio，G.和R. Kosala，多人在线游戏中骨架和关键帧动画的比较研究，Proceedings - 2010年第二届计算、控制和电信技术进展国际会议，ACT 2010（2010），第143-145。网址https://dx.doi.org/10.1109/ACT.2010.54[20] Rydfalk，M. CANDIDE，一个参数化的脸，技术报告，图像编码组部门《电气工程》，林克平大学，1987年。[21] 塔卡拉，T. M.，M. Makarainen和P. Hamalainen，《使用搅拌机和现成硬件进行沉浸式3D建模》，载于：2013年IEEE 3D用户界面研讨会，3DUI 2013 - Proceedings（2013），第191-192.URLhttps://dx.doi.org/10.1109/3DUI.2013.655024388J.S. 巴尔加斯·莫拉诺等人。理论计算机科学电子笔记343（2019）73[22] 泰勒，L. D.，《异步在线交流中的化身和情感参与》，《网络心理学、行为和社交网络》，14（2011），第100页。207-212。URLhttps://dx.doi.org/10.1089/cyber.2010.0083[23] Thobie，S.- A.、《合成动画的高级插值》，3（1994），第562-566。URLhttps://dx.doi.org/10.1109/ICIP.1994.413743[24] 户川，H.和M。Okuda，用于人体运动动画的基于位置的关键帧选择，并行和分布式系统国际会议论文集-ICPADS2（2005），pp. 182-185。URLhttps://dx.doi.org/10.1109/ICPADS.2005.239[25] Weise，T. S.布阿齐兹，H.李和M。Pauly，基于实时性能的面部动画，ACM Transactions on Graphics30（2011），p.1.网址https://dx.doi.org/10.1145/2010324.1964972[26] 吴，Z.，S.张，L.蔡和H。M. Meng，在三维化身中使用MPEG-4 FAP特征的中文视觉语音和面部表情的实时合成，在：第九届口语处理国际会议，图1，2006，pp. 1802-1805年。[27] YeiBeech Jang，W. K.，关于游戏中的avatar-self相似性、掌握体验和自我意识的探索性研究，载于：2010年第12届先进通信技术国际会议（ICACT）（2010年）。URLhttps://ieeexplore.ieee.org/document/5440353[28] Ying，G.，L.徐清，W.休良，F. Yi和G。Shuxia，3D字符动画引擎的设计与实现，2009年第二届IEEE宽带网络和多媒体技术国际会议论文集，IEEE IC-BNMT 2009（2009），第524-528。网址https://dx.doi.org/10.1109/ICBNMT.2009.5347860[29] Zalewski，L.和S。Gong，虚拟3D视图中面部表情的合成和识别，Proceedings -第六届IEEE自动面部和手势识别国际会议（2004年），第493-498。URLhttps://dx.doi.org/10.1109/AFGR.2004.1301581