实时语音驱动的虚拟说话人面部动画方案与音素识别

"《实验方案-初等数论及其应用【美】kenneth.h．rosen》主要探讨的是音素识别器在中文语音合成中的应用。该研究使用了5状态的HMM（隐马尔可夫模型）来构建一个实时的中文音素识别系统，模型训练基于90小时的汉语语料库，涵盖了朗读和广播语音。HMM的观察分布通过混合高斯模型刻画，包含了60个音素，如短时停顿（si l）。语音输入为16kHz、16bit的单声道信号，特征提取采用了12维的梅尔频率倒谱系数（MFCC）、能量特征及一阶、二阶差分，总共有39维参数，使用25ms的窗口长度和10ms的滑动步长。 实验方案的核心在于实时语音驱动的面部动画生成，通过主观评测进行评估。评测者被邀请对生成的面部动画与语音的同步性以及逼真度进行打分，采用平均意见评分（MOS）作为标准。实验设计了4种方案，其中一种是利用HTK工具对测试语音进行强制对齐，然后根据识别出的音素合成面部动画，这被视为非实时且与真实文本驱动的动画效果上限。 研究的关键技术包括音素识别器的改进，考虑了协同发音的影响，通过动态视素生成算法将识别出的音素转化为面部动画参数序列，进而驱动预定义的3D头部模型，按MPEG-4面部动画标准生成实时面部动画。实验结果显示，实现的实时语音驱动虚拟说话人在同步性和逼真度方面的MOS评分分别达到了3.42和3.50，显示出该技术在可视电话、虚拟会议等场景中具有显著的应用潜力，特别是在无障碍沟通方面。 本文的主要关注点是音素识别与面部动画生成技术的结合，展示了如何通过数字化手段实现实时、高效的语音驱动面部动画，这对于推动可视语音合成（可视语音全成）、虚拟说话人以及无障碍交流技术的发展具有重要的理论和实践价值。"