唇音合成：视听相关模型驱动的深度生成与同步

本文主要探讨了唇语音合成的视听相关模型，这是一种新兴的跨模态生成技术，尤其在人工智能领域引起了广泛关注。研究的核心任务是给定任意音频语音和目标身份的嘴唇图像，生成与该语音匹配的、目标身份的嘴唇动作，即使这些语音和身份在训练数据中并未出现。这一任务对于增强语音理解、保护隐私以及为听力障碍者提供辅助设备等应用场景具有重要意义。 传统的唇运动生成通常被视为语音合成的一个子任务，它涉及将目标身份的语音转化为相应的面部表情。以往的研究，如Boe等人[12]的工作，通过双向LSTM网络处理面部下半部分，以实现不同音频源目标视频的配音。他们从目标帧库中选择与当前语音最接近的嘴部区域进行重新拼接。 然而，本文作者陈乐乐、李志恒、Ross K.马多克斯、段志尧和徐晨亮提出了创新的方法。他们设计了一个端到端训练的网络，旨在解决嘴唇运动的合成问题，特别强调了音频语音与嘴唇运动之间的相关性学习。他们的模型不仅关注目标身份的保持、合成图像的逼真度、嘴唇一致性及平滑性，还引入了一种新的相关损失同步机制，确保嘴唇变化与语音变化的同步性。 该模型采用了全面的四重损失函数，旨在提高对嘴唇形状、视角以及面部特征的鲁棒性。实验结果表明，无论是在实验室录制的还是自然环境下的嘴唇数据集上，他们的模型都显著优于同类先进方法，能够有效地将音频和嘴唇图像融合，生成高质量的唇语合成。 关键词：唇动生成、视听相关、深度学习、唇语合成、音频与视频同步。这项研究代表了计算机视觉领域在处理跨模态任务中的最新进展，展示了如何通过结合音频和视觉信息，创造出更具真实感和一致性的交互体验。