可视化语音克隆V2C：填补情感表达空白

"本文介绍了一种新的语音克隆任务，称为可视化语音克隆（V2C），该任务致力于将文本段落转化为具有特定语音特征和参考视频指定的情感的语音。与传统的语音克隆任务不同，V2C着重于电影配音等应用场景，要求生成的语音能与电影情节的情感保持一致。为了推动这一领域的研究，作者构建了一个名为V2C-Animation的数据集，包含了10,217个动画电影剪辑，覆盖多种类型和情感。同时，他们还提出了一个强大的基线系统，基于当前最先进的语音克隆技术。此外，他们设计了一种新的评估指标MCD-DTW-SL，用于衡量合成语音与原始语音的相似性。实验结果显示，当前的SoTA VC方法在V2C任务上表现不佳，暗示了该领域仍有待深入研究。作者希望这个新任务、数据集和评估工具能促进语音克隆和视觉语言社区的进步。相关代码和数据集可在提供的链接获取。" 在语音克隆（VC）领域，技术通常关注将文本转换为指定语音特征的语音，而V2C则引入了情感维度，要求生成的语音能匹配视频中的情感表达。这在电影配音等实际应用中至关重要，因为配音必须与角色的情绪同步。V2C-Animation数据集的创建为研究人员提供了丰富的资源，可以训练和测试模型在不同情境下的表现，如喜剧、奇幻等不同类型的电影和快乐、悲伤等不同情绪。 MCD-DTW-SL评估指标结合了动态时间规整（DTW）和声学建模对齐（SL）方法，能够更全面地评估合成语音的质量和与原始语音的相似度，这对于改进V2C任务的性能至关重要。实验表明，现有方法在V2C任务上面临挑战，说明了在这个方向上开展更多研究的必要性。 V2C是一个具有挑战性的新任务，它要求模型不仅复制语音，还要捕捉并表达视频中的情感。这个任务的提出，以及配套的数据集和评估工具，将有望推动语音合成技术的发展，尤其是在情感表达方面，对于提升电影配音和其他类似应用的真实感有着深远的影响。