Vokinesis：语音合成的表演性修改软件开发与应用研究

Vokinesis：语音塞缪尔·德拉莱兹引用此版本：塞缪尔·德拉莱兹。Vokinesis：一种用于控制语音合成的超音段控制仪器计算机与语言[cs.CL]。巴黎萨克雷大学（COmUE），2017年。法语。NNT：2017SACLS458。电话：01826621HAL ID：电话：01826621https://theses.hal.science/tel-01826621提交日期：2018年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaireVokinesis：一种用于合成的声乐在南巴黎大学准备的巴黎萨克雷大学博士论文第580号博士学院，信息科学与技术通信、STIC博士专业：计算机科学论文于2017年11月28日在奥赛发表并答辩，由塞缪尔·德拉莱兹评审团组成：温迪·麦凯南巴黎大学（LRI）菲利普·德帕尔麦吉尔大学（Schulich音乐学院）教授报告员娜塔莉·亨利克·贝尔纳多尼格勒诺布尔大学CNRS研究主任（GIPSA-LAB）报告员鲍里斯·多瓦尔索邦大学（IJLRA）（让·勒龙·亚历山德罗的克里斯托弗索邦大学（让·勒朗·NNT：2017年i摘要这项工作在这样的系统只能改变音高、持续时间和声音质量参数的背景下，我们的工作集中在声音节奏的表演性修改问题上这篇论文的大部分工作都致力于Vokinesis的开发，这是一个用于对预先录制的语音信号进行表演性修改的软件它是根据这些目标开发的：允许控制声音的节奏，具有模块化系统，可用于音乐会情况以及研究应用它的发展需要对声乐节奏的本质以及如何控制它进行反思因此，很明显，然后，我们能够证明，声乐节奏的精确和富有表现力的顺序需要控制两个阶段，这两个阶段组合在一起形成一个节奏组：节奏核心和节奏连接。我们实施了几种节奏控制方法，并使用不同的控制接口进行了测试客观评价使得有可能从节律控制精度的角度验证使用图形平板电脑实现了新的音高控制策略和语音质量设置。考虑到新的连续音乐界面的兴起，对该界面的相关性的思考Vokinesis的开发还需要实施VoPTiQ（语音音高、时间和质量修改）信号处理方法，该方法结合了RT-PSOLA算法的自适应L’utilisation 应用前景是多方面的：科学研究（韵律学、表达性言语、神经科学等方面的研究），声音和音乐制作、语言教学法、声乐治疗。关键词：语音合成、人机交互、音乐计算、韵律学、语音iii摘要这项工作属于语音合成的表演性控制领域，特别是预录语音信号的实时修改。在这样的系统只能修改音高、持续时间和声音质量等参数的背景下，我们的工作集中在声音节奏的表演性修改问题上。这篇论文的很大一部分致力于Vokinesis的发展，Vokinesis是一个对预先录制的声音进行表演性修改的程序它是在这些目标下开发的：允许语音节奏控制，获得一个模块化系统，可用于公共表演情况以及研究应用。为了实现这一发展，已经提出了关于声音节奏的性质以及如何很明显，基本的跨语言节奏单位是音节大小的，但音节化规则太依赖于语言，无法提供不变的跨语言节奏模式。我们证明了语音节奏的精确和富有表现力的排序是通过控制两个阶段的时间来实现的，这两个阶段共同形成了一个节奏组：节奏核和节奏链接。我们开发了多种节律控制方法，并使用多种控制接口进行了测试一项客观的评估表明，我们的一种方法允许非常精确地控制节律。使用图形平板电脑进行语音音高和质量控制的新策略已被证明是毫无疑问的。考虑到新的连续音乐界面的兴起，我们认为图形平板电脑更适合表达性的单声道语调和旋律控制，但PMC（复音多维控制器）更适合复音控制。Vokinesis的开发还需要实现VoPTiQ（语音音高、时间和质量修改）信号处理方法，该方法结合了RT-PSOLA算法的自适应和一些用于语音质量调制的特定滤波技术Vokinesis作为一种乐器的使用已经成功地在数字合唱团的公开演出中得到了广泛的宣传，包括各种演唱风格（从流行音乐到当代音乐）。通过将Ableton Live数字音频工作站与Vokinesis接口，探索了它在电子音乐中的应用前景多种多样：科学研究（韵律、表达性言语、神经科学等研究），声音和音乐制作，语言学习和教学，言语治疗。关键词：语音合成、人机交互、声音和音乐合成、韵律、语音信号处理v我把这篇论文献给萨沙。vii我们刚才说的话，时间，在它的飞行，他们已经被带走了，什么也没有回来。-贺拉斯，颂歌。由Carlo Rovelli在《时间的顺序》中翻译成法语朱利奥·加莱托（Giulio Galetto）的《在一个简短的棺材里》（In questo breve cerchio）。谢谢你我首先要感谢Christophe d 'Ales-Sandro，他为我提供了三年令人兴奋的研究，从文化和科学的角度来看，他的谈话总是丰富的他帮助我度过了最困难的时期，因此是完成这篇论文的我还要感谢鲍里斯·多瓦尔，正如我已经告诉过他的，他无疑是我在学校遇到的最好的我在硕士2中学习的他的语音分析/合成课程我还要感谢评审团的所有其他成员，Wendy Mackay、Nathalie HenrichBernardoni和Philippe Depalle，感谢感谢Chorus Digitalis的许多成员，Christophe，Boris，Lionel，Olivier，Annelies，Hélène，Victor，Robert，Michael（捡球的人!），感谢他们参加的演出，他们的准备工作对Vokinesis的良好发展非常有益，也感谢他们在你的公司度过的美好时光。我想向那些共用办公室、走廊、吃饭、喝酒的同事们致意因此，向LAM的人致敬：卡米尔、雨果（博士生）、亚瑟、奥古斯丁、路易斯、雨果（实习生）、让-洛伊克、休斯、米歇尔、克劳迪娅、洛朗、勒内。向已故的LIMSI AA团队的成员致意，我为他们的最后一篇论文进行了辩护：Olivier，David（两人!），莱昂内尔，庄，巴特，彼得，布赖恩，阿尔伯特，马克，阿雷蒂，劳伦特，贾斯汀。向超级友好的LIMSI秘书和超级友好的管理层致敬!特别感谢Brian和David在我的支持排练中提供了非常有益的反馈你对我的成功至关重要。非常感谢我的姐姐、爸爸和妈妈（以及那些陪伴他们的人!），他们我永远不会感谢我的父母足够让我遵循我的研究，直到最后我还要感谢杰拉德和迪卢，他们从未停止过对我的我还要热烈地感谢我所有的朋友，他们总是鼓励我继续前进，让无论我们是经常见面，还是只是瞥见对方，这总是一种巨大的乐趣!感谢尼科、昆汀、雅诺、玛丽、莫林、安托万、朱朱、杰森、瓦罗什、乔治、埃利、雨果五世朱尔斯·威尔逊、奥古斯丁、雨果·T. Yoyo，Wilou，Pouny，Sandra，Crisp 'X，Diana，Franky，Pablo，我希望我不会忘记太多。也非常感谢Zärhza的所有成员：Chipou，Timo，Tonio，Dussan，（还有Vianney !）。和你在一起的这一年对感谢出席我演讲的人：米歇尔、让-西尔万、奥利维尔、大卫、瓦伦丁和吕克。你在那里很重要。感谢所有在那之后来喝酒的人：奥利维尔，玛丽，夏琳，雨果和杰森。爱所有这些人!（最后，我要感谢巨蟒剧团写了他们的短剧《论证》，感谢那些有想法让Dectalk Express和Intex Talker表演这部短剧的人由此产生的视频1经历了许多修复性的停顿，这对出于同样的原因，感谢迈克尔·杰克逊。1. https://www.youtube.com/watch? v=WjMwGWdqHVQo术语d（）原始节奏组的持续时间模式中合成节奏组的持续时间ds（s）同步速度D（t）持续时间变形函数帧控制点（帧控制点）FCP节奏）F/C框架/内容i原始信号的周期索引j合成信号的周期索引LN连接/内核n离散信号的时间指数原始信号的N个大小（样本）NLN核心/链接/核心Nw（i）= 2P（i）第i个原始周期的分析窗口大小Pc控制器的位置[0，1]P（i）第i个原始周期的持续时间P0（j）的reddelepe eriodeed synth循环模式下的Pend（）Pl（c）第三节奏组的联络FCP第三节奏群的Pn（）Pstart（）循环模式下的循环开始FCPto（i）ie原始期刊ts（j）je周期性合成标记v最大速度模式下的最大速度vmin速度模式下的最小速度vs读取速度w（i，n）第i个原始周期的分析窗口x（ n）原始信号i是原始的短期信号，窗口围绕xw（ i，n）ie原始周期y（j，n）je合成的短期信号y（n）最终合成信号周期插值因子原始信号中的目标时刻，在（j）合成的时间段节奏群指数loopintantciblleenmodeLoop音频和视频本手稿中提到的音频和视频示例可从以下地址下载www.kepstral-audio.com/download/ThesisDelalezMedia.zip材料表1引言11.1背景和问题11.2不使用图形平板电脑的语音外包系统1.2.1冯·肯佩伦机器31.2.2VODER41.2.3垃圾邮件51.2.4手套谈话61.2.5Miku Stomp：用吉他1.3使用图形平板电脑的语音外包系统1.4手稿的平衡和内容102 VoPTiQ：语音音高、时间和质量修改132.1语音信号的转换2.1.1声码器152.1.2正弦曲线172.1.3PSOLA182.1.4声音质量的表现力和修改192.2TD-PSOLA202.2.1周期性分析数据的准备2.2.2分析帧的计算2.2.3时间尺度的扭曲2.2.4旋律音阶的变形2.2.5时间尺度和旋律尺度的同时变形242.2.6周期标记关联和周期计算合成252.2.7非语音信号的时间失真252.3高度、持续时间和长度的实时变化- 声道阻塞：VRT-PSOLA262.3.1语音信号的实时修改262.3.2非语音信号的实时修改282.3.3用于连接的302.3.4循环缓冲存储器（Buffer）312.4声道长度332.5更改源参数：电压和电子力342.5.1声音张力342.5.2声乐努力362.6结论363 声音的节奏控制393.1Calliphony：控制持续时间413.1.1直接目标瞬间控制3.1.2播放速度控制：速度42模式3.2声乐节奏433.2.1生产和感知的时间层次声音433.2.2音节45的组成3.2.3知觉中心（p中心）和音节节奏473.2.4发音语音学493.2.5音节框架：框架/内容理论533.2.6音节序列的跨语言节奏结构的确定3.3节奏框架的顺序553.3.1框架控制点（FCP）563.3.2节奏框架的二进制控制：Tap56模式3.3.3用于节奏框架的二进制控制的接口3.3.4连续控制节奏链接：推子模式593.3.5连续控制手势的处理603.3.6手动电位计623.3.7踏板电位计643.3.8循环模式653.4原始信号的准备和标记663.4.1原始信号的记录663.4.2FCP的定位规则663.4.3特殊情况683.4.4音素的标签693.5控制发音节律的方法的评价693.5.1控制言语节奏的第一次实验703.5.2节律控制模式的主观评价演讲和歌曲733.6结论754 表达性音高控制和语音质量774.1图形平板电脑784.1.1语音中的语调控制784.1.2歌曲中的旋律控制794.1.3准确性、动态音高校正和表达性调制804.1.4模式的作用814.1.5复调824.1.6约德尔834.1.7声道大小和声带张力834.2MIDI键盘和控制器84十七4.2.1接口和MIDI85协议4.2.2包络线和LFO（低频振荡器）864.2.3通过以下方式控制音高和表达调制MIDI87键盘4.3复音多维控制器（PMC）884.3.1PMC接口和MPE88方法4.3.2通过以下方式控制音高和表达调制PMC904.4用于控制旋律的接口的比较914.4.1单声道旋律914.4.2表达性调制914.4.3复调旋律934.4.4讨论944.5结论945Vokinesis975.1一般功能985.1.1系统概述985.1.2软件管理995.2体系结构1025.2.1音频文件管理1025.2.2信号的显示5.2.3特定和全局1045.2.4控制数据的标准化1065.2.5超节段控制参数的计算和重新合成原始信号1065.3映射1075.3.1映射策略1075.3.2控制器的选择1095.3.3合成信号的声学和时间参数的调整1125.4编程1155.4.1VoPTiQ115子补丁5.4.2外部SD VRTPSOLA1185.4.3外部和第三方子修补程序1205.5软件的使用1215.5.1项目编辑1215.5.2具体设置：主窗口1215.5.3全局设置：控制器配置1305.5.4作为实验工具的Vokinesis5.6未来发展1376 与Vokinesis一起歌唱，超越...1396.1数字合唱团1396.1.12015年库里索塔斯和2016年日本-塔林-Recital1406.1.22017年aCROSS节和2017年声音与精神分析研讨会1406.1.3来自Robert Expert142的反馈6.2第145章第一次见面6.2.1Vokinesis145的配置6.2.2使用Ableton Live148修改原始信号6.2.3将修改的信号置于上下文中1506.2.4Vokinesis对此类应用的当前限制6.3结论1527结论和展望1537.1第153章第一次见面7.2应用前景7.2.1学习声调语言1567.2.2练习理解其他语言的音素7.2.3歌唱教学1617.2.4治疗工具1627.2.5搜索工具1627.2.6更进一步：文本162通过语调的手记风格化来改进表达性TTS合成A.1 LIPS3：表达性TTS165合成系统A.2 表达性合成的时间顺序改进166A.3 评价A.3.1表达能力的识别A.3.2质量评估170A.4 讨论172参考书目175