指导人机音乐即兴：引入创作和时间场景控制热罗姆·尼卡引用此版本：杰罗姆·尼卡指导人机音乐即兴：介绍创作和控制与时间的场景。人机交互[cs.HC]。皮埃尔和玛丽居里大学-巴黎第六，2016年。英语NNT：2016PA066141。电话：01398364HAL Id：tel-01398364https://theses.hal.science/tel-013983642016年11月17日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire指导人机音乐即兴创作：引入创作和控制与时间的情况杰罗姆·尼卡皮埃尔与玛丽·居里信息、电信和电子博士学校（巴黎）Institut de Recherche et Coordination Acoustique/Musique UMR STMS 9912为了获得等级皮埃尔和玛丽·居里大学博士信息专业2016年5月16日由评审团组成：Gérard ASSAYAGIrcamGérard BERRY法兰西学院Emmanuel CHAILLOUX 皮埃尔和玛丽·居里大学ShlomoDUBNOV加利福尼亚大学圣地亚哥 GeorgeLEWIS哥伦比亚大学纽约主管：Gérard ASSAYAGIrcamMarc C.HemillierEHESS报告员：Myriam DESAINTE-CATHERINE波尔多大学加州大学圣地亚哥分校Jérôme Nika：指导人机音乐即兴创作：介绍创作和时间场景控制，2016年3月。S U P E R V I S O R S：Marc Chemillier（EHESS）GérardAssayag（IRCAM）摘要本文主要介绍了人机音乐即兴创作中的创作和控制，通过使用节奏场景来指导或创作交互式表演，并阐述了用于即兴创作的交互式音乐系统专用于音乐即兴创作的交互式系统与现场表演的音乐背景相关地“即时”生成音乐。 这项工作是对机器即兴创作的研究，被视为通过音乐记忆的导航：通常是由“模拟”音乐家在表演或离线语料库期间与系统共同即兴演奏的音乐。这些研究主要致力于自由即兴创作，我们在这里集中在脉冲和“地道”的在习语语境中，即兴演奏者处理的是音乐习语隐含的风格规范和美学价值的可接受性问题。对于想要播放爵士乐、布鲁斯或摇滚乐的交互式音乐系统也是如此而不限于不允许任何形式的越界或离题的强制性规则。即兴音乐的各种曲目依赖于形式化和时间结构化的对象，例如爵士乐即兴创作中的和声进行 同样，我们开发的模型和架构依赖于正式的时间结构。 这种结构并不具有即兴创作的叙事维度，即其根本的审美性和非显性的演变，而是对机器即兴创作的一系列形式化的约束。因此，本论文提出了：一个由“场景”引导的音乐生成模型，引入了预期机制;一个在“场景”层面上创作即兴互动表演的框架;一个使用混合静态/动态调度技术将预期响应与反应相结合的架构;一个音频渲染模块，用于与非节拍节拍同步地对捕获的材料进行现场重新注入;一项与十位音乐家通过表演、工作会议、聆听会议和访谈进行的研究。首先，我们提出了一个音乐生成模型指导下的正式结构。在这个框架中，“即兴创作”意味着在索引记忆中导航，以收集一些连续或不连续的序列，这些序列与指导即兴创作的“场景”的连续部分相匹配（例如和弦进行）。该方案的音乐目的是确保由机器产生的即兴创作符合其所携带的习语，并引入一个-III在生成过程中的ticipation机制，通过类比音乐家预期的谐波进展的决议。使用正式的通用性的夫妇 使用音频音乐描述符或任何用户定义的字母表定义描述的场景可以导致接近引导交互式即兴创作的其他维度。 在这个框架中，音乐家们可以参与上游，参与音乐字母表的定义和即兴创作场景的设计，这是创作过程的一部分，即参与机器音乐语言的设计中的“元级作曲”。该模型可用于作曲工作流程中，并且在一次运行产生满足设计场景的整个定时和结构化音乐姿态的意义上是“线性的”，该设计场景然后将在表演期间通过时间展开。然后，我们提出了一个动态的架构嵌入这样的生成过程与形式规范，以结合预期和反应的指导即兴的上下文中。 在这种情况下，系统对外部环境的反应，例如控制界面或现场玩家输入，不能仅被视为自发的即时反应。事实上，它必须利用这种时间结构的知识来从预期行为中获益根据新的事件或控制，反应可以被认为是对中期预期的修正，即在表演之前由系统预先生成的音乐序列。为了解决长期规划和反应性相结合的问题，我们因此建议将引导即兴建模为对“compo-sitional”过程的动态调用为了能够与音乐家以及音乐家的声音一起演奏，该架构包括新颖的音频呈现模块，其能够通过与非节拍式波动脉冲同步地重新注入现场音频材料（在线处理和变换以匹配场景）来最后，这项工作完全集成了与专家音乐家的频繁互动的结果，以迭代设计的模型和架构。 后者在交互式音乐系统Improtek中实现，Improtek是OMax系统的后代之一，在现场表演期间的各种场合使用。 在这些合作期间，工作会议与倾听会议和访谈相关联，以收集音乐家对该系统的评价，从而验证和完善科学和技术选择。IV简历本文提出了引入节奏的概念，以指导作曲家或创作者进行个人的即兴创作，并研究即兴创作中的平面化和反应性的辩证关系在音乐会的情境下，音乐产品的生产与音乐环境直接相关的信息系统是值得参考的。 这是在研究风格的现代化和即兴自动化的过程中所做的工作，就像在一个音乐家“类比”即兴创作的音乐回忆录中导航一样。Oncherche ici à appréhender l'improvisationschooléeetdite«id-iomatique»（c'est-à-direseréférantàunidiomeparticulier）enoppo-sitionàl'improvisation«nonidiomatique»àlaquelleétaientdédiéeslesrecherchesmentionnéesprécédemment. 在习语中，即兴创作者面临着习语可接受性的问题。Ces questions se posent donc également à un system-tème d'improvisationdédiéàl'improvisationjazz，blues，rock. sans être pourautant limité à des règles imératives interdisant toutetransgression et digression. En s'appuyantsurl'existenced'unestructureformaliséeantériquilieàlaperformancedansdenombreuxrépertoiresimpromissés（une«grilled'accord»parpour）cestravauxproposent：unmodèled'improvisationguidéeparun«scénario»intro-duisantdesmécanismesd'prediction;unearchitecturetemporellehybridcombinantpredictionetréactivité;etunkrainepourcomposerdessessionsd'improvisationidomatiqueounonàl'échelleduscénarioenexploitantlagénéricitédesmodèles.在这里，我们将介绍一种由结构形式指导的即兴表演模式在这部作品中，《即兴者》意味着一部音乐回忆录和一部指导即兴创作的《场景》，一部爵士即兴作品中的《和谐的格栅》。 该模式确保了场景中机器即兴的一致性，并利用对即兴结构的先验认识，在音乐产生过程中引入了预期的方法，以使音乐家能够解决一种节奏。Cemodèlepeutêtreutilisédansunprocesssuscompositionnel et est intrinsèquement“hors temps”puisqu 'unedesesexécutionspro-duituneséquencecomplètequiseraensuitedrouléedansletemps.在此基础上，将其融入到即兴创作的动态框架中。在这种情况下，一个“反应”不可能vpasêtre vue comme une réponse épidermique et instantanéemais doit tirer profit de la knaissance du scénario pour s'inscriredans le temps. On considerera donc une réaction commeunerévision des anticipation à court-terme à la lumière de nouveauxévènements.长期计划和改革之间的协调问题在以静态程序的动态上诉为指导的临时性指导下被取消，这是上诉的目的"暂时“是一种作曲方式。为了使演奏者能够演奏并利用这些音乐家的作品，该建筑提出了一种将即兴演奏者的声音渗透到共同即兴演奏的作品中的模式，对即兴演奏的节奏进行了改造和转换，以满足即兴演奏的需要，同时与演奏的节奏保持同步，并根据可能的节奏波动进行调整Enfin ， la généricité du couple « scénario/mémoire » et lapossibil-itédedefinirdesscénariosdynamiquesincitentàexplorer d'autresdirectionsquel'improvisationjazz. 该剧本以一种特殊的方式对一个音乐项目进行了评论，或以一种允许其他模式指导即兴创作的音乐形式进行了评论音乐家们对音乐字母表的定义和即兴创作场景的概念，都包含着对表演过程的深刻理解。Cesrecherches ont été menées en interaction constante avecdes musiciens experts，en intégrant pleinement cescollaborations au pro- cessus itératif de concept des modèles etarchitectures. Ceux-ci ont été implémentés dans le systèmeImprote K，utilisé à de nom-breuses represes lors deperformance avec des improvisação. 在这些合作的过程中，音乐家为验证和喜爱技术选择而制定的音乐评价标准的研讨会和研讨会都是联合进行的。vi“- 你是说...-先把两个人打成平手然后再把所有人都组装起来(Stup埃弗利普，L.E.C.R.O.U. ）-艾奇 ！是的！(Val诺瓦里纳的歌剧。）- ’know what I’m sayin’（大普巴，你知道它是怎么回事。）- 是的（埃里克·索耶，《回忆录》。）“致谢感谢马克和杰拉尔。谢谢让和让-路易。谢谢西尔维感谢GérardBerry ， Emmanuel Chailloux ， Myriam Desainte- Catherine ，Shlomo Dubnov，et George Lewis.谢谢马克西姆·克罗切莫尔。感谢 Bernard Lubat ， Rémi Fox ， Jovino Santos Neto ， Kilema ，Charles Kely，Louis Mazetier，Michelle Agnès Magalhaes，HervéSellin，Georges Bloch，Benošt Delbecq，Jozef Dumoulin，AshleySlater，et Gilbert Nouno.感谢法布里斯·维埃拉。感谢阿尔希亚，刘朗，本杰明，菲利普，阿克塞尔，还有卡洛斯.感谢本杰明、迈赫迪、昆汀、杰弗罗伊、纪尧姆、阿德里安、塞巴斯蒂安。谢谢马蒂厄维克多让-戈蒂埃。谢谢杰瑞米和路易。谢谢艾默里克和皮埃尔。谢谢海利安特和迪米特里还有巴姆。谢谢你的家人感谢艾蒂安和加斯康人。谢谢何塞和朱尔斯还有酒桶。谢谢杰克谢谢弗兰克和雅雅斯敏。谢谢你，克莱门特，凯文·派蒂，还有玛戈特.IX内容A B S T R A CTiiiR S U MvA C K N O W L E D G M E N TSix1I N T R O D U C T I ON11.1论文范围1.2背景与动机.......................................................................................... 21.3论文中提出的贡献概述1.4出版物132G U I D I N G H U M A N- C O M P U T E R M U S I C I M P R O V I S AT I ON172.1使用音乐背景的先验知识2.2引导：..........................................................................................2.3关于软件体系结构的一些思考2.4研究背景34I“C E S S E S AT T H E S C E N A R I O L E V EL373S U M M ARY A N D C O N T R I B U T I O NS393.1范式393.2Algorithms算法393.3应用和实施4C O N F O R M I T Y， A N T I C I PAT I O N， A N D H Y B R I D I Z AT I ON434.1“Scenario”4.2关于场景的一致性和预期，与记忆..........................................的一致性454.3“Hybridization”:5“5.1The5.2与未来情景的连续性5.3第58章记忆.................................................................................的延续5.4其他信息和优化606SC E N A R I I，S C E N A R I O S. . .A N D“ME TA - C O M P O S I T I O N“ 636.1从符合习惯结构到即兴创作646.2二次生成参数和过滤........................................................................66II“C A L L S T O A N O F F L I N E G E N E R AT I O N M O D EL697S U M M ARY A N D C O N T R I B U T I O NS717.1Paradigm717.2建筑727.3应用和实施8I N T R O D U C T I ON75XixiiC O N T E N T S8.1从离线指导生成到在线指导即时更新758.2ImproteK：一个交互式系统..........................................................779C O M B I N I N G P L A N N I N G A N D R E A C T V I T Y： T H E I M P R O-V I S AT I O N H A N D L ER819.1指导音乐即兴和反应819.2即兴创作：反应性代理嵌入离线模型8210 P L A N N I N G I M P R O V I S AT I O N： THE E E DY N A M I C S C O RE8910.1 环境与动态音乐生成过程之间的接口8910.2 安排对环境的反应10.3 编写动态乐谱和即兴计划9510.4 从计划到逻辑规划96III“11 S U M M ARY A N D C O N T R I B U T I O NS10311.1 节拍、同步和动态时间映射。10311.2 应用和实施10412 R E N D E R I N G， S Y N C H R O N I Z AT I O N， A N D C O N T R O LS10713 A N A D A P T I V E P E R F O R M A N C E- O R I E N T E D S E Q U E N C ER10913.1 引导即兴的现场音频再注入13.2 第一层：语音处理....................................................................11313.3 第2级：自适应同步环路过程................................................. 11413.4 节奏估计：倾听时间变量11813.5 第3级：控制/渲染过程12114 I N T E R F A C E A N D C O N T R O L S： TO WA R D A N I N S T R U M E NT12314.1 上游和下游控制12314.2 网络架构和视频渲染......................................................................12615 A C O M P O S I T I O N- O R I E N T E D R E N D E R ER12915.1 音乐生成过程..................................................................................的组成12915.2 调度策略..........................................................................................13115.3 与即兴表演的互动IV“16 S U M M ARY A N D C O N T R I B U T I O NS13717 B E R N A R D L U B AT： D E S I G N O F T E F I R S T P R O T Y PE14117.1 与爵士乐手一起学习：伯纳德·卢巴特14117.2 第144章和我说话17.3 下游控制14717.4 简化、乘法和极限..........................................................................14817.5 “Hybridization”17.6 运输问题..................................................................................................15317.7 结论15518 C O L L A B O R AT I O N S W I T H E X P E R T M U S I C I A NS15718.1 雷米·福克斯15718.2 埃尔韦·塞林...............................................................................16218.3 Michelle Agnes Magalhaes米歇尔·艾格尼丝·马加良斯16918.4 Jovino SantosNeto..................................................................... 17118.5 LouisMazetier路易·马泽蒂埃17218.6 Velonjoro，Kilema，and Charles Kely维隆乔罗，基勒马和查尔斯·凯利 17318.7 “AteliersVC O N C L U S I ON17719 C O N C L U S I ON17919.1 摘要和贡献17919.2 前景182附录185AV I D E O S R E F E R E N C E D I N T H E S I S： L I N K S A N D E-S C R I P T I O NS187A.1使用Improtek................................................................................187的性能和工作会话A.2额外材料：演示，早期作品和实验。191A.3伯纳德·卢巴特：第一个原型.........................................................的设计194A.4音乐家的一些聆听和访谈196A.5档案：其他合作..............................................................................199BI M P L E M E N TAT I ON201B.1一个音乐序列引导生成库。201B.2反应性即兴创作205B.3面向性能的动态定序器..................................................................207CI N T E R V I E W S W I T H E R V S E L L IN209C.1访谈和聆听......................................................................................的翻译209C.2“Three Ladies” Project: Statement of Intent and Impro-visationB I B L I O G R A P HY223图目录在M中的位置共享共同的未来，场景/内存生成模型：示例XIV图1.1爵士标准歌的和弦进行霍勒斯·西尔弗（Horace Silver）从新《真正的书》（Sher，2005）。. . . . . . . . . . . . . .2图1.2从Atys（Lully）提取的Fiferous bass第-第二版，Henri de Baussen，1708年（来源：operacritiques.free.fr）。. . . . . . . . . . . . . . .3图1.3Edgard Varèse：1.《电子诗》选段，1958年（资料来源：giorgiomagnanensi.com）;2.我...为即兴创作的无标题图形乐谱1957年（约翰逊，2012年）。 . . . . . . . . .3图1.4和声的例子（来自Russo，1997年）。. . . . . . . . . . . . . . . . . . . . . . . .6图2.1一个系统的一般方案专用于在-交互式作曲（摘自Chadabe，1977）。. . .17图2.2Omax：双制图（间距和MFCC）一个音乐语料库（来自Lévy，2013）。. . . . . . . 24图2.3Somax：反应式聆听激活不同的反应式聆听一个语料库的几个区域改编自Chemla-Kazu-Santos（2015）（见19.2.1，B.1.3）。 . . . . . . . . .25图2.4以法语风格生成的leadsheet作曲家Michel Legrand（来自Papadopou-los等人，2014）。. . . . . . . . . . . . . . . . . . .27图4.1事件：音乐剧的基本单元奥里。它是由音乐内容和-用标签标注。该方案指导的CON-这些内容的链接以生成机器即兴创作. . . . . . . . . . . . . .44图4.2使用场景来引入预期在音乐创作的过程中。. . . . . . . . .45图4.3使用谐波的即兴创作的例子-phabet：一些方法来即兴秋天叶子用绿色诠释（简化表示：只有最长的面-图5.1tors）。. . . . . . . . . . . . . . . . . . . . . . . . .链S，M（T，iT−1）={k，kJ}的构造：47图5.2一个人，一个人，与事件M[iT-1]一起过去。 . . . . . . . .52图目录XV图5.3在文本Y中索引模式X的前缀[56]图5.4B（i）：X[0].的边界长度的集合X[i].的非平凡事件的位置在X本身中，模式X的所有前缀都是然后从B（矩形）推导出。.........................................57图5.5使用存储器的后缀（因子Oracle存储器的后缀链接函数来遵循非线性路径（延续）或链式断开序列，同时ing musical coherence音乐连贯性........................59图6 - 1即兴表演的创作流程 图8.1 在此期间与场景的可能交互作用aperformance性能.....................................................77图8.2即兴创作系统的总体架构透射电镜........................................................................78图9 - 1临时代 理 人..................................................................84图9.2对生成模型的响应式调用............................................86图9.3临时查询：并发查询.............................................................................图10.1上游和下游流程示意图.................................................................91图10.2启动查询和缓冲预期。91图10.3引导生成过程的阶段图10 - 4即兴计划............................................................................................ 示意图98图12.1面向性能和面向组合的渲染器.........................................................图13.1记录、分段、索引、映射、排序、渲染和同步来自现场音频流。............................................................. 109图13.2生成模型：符号映射/Renderer：弹性时间映射....111图13.3节奏估计，au的同步用非节拍的节拍进行dio渲染................................... 113图13 - 4“声音”中的过程层次T：tempo- ral变量监听前一个变量的更新内部搏动源................................................................. 113图13.5并发进程写入和读取音频存储器................................................................. 114图13.6渲染的自适应控制：连续情况图13.7 渲染的自适应控制：不连续判例117图14.1上游和下游控制和反应性...........................................................124图14.2网络：ImproteK的几个实例与相同脉冲和场景... 126图15 - 1将动态生成过程集成到元分数中（来自Bouche etal. ，2016）。.............................................................. 130十六.图表清单图15 - 2 OpenMusic模型执行示例。 图15 - 3..................................... 短期计划提取流程图..........................................................................................132图15.4即兴渲染器.................................................................图18.1准备好的钢琴的即兴计划，MichelleAgnes..........170图18 - 2 Gaëtan Ro- billard和Isabelle Daëron创作的《AteliersInatendus》.................................................................. 场景proviser.org）...........................................................175图18 - 3一个即兴演讲的注释示例（来源：penserimproviser.org）.............................................175图B.1OpenMusic 7（beta）中的补丁示例记忆：注释音频，场景：音频描述-torprofile....................................................................201图B.2 OpenMusic 6中的补丁示例两个实例具有相同场景............................................................. 的生成模型202图B.3通过使用不同字母链接两个生成过程的自动协调和排列203...............................................................................图B.43-不匹配前缀索引示例（改编自Chemla-Mesu-Santos，2015）。.......................................................204图B.5示例：从电子对位（史蒂夫·赖克）。.................................... 204图B.6在反应补丁中使用即兴处理程序（OM 6）...........206图B.7面向性能的模块，用于记录、映射、排序、呈现和同步多时间dia序列....................................................................... 207介绍1.1论文的范围本论文的重点是介绍人机音乐即兴创作中的结构、创作和控制，通过使用时间场景来指导或创作交互式表演，并讨论了用于即兴创作的交互式音乐系统中计划和反应之间的辩证关系。 这项工作是对机器即兴创作的研究的后续，机器即兴创作被视为通过音乐“记忆”（见第2章）的导航，音乐“记忆”可能由离线语料库组成，也可能由人类音乐家在演奏过程中与系统共同即兴创作的现场音乐的连续捕获组成。 这些研究主要致力于自由-通常非脉冲-即兴：这里介绍的工作将集中在习惯音乐-通常尊重定义的脉冲-并扩展到组成即兴框架的一般主题，从而超越了练习既定习惯用法的问题。例如，当一个即兴演奏者演奏Be-bop或New Orleans时，音符，节奏，措辞...... 并不完全由书面材料或规则以形式化的方式确定，然而音乐家正在演奏“Be-bop”或“New Orleans”。Bailey（1993）区分了习惯性即兴和非习惯性即兴：习语即兴创作- 并从这个习语中获得其身份和动机[...] 非习语即兴创作还有其他的问题，最常见于所谓的“自由”即兴创作中，虽然它可以高度程式化，但通常不与代表习语身份有关。在习语语境中，即兴演奏者处理的是音乐习语隐含的风格规范和美学价值的可接受性问题对于想要播放爵士乐、布鲁斯或摇滚乐的交互式音乐系统也是如此而不限于不允许任何形式的越界或离题的强制性规则即兴音乐的各种曲目依赖于形式化和时间结构化的对象，例如爵士乐即兴创作中的和声进行。同样，我们的目标是设计发电机，112I N T R O D U C T IO N模型和架构的人机即兴依赖于一个广义的正式的时间结构，我们称之为场景。1.2背景和动机本节简要概述了构成本文提出的生成模型和架构设计的动机和隐喻灵感的音乐、民族音乐学和哲学背景。 它集中在主要的top-ics在论文中解决：形式化的时间结构在音乐即兴和他们的发音与音乐记忆，预期行为和反应。1.2.1场景爵士乐、布鲁斯或摇滚乐的即兴创作通常依赖于和弦的进展来定义表演的指导方针 对于民族音乐学家Lortat-Jacob（2007）来说，像图1.1中的例子这样的爵士乐标准绝不是标准，而是音乐家用来发展他们即兴创作的基础或开端。图1.1：《献给我父亲的爵士标准曲》（Ho- race Silver）的和弦进行摘自《新的真正的书》（Sher，2005）。1.2B A C KG R O U N D A N D M O T I VAT I ON 3NO巴洛克风格的通奏低音让演奏者通过右手即兴演奏为左手谱写的数字低音来实现和声，如图1.2所示。即兴在印度拉嘎的不同层次上被引导：在更高的层次上，以不同的长度和特定的身份链接被限制的部分，在这些部分中的每一个内，根据旋律，速度或音域的详细描述建立进化。图1.2：从Atys（Lully）中提取的fibrant bass亨利·德·鲍森（Henri deBaussen）第二版，1708年（来源：operacritiques.free.fr）。这样一个形式化的、时间结构化的对象--不需要用和声词汇来描述--可以在各种习惯性即兴演奏的曲目中找到，也可以在当代音乐中找到。1957年，作曲家Edgard Varèse在EarleBrown组织的一系列星期天下午与爵士乐手（包括Art Farmer和Charles Mingus）进行了即兴创作研讨会，JohnCage也在场。图 1.3 ： Edgard Varèse ： 1. 《电子诗》摘 录 ， 1958 年（ 资 料 来 源 ：giorgiomagnanensi.com）; 2. 即兴创作的无标题图形乐谱的一部分，1957年（来自约翰逊，2012年）。约翰逊（Johnson，2012）描述的这些实验依赖于瓦雷泽创作的图形草图，这些草图是即兴创作的基础（瓦雷泽在他的《电子诗》中使用了一些工作坊的摘录，见图1.3（1））。如图1.3（2）所示，这些分数包含8条线，代表8个未确定的分数。
我的内容管理
展开
