交互式媒体创作：一种逻辑时间方法让-迈克尔·塞勒里耶引用此版本：让-迈克尔·塞勒里埃。创作互动媒体：一种逻辑时间方法。计算和语言[cs.CL]。波尔多大学，2018年。英语。NNT：2018BORD0037。电话：01947309HAL ID：电话：01947309https://theses.hal.science/tel-01947309提交日期：2018年12月HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire波尔多大学博士论文（法语）数学与计算机科学博士学院提交人让-迈克尔·塞勒里耶要获得的等级波尔多大学博士（博士）专业化信息学论文题目：交互式媒体创作的逻辑-时间方法于2018年3月29日在评审团面前进行了辩护，评审团由以下人员组成：夫人。Nadine Couture总裁M. 让·布列松报告员M. Stéphane Natkin报告员夫人。Myriam Desainte-Catherine博士生导师M. Jean-Michel Couturier审查员M. 米勒·普基特检查员i摘要交互式媒体设计的问题一个反复出现的主题是交互式多媒体对象的临时规范问题：如何创建多媒体演示文稿，其过程考虑到系统外部的事件。这个问题与另一个应用领域有关，即音乐，更具体地说，是交互式乐谱：其解释可以根据乐谱给出的指示随时间变化的音乐作品。在这两种情况下，都需要指定将由系统编排的媒体和音乐数据这是本文第一部分的主题，该部分提出了一个适用于多媒体应用程序设计的模型，以解决分布式访问和远程控制以及文档问题。一旦定义了该模型，我们就从适应于实时音乐的环境中的当前数据流系统中汲取灵感，构建一个计算环境，该计算环境特别地，在该数据模型中引入了永久环境的概念与仅基于显式系统节点之间的通信的解决方案相比，它简化了音乐计算中的一些常见用例，并提高了性能。最后，引入了一个时间图结构：它允许定义在交互式分区的给定时刻将处于活动状态的数据图部分。特别地，在同步和延迟展开的上下文中研究数据图对象之间的连接引入了一种可视化编辑语言，随后在分布轴下研究时间结构。特别地，它表明，时间结构最后，我们介绍了该系统如何允许重新创建许多现有的音乐系统：音序器，现场循环器，和补丁，以及新类型的多媒体行为成为可能。ii摘要交互式媒体设计是一个随着计算机开始显示视听能力而很快被研究的领域。一个共同的研究主题是交互式媒体对象的时间规范：如何创建多媒体演示文稿，其中时间表考虑到系统外部的事件。 这个问题与另一个研究领域是共享的，这是互动音乐和更准确的互动分数。 也就是说，音乐作品的表现将随着时间的推移而演变，根据给定的分数。在这两种情况下，都有必要指定由系统编排的媒体和音乐数据：这是本文第一部分的主题，它为多媒体应用程序的设计提供了一个该模型简化了分布式访问和远程控制问题，并解决了文档相关问题。一旦定义了这个模型，我们就从音乐编程中使用的众所周知的数据流系统中获得灵感，构建了一个计算结构，可以控制和编排先前定义的应用程序，以及处理视听数据输入和输出。具体地说，在数据流模型中引入了永久环境的概念：它简化了创作交互式媒体和音乐时常见的多个用例，并与纯基于节点的方法相比提高了性能。最后，提出了一个时间树结构：它允许对数据图的部分进行时间评分。特别地，数据图的节点在同步和延迟情况的上下文中被研究。引入了一种可视化编辑语言，允许在统一先前引入的元素的图形模型中创作交互式分数。然后从分布的角度研究了时间结构：我们特别证明，通过假设时间结构的特定对象的并发执行，有可能获得额外的表达能力。最后，我们讨论了该系统如何能够创建多个现有的媒体系统：音序器，活循环器，补丁程序，以及新的多媒体行为。iii10谢谢你如果没有我周围的人的帮助和奉献，这篇论文是首先，我要感谢我的主管Myriam和Jean-Michel，他们为我的研究进展和我想进行的开发提供了一切支持;这个软件的创建使我能够实现我心中长期以来的想法，并使我能够融入计算机科学研究、艺术创作和开发的世界。当然，感谢蓝雪人和SCRIME的朋友们，他们欢迎我，支持我，喂养我，有时甚至给我住宿! Magnolya，Annick，Pierre，Thibaud，Gyorgy，Pierrick，Laurent，Julia，Raphaël，你们都很棒。感谢所有与我一起沉浸在C++开发黑暗世界中的实习生和项目组：Lucile、Maxime、Eric、Nicolas、Kinda和许多其他人，你们特别勇敢。我亲爱的家人一直在努力为我提供一个能让我集中注意力和工作的环境，从不质疑我的选择：爸爸，妈妈，拉斐尔，我非常爱你。我的朋友，我的亲人，朱利安，希米托，巴齐尔，尼古拉斯，皮埃尔，埃米利安，皮埃尔-玛丽，埃里克，西蒙，昆廷，和所有那些还有你!OSSIA和周围项目的优秀团队 ，Pascal，Théo，Julien，Renaud，Antoine，Mathieu，François，Clément，Jaime。 和你一起工作从开始到结束都是一种乐趣，当然也是我所能拥有的最有价值的经历之一。又来了。最后，Akane，你在这篇论文的每一天都在那里，在我深夜睡觉和清晨起床的时候支持我，在我最困难的时候鼓励我：很少有人会有这样的勇气。谢谢你和我在一起的每一刻，让我在不顺利的时候继续前进。我iv法文摘要本CIFRE论文旨在回答互动媒体创作中的常见问题，主要是在艺术和音乐背景下，但不限于特定领域。本论文的介绍分为三个部分：• 第一部分介绍了问题，提出了最新的技术水平和研究目标，一方面与现有的模型进行比较，另一方面考虑到创造性研究产生的基于Eaglestone[1]、Turner[2]和Resnick[3]的工作，作者对设计软件以最大化用户创造力的方法特别感兴趣。• 第二部分介绍了所提出的执行交互式分区的模型，并详细介绍了作者软件的实现。• 第三部分介绍了该模型在实际用例中的应用这项工作的主要问题之一是时间流和程序执行之间的联系：我们如何有效地对一个程序进行建模，该程序的行为根据程序作者计划的外部交互随时间演变。 为了回答这个问题，我们选择基于由MyriamDesainte-Catherine [4]、Antoine Allombert [5]、Mauricio Toro [6]、Jaime Arias [7]开发的交互式分数理论，该理论与交互式多媒体应用领域（交互式媒体）有关。第2章详细介绍了现有的模型，不仅用于交互式乐谱，而且用于交互式多媒体和计算机辅助音乐创作的更一般的主题。本文的重点之一是在交互式分区中引入计算：给出了一种同步语义，用于执行产生可被其他进程重用的结果的与传统的执行模型相比，这个框架增加了一个困难：即使不是所有的计算节点都处于活动状态，也要寻求一致的执行。为此，向作者提出了几种工具;这些工具在本文中进行了描述。首先，我们建议将现有的交互式应用程序建模为与特定领域元数据相关联的参数树，详见第4章。 该模型提供了分布式系统的简单视图，在不同的机器上使用不同的专用软件（用于声音、视频、灯光等）。特别地，定义了设备树的概念（定义4），其将复制真实设备或软件的状态的数据树与通信协议相关联 特别地，设备的节点与定义域和在该域的边界处的行为相关联，以及允许考虑多媒体实践所需的常见情况的单元系统，例如颜色编码、音量表示或笛卡尔或极坐标位置。在此树上定义的操作在第4.2节中介绍：同步或异步地从此树读取和写入数据，以及在最后，介绍了几个支持这些操作的协议，包括在本文中部分实现的OSCQuery。v音频、OSC、MIDI...图1 1. ：执行的一般方案然后在第5章中介绍了一个用于 该模型基于数据流图。 我们在图的节点上引入了激活的概念，以便能够考虑图的某些节点不活动的情况--使用的一个比喻是吉他踏板，其中所有的踏板不一定同时活动，但信号继续从吉他流到放大器。该图如何工作的规范部分基于Arumi [8]和Jamoma AudioGraph项目[9]的工作。我们引入了两个要素：• 一种环境，用于指定节点如何读取和写入第4章中描述的设备树中的数据。 此环境在第5.3节中介绍。• 节点之间的不同类型的连接，允许管理不同的执行情况：直接和延迟连接，以及贪婪和严格连接。 定义20中描述了这些类型。讨论了几种可能的执行语义：提出了能够满足不同需求集的parametrized方法，特别是关于可能的调度方法以及合并发送的消息的方法。一旦定义了这个数据图，我们将在第6章中构建一个过程执行的时间规范模型，它将定义数据图中的节点何时处于活动状态或处于非活动状态。 该模型基于两个元素，这两个元素允许一方面定义要执行的过程的层次结构，另一方面定义时间结构：时间间隔可以包含过程，并且由瞬时条件（瞬时条件）开始和结束，瞬时条件本身由时间条件（时间条件）携带。第6.1节介绍了设备树参数之间的布尔表达式的一种简单形式，该表达式带有一个额外的运算符，允许在异步接收消息的情况下进行通知：这些表达式用于触发和检查时间和瞬时条件。引入了两个特定过程：时间图的执行环境中的写作根部滴答声数据图的执行环境的恢复外部世界vi• 该场景是时间元素的无循环有向图• 循环允许您重复任意次数的间隔。区间可以包含任意数量的进程，包括方案和循环，从而允许任意的进程层次结构。附录A和B中给出了执行这两个过程的算法。然后，我们考虑第6章中的时间图和第5章中的数据图的组合：结合几个允许参数化执行的函数，这使得在第7章中定义交互式计算分区的概念成为可能。具体地，时间图的每个过程和间隔与数据图的节点相关联。本章特别介绍了如何使用该模型来实现分层音频混合，即根据进程的分层位置自动创建数据图中的连接。图7.2（如图1所示）显示了系统的一般操作一旦定义了模型，我们就因此，我们正在寻找一种合适的形式图7.6（如图2所示）在一个示例场景中显示了此语法的主要元素。然后，在第9章中，我们提出了这个模型的扩展，用于分布式场景的定义：我们试图表达某些部分必须在不同的机器上并行或串行运行的场景。我们引入了几个概念：文档的概念，这在分布式创作系统中很常见，以及客户端和客户端组的概念客户端是组的一部分，文档对象用组和分布标记。 这些注释允许您选择所需的同步程度，并在同步和延迟需求之间进行权衡。该环境的主要实现将在第10章中介绍。 它是以两个自由软件的形式实现的：• libossia 1是一组库（用C++编写），允许网络通信并实现用于执行时间图和数据结构的算法。Libossia的 移 植 已经 在 大 多 数 创 造 性 编 码 环境中实现： Max/MSP 、 PureData 、SuperCollider等。• ossia score2是 它基于插件体系结构，允许使用新的过程和协议轻松扩展软件。OssiaScore的屏幕截图如图3所示。第10.4节提供了本论文第二部分提出的各种方法的性能特征。 特别值得注意的是，第10.4.6节中对平均运行时时间和抖动的分析表明，该软件能够在具有简单场景的非实时操作系统（Linux）上以大约50微秒的最后期限运行。我们在第11章中讨论了该系统的各种应用：1https：github.com/OSSIA/libossia2https：github.com/OSSIA/scoreviiABDGC条件交互点状态EHF时间同步（TC）时间间隔时间流的方向图1 2.：建议的视觉语言水平虚线表示时间不能中断，而水平虚线表示执行可以在该点中断，以便在响应外部事件而执行分区之后继续。在本例中，执行过程如下：间隔A运行一段固定的时间。当它结束时否则，在一段时间之后，B中的时间流到达以交互点为中心的灵活区域如果发生交互，则B如果不存在，则当达到B的最大边界时，D开始。就像A的结果一样，一个条件将允许或不允许G的执行。 在所有情况下，C都在A之后开始执行。C正在等待交互，没有过期时间如果viii图1 3.：Ossia Score中的乐谱示例左侧面板显示中间部分是当前打开的分区右侧面板是一个检查器，显示有关当前选定对象的信息• 首先，我们将该模型与交互式媒体系统中常用的其他模型进行了比较 我们还讨论了模型演示中未涉及的问题：特别是如何处理运行时速度的变化。• 第11.4节表明，所提出的模型允许重新实现流行音乐软件（如多轨音序器、循环播放器或补丁程序）中的大多数现有模型，并进一步提出了从软件提供的交互式创作范式的组合中出现的新的可能应用。• 第11.5节介绍了不同艺术家使用本论文中开发的多个版本的软件环境制作的场景、表演和装置。最后，我们通过打开这个环境的演变的几个视角来结束：用于编写场景的文本语言的可能性，以及将分发机制扩展到除了时间图之外的数据图的执行的可能性x内容I.引言21. 导言41.1. 动机和职位。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 41.2.问题空间。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...61.3.方法和途径101.4.捐款111.5.组织121.6.出版物132. 最新技术水平162.1.交互式多媒体162.2.建模多媒体软件192.3.反应式系统212.4.音乐环境232.5.分布式多媒体302.6.互动评分322.7.结论353. 目标和目的363.1.导言363.2.背景和讨论363.3.目标行为413.4.引言例473.5.问题曝光与目标503.6.结论51II. 基于时间的交互式媒体534. 交互式媒体的模型和控制564.1.数据与环境564.2.设备树：操作、注意事项和使用4.3.结论655. 数据图665.1.导言665.2.持续时间和令牌69十5.3.环境705.4.图形结构715.5.图形执行785.6.闭幕词90内容6. 时间进程树926.1.条件和表达式926.2.时间对象946.3.时间图：场景966.4.循环1006.5.结论1017. 时间树和数据图的1047.1.时间过程树和数据图之间的关系7.2.分层音频混音1057.3.根据分数进程顺序106自动建立依赖关系7.4.主刻度算法1077.5.执行行为1077.6.结论111III.利用Model1128. 语言交互1168.1.视觉语言1168.2.编辑1238.3.代表执行1288.4.执行偏移量1288.5.反应式编辑机制和实时编码1308.6.结论1339. 分配注意事项1369.1.导言1369.2.方法1369.3.分布式执行说明1389.4.语义学1439.5.结论145IV.实施和实际应用14710. 实施15010.1. Libossia：通用软件设计15110.2. ossia评分，用户界面16610.3. 可扩展性和节点创作17010.4. 绩效考虑173xii10.5. 结论18311. 关于184型的讨论11.1. 执行速度管理18411.2. 与现有型号的18611.3. 可能不一致的方案及其解决办法188xii内容11.4. 工具箱和常见模式。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...19011.5. 应用程序. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...19911.6. 结论. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...209五. 结论21012.结论性意见21212.1. 透视：一种用于创作的声明性语言. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21312.2. 透视图：数据图的分布。... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21312.3. 视角：环境中的抽象。.... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21312.4. 视角：范围界定。... ... ... ... ... ... ... ... ... ... ... ... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21412.5. 透视：空间表征与推理. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21412.6. 视角：形式可用性研究... ... ... ... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...21412.7. 视角：实时传输。... ... ... ... ... ... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...214词汇表216参考书目220附录234A.场景执行算法236A.1. 公用事业。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...236A.2.临时条件的执行。. . . . . . .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...238A.3. 主执行算法。... ... ... ... ... ... ... ... ... ... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...240B. 循环执行算法244B.1. 在非交互式情况下执行循环。... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...244B.2. 交互式案例中的循环执行。... ...... .... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...245C.午夜语法。248D.语法表达式250十E.设备统计252F. 评分统计256xiv
我的内容管理
展开
