互动艺术装置的设计与复杂性：计算机科学博士论文

艺术装置的计算机科学、电信和电子学博士学院（巴黎）计算机科学和通信研究中心博士论文提交人乌萨马·穆巴拉克支持日期：2018年3月9日获得以下学位：国家艺术与工业学院博士学科/专业：计算机科学论文DIRI gÉEPARM. CUBAUD Pierre巴黎Cnam CEDRIC教授M. BIANCHINI SamuelHDR讲师，EnsadLab，EnsAD-PSL大学巴黎和ncaDREEDBYM. 巴黎第一大学UMR ACT高级讲师BIHANIC David先贤祠-索邦大学，巴黎EnsadLab，EnsAD -巴黎PSL大学报告员夫人。NIGAY Laurence教授，LIG，格勒诺布尔阿尔卑斯大学，圣马丁-德耶尔M. SACKWarren加州大学圣诞老人分校电影与数字媒体教授克鲁兹总统夫人。MÉTAISElisabeth巴黎Cnam CEDRIC教授考试员M. BENAYOUN Maurice城市大学创意媒体学院教授香港、九龙致我的儿子，左拉格摘要在 Radúz Činčera 的 Kinoautomat 、 Edward Ihnatowicz 的 SAM - SoundActivatedMobile和Myron Krueger的Glowflow等作品中，艺术家们在20世纪60年代早期就部署了艺术装置，涉及集体共址互动的新情境，即涉及多个或甚至多个观众通过数字设备在同一地点互动自21世纪初以来，利用实时计算机视觉技术的进步所提供的新机会，以及以移动计算设备的倍增和互虽然这一领域的经验越来越多，但它们还没有成为结构化分析的主题，甚至还没有成为专门工具和设计方法的建议的主题。今天，我们如何设计这样的互动艺术装置，其内在的复杂性涉及技术、社会、认知和审美秩序的问题？本文借鉴了人机交互（HCI）、计算机支持的合作工作（CSCM）和互动艺术研究领域的早期工作，旨在增加我们对艺术从业者和参与者在这种集体互动装置中所面临的挑战的知识，以及更重要的是，在充满希望的未来中设备设计者所面临的挑战。在为数字艺术装置设计集体共址交互时，提供了一套工具和指南。第一个分类系统是围绕着允许集体经验出现的最具决定性的方面而开发的。然后探索了两种不同的方法来找到用于这样的设备的设计和分析的图形建模语言的基础。第二种方法建立在佩特里网的基础上，支持对装置的空间和材料资源进行建模，以及人机、人-人和人-机-人交互。为这项研究进行的调查要求特别强调影响参与者在缺乏协调或预先宣布的目标的情况下共同构建共同审美体验的能力的条件--无论是空间、物质还是人类。虽然这种独特的方法主要涉及互动艺术，但它可能与广泛的研究团体有关，包括但最重要的是，与CSWW一样，音乐表达的新界面（NIME），交互设计，甚至文化，特别是博物馆学。关键词：共定位集体互动，互动艺术，协作，受众参与，佩特里网摘要像自21世纪初以来，利用实时计算机视觉技术的进步和以移动计算设备的倍增和互操作性为标志的无处不在的计算的出现所提供的新机会，这种工作的数量一直在稳步增加。 虽然这一领域的实验越来越频繁，但迄今为止还没有对它们进行结构化分析，更不用说提出专门的工具和设计方法了。今天，我们如何设计这样的互动艺术装置，其内在的复杂性涉及技术、社会、认知和美学问题？本论文借鉴了人机交互（HMI）、计算机辅助协作工作（CCAT）和交互艺术领域的早期工作，旨在为数字艺术装置的共址集体互动系统的设计提供了一套首先，一个分类系统被开发出来，集中在最具决定性的方面，使集体经验的出现成为可能然后探索了两种不同的方法为这项研究进行的调查需要特别关注影响此类设施参与者共同建设能力的条件-无论是空间、物质还是人为条件。在没有编排或预先宣布的目标的情况下的共同审美体验虽然这种独特的方法主要涉及互动艺术，但它也可能与其他研究团体相关，首先包括HMI、TCAO、音乐表达新界面（NIME）、互动设计或文化，特别是博物馆志关键词：共址集体互动，互动艺术，合作，观众参与，佩特里扩展摘要简介早在20世纪60年代，允许观众实时参与的互动艺术装置就随着然而，所使用的互动机制在21世纪初，Dialtones（A Telesymphony）4和Blinkenlight5等项目利用了广泛可用的个人设备--首先是手机--使这些项目更容易向广大受众推出随着21世纪末第一批面向消费者的智能手机的推出，功能强大的移动计算设备变得越来越普遍。这种倍增和计算机终端的互操作性所提供的新机会1 http://www.kinoautomat.cz/index.htm? lang=gbr2http://www.senster.com/ihnatowicz/SAM/sam.htm4http://dada.compart-bremen.de/item/artwork/13474http://www.flong.com/projects/telesymphony/5http://blinkenlights.net/七艺术装置，如Bloc Jam1和Overexposure2，有一个共同的目标：部署原创和前所未有的共址集体互动情境虽然移动 设备中集成的输入 和输出模式的巨大多样性L’un de ces défisimplique la capacité des participants 另一个挑战是适当管理个人和共享界面的注意力负荷，以促进用户的注意力从个人界面转移到共享界面，从而更好地事实上，在2009年和2011年作为塞缪尔·比安基尼（Samuel Bianchini）的Discontrol Party 3项目的一部分进行的早期实验中对互动艺术装置特别感兴趣--很少需要执行特定的任务，并没有规定一个共同的目标来实现，可以作为指导或支持的活动-这篇论文的目的是更好地理解不同的挑战@艺术家在构思这类作品时所遇到的困难，以及参与者所经历的困难，并提出一套工具和指导方针，用于为公众设计促进交互的系统@-位于1http://www.dailytouslesjours.com/project/bloc-jam/2http://www.surexposition.net/3http://dispotheque.org/en/discontrol-party问题本研究旨在更好地理解共同定位的互动艺术装置的不同属性和特征，这些属性和特征阻碍或促进了我们如何设计共同定位的集体互动，以促进此外，本文还探讨了以下重要问题：• 互动作品的哪些方面影响了个人、多个人和集体互动的性质？• 在设计和开发结合了共享和共享用户界面的艺术装置时，应该考虑什么，• 在这样的系统中，我们如何对人机、人与人和/或人与机器之间的交互进行建模，这对艺术家有用吗？研究的实施和方法该论文项目是在CNAM（国家艺术与工业学院）Cédric实验室（计算机科学与通信研究中心）的"阅读与游戏互动"小组的"互动媒体与移动性"小组和EnsadLab（国家装饰艺术学院研究实验室）的"反思互动"小组内共同进行的。- 巴 黎 PSL 大 学 ） ， 并 参 与 了 CoSiMa1 项 目 （ 协 作 情 境 媒 体 -ANR-13-CORD-0010），参与了平台软件模块的开发--特别是用于图形渲染的模块--以及不同原型用户界面的设计和开发，这些原型导致了与公众的实验，在此期间，1http：ensadlab.fr/cosima/可以进行研究和观察除了这些经验，这项研究，结合理论和实践，是基于对以前的工作和出版物的深入审查，以及设计和开发活动与学生，艺术家和研究人员在实践讲习班最新技术水平本章致力于一些关键概念的定义以及基于最新科学定义在本节中，我协同定位交互L’interaction 虽然这个术语已经在许多出版物中使用，但它似乎还没有被正式定义。因此，我建议在本论文的框架内引入以下定义：当一群个体的所有成员共享同一个物理空间，并且每个成员都有能力直接感知群体中的所有其他成员时（即，不使用除用于补偿缺陷或残疾的设备（如眼镜）之外的任何通信设备），则一群每个小组成员还必须能够互动艺术因此，在其最简单的定义中，当艺术作品的实现需要观众的参与时，它可以被认为是交互式的。观众，然后是一个积极的参与者，因此成为作品的一个组成部分审美体验根据Dufrenne（Souriau2010）的说法，从艺术作品的接受者或观众的角度来看他还指出，在本论文的上下文中，我将把"审美体验"一词用来指一种用户体验，这种体验寻求在个人和集体层面上保持性能、行动有效性以及对交互情境的忠实感知和反映之间接口、设备和装置术语接口、设备和设备经常在HMI和交互艺术的上下文中使用 最后两个术语有时甚至可以互换使用。为了避免任何误解，我将试图区分它们，并澄清它们在本文中的含义。如今，术语接口通常是指两个系统之间的公共边界，通过该边界，它们可以通过单向或双向的信息交换进行通信该术语是例如，用于表示软件的入口点和出口点的正式描述，使其能够与其他软件交换信息。除非另有说明，否则术语"接口"在下文中将用于指允许人虽然用户界面是人和机器之间的中介点，但设备通常是复杂的工具或设备，其接收信息或动作、处理信息或动作并将其作为反馈或动作返回。一个设备实际上可以包括提供多种交互方式的多个用户界面。例如，智能手机提供触摸屏、集成扬声器、麦克风、摄像头和在本论文中，术语"设备"将被用来指参与者使用的设备，使他们能够与作品进行术语"设备"有时可与"设备"互换使用。然而，在这里，前者将用于指交互式装置的整个空间、技术和硬件框架，其可以并且经常包括多个设备。最新研究水平在澄清了上一节中的一些最重要的术语之后，我在本节中回顾了与本领域中的共址相互作用相关的问题的研究的最新状态互动艺术Cornock和Edmonds（1973）、Bell（1991）、Graham（1997）、Nardelli（2010）和Winkler（2000）根据不同的特征对互动艺术作品进行了分析和分类，其中一些特征将在下一章讨论。Edmonds等人 （2006），试图检测、理解和评估观众对互动作品的创造性参与。协同定位交互除了社会学领域，它无疑对人类的社会接触和面对面的互动非常感兴趣--特别是通过Goffman（1966）、Boudon（1979）和Zhao（2003）的工作--HMI和TCAO社区在过去十年中也对为共址互动设计的系统表现出了越来越大的兴趣（Myers et al.1998年; Greenberg等人。 1999年; Luyten和Coninx 2005年; Isenberg 2009年）。然而，这些领域的研究主要集中在为有经验的用户设计的系统上Kaviani et al.（2009a，b）、Reeves（2008）、Ludvigsen（2006）和Bedwell（2010）等研究了公共空间大屏幕界面设计的困难，很少有人对公众使用感兴趣相互承诺还有一些人探索了新的交互式方法来吸引用户彼此通信和协作（Krogh等人，2000）。 2004年; Maynes-Aminzade等人，2002年; Isenberg等人，2010年; d'Alessandro等人，2012年; Dahl等人，2013年; 2011年），但也关注那些旨在为知情公众工作的系统，或需要审核或编排以引导用户操作和指导系统反应的系统。走向共同局部化的集体相互作用分类法在对广泛的现存作品进行深入考察和分析的基础上，我在本章中提出了对艺术装置进行分类的建议对于那些在我看来对集体体验的出现有重大影响的方面，进行共同定位的集体互动现有艺术装置列表表3.1列出了根据以下标准选择的项目：• 数字互动艺术在这项研究中，我选择只考虑那些被认为是用计算机技术创造的互动艺术品的项目。• 很少或根本没有由于这项研究特别关注的是在• 与视觉本研究• 专为协同定位就我的主题而言，只有那些专门设计的项目，允许几个人在一个共同的空间同时积极参与，才分类的维度我主要对影响共同体验的性质和• 规模L’échelle d’une œuvre indique le nombre de participants actifs simultanéspouvant 主要由他们决定在可用的物质和空间资源范围内，这一因素对集体经验的性质有着明显的影响• 相互作用方式互动模态它还决定了与作品互动所需的注意力类型• 入口和出口的分布这两个维度都与输入和输出接口的分布程度（集中式、部分分布或完全分布）• 信息反馈的可归因性参与者感知 J’ai choisi d’évaluer l’attribuabilité sur une échelle relative detrois valeurs : 强的可归因性意味着很容易感知和理解一个人的行为和反馈之间的相关性• 活动类型无论是孤独的、合作的还是竞争的，作品所要求的活动是塑造个人和集体体验的另一个因素。 当几个参与者或一组参与者必须竞争并确定获胜者时，竞争性活动就涉及到了• 参与对称性参与的对称性在Bell的论文（1991，p.22）。参与者可以平等地参与不同活动的作品被认为是对称的，而参与者扮演不同角色的作品被认为是不对称的。这一因素可能会对集体组织产生影响， 因 为 它 可能 会 刺 激 不 同 角 色 的 参 与 者 之 间 的 讨 论 和 谈 判 ， 以 实 现 某 种 结果 。受孕原因图中的图形。 3.8和图 3.9将每一个抽样作品分为七个维度。每个维度都有不同的颜色，维度值由饱和度降序表示，降序与它们出现的顺序相同为了克服阅读这样一个复杂图的困难，可以在www.example.com radial-heatmap上在线获得一个交互式版本http://thesis.semiaddict.com/，并且以桑基图的形式显示了数据的替代视图，如图所示。 3.10.从这些图表中可以看出，令人惊讶的是，规模和可归因性似乎都没有与其他维度直接相关。事实上，唯一可辨别的相关性似乎是投入和产出的分布之间的相关性。事实上，图3.9c表明，当输入集中时，输出也集中，但相反的情况不成立。该图还表明，当输出也完全分布时，输入也完全分布。我们还可以注意到，几乎一半的作品将环境互动模态与集中输入和输出相结合，大约23%的作品除了规模之外案例研究本文所述的工作是在ANR（国家研究机构）资助的CoSiMa1（协作情境媒体）研究项目的框架内进行的由六个参与者（IRCAM2、EnsadLab3、Orbe4、IDScènes5、Nodesign6和Esba TALM7）组成的联盟在2015年至2017年期间制作，该项目的目标是建立通过研讨会、原型和用户研究在本章中，我们将简要介绍CoSiMa平台，并讨论从CoSiMa项目的各种实验中吸取的一些主要教训。上下文为了实现其目标，CoSiMa项目利用了两个技术突破：（1）这两项技术突破相结合，使得参与式多媒体装置的开发和快速部署成为可能1http://cosima.ircam.fr/2https://www.ircam.fr/3http://www.ensadlab.fr/4http://orbe.mobi/5http://www.idscenes.com/6http://www.nodesign.net/en/http://www.esba-talm.fr/ 7CoSiMa平台该平台由几个独立和相互依赖的软件和硬件组件组成，支持各种各样的应用，包括多用户交互式艺术装置、声音增强现实体验和参与式视听Mobilizing.jsEnsadLab团队由Dominique Cunin、Jonathan Tanant和我本人组成，在SamuelBianchini的指导下，负责设计和实现图形引擎以及用于管理图形界面的模块。EnsadLab已经在开发中，作者软件环境Mobilizing.js 1已在CoSiMa平台中用于此目的。除此之外，核心案例：集体循环Collective Loops2是一个实验性的装置，它实现了一个八步循环音序器的协作版本参与者可以访问两个用户界面：（1）智能手机上的一个独立界面，允许他们修改发出的声音;（2）一个直径约3米的共享圆形地板图4.2中的示意图提供了一般配置的概述。1http://www.mobilizing-js.net2http://cosima.ircam.fr/2015/11/25/collective-loops-forum-workshops/在2015年6月的IRCAM开放日期间，原型的第一个版本被部署并在公众中进行测试这第一次与公众的对抗使我们它还允许我们经过几周的开发，原型的第二个改进版本出现了，并于2016年11月在IRCAM的论坛研讨会上组织了新的公开部署J’ai saisi cette occasion pour mener une étude qui visait à vérifier l’hypothèseque révéler les choix de tous les utilisateurs sur l’interface commune et partagéefavoriserait 因此，在本比较研究中测试了两种不同版本的投影到地面的共享界面（如图4.6所示）：（a）参与者的选择显示在界面上，同时显示阅读头的当前位置，（b）仅显示根据参与者对他们参与集体过程的印象以及他们创造令人满意的共同结果的能力该研究没有明确确定所有参与者然而，这个实验和其他实验对CoSiMa项目和我的研究都非常有吸取的经验教训将在下一节中讨论吸取的教训吸引人，支持者，关系者。和促进者Edmonds et al.（2006）描述了互动装置的某些方面，这些方面可能会影响参与者参与度的变化。他们这些方面被称为创造性参与的属性支持者和叙述者。其中一些方面的影响在集体循环和过度曝光中得到了很好的观察。然而，我们似乎可以添加第四个属性：促进者，指的是装置的那些方面，它们在最初阶段简化或促进了相遇，事实上与界面的直观性和示能密切相关。为了给维持者腾出空间，可能有必要逐渐减少促进者，慢慢增加交互的复杂性或系统的交互可能性，否则体验可能会互动节奏中的冲突在互动艺术装置中，参与者通常可以在任何时候自由地加入和离开体验，这对集体体验的性质和出现的可能性这在专门为协作设计事实上，一个新的参与者的到来或一个积极的参与者的离开会极大地破坏一个合作的需要进一步的研究来评估参与者的到来和离开对集体和协作参与的影响界面的注意力权重在多屏幕和多感官环境中，涉及到另一个设计挑战：参与者的注意力管理。事实上，集体循环的参与者在整个参与过程中面临着不少于四个注意力来源(3) 单个设备发出的声音，以及（4）它们与其他设备的协作