HAL Id: tel-00772138https://theses.hal.science/tel-00772138Submitted on 10 Jan 2013HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not.The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.A body-centric framework for generating and evaluatingnovel interaction techniquesJulie WagnerTo cite this version:Julie Wagner. A body-centric framework for generating and evaluating novel interaction techniques.Other [cs.OH]. Université Paris Sud - Paris XI, 2012. English. NNT : 2012PA112334. tel-00772138UNIVERSIT´E PARIS-SUD´ECOLE DOCTORALE D’INFORMATIQUE DE PARIS-SUDLABORATOIRE DE RECHERCHE EN INFORMATIQUEINRIA SACLAY–ˆILE-DE-FRANCEDiscipline: InformatiqueTH`ESE DE DOCTORATsoutenue le 6 D´ecembre 2012parJulie WAGNERA Body-centric Framework for Generating andEvaluating Novel Interaction TechniquesDirecteur de th`ese :Wendy MACKAYDirecteur de Recherche (Inria Saclay–ˆIle-de-France)Co-Directeur de th`ese :St´ephane HUOTMaˆıtre de Conf´erences (Universit´e Paris-Sud)Composition du jury :Rapporteurs :Mountaz HASCO¨ETMaˆıtre de Conf´erences, HDR (Universit´e Montpellier II)Celine LATULIPEAssociate Professor (University of North Carolina at Charlotte)Examinateurs :Steven FEINERProfessor (Columbia University, New York)Anne VILNATProfesseur (Universit´e Paris-Sud), Pr´esident du juryiiiTable of ContentsTable of ContentsviiiAbstractixR´esum´exiAcknowledgmentsxiii1Introduction11.1Thesis Statement. . . . . . . . . . . . . . . . . . . . . . . . . .41.2Research Approach . . . . . . . . . . . . . . . . . . . . . . . . .41.3Thesis overview . . . . . . . . . . . . . . . . . . . . . . . . . . .52Multi-surface Environments: Users, Tasks, and Design Challenges72.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72.1.1A Real-world Scenario . . . . . . . . . . . . . . . . . . .102.2The WILD Room. . . . . . . . . . . . . . . . . . . . . . . . . .132.2.1User-centered Research Approach . . . . . . . . . . . .14Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14ivTable of ContentsTasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14Work Strategies . . . . . . . . . . . . . . . . . . . . . . .142.3Interaction Design Challenge. . . . . . . . . . . . . . . . . . .152.4Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173A Body-centric Design Space for Multi-surface Interaction213.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223.2Related Work. . . . . . . . . . . . . . . . . . . . . . . . . . . .233.3BodyScape: A Framework for Body-centric Interaction. . . .243.3.1Motor Assemblies. . . . . . . . . . . . . . . . . . . . .25Input Motor Assembly . . . . . . . . . . . . . . . . . . .25Output Motor Assembly . . . . . . . . . . . . . . . . . .263.3.2The Spatial Relationship between the Body and the Sur-rounding Interactive Environment . . . . . . . . . . . .26Input Motor Assembly: Body-relative vs. World-fixed .27Output Motor Assembly: Body-relative vs. World-fixed283.3.3Body Restriction in The Environment . . . . . . . . . .28ClassifyingAtomicInteractionTechniquesusingBodyScape . . . . . . . . . . . . . . . . . . . .313.3.4Compound Techniques in Multi-Surface Environments33Composing Input Motor Assemblies to a CompoundTechnique . . . . . . . . . . . . . . . . . . . . .34Input Motor Assemblies and Affected Body Parts . . .35Table of ContentsvInteraction Effects of Compound Interaction Tech-niques in Parallel. . . . . . . . . . . . . . . .363.4Formal Description of Interaction Techniques with BodyScape393.5Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .413.6Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .424The Effect of Support on Input Motor Assemblies434.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .434.2Motivation for Bimanual Interaction with the Support Hand .444.2.1Related Work . . . . . . . . . . . . . . . . . . . . . . . .454.3Preliminary Study: How do People Hold Tablets?. . . . . . .464.3.1Results . . . . . . . . . . . . . . . . . . . . . . . . . . . .474.3.2Design Implications. . . . . . . . . . . . . . . . . . . .484.4The BiPad Prototype . . . . . . . . . . . . . . . . . . . . . . . .494.4.1BiPad Toolkit and Applications . . . . . . . . . . . . . .494.4.2BiPad Interaction Techniques for the Non-DominantSupport Hand . . . . . . . . . . . . . . . . . . . . . . . .504.4.3Sample BiPad Applications . . . . . . . . . . . . . . . .514.5Classifying Tablet Holds . . . . . . . . . . . . . . . . . . . . . .524.5.1Kinematic Chain Theory: Modeling Bimanual Action .534.5.2BiTouch Design Space: Framing, Support, Interaction .544.6Evaluating Interaction with the Support Hand . . . . . . . . .574.7Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60viTable of Contents4.7.1Q1: Bimanual BiPad vs. one-handed interaction . . . .604.7.2Q2: BiPad tradeoffs: HOLD×ORIENTATION by TECHNIQUE614.8Discussion and Conclusion. . . . . . . . . . . . . . . . . . . .644.9Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .665Interaction Effects between Input Motor Assembly and AffectedBody Parts695.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .695.1.1Related Interaction Techniques . . . . . . . . . . . . . .715.2Studying On-body Touch and Mid-air Pointing as a Com-pound Technique . . . . . . . . . . . . . . . . . . . . . . . . . .725.3Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .745.3.1Method . . . . . . . . . . . . . . . . . . . . . . . . . . . .765.3.2Results . . . . . . . . . . . . . . . . . . . . . . . . . . . .795.3.3Q1: Efficiency & Acceptability of On-body Targets . . .80Qualitative measures of Preference and Social Acceptance 815.3.4Q2: Performance Trade-offs for compound techniques82Pointing Only task . . . . . . . . . . . . . . . . . . . . .82Compound POINTING+BODY task . . . . . . . . . . . . .835.4Discussion and Conclusion. . . . . . . . . . . . . . . . . . . .875.5Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .886Interaction Effects between Two Input Motor Assemblies896.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89Table of Contentsvii6.2Motivation and Related Work . . . . . . . . . . . . . . . . . . .916.3Design Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . .936.3.1Task Analysis . . . . . . . . . . . . . . . . . . . . . . . .936.3.2Choice of Input Motor Assembly . . . . . . . . . . . . .946.3.3Investigating Twelve Pan-and-zoom Navigation Tech-niques. . . . . . . . . . . . . . . . . . . . . . . . . . . .976.4Results and Discussion . . . . . . . . . . . . . . . . . . . . . . .1016.4.1Movement Time. . . . . . . . . . . . . . . . . . . . . .1016.4.2Overshoots. . . . . . . . . . . . . . . . . . . . . . . . .1046.4.3Qualitative Results . . . . . . . . . . . . . . . . . . . . .1056.4.4Individual Techniques . . . . . . . . . . . . . . . . . . .1066.5Discussion and Conclusion. . . . . . . . . . . . . . . . . . . .1076.6Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .1087Conclusion and Future Work1097.1Interaction techniques from a new perspective . . . . . . . . .1117.2Exploring compositions of input and output motor assemblies111Publications113Refereed International Journals and Magazines . . . . . . . . .113Refereed International Conferences . . . . . . . . . . . . . . . .114Refereed Domestic Conferences . . . . . . . . . . . . . . . . . .114Demos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .114viiiTable of ContentsBibliography126List of Figures133List of Tables135Appendices139A WILD: Technical Equipment139BOn-body Touch Prototype141B.1The Interaction Module. . . . . . . . . . . . . . . . . . . . . .142B.2Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . .143C Selected Publications147BiTouch and BiPad: Designing Bimanual Interaction for Hand-heldTablets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149A Body-centric Design Space for Multi-surface Interaction. . . . .159Mid-air pan-and-zoom on wall-sized displays. . . . . . . . . . . .169ixAbstractThis thesis introduces BodyScape, a body-centric framework that accounts for how users coordi-nate their movements within and across their own limbs in order to interact with a wide rangeof devices, across multiple surfaces. It introduces a graphical notation that describes interactiontechniques in terms of (1) motor assemblies responsible for performing a control task (input motorassembly) or bringing the body into a position to visually perceive output (output motor assem-bly), and (2) the movement coordination of motor assemblies, relative to the body or fixed in theworld, with respect to the interactive environment.This thesis applies BodyScape to 1) investigate the role of support in a set of novel bimanual in-teraction techniques for hand-held devices, 2) analyze the competing effect across multiple inputmovements, and 3) compare twelve pan-and-zoom techniques on a wall-sized display to deter-mine the roles of guidance and interference on performance.Using BodyScape to characterize interaction clarifies the role of device support on the user’s bal-ance and subsequent comfort and performance. It allows designers to identify situations in whichmultiple body movements interfere with each other, with a corresponding decrease in perfor-mance. Finally, it highlights the trade-offs among different combinations of techniques, enablingthe analysis and generation of a variety of multi-surface interaction techniques. I argue that in-cluding a body-centric perspective when defining interaction techniques is essential for address-ing the combinatorial explosion of interactive devices in multi-surface environments.0关键词：多表面交互，以身体为中心的设计空间，双手交互，平板电脑，BiTouch设计空间，BiPad，多尺度界面，平移和缩放，导航，大型墙面显示，空中交互技术。0x 摘要0xi0摘要0这篇论文介绍了BodyScape，一个描述用户在与各种输入设备和多个显示表面进行交互时如何协调身体部位运动的设计空间。BodySape引入了一种图形符号来分析交互技术，包括：（1）执行原子交互任务的引擎组合（输入引擎组合）或将身体定位到系统输出的引擎组合（输出引擎组合）；（2）协调这些引擎组合相对于用户身体或交互环境的运动。我们将BodyScape应用于以下方面：1）研究新的双手交互技术在移动设备上的角色；2）分析交互过程中并发运动的影响；3）比较多尺度交互技术在大型显示墙上的效果，以评估引导和干扰对性能的影响。通过对BodyScape交互的特征化，我们可以更清楚地了解交互设备的支撑对用户平衡的影响，从而影响使用的舒适度和性能。设计空间还允许交互设计师识别可能的运动干扰情况，从而降低性能和舒适度。最后，BodyScape揭示了在多表面环境中组合多种交互技术时需要考虑的权衡，从而实现多样化的交互技术分析和生成。总的来说，本论文主张采用以身体功能为中心的方法来掌握在设计多表面环境的交互技术时日益增多和复杂的输入设备。0关键词：多表面交互，以身体为中心的设计空间，双手交互，平板电脑，BiTouch设计空间，BiPad，多尺度界面，平移和缩放，导航，大型墙面显示，空中交互技术。0xiii0致谢0我要感谢在我博士三年期间陪伴我的所有人，他们（并不总是知道）在我的思想和观点上对我产生了巨大的影响。首先，我要感谢我的两位导师Wendy E. Mackay和St´ephaneHuot，他们是两位了不起的研究者，我有幸从他们那里学到了很多东西。Wendy，感谢你欢迎我加入你的实验室，并给我机会去国外工作。你给了我自信、动力和下一步的思路，当我带着问题走进你的办公室时，你总是不断提醒我要寻找内心的“直觉”，这种直觉在无意识中驱动着我的兴趣和研究。我很享受从你的人机交互经验和“魔法”写作技巧中学到的东西，并将继续将你教给我的一切应用到我的未来工作中。St´ephane，感谢你作为朋友和导师一直在我身边，特别是在我看不清事物本质时。你教会了我很多有用的工作方法，我将继续用它们来丰富我的工作。你对我想法和研究的支持是巨大的。我很欣赏你的研究能力和技术能力，并且很享受与你一起工作的时光。我受益匪浅的教育也要归功于整个INSITU团队。你们热情友好，给予支持，我特别喜欢与你们一起进行研究讨论以及其他任何话题的讨论。特别感谢我的博士同学MathieuNancel，他与我同时写并提交了他的论文。Mathieu，感谢你倾听我所有的“小”问题，并让我每天都笑个不停。我很享受与你一起工作、讨论想法、编程和进行实验的时光。晚上的啤酒是锦上添花，我们关于世界的奇怪讨论让人放松。我感谢我的父母Ernst和Farangis，我的兄弟Marcus、Marcel和Jean对我的指导，以及我的好朋友Michael Marcic、Anne Hunfeld和NinaBastian一直以来对我的支持。最后但并非最不重要的，我要感谢我的评委C´eline Latulipe、MountazHascou¨et、Steven Feiner和Anne Vilnat为审查我的论文所付出的时间和努力。0xiv 致谢110“我们正处于一个我称之为‘组合创新时期’的时期。所以如果你回顾历史，你会发现在某些历史时期，会有不同的组件部件可供创新者组合或重新组合以创造新的发明。”0Hal Varian，Google首席经济学家0介绍0计算从单一盒子分散到嵌入环境中的许多计算机，并且发生了尺寸和形状的变化。身体构造从稳定的坐姿变为动态变化的构造，涉及到交互中的大型身体部位。我对研究多表面环境中的交互感兴趣，这需要跨设备、自由手和全身输入的交互技术来支持用户的工作策略。在这样的环境中进行交互设计面临着设备上、设备间、自由手和全身输入的组合爆炸。以往的研究已经研究了个别的交互技术。然而，我们在探索新技术和交互设计以及理论基础之间面临着不平衡。我提出了一种以身体为中心的交互分析方法，通过确定影响人类运动控制的关键维度。我认为，以身体为中心的分类法使我们能够通过描述所执行的身体输入动作来描述交互技术，而不受技术实现选择的影响。0在过去几十年里，计算机从传统的个人电脑（PC）界面发生了巨大变化：计算机转变为可穿戴、便携或固定设备；显示器变得扁平而大型，从垂直方向转变为水平方向；键盘缩小，可以用移动设备上的一个或两个拇指操作。1http://www.xbox.com/en-US/KINECT2http://www.vicon.com/products/vicontracker.html02 1 引言0在更大的交互表面上，键盘变成了纯虚拟键盘，或者完全被手势输入所取代；鼠标变成了无线、便携，或者完全被指向手势所取代。韦泽的普适计算愿景中的技术部分如今已经成为现实：计算从单一盒子分散到各种形态的小型设备上。每种形态都意味着不同的空间身体-设备关系。0随着空间身体-设备关系的变化，身体在交互中的角色也发生了变化：在桌面个人电脑的显示器前稳定坐着时，两只手在键盘和鼠标上进行小幅运动；站在大屏幕前时，两只手臂进行大幅的空中手势运动；当在游戏机前跳舞和挥手时，整个身体都在运动。我们观察到身体参与交互技术的程度越来越高。0计算方式的转变对用户的身体构造产生影响。随着设备尺寸的缩小，它们变得便携：设备支持和设备上的交互必须在用户身体的各个部分之间共享。随着设备尺寸的增大，用户可以与其他人合作工作。他们可以站在大屏幕前，用手在空中执行手势（空中手势）或直接触摸屏幕来操作数据。交互环境对特定的身体构造产生影响，影响交互性能。0我对研究新兴的计算机环境很感兴趣。人机交互研究中的先驱者们探索了改变身体与设备之间空间关系的新型交互设置，从增强物理桌子和有形台式界面到用户与多种交互表面技术进行交互的整个房间。计算方式转移到物理世界，并且随着技术的不断进步，我们可以选择各种设备，如游戏控制器、移动设备、平板电脑、交互式桌子和大屏幕。某些任务，如文件交换，需要在设备之间进行交互。深度相机和跟踪系统，如微软Kinect 1或VICON跟踪系统2，可以检测到在设备周围和设备之间进行的交互。0我们已经进入了人机交互的黄金时代。我们已经探索了许多不同的输入可能性和技术。现在我们需要退一步，反思帮助我们理解这些技术的理论。30这些差异帮助我们发现所有这些输入可能性之间的差异，并帮助我们找到尚未开发的交互设计领域。0从历史上看，人机交互研究在设计输入设备时面临着类似的问题：如何在设备上安排一组按钮、旋钮和滑块以获得最佳效果？Card等人应用了形态学方法，从基本的身体动作和它们的组合来分析输入设备。然而，多表面环境是复杂的环境，交互可能涉及比传统输入设备更大的身体部位，并且输入可以通过各种同时进行的身体动作来执行。此外，身体部位可能会受到环境因素的影响，例如支撑设备或走到一个大型静止设备上。0我们需要一个模型来描述以下内容：（i）将各个身体部位分配给交互技术中的任务，例如指向和缩放；（ii）由于设备支持而导致的身体内部约束，例如受限的移动；（iii）影响用户在环境中的身体配置的环境因素，例如限制在静止设备前保持特定位置。与输入设备上的按钮、旋钮和滑块不同，身体部位是相互依赖的：一个肢体的运动会导致相邻肢体的运动。这种身体部位之间的运动相互依赖通常被称为运动链。我提出了一个以Card的形态学方法、运动链模型和早期有关人类运动控制的心理学研究为基础的身体为中心的形态设计空间，称为BodyScape。0BodyScape根据身体参与交互和身体与交互环境之间的空间关系描述了一种交互技术。例如，用户可以使用右手的拇指在右手支撑的手机上执行小的圆形手势（MircoRolls）。如果用户将手机放在桌子上并用右拇指执行MicroRolls，这是否仍然是相同的交互技术？从身体为中心的角度来看，这是两种不同的技术，有两个原因：（1）将手机放在桌子上时，用户可能会使用食指而不是拇指进行交互，因此身体参与发生了变化。（2）即使用户使用拇指，由于身体与设备之间的空间关系发生了变化，交互性能可能会变慢。身体为中心的方法考虑到了这些差异。0身体为中心的分析考虑了用户在输入技术方面的身体参与以及其环境，而不仅仅是技术方面的因素。41Introduction0通常情况下，因为涉及不同设备而被认为是不同的两种技术，在身体参与方面可能是相同的。例如，使用右手食指在交互式桌面上进行直接触摸交互，在BodyScape中与使用右手食指触摸放在物理桌子上的手机是相同的。身体的参与-使用食指在水平表面上进行的小手势是相同的。然而，与小型手机表面相比，大型水平桌面表面由于其物理尺寸提供了更多的输入手势选择。0在这篇论文中，我证明了我们需要从身体为中心的角度来考虑人们如何使用技术，以解释为什么某些技术优于其他技术，预测适合给定空间身体设备设置的最合适的技术，并提出改进的替代方案。身体为中心的分析是在多表面环境及其他领域生成和评估新技术的工具。01.1 论文陈述0我提倡改变我们对交互技术思考的方式。从用户的角度来看，底层技术和实现以及它们的复杂性并不重要。我认为从以身体为中心的视角分析交互技术对于理解和设计成功的多表面环境中的交互至关重要。我提出了一个名为BodyScape的新框架，它识别了与交互环境中的人体运动控制相关的关键特征，以便理解并在未来预测人的表现和舒适度。BodyScape使我们能够根据身体在交互中的参与程度来比较和评估交互技术，同时预测身体运动之间潜在的干扰源，并识别未经探索的组合，这些组合可能有助于我们生成新的多表面交互技术。01.2 研究方法0我的一般研究策略基于五个步骤：01. 我结合对他人与技术进行非正式观察的情况01.3 论文概述50技术、与他人的日常讨论中的非正式投诉、与技术共同生活的经验，以及来自心理学、人机交互和人体工程学等多个研究领域的相关工作，以便识别关于身体运动协调的交互现象。02. 我在现有模型的基础上构建理论框架，并确定影响现象的属性。03.我进行试点研究，以确定现象的某个方面，我使用视频原型制作来创建对交互想法的心理漫游，和/或者我创建软件原型并进行迭代改进。04.然后，我进行控制实验，以分离出每个确定的关键维度，并研究它们对交互性能和感知舒适度的影响。05.最后，我使用确定的结果来完善理论部分，以提供一个描述性、生成性和预测性的强大理论框架；或者为交互设计师在设计选择方面提供具体支持。01.3 论文概述0第2章-“多表面环境：用户、任务和设计挑战”我简要定义了什么是多表面环境，并提出了一个简短的场景，以说明团队会议中使用单用户环境（例如笔记本电脑）的当代工作策略。我强调了在会议期间身体配置如何在物理环境中动态变化，以及用户如何利用环境来完成他们的工作策略。我讨论了这些当代工作策略如何可以通过现有的多表面环境和交互技术来增强。我介绍了WILD房间作为我的研究测试平台，并描述了我们合作的用户类型、任务和工作策略。我说明了如何使用各种交互技术在多表面环境中设计给定的工作策略，并强调了需要一个理论框架，使设计师能够比较几种替代设计。0第3章-“多表面交互的以身体为中心的设计空间”我提出了BodyScape，这是一种以身体为中心的形态学方法，考虑到用户在跨多个表面进行交互时的身体参与和环境施加的限制。我讨论了现有的交互技术在这一框架下的情况。B
我的内容管理
展开
