UNIVERSIT´E PARIS-SUD´ECOLE DOCTORALE D’INFORMATIQUE DE PARIS-SUDLABORATOIRE DE RECHERCHE EN INFORMATIQUEINRIA SACLAY–ˆILE-DE-FRANCEDiscipline: InformatiqueTH`ESE DE DOCTORATsoutenue le 6 D´ecembre 2012parJulie WAGNERA Body-centric Framework for Generating andEvaluating Novel Interaction TechniquesDirecteur de th`ese :Wendy MACKAYDirecteur de Recherche (Inria Saclay–ˆIle-de-France)Co-Directeur de th`ese :St´ephane HUOTMaˆıtre de Conf´erences (Universit´e Paris-Sud)Composition du jury :Rapporteurs :Mountaz HASCO¨ETMaˆıtre de Conf´erences, HDR (Universit´e Montpellier II)Celine LATULIPEAssociate Professor (University of North Carolina at Charlotte)Examinateurs :Steven FEINERProfessor (Columbia University, New York)Anne VILNATProfesseur (Universit´e Paris-Sud), Pr´esident du juryiiiTable of ContentsTable of ContentsviiiAbstractixR´esum´exiAcknowledgmentsxiii1Introduction11.1Thesis Statement. . . . . . . . . . . . . . . . . . . . . . . . . .41.2Research Approach . . . . . . . . . . . . . . . . . . . . . . . . .41.3Thesis overview . . . . . . . . . . . . . . . . . . . . . . . . . . .52Multi-surface Environments: Users, Tasks, and Design Challenges72.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72.1.1A Real-world Scenario . . . . . . . . . . . . . . . . . . .102.2The WILD Room. . . . . . . . . . . . . . . . . . . . . . . . . .132.2.1User-centered Research Approach . . . . . . . . . . . .14Users . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14ivTable of ContentsTasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14Work Strategies . . . . . . . . . . . . . . . . . . . . . . .142.3Interaction Design Challenge. . . . . . . . . . . . . . . . . . .153A Body-centric Design Space for Multi-surface Interaction213.2Related Work. . . . . . . . . . . . . . . . . . . . . . . . . . . .233.3.1Motor Assemblies. . . . . . . . . . . . . . . . . . . . .25Output Motor Assembly . . . . . . . . . . . . . . . . . .26Input Motor Assembly: Body-relative vs. World-fixed .273.3.3Body Restriction in The Environment . . . . . . . . . .283.3.4Compound Techniques in Multi-Surface Environments33Input Motor Assemblies and Affected Body Parts . . .3502.4 结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1703.1 引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2203.3 BodyScape：面向身体的交互框架 . . . . . 240输入电机组装 . . . . . . . . . . . . . . . . . . . 2503.3.2 身体与周围交互环境之间的空间关系 . . . . . . . . . . . . 260输出电机组装：相对于身体 vs. 相对于世界固定 280使用BodyScape对原子相互作用技术进行分类 . . . . . . . . . . . . . . . . .. . . 310将输入电机组装到复合技术中 . . . . . . . . . . . . . . . . . . . . . 34Interaction Effects of Compound Interaction Tech-niques in Parallel. . . . . . . . . . . . . . . .363.4Formal Description of Interaction Techniques with BodyScape393.5Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .413.6Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .424The Effect of Support on Input Motor Assemblies434.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .434.2Motivation for Bimanual Interaction with the Support Hand .444.2.1Related Work . . . . . . . . . . . . . . . . . . . . . . . .454.3Preliminary Study: How do People Hold Tablets?. . . . . . .464.3.1Results . . . . . . . . . . . . . . . . . . . . . . . . . . . .474.3.2Design Implications. . . . . . . . . . . . . . . . . . . .484.4The BiPad Prototype . . . . . . . . . . . . . . . . . . . . . . . .494.4.1BiPad Toolkit and Applications . . . . . . . . . . . . . .494.4.2BiPad Interaction Techniques for the Non-DominantSupport Hand . . . . . . . . . . . . . . . . . . . . . . . .504.4.3Sample BiPad Applications . . . . . . . . . . . . . . . .514.5Classifying Tablet Holds . . . . . . . . . . . . . . . . . . . . . .524.5.1Kinematic Chain Theory: Modeling Bimanual Action .534.5.2BiTouch Design Space: Framing, Support, Interaction .544.6Evaluating Interaction with the Support Hand . . . . . . . . .574.7Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .600目录 vviTable of Contents4.7.1Q1: Bimanual BiPad vs. one-handed interaction . . . .604.7.2Q2: BiPad tradeoffs: HOLD×ORIENTATION by TECHNIQUE614.8Discussion and Conclusion. . . . . . . . . . . . . . . . . . . .644.9Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .665Interaction Effects between Input Motor Assembly and AffectedBody Parts695.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .695.1.1Related Interaction Techniques . . . . . . . . . . . . . .715.2Studying On-body Touch and Mid-air Pointing as a Com-pound Technique . . . . . . . . . . . . . . . . . . . . . . . . . .725.3Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .745.3.1Method . . . . . . . . . . . . . . . . . . . . . . . . . . . .765.3.2Results . . . . . . . . . . . . . . . . . . . . . . . . . . . .795.3.3Q1: Efficiency & Acceptability of On-body Targets . . .80Qualitative measures of Preference and Social Acceptance 815.3.4Q2: Performance Trade-offs for compound techniques82Pointing Only task . . . . . . . . . . . . . . . . . . . . .82Compound POINTING+BODY task . . . . . . . . . . . . .835.4Discussion and Conclusion. . . . . . . . . . . . . . . . . . . .875.5Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . .886Interaction Effects between Two Input Motor Assemblies896.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .89Table of Contentsvii6.2Motivation and Related Work . . . . . . . . . . . . . . . . . . .916.3Design Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . .936.3.1Task Analysis . . . . . . . . . . . . . . . . . . . . . . . .936.3.2Choice of Input Motor Assembly . . . . . . . . . . . . .9406.3.3 研究十二种平移和缩放导航技术06.4 结果和讨论06.4.1 运动时间06.4.2 超调06.4.3 定性结果06.4.4 单独技术06.5 讨论和结论06.6 贡献07 结论和未来工作07.1 从新的视角看交互技术07.2 探索输入和输出电机组件的组合0出版物0国际同行评议期刊和杂志0国际同行评议会议0国内同行评议会议0演示0目录0参考文献0图清单0表格清单0附录0A WILD：技术设备0B 身体触摸原型0B.1 交互模块0B.2 实现0C 选定的出版物0BiTouch和BiPad：为手持平板设计双手交互0多表面交互的以身体为中心的设计空间0墙面尺寸显示器上的空中平移和缩放0ix0摘要0本论文介绍了BodyScape，这是一个以身体为中心的框架，考虑了用户如何在自己的肢体内部和肢体之间协调运动，以与多种设备在多个表面上进行交互。它引入了一种图形符号，用于描述交互技术，这些技术由负责执行控制任务（输入电机组件）或使身体处于视觉感知输出位置（输出电机组件）的电机组件以及相对于身体或固定在世界上的电机组件的运动协调来进行。本论文将BodyScape应用于以下方面：1）研究手持设备的一组新颖的双手交互技术中支持的作用，2）分析多个输入运动之间的竞争效应，以及3）比较在墙面尺寸的显示器上的十二种平移和缩放技术，以确定指导和干扰对性能的影响。使用BodyScape来描述交互可以澄清设备支持对用户的平衡、舒适度和性能的作用。它使设计师能够识别多个身体运动相互干扰的情况，从而导致性能下降。最后，它强调了不同技术组合之间的权衡，使得能够分析和生成各种多表面交互技术。我认为，在定义交互技术时包含以身体为中心的视角对于解决多表面环境中交互设备的组合爆炸至关重要。0关键词：多表面交互，以身体为中心的设计空间，双手交互，触摸平板电脑，BiTouch设计空间，BiPad，多尺度界面，平移和缩放，导航，大型墙面显示，空中交互技术。0x 摘要0xi0摘要0这篇论文介绍了BodyScape，它描述了用户在与各种输入设备和多个显示表面进行交互时如何协调身体部位的运动。BodySape引入了一种图形符号来分析交互技术，包括：（1）完成原子交互任务的引擎组装（输入引擎组装）或将身体定位以感知系统输出的引擎组装（输出引擎组装）；（2）协调这些引擎组装相对于用户身体或交互环境的运动。我们将BodyScape应用于：1）研究移动设备的新双手交互；2）分析交互过程中的并发运动效应；3）比较墙面显示上的多尺度交互技术，以评估引导和干扰对性能的影响。通过对BodyScape交互的特征化，我们可以更清楚地了解交互设备的支撑对用户平衡的影响，从而影响使用舒适度和性能。设计空间还允许交互设计师识别可能的运动干扰情况，从而降低性能和舒适度。最后，BodyScape揭示了在多表面环境中组合多种交互技术时需要考虑的折衷方案，从而实现对多表面环境的交互技术进行分析和生成。总的来说，本论文主张采用以身体功能为中心的方法来掌握交互过程中不断增加的输入设备数量和复杂性，以便为多表面环境的交互技术设计提供指导。0关键词：多表面交互，以身体为中心的设计空间，双手交互，触摸平板电脑，BiTouch设计空间，BiPad，多尺度界面，平移和缩放，导航，大型墙面显示，空中交互技术。0xiii0致谢0我要感谢在我博士期间陪伴我的所有人，他们在我的思想和观点上产生了巨大的影响，尽管他们并不总是知情的。首先，我要感谢我的两位导师Wendy E. Mackay和St´ephaneHuot，他们是两位了不起的研究者，我有幸从他们那里学到了很多。Wendy，感谢你欢迎我加入你的实验室，并给我在国外工作的机会。你给了我自信、动力和下一步工作的思路，当我带着问题来找你时，你总是提醒我寻找内心的“直觉”，这种直觉潜意识地驱动着我的兴趣和研究。我非常喜欢从你的人机交互经验和“魔法”写作技巧中学到的东西，将继续将你教给我的一切应用到我的未来工作中。St´ephane，感谢你作为朋友和导师一直在我身边，特别是在我看不到森林只看到树木的时候，因为你知道“rechts sindB¨aume, links sind B¨aume und dazwischenZwischenr¨aume”（这是一首德国儿歌，对法国人来说听起来很吓人）。你教给我很有用的工作方法，我将继续用它们来“愚蠢”我的工作。你在追求我的想法和研究方面给予了巨大的支持。我非常钦佩你的研究能力和技术能力，并且很享受与你合作的过程。我受到的教育也很大程度上要归功于整个INSITU团队。你们热情好客，给予支持，我特别喜欢与你们所有人进行的研究讨论以及关于其他任何事情的讨论。特别感谢我的博士同学MathieuNancel，他和我同时写并提交了论文。Mathieu，感谢你倾听我所有的“小”问题，并让我每天都开心笑。我喜欢与你一起工作、讨论想法、编程和进行实验。晚上喝啤酒是锦上添花，我们对世界的奇怪讨论令人放松。我感谢我的父母Ernst和Farangis，我的兄弟Marcus、Marcel和Jean，感谢他们的指导，以及我的好朋友Michael Marcic、Anne Hunfeld和NinaBastian，他们一直在我身边。最后但并非最不重要的是，我要感谢我的评审委员会成员C´elineLatulipe、Mountaz Hascou¨et、Steven Feiner和Anne Vilnat，感谢他们花时间和精力审查我的论文。0xiv 致谢110“我们正处在一个我称之为‘组合创新时期’的时期。所以如果你回顾历史，你会发现历史上有一些时期，那时会有不同的组件部件可供创新者组合或重新组合以创造新的发明。”0Hal Varian，谷歌首席经济学家0引言0计算从一个单一的盒子分散到嵌入环境中的许多计算机，并且改变了大小和形状。身体的配置从稳定的坐姿配置转变为动态变化的配置，涉及到交互中的大部分身体部位。我对研究多表面环境中的交互很感兴趣，这需要跨设备、与设备交互以及超越设备的交互技术来支持用户的工作策略。为这样的环境设计交互面临着设备上、设备间、自由手势和全身输入的组合爆炸。以往的工作已经研究了个别的交互技术。然而，我们在探索新技术和交互设计以及理论基础之间存在着不平衡。我提出通过确定影响人体运动控制的关键维度来进行以身体为中心的交互分析。我认为以身体为中心的分类法使我们能够通过描述所执行的身体输入运动来描述交互技术，而不受技术实现选择的影响。0在过去几十年里，计算机从传统的个人电脑（PC）界面大幅改变为更具物理形式：计算机转变为可穿戴、便携或固定设备；显示器变得扁平而大，从垂直方向变为水平方向；键盘缩小，使用一个或两个拇指在移动设备上操作，1http://www.xbox.com/en-US/KINECT2http://www.vicon.com/products/vicontracker.html02 1 引言0在较大的交互表面上变成纯虚拟键盘，或者完全被手势输入取代；鼠标变成无线、便携，或者完全被指向手势取代。Weiser的普适计算愿景的技术部分如今已经成为现实[Wei99]：计算从一个单一的盒子分散到各种形态的小设备上。每种形态都意味着不同的空间身体-设备关系。0随着空间身体-设备关系的变化，身体在交互中的角色也发生了变化：在桌面个人电脑的显示器前稳定坐着，双手在键盘和鼠标上进行小幅运动；站在大屏幕前，双臂进行大幅度的空中手势运动；在游戏机前跳舞和挥手时，整个身体都在运动。我们观察到身体参与交互技术的程度越来越高。0计算的转变对用户的身体配置产生影响。随着设备尺寸的缩小，它们变得便携：设备支持和设备上的交互必须在用户身体的各个部位之间共享。随着设备尺寸的增大，用户可以与其他人合作工作。他们可以站在大屏幕前，用手在空中进行手势（空中手势）或直接触摸显示屏来操作数据。交互环境对特定的身体配置施加影响，影响交互性能。0我对研究新兴的计算机环境很感兴趣。人机交互研究的先驱者们探索了创造新的交互设置，改变了人体与设备的空间关系，从增强实体桌面 [Wel93] 和有形桌面界面[FIB95] 到整个房间中用户与多个交互式表面技术进行交互[Bro+97]。计算转移到物理世界中，随着技术的不断进步，我们可以选择各种设备，如游戏控制器、移动设备、平板电脑、交互式桌面和大屏幕显示器。一些任务，如文件交换，需要在设备之间设计交互。深度摄像头和跟踪系统，如微软Kinect1或VICON跟踪系统2，可以检测设备之间和周围的交互。0我们已经进入了人机交互的黄金时代。我们已经探索了许多不同的输入可能性和技术。现在我们需要退一步，反思帮助我们理解所有这些输入可能性的理论，并帮助我们找到尚未开发的交互设计领域。30我们需要一个模型来描述：（i）将各种身体部位分配给交互技术中的任务，例如指向和缩放；（ii）由于设备支撑而导致的身体内部约束，如受限的移动；（iii）影响用户在环境中的身体配置的环境因素，例如限制在固定设备前保持特定位置。与输入设备上的按钮、旋钮和滑块不同，身体部位是相互依赖的：一个肢体的运动会导致相邻肢体的运动。这种身体部位之间的运动相互依赖通常被称为运动链。我提出了一个以身体为中心的形态设计空间，称为BodyScape，它基于Card的形态学方法、运动链模型和早期关于人类运动控制的心理学研究[Bry92]。0在人机交互的历史上，设计输入设备面临着类似的问题：如何以最佳方式安排一组按钮、旋钮和滑块在设备上？Card等人[CMR91]应用了形态学方法来分析输入设备的基本身体动作和它们的组合。然而，多表面环境是复杂的环境，交互可以涉及比传统输入设备更大的身体部位，并且输入可以通过各种同时进行的身体动作来完成。此外，身体部位可能会受到环境因素的影响，例如支撑设备或走到一个大型固定设备旁边。0我们已经进入了人机交互的黄金时代。我们已经探索了许多不同的输入可能性和技术。现在我们需要退一步，反思帮助我们理解所有这些输入可能性的理论，并帮助我们找到尚未开发的交互设计领域。0BodyScape根据身体参与交互和身体与交互环境之间的空间关系描述了一种交互技术。例如，用户可以在右手支撑的移动电话上用右拇指进行小圆形手势（MircoRolls[RLG09]）。如果用户将手机放在桌子上并用右拇指进行MicroRolls，这仍然是同一种交互技术吗？从以身体为中心的角度来看，这是两种不同的技术，有两个原因：（1）将手机放在桌子上时，用户可能使用食指而不是拇指进行交互；因此，身体参与发生了变化。（2）即使用户使用拇指，由于身体与设备之间的空间关系发生了变化，交互性能可能会变慢。以身体为中心的方法考虑了这些差异。0我们需要一个模型来描述：（i）将各种身体部位分配给交互技术中的任务，例如指向和缩放；（ii）由于设备支撑而导致的身体内部约束，如受限的移动；（iii）影响用户在环境中的身体配置的环境因素，例如限制在固定设备前保持特定位置。与输入设备上的按钮、旋钮和滑块不同，身体部位是相互依赖的：一个肢体的运动会导致相邻肢体的运动。这种身体部位之间的运动相互依赖通常被称为运动链。我提出了一个以身体为中心的形态设计空间，称为BodyScape，它基于Card的形态学方法、运动链模型和早期关于人类运动控制的心理学研究[Bry92]。04 1 引言0以身体为中心的分析考虑了用户在输入技术中的身体参与和环境因素，而不考虑技术方面的因素。因此，根据BodyScape，被认为是不同的两种技术，因为它们涉及不同的设备，但在身体参与方面是相同的。例如，在使用右食指触摸交互式桌面时，与使用右食指触摸放在物理桌子上的移动电话相比，身体的参与度是相同的。然而，与小型移动电话表面相比，大型水平桌面表面由于其物理尺寸的原因提供了更多的输入手势选择。0在这篇论文中，我证明我们需要从以身体为中心的角度考虑人们如何使用技术，以解释为什么有些技术比其他技术更受青睐，预测在给定的空间身体设备设置下最合适的技术，并提出改进的替代方案。以身体为中心的分析是在多表面环境及其它领域生成和评估新技术的工具。01.1 论文陈述0我提倡改变我们对交互技术思考的方式。从用户的角度来看，底层技术和实现以及它们的复杂性并不重要。我认为，从以身体为中心的视角分析交互技术对于理解和设计成功的多表面环境中的交互至关重要。我提出了一个名为BodyScape的新框架，它识别了与交互环境相关的人类运动控制的关键特征，以便理解并预测人类的性能和舒适度。BodyScape使我们能够比较和评估交互技术在交互中身体的参与程度，同时也能够预测身体运动之间的潜在干扰源，并识别未经探索的组合，这些组合可能有助于我们生成新的多表面交互技术。01.2 研究方法0我的一般研究策略基于五个步骤：05. As a last step, I use the identified results to refine the theoretical partto provide a strong theoretical framework that is descriptive, genera-tive, and predictive; or I provide concrete support in design choices forinteraction designers.01.3 论文概述 503.我进行试验性研究，以确定现象的某个方面，我使用视频原型制作来进行交互想法的心理漫游，和/或者我创建软件原型并进行迭代改进。02. 我在现有模型的基础上构建了理论框架，并确定了影响现象的属性。05.最后一步，我使用已确定的结果来完善理论部分，提供一个描述性、生成性和预测性的强大理论框架；或者为交互设计师提供具体的设计选择支持。04.然后我进行了控制实验，以分离出每个已确定的关键维度，并研究它们对交互性能和感知舒适度的影响。01.3 论文概述0第二章“多表面环境：用户、任务和设计挑战”中，我简要定义了什么是多表面环境，并提出了一个简短的场景，以说明在团队会议中使用单用户环境（例如笔记本电脑）的当代工作策略。我强调了在会议期间身体配置在物理环境中是如何动态变化的，以及用户如何利用环境来完成他们的工作策略。我讨论了这些当代工作策略如何通过现有的多表面环境和交互技术进行增强。我介绍了WILD房间作为我的研究测试平台，并描述了我们合作的用户类型、任务和工作策略。我说明了如何在多表面环境中使用各种交互技术设计给定的工作策略，并强调了需要一个理论框架，使设计师能够比较几种替代设计。0第三章“面向多表面交互的以身体为中心的设计空间”中，我介绍了BodyScape，这是一种以身体为中心的形态学方法，考虑了用户的身体参与和在多个表面交互时所施加的限制。我讨论了现有的交互技术06 1 引言0根据这个框架，BodyScape预测了两个同时输入运动之间的相互作用效应，这为我在本论文范围内研究的实际问题提供了基础。0第4章——“支撑对输入电机组件的影响”本章研究了一组新颖的双手交互技术，称为BiPad，其中支撑手在多点触控平板上。BiPad允许我探索同时处理支撑和交互的身体部位之间的相互作用效应，因为它们在一只手臂上共享。特别是，我研究了设备支撑对交互性能和感知舒适度的影响。0第5章——“输入电机组件和受影响身体部位之间的相互作用效应”我应用BodyScape生成了一种新颖的交互技术，结合了两种现有的原子交互技术：身体触摸交互和空中指向。我系统地研究了这两种技术在独立和组合中的性能。我提出了在用户身体上高效放置身体目标的指南，并证明了身体触摸对多个身体部位产生影响。这导致了每种技术产生的身体运动之间的相互作用效应。0第6章——“两个输入电机组件之间的相互作用效应”我提出了十二种用于大屏幕上平移和缩放导航的放大任务的空中交互技术。这些技术沿着BodyScape的两个维度变化：同时执行的两个输入运动的组合方式和参与交互的身体部位的数量。我展示了同时涉及两个输入运动中的几个身体部位会导致明显的交互效应，并且涉及较小的身体部位可以提高某些任务的交互性能。
我的内容管理
展开
