AR耳机和智能手机界面的窗口管理设计与评价

引文：任杰，于春，翁月婷，周成驰，石元春窗口管理的设计与评价在AR耳机+智能手机界面中操作。虚拟现实智能硬件，2022，4（2）：115-131 DOI：10.1016/j.vrih.2021.12.002虚拟现实智能硬件2022年12月4日第2·文章·AR耳机+智能手机界面任杰，邱宇*，岳廷文，周成池，石春春清华大学计算机科学与技术系，北京100084*通讯作者，chunyu@tsinghua.edu.cn投稿时间：2021年7月29日修订日期：2021年9月6日接受日期：2021年12月9日基金项目（2020-JCJQ-ZD-014-12）。增强现实（AR）头戴设备和智能手机的结合可以同时提供更宽的显示屏和精确的触摸输入;它可以重新定义我们今天使用应用程序的方式。然而，由于这两种设备的独立性，用户被剥夺了这些好处。它们之间缺乏直观和直接的互动。方法在这项研究中，我们进行了一项形成性调查，以了解同时使用AR耳机和智能手机的窗口管理要求和交互偏好，并报告我们获得的见解。此外，我们还介绍了AR耳机和智能手机界面中窗口管理操作的示例词汇表。结果这允许用户在虚拟空间中操作窗口，并在设备之间高效无缝地移动窗口。关键词增强现实;智能手机;窗口管理;用户研究;交互1介绍最近，由于其商业发展，AR头戴式耳机已经变得越来越容易用于个人使用。与智能手机相比，它们具有无限的显示效果，人们在日常生活中使用AR耳机的趋势预计将在不久的将来增长。然而，AR耳机在精确操作和触觉反馈（如文本输入）方面的表现不如智能手机因此，我们预计，与其取代智能手机，不如出现一种结合AR耳机和智能手机的融合界面我们设想用户可以通过在AR虚拟空间和智能手机上分布各种窗口来同时处理多个任务。他们可以探索AR的宽显示或智能手机的精确输入功能。例如，用户可以在AR中打开多个应用程序，如视频播放器、Web浏览器和社交应用程序，并可以在智能手机上打开另一个聊天窗口，如图1a所示。他们可以通过将所需窗口拖到智能手机上并对其进行操作来搜索信息、发表评论或自由回复消息，或者他们可以通过将其拖到虚拟空间中来直观地扩展当前手机视图。没有复杂的导航，用户可以将手机上原有的分层操作扩展到更广阔的空间，享受精准输入的好处，2096-5796/©版权所有2022北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2022年12月4日第2图1（a）我们对AR耳机+智能手机界面中窗口管理系统的愿景;（b）我们提出了三种不同的窗口类型：AR中的固定窗口，AR中的跟随窗口和智能手机上的窗口;（c）本文中介绍的操作。智能手机此外，融合接口是便携式的。用户可以在旅行或在街上自由使用融合接口，类似于目前使用手机，而不用担心是否有平坦的表面供他们放置一些外部输入设备，如键盘和鼠标。然而，缺乏直接和有效的互动方法来实现这一愿景。目前，AR耳机和智能手机是相互独立的，在两个设备上运行的应用程序之间没有关联。即使在这些设备上有两个类似的应用程序（例如，AR耳机和智能手机上的两个微信应用程序），用户必须在每个设备上保持两个应用程序都处于活动状态，以同步数据和信息，一个用于显示，一个用于输入，这是多余的。此外，用户必须通过采用不同类型的交互方法来执行任务，即，AR中的基于手势或基于手势的交互以及智能手机上的基于触摸的交互。这种频繁的切换消耗时间和能量，并且是不自然的。总之，应用程序和交互在AR和智能手机之间是分离的，跨设备窗口管理需要进一步研究。我们在AR+智能手机界面中引入了一系列窗口管理操作，充分利用了AR头显的显示能力和智能手机的精准触摸输入能力。我们的目标是探索融合界面中的窗口管理需求，并为下一代移动界面提供一个可行的选择，包括直观的交互方法。我们的窗口系统提供了各种窗口类型（图1b）来执行不同的任务（图1c）。它使用户能够通过包括手机触摸和手机姿势在内的组合输入方法来管理AR空间和手机显示屏上的窗口。这种输入方法利用手机的3D跟踪信息来创建3D跟踪的混合交互，这利用了屏幕触摸的熟悉度和手势交互的直觉。我们相信，智能手机的3D跟踪触摸和姿势输入可以有效地用于组合界面中的窗口管理操作，允许用户无缝切换窗口类型并有效地操纵窗口。在本文的其余部分，我们将其称为“电话感知交互”。我们解决了AR耳机+智能手机界面中的窗口管理问题，并做出了以下贡献。(1) 我们在AR耳机+智能手机界面中突出窗口管理操作的概念，以更好地利用两种设备的显示和精确输入功能。(2) 采用以用户为中心的设计观点，我们引入了一组交互来处理窗口管理操作的基础上收集用户的喜好。(3) 我们进行了定性的用户研究，以验证我们的窗口系统的可用性，并获得了积极的结果。在本文的其余部分，我们首先介绍了我们的形成性访谈，以更好地了解用户的意见，在这个融合界面的窗口管理的要求，并建议116Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估互动方法在介绍了我们的设计因素的基础上，我们的观察，我们描述了我们的交互方法映射到窗口管理操作，并评估我们的示例窗口系统的整体可用性。我们相信Fusion Window探索了设计跨智能设备融合交互的概念，以在未来获得更好的体验和效率。2相关工作AR耳机和智能手机的结合可以追溯到之前的掌上电脑和3D图形结合的概念[1]。然而，智能手机和AR耳机当时还无法向消费者提供。最近关于将AR耳机和智能手机结合起来的研究主要集中在使用手机来操纵虚拟物体。在这种情况下，手机不是用作应用程序的输入，而只是作为控制器，这限制了智能手机的功能。随着多任务[2]的要求在实践中，与窗口交互的方法发挥了更重要的作用。最近，在AR环境中管理窗口的研究已经变得流行，研究人员已经探索了AR中窗口类型和窗口管理操作的设计框架[3，4]。与他们的工作类似，我们探索了窗口类型和管理操作的设计框架，特别是在AR耳机+智能手机界面中。此外，其他研究提出将AR耳机和智能手机的显示能力结合起来，用于信息显示和导航[5]。这类似于窗口管理，但他们专注于集成显示功能以提高显示效率。与此相反，我们以窗口为基本单元，研究了整个AR头戴设备和智能手机界面中窗口状态转换的操作需求和相应的交互。总之，我们将之前的研究分为三类：使用手机操作AR对象，AR空间中的窗口管理和跨设备信息显示。2.1使用手机操作AR对象最近，Millette等人探索了3D对象操作的双手交互，并提出了3D建模场景中的拖放和触摸绘制交互[6]。Grandi等人提出了一种使用手机进行3D虚拟对象操作的协作对象操作方法[7]。Wang等人使用平板电脑和耳机在虚拟空间中进行3D对象操作[8]。他们主要关注3D建模和几何教育场景[9]。研究人员还使用触摸板和笔在虚拟环境中进行操作任务[10，11]。他们发现使用手机更快，更有效。这些研究探索了AR+手机界面中的窗口管理操作子集。其他与窗口相关的操作很少涉及，例如关闭AR内容和转移窗口手机与AR2.2AR空间虚拟空间中围绕用户的窗口在某些场合被广泛使用，例如会议[12]和多任务[3]。先前的研究已经探索了一种合适的窗口模式，同时执行任务[13]或显示信息[14]。最近，研究人员还认为，适当的布局可以提高多任务场景中的效率[3]。此外，Ens等人介绍了Ethereal Planes框架，该框架有助于虚拟空间用户界面的设计[4]。除了讨论虚拟空间中的窗口模式之外，用于管理AR环境中的窗口的交互方法已经被更频繁地提及。手势是实践中的主要交互技术。Lee等人提出了使用指尖来管理空间中的窗口的投影窗口[15]。早些时候，皮尔斯等人。提出117虚拟现实智能硬件2022年12月4日第2一种用于操纵虚拟物体的特定手势[16]。Valkov等人的工作涉及触摸作为有形投影虚拟空间中的交互方式[17]。总之，AR中的窗口显示和交互已经得到了广泛的研究，但关于AR+智能手机界面的窗口管理的研究很少。2.3跨设备信息显示在AR耳机和智能手机中显示信息被认为可以提高效率[18]。为了在该融合界面中进行进一步的交互，先前的研究探索了将输入动态地分配到多个显示器中以补偿AR中输入方法的不准确性的可行性[19-21]。在手机上直接操作可以提供更多的交互功能，包括文本输入和强制触摸。因此，在AR和手机之间转移窗口被认为是必不可少的。先前的研究还探索了虚拟状态和真实状态之间的跨设备窗口传输。Grubert等人提出将AR中显示的内容转移到手机上，但缺乏关于交互方法的讨论[5]。类似地，Yee等人引入了窥视孔交互，以将手机定位在不同的位置，从而在屏幕上显示不同的内容[22]。Chen等人引入了以身体为中心的交互，使用手机的位置和身体部位作为提示，以激励用户在手机屏幕上显示内容[23]。由于智能手机的精确输入功能，以前的研究已经探索了将虚拟内容转移到手机上进行进一步操作。不过，借助AR头戴设备强大的显示能力，还需要将智能手机上的内容传输到AR头戴设备上。由于用户倾向于在不同的设备上分配任务，因此在不同状态之间进行转换是一项重要的任务。先前的研究对其中一些发现做出了贡献。在我们的工作中，我们系统地讨论了在AR耳机+智能手机界面中传输操作和其他窗口管理操作的整个需求。相比之下，我们主要探讨在AR头戴设备+智能手机界面中，应该包含哪些窗口状态，以及需要哪些操作来管理不同状态的窗口。我们建议在不同的状态下使用手机感知交互与人窗口。与Chan等人之前的工作类似，我们用手指直接触摸无形的显示器，我们用智能手机直接管理Windows[24]。3形成性面试本次形成性访谈的目的是更好地了解用户对AR头戴式耳机+智能手机界面中窗口管理要求的意见。这包括三个方面：（1）应该包括什么样的窗口状态，（2）在不同的任务中动态管理窗口需要什么样的操作，以及（3）用户更喜欢用什么样的交互方法来执行这些操作？3.1参与者本次访谈共招募了10名参与者（2名女性和8名男性，年龄在20至26岁之间）。其中四人对AR头盔相当熟悉，有AR编程经验。 一名参与者之前没有使用AR耳机的经验。其他人用了一次AR耳机。所有的参与者都使用了一个带有设备的智能手机。3.2程序在采访中，我们告知参与者三种场景：观看视频，上网，118Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估聊天。观看视频是为用户提供一个视频图片，让用户描述他们的常见操作，如暂停和移动窗口，与新的界面。上网是为用户提供一个搜索图片，让用户使用新的融合界面，并描述他们喜欢的交互方式来操作常见的操作，如浏览和输入。聊天是为用户提供一个与单个用户的聊天图片，让用户描述他们将如何使用这个新界面来执行常见操作，例如浏览和发送图片。在此过程中，我们为参与者提供了AR耳机和智能手机。向参与者介绍了由三个因素（空间参考框架，距离和大小）组成的六个示例窗口。他们可以随时按键盘调用不同的窗口。他们在不同的场景中想象这个过程，并被鼓励描述他们将执行的操作。他们被鼓励在我们的供应之外提出新的窗户。我们在采访中观察了他们的行为。使用笔记和视频记录数据。基于这些结果，我们建立了我们的设计空间，并提出了一套窗口管理操作.我们还进行了用户评估，以验证我们的设计。3.3观察我们将从形成性访谈中获得的观察结果分为四类：（1）窗口状态，(2)操作要求，（3）交互偏好，和（4）其他。我们将在本节的其余部分介绍这些观察结果。我们的设计空间是以下观察的体现。3.3.1考虑哪些窗口属性O1：接近。接近度表示窗口和用户之间的空间距离。在不同的接近度下，用户倾向于使用不同的交互方法来执行不同类型的任务。参与者（10/10）报告了用于执行不同任务的具有不同接近度的窗口。通过访谈暴露了两种接近：（1）无法接近的窗户（通常与墙壁或公寓有关），以及（2）手臂可及的窗户。他们还根据距离采取了不同的互动策略。此外，参与者倾向于将几乎没有输入要求（如视频）的窗口定位在远处。具有更多输入要求的窗口（例如，聊天）通常位于非常接近的位置。O2：以下属性。以下属性表示窗户的相对坐标关系：所有参与者都提到窗户在空间中固定，当它们保持在原位时。他们中的一些人还提到，当他们移动时，窗户也会随着他们移动，这表明窗户会随着智能手机、头部或手部移动。六名参与者提到了他们手机后面的窗户。关于头部，2名（2/10）参与者报告称，一些全局应用程序图标应该显示为与头部绑定并向前移动。一些参与者（4/10）提到，窗口也可以在交互时跟随手。例如，当手掌向上时，窗口可以出现，反之亦然。O3：附件属性。附着属性指示窗口是否附着到真实对象的表面。一些参与者对在真实物体表面上展开窗口表现出极大的关注。他们提到将窗口连接到墙壁或桌子上，这使他们能够通过有形的界面操纵窗口内的内容，使他们感觉更自然和身临其境。他们还报告说，它有助于减少视觉干扰。3.3.2如何管理WindowsO4：转移。大多数（8/10）与会者提到了转移操作。出于各种目的，他们选择将窗口转移到不同的状态例如：“当观看视频时，我想119虚拟现实智能硬件2022年12月4日第2在手机上搜索目标视频，因为它方便和节省时间。但我想让视频显示在AR中观看，因为它很宽。此外，还希望他们能够自由和迅速地转移窗户。参与者对将任务分配到合适的设备上表现出相当大的关注。提高效率和减少错误对他们来说是合理的：“AR中的文本输入是如此累人和耗时。如果我能将Windows转移到手机屏幕上，那就方便多了。O5：离散操作。参与者还报告了其他操作，包括关闭，最小化，最大化和导航。其中，“关闭”被提及最多（10/10）：“当电影结束时，我需要关闭它。“由于FoV小的问题，一半的参与者（5/10）描述了导航要求。具体来说，需要快速查看AR中显示的所有窗口并导航到所需的窗口。为了减少视线外窗口引起的不确定性，两名参与者（2/10）介绍了最小化和最大化操作。他们描述说，通过最小化操作，所有应用程序都可以出现在他们的视野中。然后，他们可以在必要时快速放大它们这给了他们更多的信心，他们认为这是有用的。一条新的信息出现了。O6：选择和操纵。所有参与者都报告需要选择和操纵AR空间中的窗口。他们想选择一个窗口进行进一步的操作。与会者还建议根据重要性和相关性动态安排窗口，“我认为有时我需要关闭一些窗口。也许当我阅读时，一个网站或笔记本也会出现，用于搜索信息和做笔记。除了调整位置，旋转和缩放能力也是意料之中的。3.3.3什么样的互动方式是首选？O7：电话和手势。参与者最常报告的是基于电话的互动和徒手手势。当与AR中的窗口交互时，参与者更喜欢通过手势和基于电话的交互直接交互。当手机和AR之间发生交互时，他们选择使用手机。基于手机的交互分为三大类：基于手机的触摸、位置和方向以及姿势。从触摸的角度来看，长按，滑动和多点触摸是首选。在姿势方面，参与者对通过智能手机的姿势进行互动表现出了极大的兴趣，如将其抛出、摇晃等。O8：手机控制器。当与AR中的远程窗口交互时，参与者下意识地将手机视为遥控器。当与近距离AR窗口交互时，手机被视为直接控制AR内容的工具，类似于手中的笔。然而，无论距离如何，参与者都希望将AR窗口的位置映射到智能手机的位置。由于这种有形的感觉，参与者倾向于使用手机直接触摸虚拟窗口。一位用户说：“有了手机，我的手指可以触摸屏幕，这让我更有信心触摸虚拟窗口。O9：区分触摸。当通过智能手机的触摸输入与虚拟窗口交互时，参与者不想将其与原始手机操作混淆。因此，他们建议用两个手指或手掌进行多点触摸交互。他们还提到了长按，以区分触摸与智能手机的原始触摸输入。他们在实验中经常提到，“万一和原来的触摸错了呢，我想用两个手指来做操作”。据我们所知，区分触摸是我们实验中所有参与者的最高诉求。此外，他们发现，使用触摸作为确认提供了更多的信心和确定性。120Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估O10：与确定性互动。参与者认为，在AR耳机+智能手机界面中，有必要在AR和智能手机之间切换注意力。在这种情况下，当触摸被用作输入方式时，参与者在交互中感到很大的不确定性。因为这让他们感到困惑，他们不知道当前的操作是在手机还是AR上。他们认为，他们的眼睛或头所面对的物体就是他们正在与之互动的物体。但同时，他们还是担心这会导致他们错误地在错误的设备上输入。总之，参与者希望在AR+手机界面中有更确定性的交互，不会在AR和手机之间造成不必要的混淆。O11：交互一致性。与会者认为，各种互动都应该有一定的关系或类似的输入方式。在不同的窗口管理任务下，交互方式必须统一，不能有明显的差异。同时，对于具有相反语义的操作，它们强烈建议相反的交互。例如，他们提到，如果向上滑动表示将窗口从智能手机屏幕转移到AR空间，那么向下滑动表示在相反方向上转移窗口。3.3.4用户还关心什么O12：闭塞。在AR环境中，遮挡不仅发生在真实场景和虚拟场景之间，而且发生在虚拟场景和自身之间。在我们的采访中，参与者对智能手机和AR窗口与AR窗口本身之间的潜在冲突表示了极大的关注。他们提到，为了避免遮挡，他们所关注的应该显示出来，其他的应该消失。例如：“如果我正在查看手机周围的以下窗口，则导致遮挡的固定窗口应该消失，直到我抬头才能有效地访问信息”。O13：吸附。当描述如何在融合界面中管理窗口时，用户多次提到“吸附”。对于AR中虚拟且没有触觉反馈的窗口，参与者希望用手指在视觉上连接虚拟窗口，而没有接缝，以弥补触摸的缺乏。因此，他们提到通过吸附进一步管理窗口，“通过吸附，我认为我遇到这个窗口，然后能够移动它”。第14章：动还是不动我们的实验是在坐姿下进行的;然而，参与者表示，这些互动也应该适合移动场景。他们认为单手和有形的互动会更好，因为他们担心移动时手势的准确性和效率，并且担心他们没有第二只手进行互动。可以观察到，我们的系统需要同样适用于移动和固定场景。O15：默认设置。尽管AR中的窗口状态是灵活的，但参与者考虑了每个操作的默认设置。例如，要将手机屏幕转换为固定窗口，他们希望将窗口设置为默认距离，而不是设置位置。与连续操作相比，在这种情况下，离散操作是优选的。其他操作也有类似情况：“如果一个窗口能直接跟手机走，我希望它在固定位置，否则每次都需要确定位置，太麻烦我了”。4设计空间我们根据从形成性访谈中获得的观察结果构建了我们的设计空间。它由十个因素组成。每个因素都是交互设计师在设计融合界面中的应用程序时可以考虑的指南。在不同的场景中，它可以帮助设计人员合理分配不同的窗口管理操作。这些因素将有助于塑造AR耳机，121虚拟现实智能硬件2022年12月4日第2智能手机的未来D1：输入和输出。智能手机和AR耳机分别具有输入和输出功能。在不同的任务中，用户对输入和输出有一定的偏好。因此，他们倾向于向两个设备分配不同的任务。由于输入输出的多样性，在内存开销和使用不便的情况下，用户需要一种更直观的交互方式。哪些输入和输出属性适用于应用程序？如何将它们直观地结合起来？D2：连续性。窗口管理操作可以在任务之间和任务内执行。某些操作的执行频率高于其他操作。任务的连续性不应因窗口管理操作而中断。为了降低干扰的风险，需要交互相似性、精度和效率。不应该有明显的区别，中断任务的连续性。应该如何平衡多样的互动方式，以实现连续性？用户应该如何进行交互，以保持与原始任务的相似性，而不会出现接缝？D3：默认或灵活。空间中的窗口在属性方面具有高度的自由度。灵活的操作为用户提供了更多的自由度，但也带来了更高的操作成本。默认设置使用户能够快速管理窗口，但它可能会导致进一步的操作。在用户定义的需求和默认设置之间保持平衡的情况下，不同的任务应该应用什么自由度？默认设置应该是什么样的？D4：显性或非显性。在不同的情况下，用户的手被不同程度地占用。应常规使用单手交互方法。考虑到AR空间中手势的直观性，用户也习惯于通过手进行交互。惯用手和非惯用手的使用在准确性和疲劳程度方面有所不同。什么是一个合理的方法来结合这些相互作用？是惯用手还是非惯用手更适合互动？在执行窗口管理操作时，这只手在不同场景下应该如何应用？D5：单模式或多模式。智能手机是触摸敏感的，具有丰富的传感能力。AR耳机具有手势、凝视和头部运动交互功能。不同的输入模态表示用户意图的各个方面。多种输入方式的适当组合可能更准确，但可能会增加记忆成本。如何以统一的方式应用它们来提高效率和总体满意度？D6：交错或同时。各种交互方式共存于AR耳机和智能手机界面中。这可能导致用户对交互所应用的对象的不确定性。同时输入可以增加确定性、准确性甚至直觉。此外，这可能会消耗更多的意识。交叉或同时交互是否更可行？应该做些什么才能让用户通过同时进行的多模式交互感觉更自然、更直观？D7：有形或无形。最近，Patricia等人发现触觉反馈为用户提供了比非触摸界面中的视觉反馈更大的代理感[25]。我们的窗口系统包括真实和虚拟窗口，有形输入最初应用于智能手机。当在组合界面中执行有形输入时，不应中断原始智能手机操作。如果应用模式切换，则交互的一致性将降低。因此，什么是应用有形输入的正确方式？无形的输入是否足以保证准确性？D8：直接或间接。在很近的地方，用户倾向于应用直接输入，反之亦然。AR耳机和智能手机的结合可以提供广阔的空间。要接触和操作不同距离的窗口，直接交互方法更合适还是间接方法更合适？在虚拟空间中直接互动会导致更多的疲劳，但直观。间接互动更多122Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估放松，但需要额外的选择。在不同的窗口管理操作中，应相应地应用直接和间接交互。D9：在旅途中或原位。窗口管理交互在旅途中和在原地不同的用户认知。此外，用户在两种场景中的交互能力也不同。当用户在原位时，显示空间参考窗口更合适，并且他们的动作更准确。在旅途中，在用户引用的框架中显示窗口更合理，并且用户的操作不太精确。在不同的场景中，需要哪些窗口管理操作？我们如何在使用不同方法进行交互时确保稳定性和准确性？D10：情境感知。用户感觉将虚拟窗口附加到真实表面更真实。在设计窗口管理交互时，我们应该考虑是否涉及上下文信息。因此，物理定律必须适用于这个融合界面。此外，还需要适当的遮挡关系。在什么情况下应该提供上下文感知的窗口显示功能？5交互设计我们演示了我们的窗口管理操作的五个类别：转移，选择，转换，关闭和导航。每个类别都有不同的情况。最后，总共进行了14次手术，如图2所示。图2(a)长按手机上的空格，然后向上滑动，将一个窗口转换为浮动状态。（b）第（1）款 将手机移动到固定窗口所在的位置，然后长按并向下滑动以将窗口带到手机上。(c)长按手机上的空白处，然后向左或向右滑动，让窗口跟随。(d)长按手机边缘，然后滑入手机，将窗口转移到手机上。(e)将智能手机移动到固定窗口所在的位置，然后长按边缘并向下滑动。(f)长按边缘，向上滑动，让窗户固定。(g)使用手机点击右上角关闭固定窗口。(h)长按手机边缘并向下倾斜可关闭以下窗口。(i)将手机移动到固定窗口的位置，按屏幕移动，松开固定。（j）将手机移动到固定窗口的位置，按下屏幕旋转选定的窗口。(k)移动手机到固定窗口的角落，并按下屏幕缩放它。（l）翻转智能手机与按下导航组合界面中的所有窗口。我们提出了一个示例交互集，允许用户通过3D跟踪智能手机的触摸和姿势进行交互，我们称之为手机感知交互。电话感知交互有三个主要优点：（1）它们为用户提供直观和直接的交互方法，（2）它们为用户提供适当的触觉反馈，以及（3）用户可以单手交互。123虚拟现实智能硬件2022年12月4日第25.1窗口状态在AR耳机+智能手机界面中，用户被虚拟和真实状态的多个2D平面所包围，这类似于Ens等人的工作[4]，该工作提供了关于2D平面空间在3D空间中的框架设计。基于框架设计的七个维度和我们的观察，我们介绍了三种类型的窗口：智能手机屏幕上的窗口，AR空间中的窗口，以及手机后的窗口，如图3所示，颜色不同。固定窗口是一个静态的应用程序窗口挂在虚拟空间。下面的窗口是一个动态应用程序图3我们的界面有三种类型的窗口：固定窗口（红色），跟随窗口（蓝色）和手机屏幕窗口（绿色）。窗口，遵循智能手机的位置和方向。Window on smartphones是我们每天都在使用的智能手机上的应用程序窗口。5.2转移在我们的窗口管理系统中，最重要的操作是将窗口转换为不同的状态，因为交互功能分布在两个设备中，同时与多个窗口进行交互。在这项研究中，我们提出了六个相互作用的一对一转换。(1) 屏幕固定。要将窗口从智能手机屏幕转移到固定的虚拟空间（图2a），用户只需按下空白区域，然后用一根手指向上滑动（O4、O7、O9）。然后，窗口以与AR耳机相同的高度和角度出现在空中。请注意，在我们的系统中，窗口将始终出现在用户前面50厘米作为默认设置（O15）。通过智能手机屏幕触摸使用有形的方法，滑动操作是窗口过渡的提示。这使用户能够以直观的方式管理窗口。(2) 固定在屏幕上。用户将手机移动到固定窗口所在的位置，长按，然后用一根手指向下滑动，如图2b所示（O4，O9，O11）。用户可以通过手机屏幕访问此窗口。可以通过精确的触摸输入在智能手机上执行进一步的操作。 根据形成性访谈的一致性观察，这一操作的设计与上一个操作完全相反。(3) 屏幕跟随。要将手机屏幕上的窗口转换为以下状态（图2c），用户只需按下空格并向左或向右滑动（O4，O9）。松开手指后，窗口将出现在手机旁边，与手机屏幕的高度相同。任何时候用户移动或旋转手机，以下窗口钉和保持相对位置。可以以这种方式显示扩展信息以补充智能手机屏幕窗口（O2）。(4) 跟着屏幕。对应于最后一个操作，用户长按边缘并用手指向相反方向滑动，以使以下窗口出现在智能手机屏幕上，如图2d（O9，O11）所示。这种对应的交互降低了存储器成本。这使用户能够通过快速滑动操作智能手机上的以下窗口。(5) 固定跟随。要允许固定窗口跟随（图2e），用户可以将手机移动到固定窗口的位置，长按手机的边缘，然后向下滑动（O9）。随后，固定窗口将在智能手机旁边无缝地跟随手机。我们使用回调隐喻介绍了这种交互，以便用户可以轻松执行和记住。(6) 然后固定。像最后一个操作一样，用户长按边缘并向上滑动以传输124Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估然后将其固定在空间中（O9，O11）。当松开手指时，窗口出现在与智能手机相同的高度，如图2f所示。5.3选择选择是一个及时的操作，跟随别人。选择以下窗口时，用户根据窗口所在的位置（O6，O10）按智能手机的左侧或右侧边缘。当选择固定窗口时，用户将智能手机移动到窗口所在的位置，然后按下空白屏幕以选择它（O9，O11）。我们将触摸与3D跟踪智能手机相结合，以提高准确性。5.4变换-移动、旋转、缩放该变换仅适用于AR空间中固定的窗口。另外两种类型始终跟随手机，并且可以在必要时在用户的视线内，因此几乎不需要调整。要转换（图2i，2j和2k），用户可以首先通过使用下面的交互来选择一个窗口。然后移动智能手机，同时手指按压手机（O6，O10）。固定窗口跟随手机沿三个轴移动。手指从屏幕上移开后，选定的窗口将固定在半空中。如果用户旋转手机，所选窗口将在三个轴上以智能手机的相同角度同时旋转。当用户通过智能手机选择窗口的角落时，他们会激发缩放，通过移动智能手机，他们可以缩放窗口。请注意，固定窗口在缩放时不会移动或旋转。5.5密切在智能手机上关闭窗口与用户最初执行的方式完全相同。在本节中，我们介绍用户如何在以下和固定状态下关闭窗口：(1) 关闭固定窗口。要关闭AR中的固定窗口，用户点击窗口右上角的关闭按钮（O7，O8），然后窗口消失（图2g）。点击是参与者在与虚拟内容交互时提到的直观交互。此外，它是一个方便的单手交互。(2) 关闭以下窗口。要关闭以下窗口，用户快速向两侧摇动他/她的智能手机（O 7）（图2 h）。不一会儿，窗户关上了。智能手机的姿势很容易执行，非常自然。5.6导航为了导航AR头戴式耳机和智能手机中的所有窗口，用户通过按压智能手机屏幕来翻转他/她的智能手机，如图2l所示。窗口聚集在智能手机周围的弧形表面上，并与智能手机一起移动。在手指从屏幕移开之后，窗口显示在用户前面（O7）。6执行我们在运行Lumin操作系统的Magic Leap One AR眼镜（FOV：水平：40°，垂直：30°，RAM：8GB）和运行Android操作系统的华为P20智能手机上原型设计了我们的系统。智能手机和AR耳机通过无线网络连接（图4）。125虚拟现实智能硬件2022年12月4日第2我们的系统支持渲染两种类型的窗口。浮动窗口显示在以头盔为中心的球体上，以下窗口显示在手机旁边：为了准确地渲染以下窗口，我们使用了OptiTrack，这是一种运动捕捉和3D跟踪系统，可以跟踪智能手机的位置和方向。追踪到的坐标OptiTrack是在世界坐标系中，因此，我们使用坐标系变换来获得Unity中变换矩阵可以是图4原型系统的设置。在我们的原型中使用了OptiTrack设备，Magic Leap AR耳机和智能手机。使用两个坐标系中的几对对应坐标计算。目前，用户可以在智能手机上打开各种应用程序（如视频播放器、Web浏览器、照片这使用户能够享受AR头戴设备中宽显示器的好处。用户还可以通过3D跟踪智能手机的触摸和姿势输入直观地将这些虚拟窗口调整到所需的大小、位置和方向（图5c）。也可以将智能手机屏幕上的窗口转换为以下状态（图5a），以便窗口始终对用户可用，并且可以是智能手机屏幕上的补充内容。此外，用户可以随时将AR中的固定窗口和后续窗口检索回智能手机。通过在空间中显示多个窗口，用户可以导航以找到目标窗口。最后，使用智能手机点击右上角可以关闭固定窗口（图5d），通过智能手机的摇动姿势可以关闭下面的窗口。我们的原型中的窗口管理操作示例如图5所示。图5窗口系统中的实际界面。(a)一个跟随智能手机的窗口;（b）AR空间中的固定窗口;（c）原型系统中的变换操作;（d）点击右上角以关闭固定窗口。7用户评价这里的目标是验证所提出的窗口管理操作的整体可用性和用户对交互的主观反馈。126Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估7.1参与者我们从校园招募了10名参与者（7名男性和3名女性），年龄在20到24岁之间。所有参与者都有使用AR耳机和智能手机的经验。其中三人是AR专家，并拥有AR头显（Hololens和Magic Leap）的开发经验。我们研究的所有参与者都是智能手机专家。7.2程序实验包括两个部分：热身和窗口放置任务。整个过程总共花费了大约40分钟。鼓励参与者在过程中就每次互动发表意见。第一步：热身（10 - 15分钟）。我们向用户介绍了以下所有交互：传输、导航、选择、转换和关闭。他们可以尝试每一个互动，只要他们愿意，直到他们熟悉它。第二步：窗口放置任务（20 - 25分钟）。在这一步中，我们模拟了实际的窗口放置任务。这有助于验证我们的窗口管理操作是否有用和灵活。在我们的系统中有七个窗口：视频，图书，照片，日历，地图，网站和聊天。首先，用户需要将五个任意窗口置于三种状态：手机屏幕，跟随窗口和浮动窗口。然后要求参与者按照预定义的顺序放置窗口。最后，他们被要求关闭所有窗户。实验结束后，参与者表示同意以下五个类别：（1）容易学习，（2）容易记忆，（3）容易使用，（4）疲劳程度，（5）愿意使用。7.3结果总体而言，与会者的反馈是积极的。结果表明，我们的互动是自然的，高效的，使用起来很有趣，参与者有兴趣在未来使用AR耳机和智能手机界面进行移动使用。图9显示了用户对这五种交互的主观反馈。结果显示，所有14个互动都受到了参与者的好评。它们容易学习（得分=6.4）、容易记忆（得分=6.1）、使用方便（得分=6.2）、引起很少疲劳（得分=6.1）和用户期望（得分=6.1）。这些结果也表明了AR头戴式耳机+智能手机接口在未来移动终端使用中的可用性和可能性。此外，我们还分析了用户反馈，以更好地了解窗口系统的优势和局限性。(1) 转移智能手机窗口和固定窗口之间的传输操作是最令人满意的操作。参与者的观察和评论表明，这些交互直观、简单、方便（“这太棒了，我想我第一次使用后就能完全理解和掌握这个操作了”）。然而，由于难以到达边缘（“到达边缘有点困难”），在跟随窗口和固定窗口之间的转移操作以及将跟随窗口转移到智能电话的操作相对不太优选。总的来说，用户认为转账是一种有用的操作。他们建议将视频或照片转移到太空中的固定位置，以便更好地观看。他们还建议将地图或书籍转移到智能手机上，以便他们也能够在手机上做笔记或搜索。(2) 选择. 参与者报告说，选择是一种基本的窗口管理互动。大多数127虚拟现实智能硬件2022年12月4日第2与会者认为选择这两个窗口既简单又直观。然而，选择下面的窗口是不太可取的，因为在到达边缘的不便。评论还显示，参与者愿意使用智能手机选择固定窗口。他们报告说，这是直观和有效的使用。这与我们在访谈中（O5和O7）的观察结果一致。具体来说，一些参与者表示，使用手机进行选择给了他们更多的信心。由于O4，我们假设使用智能手机时“触摸”的感觉比半空中的手势更强烈（“我认为这很棒。我喜欢这个手势。看起来更准确”）。(3) 变换与会者高度赞赏转换操作。他们认为它们对于组合接口很有用。与会者还表示，调整窗口的布局以更好地适应他们的个人工作环境是有益的。他们认为这比直接用手做手势更直观、更有效（“我认为这比直接用手做手势更好。看起来更准确”）。在伸手可及的范围内执行操作时，伸出手是可以接受的，因为窗口管理操作是临时的、频繁的，并且花费的时间很少。参与者还发现它很容易学习和执行（“它很容易理解，操作非常简单”）。(4) 近了关闭是使用智能手机手势作为输入的操作。结果显示，参与者对这种互动非常满意。他们认为摇动智能手机关闭下面的窗口特别有趣，简单方便（“我很喜欢这个操作，真的很有趣。我觉得虚拟窗口与我的智能手机紧密相连，所以摇一摇关闭真的很自然，很神奇”）。他们发现使用智能手机点击右上角关闭固定窗口很简单直观。用户可以直接执行操作而无需回忆。通过结果，我们发现使用智能手机手势与与手机密切相关的内容进行交互的可能性很大，因为它给了用户更大的控制感。总体而言，参与者对密切互动持积极态度。他们认为关闭是一个必要的操作，有助于快速关闭不再需要的应用程序窗口。(5) 导航导航的初衷是帮助用户在有限的FOV范围内快速定位目标窗口。然而，与会者对这一行动不太关心。他们更喜欢转头，而不是用手机导航（“我想转头，尽管这个操作很简单。这是不太费力”）。此外，大多数参与者发现它很容易学习和执行。一些参与者报告说，翻转智能手机很有趣。他们认为这种手机手势在与AR内容连接时很有趣。图6用户的主观反馈。1=非常不同意，7=非常同意。8讨论在这项研究中，我们强调了在两个设备上运行的应用程序之间缺乏关联。请注意，我们并不关心数据同步。我们专注于提供一种途径，128Jie REN et al：AR头戴设备+智能手机界面中窗口管理操作的设计与评估使用户能够将不同的输入和输出从应用程序分配到合适的设备。在我们的窗口管理系统中，用户能够将操作转移到分布在虚拟空间和智能手机中的窗口。它是AR耳机和智能手机结合使用时提高效率的有效补充。与会者还展示了未来使用的AR耳机+智能手机界面的重要性和潜力。我们提出的交互是基于收集用户的偏好和建议而设计的。使用3D跟踪智能手机的触摸和姿势作为交互方法已被证明是有效的。这使用户能够直接管理分布在两个设备中的窗口，并具有很小的接缝。结果表明，良好的效率和可行性，即使我们只提供了一小部分可能的相互作用作为例子。必须探索进一步的窗口管理业务。我们相信，我们的设计因素可以帮助设计师在不同的场景中呈现更多的操作和替代交互。我们的研究有三个局限性。首先，我们使用OptiTrack设备来跟踪智