基于Kinect的智能手机交互和协作镜头在公共显示器上的应用

HOS T E D B Y可在www.sciencedirect.com网站上查阅计算设计与工程学报2（2015）73www.elsevier.com/locate/jcde通过智能手机的交互式镜头，支持公共显示器Minseok Kim，Jae Yeol Leen韩国光州全南国立大学工业工程系2014年11月25日收到;2014年12月4日收到修订版;2014年12月8日接受2015年1月7日在线发布摘要在本文中，我们提出了一种新的方法来提供多个用户之间的交互和协作镜头，支持使用智能手机在公共显示器的详细视图的水平。为了提供基于智能手机的镜头功能，使用Kinect有效地检测和跟踪智能手机的位置，Kinect提供RGB数据和深度数据（RGB-D）。特别是，从Kinect 3D深度数据中提取人体骨骼信息，以更有效和正确地计算智能手机相对于公共显示器的位置，并支持头部跟踪，以轻松选择目标和自适应视图生成。所建议的使用智能手机的交互和协作镜头不仅可以探索共享显示器的局部空间，而且可以提供诸如LOD观看和协作交互的各种活动实验结果表明了该方法的优越性和有效性&2015 年 CAD/CAM 工 程 师 协 会 。 由 Elsevier 制 作 和 主 持 。 这 是 一 个 在 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：智能手机交互; Kinect;交互镜头;头部跟踪;共享显示;细节层次视图生成1. 介绍近年来，智能手机增加了移动交互的多样性，这为自然交互和交互技术提供了新的可能性。尽管智能设备和交互技术取得了许多进步，但大多数设备在屏幕尺寸和可以显示和共享的信息量方面都存在固有的限制。因此，移动协作和交互仍然没有得到足够的支持，以允许人们举行特别会议，在那里他们通过智能手机合作执行任务并操纵共享信息[1在过去的几年中，公共显示器或共享显示器被安装在城市环境中，例如博物馆、信息亭终端和媒体立面。个人移动设备已被确定为有前途的远程控制器，用于实现与公共显示器的数字内容的交互，并且到目前为止学术界和工业界已经引入了几种相应的移动技术[1]。n通讯作者。电子邮件地址：jaeyeol@jnu.ac.kr（J.Y. Lee）。许多研究工作试图弥合差距，以支持智能设备和共享显示器之间的自然交互。早期的工作试图用传感或通信能力来增强有限能力的智能设备，如遥控器[3，5]。然而，这种方法很难有效地向多用户提供智能设备上的视觉信息。为了克服这种限制并支持智能手机和共享显示器之间的交互，特别是需要提供视觉控制的交互。一些研究人员试图通过跟踪移动终端的位置来提供对公共空间中的本地信息的访问，以便它可以物理地四处移动以查看共享空间的不同部分[6，7]。然而，他们在移动设备上附加传感器来跟踪相对位置和本地位置，这是繁琐且无效的[4]。一个直观且吸引人的交互概念是通过基于触摸的智能手机进行无标记的魔术镜头交互[2]。类似于移动增强现实，用户可以将智能手机瞄准远处的屏幕，并观察由智能手机的相机捕获的该现实世界场景。通过对所捕获的图像的关键特征检测和分析，可以将智能手机显示器上的触摸映射到触摸屏。http://dx.doi.org/10.1016/j.jcde.2014.12.0012288-4300/2015 CAD/CAM工程师协会。&由Elsevier制作和主持。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。74M. Kim，J.Y.Lee/Journal of Computational Design and Engineering 2（2015）73可以触发大显示器上的相应位置和相关动作。然而，如图1所示，几乎很难瞄准具有类似关键特征的局部区域。此外，很少有研究工作涉及如何有效地支持视觉控制的视图，例如交互式镜头，以支持共享显示中的个人和合作交互。虽然已经开发了一些技术和应用程序来支持使用智能手机在并置用户之间的共享空间中的交互，但是智能手机几乎没有为本地和共享交互提供支持[4]。共享显示器和智能手机之间的重要问题之一是如何无缝支持它们之间的交互[8另一个要处理的问题是在会议室或大型显示器中参与的多用户之间支持LOD视图的可能性。为了在公共显示器和智能手机之间同步本地探索，有必要有效地检测智能手机相对于彼此和相对于共享环境的本地位置然后，系统应该根据角色和偏好为单个用户提供特定的本地视图[4，7]。本文提出了一种使用智能手机的交互和协作镜头，用于在如图2所示的共享显示器中进行协同定位和协作交互。所提出的方法使得用户能够通过使用深度相机Kinect在空间上跟踪多个智能手机来在公共显示器中使用基于智能手机的镜头与数字内容交互，Fig. 1.具有相似或相同关键特征的图像（韩国景福宫地图）。提供RGB数据以及深度数据（RGB-D）。特别是，从Kinect 3D深度数据中提取人体骨骼信息，以更准确有效地计算智能手机位置并支持头部跟踪。头部跟踪用于支持目标选择和自适应视图生成。所提出的使用智能手机的交互和协作镜头不仅可以探索共享显示器的局部空间，而且可以提供各种活动，例如详细级别的查看、协作交互、备件感知交互和设计审查。由于所提出的方法检测智能手机的相对和局部位置和方向，而不附加任何传感器，它提供了非常有效的局部空间探索和协作交互。我们将通过展示几个实施结果来展示所提出的方法的有效性和优势。2. 拟议办法如图3所示，所提出的方法可以通过利用深度相机在空间上跟踪多个智能手机来容易地与共享显示器交互。在共享显示器中登记初始数字模型或多媒体信息，并且如果需要，还登记其功能模型。基于这些模型，参与者可以使用智能手机执行交互式镜头任务和协作活动。智能手机相对于共享空间的本地位置和方向使用深度相机Kinect™检测[11]。特别地，从Kinect 3D深度数据中提取人体骨架信息并进行分析以检测智能手机，这不仅可以最小化智能手机的错误检测的可能性，而且还可以支持基于头部跟踪的自适应视图生成，这是基于RGB-D数据的先前方法的固有问题之一。由于智能手机的位置位于骨架的手部区域上，因此骨架的这种分析可以消除昂贵且容易出错的图像处理。注意，每个智能电话的位置在共享显示器前面的3D网格中具有3D坐标在检测到智能手机后，系统为每个智能手机生成一个本地空间，该空间可以根据用户的偏好和角色发挥主要作用，提供不同级别的详细视图。然后，头部跟踪的分析被用来提供更直观和自适应的交互式镜头的能力，如自适应观看和目标指向。图二、所提出的方法的概念草图：使用基于智能手机的交互式镜头进行局部空间探索和不同详细程度的查看M. Kim，J.Y.Lee/Journal of Computational Design and Engineering 2（2015）7375图三. 检测智能手机位置并支持交互式镜头和协作活动。除了检测智能手机的位置和头部跟踪信息外，它还分析用户的手势和智能手机的行为。在分析它们之后，系统生成本地图形场景并将其传输到智能手机，并且结果也更新到共享空间。智能手机可以扮演两个角色：遥控器和互动镜头。作为遥控器，智能电话提供一组图标和菜单，每个图标和菜单生成用于与共享显示器中的数字产品交互的事件。此外，还可以使用不同的传感器（如加速度计）来操纵模型。另一方面，作为交互镜头，智能电话提供关于共享空间的本地视图，使得用户可以本地查看并直接操纵共享模型。两个不同的角色可以轻松支持多用户之间的协同合作和交互。3. 智能手机的空间跟踪和本地空间探索处理RGB-D数据使智能手机更容易识别，因为深度信息可以补偿基于RGB数据的图像处理。然而，当深度范围未指定且多个用户并置时，查找智能手机的区域并不总是容易的。特别地，尽管深度范围被指定，但是仍然需要从深度数据的可能区域中进一步提取平面并找到用于智能手机的定向矩形框。例如，检测到的深度数据可能不包含智能电话的精确定向的矩形形状，因为深度相机由于智能电话的材料属性（例如，发光材料）。或者从其他区域检测到错误的平面，如图1所示的平面形状的布料。 4 [12]。为了克服这个问题，从通过Kinect捕获的RGB-D数据图四、使用RGB-D数据检测智能手机位置的困难Kinect骨骼跟踪可以识别人并跟踪他们的动作[11]。根据骨架信息，可以容易地找到手，使得我们可以假设智能手机位于骨架中的任一只手上，如图5所示。从双手，我们可以通过应用区域图像处理来找到智能手机的确切位置。此外，加速度计信息用于确定智能手机的方向。使用骨架信息的另一个优点是容易地应用头部跟踪以向用户提供更直观和交互式的镜头。使用RGB信息，几乎不可能找到从头部到智能手机的方向。然而，很容易从骨架信息中找到这些信息的位置。此外，骨架信息提供了3D坐标，使得可以容易地执行眼睛跟踪，其方向是从头部到手持智能手机的手，如图1所示。 六、76M. Kim，J.Y.Lee/Journal of Computational Design and Engineering 2（2015）73图五、在Kinect中跟踪骨架并从骨架中找到智能手机的位置图六、头部跟踪从头部到手部的方向，在骨骼信息。见图7。 本地视图生成。同时，每当用户在智能手机中触摸并给出动作时，都会向共享空间管理器发送事件，该共享空间管理器分析该事件以获得模型的功能行为。最后，如图7所示，关于智能电话的位置的本地或私人视图被渲染并发送给用户。智能手机和共享显示器之间的重要交互之一是如何无缝地支持共享空间中涉及的多用户之间的双重视图，例如个人视图和协作视图。为了支持这一点，共享空间管理器维护参与者之间的所有不同视图。双重交互使用户更容易分享想法，并以用户友好的方式与多媒体进行交互[8]。4. 系统实现本节解释了如何将所提出的方法应用于智能和空间感知的数字在 共 享 显 示 器 中 使 用 智 能 手 机 的 内 容 。 OpenScene-Graph[13]用于3D图形渲染和场景图管理，Kinect用于检测深度信息。智能手机的本地空间和共享空间通过Wi-Fi链路建立通信信道给出了一些实现结果，以示出使用智能手机与数字内容的有效交互，如图1所示。8.第八条。 图图8（a）示出了如何提供不同级别的详细视图，例如查看船舶的内部，尽管原始模型仍然被渲染在共享显示器上。通常，直接从图像处理中检测智能手机的位置并不容易相反，在这项研究中，人体骨骼信息提取从Kinect提供的点云因此，智能电话位置可以通过附加调整从人体骨骼信息的手位置计算。图8(b)根据用户的角色或偏好显示产品信息的详细视图在该场景中，本地空间中的数字产品与公共显示器中的数字产品相同，但详细信息仅在本地视图中可见。图8（c）和图8（d）示出了当共享显示器不可见时的隐藏视图这种场景可以有趣地应用于博物馆或游戏。在这种情况下，智能电话位置被描述为公共显示器前面的3D网格中基于3D坐标和智能电话取向信息，局部空间被渲染为全局空间的子区域。此外，还利用头部跟踪解决了局部空间与全局空间的失配问题 图图8（e）示出了部分隐藏的共享显示器的不同细节级别的视图（威伦多夫的维纳斯与德米洛的维纳斯）。用户可以可视化隐藏在共享显示中的3D虚拟雕塑。此外，根据用户的偏好，可以可视化不同的虚拟雕塑，如图11所示。 8（f）. 请注意，无论智能手机如何旋转，系统都会生成正确的场景此外，可以以共享的方式向用户提供具有许多不同功能M. Kim，J.Y.Lee/Journal of Computational Design and Engineering 2（2015）7377见图8。系统实现：（a）船舶内部的私人可视化，（b）详细的产品信息可视化（智能眼镜上的部件信息），（c）隐藏视图的本地可视化，（d）隐藏视图的旋转不变视图生成，（e）3D虚拟雕塑的不同细节级别（例如，Venus of Willendorf），以及（f）取决于用户偏好的多个视图（Venus ofWillendorf vs.维纳斯（Venus of Milo）在系统同时跟踪智能电话的相对此外，可以在多个用户之间进行协作活动，因为智能电话的3D位置相对于公共显示器的3D网格已经是已知5. 结论本文提出了一种新的方法来支持多用户之间的交互和协作镜头使用智能手机在一个共享的显示器。我们的系统为智能手机提供了新的可能性，以支持各种活动，如详细查看，协作交互，备件感知交互和设计审查。由于所提出的方法检测本地和相对位置和方向的多个智能手机没有附加任何传感器，它可以提供更有效和自然的互动，本地空间探索和互动。特别地，提取骨架信息以有效且正确地检测智能手机位置并找到从眼睛到眼睛的方向。78M. Kim，J.Y.Lee/Journal of Computational Design and Engineering 2（2015）73用于头部跟踪的手，以提供更自适应和自然的交互式镜头能力。未来的研究工作包括应用于不同的应用，消除跟踪噪声时，检测智能手机的位置此外，我们还需要对可用性测试进行实验分析。确认本研究由韩国教育科学技术部资助的韩国国家研究基金会 （ NRF ） 的 基 础 科 学 研 究 计 划 （ 2012 R1 A1A2004189）和韩国知识经济部的c-MES设计支持平台技术（10033162）引用[1] BaldaufM ， FrohlichP.SnapTarget ： Investigatinganassistancetechniquefor mobile magic lens interaction with large display.InternationalJournal of Human- Computer Interaction 2014; 30：446-58.[2] Boring S ， Baur D ， Butz A ， Gustafson S ， Baudisch P. Touchprojector ： mobile interaction through video. In ： Proceedings of theCHI; 2010;p. 2287-96[3] 达谢塞尔特河移动电话和远处显示器之间的自然和倾斜交互。在：CHI会议记录;2009。[4] Luyten K，Verpoorten K，Coninx K.与移动设备协同工作。在：MobileHCI会议记录; 2007; p. 507-14[5] Olwal A，Feiner S.空间感知手持设备，用于与大型显示器进行高精度有形交互。 In：Proceedings of the TEI; 2009; p. 181比8[6] Yee K-P，窥视孔显示器：空间感知手持计算机上的笔交互。In：Proceedings of the CHI; 2003; p.1-8号。[7] 菲茨莫里斯GW。位置信息空间和空间感知掌上电脑。ACM通信1993; 36：39-49.[8] Lee JY，Kim MS，Seo DW，Lee C-W，Kim JS，Lee SM.多显示器和智能手机之间的双重In：Proceedings of the IEEE VR; 2011; p.221-2[9] Pears N，Jackson DG，Olivier P.智能手机与注册显示器的交互。IEEE普适计算2009; 8：14-21.[10] Song P，Goh WB，Fu C-W，Heng P-A.所见即所得：使用有形手持设 备 探 索 和 注 释 体 积 数 据 。 In ： Proceedings of the CHI; 2011;p.1333-42.[11] Kinect for Windows ， www.microsoft.com/en-us/kinectforwin ， 2013年。[12] Kim MS，Lee JY.在全球范围内使用智能手机和Kinect进行移动交互。韩国工业工程师学会杂志2014; 40：100-7。[13] OpenSceneGraph，http：//www.openscenegraph.org/publish/2009。