智能手机界面的AR标记方法及其应用

计算设计与工程学报。号12014年第3期第153~160页www.jcde.org使用AR标记的Yuna Kang1和Soonhung Han2，*1韩国大田市有城区富城大路488号国防开发署第一研究2韩国科学技术高等研究院海洋系统工程系，大田市有城区大河路291号，邮编305-701，大韩民国（2014年1月8日接收;2014年3月17日修订;2014年3月18日接受摘要随着智能手机最近的广泛使用，它不仅在年轻人中越来越受欢迎，而且在中年人中也越来越受欢迎。大多数智能手机采用电容式全触摸屏，因此触摸命令由手指发出，而不像过去的PDA使用触摸笔。在这种情况下，智能手机屏幕的很大一部分为了解决这个问题，本研究提出了一种使用简单的AR标记来改善智能手机界面的方法在智能手机摄像头前放置标记然后，分析标记的照相机图像以确定标记的位置作为鼠标光标的位置该方法可以实现PC中使用的点击、双击、拖放以及智能手机中的触摸、滑动、长触摸输入通过本研究，可以使智能手机输入更加精确和简单，并展示了智能手机界面新概念应用的可能性关键词：智能手机;增强现实;标记;界面;人机交互1. 介绍1.1 当前状态近年来，智能手机（一种执行类似PC的更高级功能的蜂窝电话大多数智能手机都采用了全触摸屏，以方便浏览，如过去的PDA。一般来说，触摸屏可以分为两种类型。第一种类型是电阻型，它能识别压力;另一种类型是电容型，它能检测屏幕上电流的变化。PDA采用电阻式全触摸屏，但最近发布的智能手机电容型可以比电阻型更平滑地操作和滚动[1]。然而，电容式触摸屏只能检测为智能手机制造的特定类型的触摸笔，而不能检测手套、指甲或普通触摸笔。此外，由于移动性的降低，人们通常不使用智能手机的触摸笔。由于电容型比电阻型更敏感，在实践中也出现了许多问题表示当用户用软键输入字符*通讯作者。联系电话：+82-42-350-3040，传真：+82-42-350-3210电子邮件地址：shhan@kaist.ac.kr© CAD/CAM工程师协会Techno-Press doi：10.7315/JCDE. 2014. 015键盘（QWERTY），错误发生最频繁。如图1所示，当用户触摸一个按钮时，拇指覆盖多个按钮。用户无法看到拇指的确切位置，因此会出现许多打字错误。另一个常见的错误发生在移动页面上（参见图2）。目前，许多网站正在为智能手机提供网站的移动版本。PC的旧网页太大，无法在智能手机中看到，因此用户需要放大页面以查看页面的特定区域。移动页面的制作是为了适应智能手机的屏幕尺寸，因此用户可以看到图1.用户无法看到QWERTY软键盘上拇指覆盖的按钮[2、3]。154Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页图2.移动页面上的输入错误示例[3]。不放大/缩小页面然而，页面中的一些按钮彼此非常接近，并且移动页面已经有一些软件方法来解决这个问题。当前，用于智能电话的操作系统在用户按下所选按钮时提供所选按钮的放大图片此外，在游戏应用中，应用几种校准算法来校正接近精确输入的输入然而，这些方法仅限于软键盘上的输入或具有校正算法的特定游戏即使对于熟悉智能手机的人来说，也很难在许多小按钮中一次选择所需的输入此外，如果用户的手指干燥或具有硬化的皮肤，或者如果用户戴着电容式屏幕的触摸笔可以部分解决这些问题，但它在这项研究中，为了解决这个问题，我们提出了一种方法来改善智能手机的界面，使用一个简单的标记，这是经常使用时，构建增强现实。首先，将介绍和比较与本研究类似的先前研究，并详细描述所提出的方法最后，我们将展示一些结果的实施和一些实验，可以确定这种方法的效率。2. 相关作品智能手机在几年前才开始流行，但使用相机图像的移动设备的用户界面从过去就已经开发出来了。一些研究从相机图像中识别用户的手[4-6]或用户的脸[7，8]的手势，这些针对PC机图3.电容屏使用触摸笔的示例：它也部分覆盖屏幕[3]。已经. 然而，这些方法在图像处理步骤中需要较长的计算时间，因此难以应用于智能手机环境。因此，在针对移动设备的一些研究中，系统仅从作为输入的相机图像中识别移动终端的在其他研究中，为了解决图像处理耗时的它被固定在真实空间中，并且用户移动相机以获得标记的相对位置，用于为移动设备做出输入命令Hansen等人[12]在地板上定位了一个标记，并在x，y，z方向上移动了附在移动终端上的摄像机另一方面，Park和Moon [13]在手指和看起来像移动终端的假人上放置标记，并使用户能够通过HMD看到移动终端。他们的研究主要集中在有形的交互上，但与我们的研究相似的是，输入命令是通过手指上标记的摄像头图像做出的Hachet等人。[14]还提出了一种使用3色目标板的移动设备中大规模地图的导航方法。他们的研究与我们的研究在使用固定设备和移动目标这一点上相似然而，Hachet研究的目标Byun和Kim在他们的研究中，从相机图像中选择一个虚拟点，当相机四处移动如图4所示，用户可以移动移动终端以将所选择的点匹配到期望的位置，然后单击切换按钮一次以进行输入事件。Byun和KimY. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页155图4.一种用于移动终端的接口[15]。点在现实世界中不存在因此，不存在实际标记将是有利的，但是如果环境具有动态对象，则不能保证稳定性表1显示了与相关研究和本研究的比较。在Hachet只有标记或移动终端可以在3D空间中移动以发出输入命令，但Byun另一方面，Hachet的研究[14]对于动态环境具有高稳定性，因为它采用了标记作为界面，但其目标是地图上的导航，因此系统仅支持简单的Park出于同样的原因，需要ED操纵已经有许多使用标记或照相机来改善移动接口的研究然而，如果移动终端被移动以输入命令，则用户看到显示是不舒服的此外，由于智能手机应该可以在随身携带时使用，因此使用大图案和固定标记的方法不能被视为方便的方法。为了克服这个问题，本研究采用了使用可以附着在手指或物体上的小标记的方法，并提出了在保持移动设备的高移动性的同时可以进行准确输入的方法。3. 使用AR标记的增强现实（AR）是指真实环境和虚拟对象的混合环境[16]。实时精确匹配真实环境和虚拟环境的方法有很多其中，使用AR标记（基于标记的跟踪）的方法是获得跟踪结果的最简单和最鲁棒的方法[17]。本研究提出了一种方法，其中AR标记的位置被用作鼠标的位置表1.现有研究与本研究的对比表。Hachet等人[5]帕克等人[14]Byeon等人[2]本研究简单操纵高低高介质屏幕稳定性高高低高动态稳定性环境高介质低高可能性详细操作低高高高PC上的指针触摸板上的输入事件可以通过两种方式进行分析当用户在屏幕上按下或释放手指时发生的事件（OnPress/OnRelease）当用户的手指移动时发生的事件在屏幕上（OnMove）我们通过这两个输入，最常见的functionali- ties的鼠标在PC上可以实现.例如，OnPress-OnRelease的快速事件可以是“点击”事件，并且执行两次如果OnMove事件发生在OnPress事件和OnRelease事件之间，则它可以是此外，如果OnPress事件和OnRelease事件之间的时间间隔较长，则其可以是触摸板中经常使用的在本研究中，将介绍两种方法作为在触摸板上创建上述两个事件的方法;第一种是仅使用AR标记的方向（位置和旋转）的方法在每种方法中，来自相机图像的标记的2D位置可以被认为是鼠标指针的2D位置。两种方法分别实施。3.1 方法A：仅使用标记在第一种方法中，标记的位置和方向仅被认为是实时创建输入事件的方式。如图5（a）和图5（b）所示，系统识别标记的对称形状，并且根据检测到的标记的角度变化发生OnPress/OnRelease事件图5（a）可以识别为OnPress事件，图5（b）可以识别为(a) OnPress（b）OnRelease图5.创建OnPress和OnRelease事件的方法156Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页图6.标记的旋转值[2]。作为OnRelease事件。在实践中，标记如果图6中的旋转值x从正变为负，则将发生OnPress事件，并且如果x从负变为正，则将发生OnRelease事件图7示出了使用标记的取向的方法的总体流程图系统识别摄像机图像中标记的位置。在确定标记的位置和旋转之后，系统将标记的3D位置投影到智能手机的2D屏幕上以用作鼠标指针。可以实时检查标记的角度，以查看旋转值的符号是否更改;如果符号更改，则会发生OnPress或OnRelease事件，具体取决于鼠标指针的方向和颜色的更改图8示出了具有标记旋转的位于指甲上的标记的位置成为鼠标指针的位置图7.方法A的流程图图8.方法A的单击操作图9.从标记显示鼠标指针(see图9）和标记旋转90度并返回原点的一系列动作，可以像点击操作一样使用。3.2方法B：使用标记的位置和触摸命令识别标记旋转的方法在理论上没有问题，但在实践中需要对用户进行大量的训练，以旋转标记，同时保持准确的位置。因此，我们提出了一种替代方法，该方法使用标记的位置和屏幕上的触摸命令来补偿这个问题。如果用户将标记放置在期望的2D位置上，然后触摸屏幕，则输入命令发生在标记的位置上，而与触摸命令的位置无关图10中示出了使用标记的位置和触摸命令的方法的总体流程图系统从摄像机图像中识别标记及其位置，但不识别标记的旋转系统实时检查触摸输入，如果有输入信号，系统拦截信号并向鼠标指针的当前位置（标记的2D位置）发送输入命令。图11示出了使用标记的位置和触摸命令的“点击”命令的示例与仅使用标记的方向的方法相同，标记的位置变为鼠标指针的位置。该方法类似于使用常规方法图10.方法B的流程图Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页157图层3：相机预览（不可见）第2层：UI（按钮框）第1层：鼠标指针屏幕用户(a) OnPress（b）OnRelease图11.方法B的点击动作触摸，但是通过该方法可以进行更正确的输入，因为手指不覆盖实际输入位置。此外，与仅使用标记的方向的方法相比，该方法更准确和容易，但是对于不可能使用电容式触摸屏的情况下的4. 实施和实验4.1 执行该系统已经在Google Nexus One上实现为了在Android环境中实现该系统，需要叠加几个“视图”，例如相机预览、输入按钮和鼠标指针。特别是，相机预览和鼠标指针应该反复实时更新，因此延迟可以被消除。图12.所实施系统的结构图13.一个实施的例子由于缺乏资源而导致的主线程为了缓解- se问题，使用Android OS中的SurfaceView在后台资源上运行实时作业。为了识别标记，一个开放的库，采用了andAR库获取标记在3D坐标中相对于摄像头位置的实际位置，因此我们通过将3D坐标投影到2D屏幕上来获得鼠标指针的2D坐标系统在获得的2D坐标上显示方形鼠标指针屏幕配置如图12所示摄像头时代的预览位于最后面，一些按钮、输入框和背景图片位于摄像头预览的前面。鼠标指针显示在顶部，因此用户可以看到将选择哪个部分在图12中，示出了实际实现的示例。相机预览是隐藏的，以防止混淆。方形鼠标指针在OnRelease条件下显示为紫色，在OnPress条件下显示为粉红色。图13还示出了在真实设备上的实施结果。如上所述图14显示了如何使用这个系统。4.2 试验结果为了验证，我们比较了四种方法的结果;使用传统的手指触摸方法，使用电容触摸笔，以及使用提出的两种方法158Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页图14.如何使用该系统。我们使用3 M MHP-1000 S型号作为电容式触摸笔和尺寸为7 mm * 7 mm的贴纸方法0方法1方法2方法3命令测试者是20多岁的研究生，使用智能手机超过2年。针对每种方法0、1、2和3测试了四种类型的测试用例集每个测试用例集如表2所示。在这些测试中，只测试输入精度，而不考虑输入速度。测试人员在给定方向上尽可能准确地为每种方法发出拖放命令，然后系统计算每个测试的实际输入点和给定输入点表3和图15显示了每个测试用例和每个方法的平均误差值方法0（用手指触摸）与其他方法相比误差较大。特别是当用户在手覆盖的不可见方向上拖动时--相比之下，当用户如在情况3中那样从上到下拖动时，起始点中的误差类似于结束点，因为手没有覆盖结束点。该结果表明，当执行触摸输入时，输入准确度受到目标是否被用户的手覆盖的方法1（使用电容式触摸笔）显示出比方法0更好的结果不受目标和方向的影响，但与起点相比，每个端点都有很大的误差。结果表明，使用触摸笔时的误差小于使用手指时的误差，但它也会导致目标点的覆盖问题表2.输入测试的测试用例[2，3]。起点终点情况1(200100）(600（300）壳体2(600100）(200（300）壳体3(400100）(400（300）壳体4(200（200）(600（200）表3.结果：输入测试距离误差的平均值。方法0方法1方法2方法3情况1开始10.0413.268.942.76端27.3514.548.303.81壳体2开始27.2211.468.094.45端16.1016.795.682.30壳体3开始21.928.956.883.21端22.4219.365.912.35壳体4开始14.1615.528.742.59端29.0617.549.292.51总21.0314.687.733.00另一方面，方法2和3表明结果不受阻力方向的影响。然而，由于标记物的旋转误差，与方法3相比，方法2显示出不准确的结果输入方向或各种情况可能会有误差，但在这些测试中，方法2的误差比方法0的误差小2.7倍，比方法1的误差小1.9倍此外，方法3的误差比方法0的误差小7倍，比方法1的误差小4.9倍4.3 结果分析本实验主要是测试输入的准确性，以说明传统的输入法准确性低，而且需要更多的时间来进行准确的然而，在不需要准确输入的情况下当在智能手机上操作该系统时，使用智能手机中的相机模块，因此短电池持续时间可能是一个问题。为了缓解这个问题，因为图像处理技术用于识别标记，所以环境的黑暗或阴影会影响结果。在这项研究中，我们使用一个简单的正方形，图15.结果图表Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页159所以它比跟踪自然标记更鲁棒。此外，在识别正方形标记中最常见的问题是根据标记的角度的跟踪失败。然而，在本研究中，可以假设标记总是平行地放置在摄像机的前面此外，智能手机的闪光灯可以成为黑暗环境的解决方案在这种情况下，识别失败几乎不会发生，但是因为它会加速电池消耗，所以不适合长期使用。5. 结论在这项研究中，提出了一种新的输入接口的智能手机唱AR标记。我们提出了两种减少智能手机输入错误的方法，并通过实验验证了智能手机精确控制的可能性。当难以或不可能做出电容式触摸命令时，或者当用户的手指相对较大时，使用采用上述方法的界面来做出触摸输入将更容易。此外，一些需要细节工作的应用程序，如Photoshop（编辑图片），素描，绘画和做笔记，将更容易使用。可以开发更多需要详细控制的应用程序，并且可以从这些方法支持AR射击游戏。在未来，我们的方法的识别率，可用性和效率的应用程序，需要详细的输入进行测试。在仅使用标记的取向的方法中，当标记在目标点上旋转时存在缺点，但是如果附接到诸如笔、橡皮擦或钥匙圈的可携带对象的标记旋转，则用户将能够更容易地使用该界面。本研究的两种方法均采用图像处理技术来识别标记。如果此接口同时与一些繁重的应用程序一起运行，则可能会出现延迟，因为图像处理会使用大量资源。这些问题可以通过采用一种更加鲁棒和轻量级的标记识别算法来解决。此外，该接口是在一个应用程序的集成系统中开发的，因此用户目前无法在其他应用程序中使用它。在Android OS中，独立应用程序不能访问另一个应用程序。因此，在未来，我们将在操作系统级提供此接口，然后用户将能够在其他应用程序中使用此接口，作为智能手机上的软键盘。致谢本研究得到了韩国政府知识经济部资助的核电厂生命周 期 管 理 集 成 和 自 动 化 技 术 开 发 基 金（2011T100200145）的支持。这项工作得到了人力资源发展部的支持opment程序（编号：20134030200300），由韩国政府贸易、工业和能源部资助。引用[1] 维基百科[互联网].c2013 [2013年9月14日引用]。可从以下网址获得：http://www.wikipedia.org/[2] 姜雅，韩世石。使用AR标记改进智能手机界面计算机辅助设计/制造工程师学会汇刊。2011; 16（5）：361-369.[3] 姜雅，韩世石。使用AR标记改进智能手机界面In：Proceedings of the 11th International Conference on VirtualReality Continuum and its Applications in Industry; 2012Dec; NTU，Singapore.[4] 作者：Jiangsu M，Jiangsu M.从动作捕捉数据重建人手模型。计算设计与工程杂志。2014; 1（1）：1-12.[5] Huh SJ，Lee SW.一种用于实时连续手势识别的分层贝叶斯网络韩国信息科学家和工程师学会杂志：软件与应用。2009; 36（12）：967-1039.[6] Starner T，Pentland A.使用隐马尔可夫模型从视频中实时识别美国手语麻省理工学院媒体实验室，麻省理工学院，剑桥，马萨诸塞州，1995年;技术。报告TR-375，第1195-1207页。[7] De Silva LC，Aizawa K，Hatori M.基于边缘像素计数和变形圆模板匹配的人脸特征IEICE信息与系统汇刊。1995;E78-D（9）：1195-1207.[8] 哦，ST，Jun BH。利用脸部姿态状态与自动机技术进行头部手势辨识。韩国信息科学家与工程师学会会刊：软件与应用.2001; 28（12）：947-954.[9] Bondarchuk V，Jung IR，Kim CS，Koh SJ.使用相机捕获的信息实现移动用户界面控制In：Proceedings of SummerConference of the Institute of Elec- tronics Engineers ofKorea; 2009 Jul 8-10; Jeju，Korea; p.873- 874。[10] Lee CS，Cheon SY，Sohn MG，Lee SH.使用移动相机设备的手势韩国信息科学家与工程师学会会刊：计算实践与通讯.2010; 16（5）：621-625.[11] Rohs M ， Zweifel P.A conceptual framework for cameraphone- based interaction techniques ， Proceedings of theThird International Conference on Pervasive Computing;2005 May 08-13; Munich，Germany; p.171-189.[12] 放大图片作者：John R，John E.混合交互空间：设计基于摄像头的移动设备交互。在：人机交互国际会议;2005年4月;波特兰，OR。[13] Park HJ，Moon HC.基于AR的有形交互，使用手指固定装置用于数字手持产品。CAD/CAM工程师学会汇刊2011;16（1）：1-10.160Y. Kang等人 计算设计与工程杂志卷。号1 2014年第3期第153~160页[14] Hachet M，Pouderoux J，Guitton P.一种基于相机的与移动手持计算机交互In：Proceedings of the 2005 Symposiumon Interactive 3D Graphics and Games; 2005 Apr 3-6;Washington D.C.，USA; p.六十五比七十二[15] Byun JH，Kim MS.TactiSoft交互：应用于移动终端的一种新的接口方法-重点是使用摄像头输入的虚拟键盘韩国设计科学学会会刊2004; 17（3）：441-448.[16] 李俊宏，韩世勋。混合现实与安全标志面板在制造模拟中 的 应 用 In ： Proceeding of the Society of CAD/CAMConference; 2007 Jan 31-Feb 2; Pyungchang，Gangwondo;p.582-588[17] Lee JH，Han SH，Cheon SU.混合实境应用于工厂布局规划之安全标示板辨识。计算机辅助设计/制造工程师学会汇刊。2009; 14（1）：42-49.