小尺寸矩形标记的虚拟交互设计方法

计算设计与工程学报。号14（2014）289~297www.jcde.org基于小尺寸非方形标记Hyungjun Park*、Ho-Kyun Jung和Sang-Jin Park韩国光州501-759朝鲜 大学工业工程系（2014年8月30日接收;2014年9月11日修订;2014年9月12日接受摘要虽然大尺寸标记对于准确的标记识别和跟踪是有益的，但是它们容易被其他对象遮挡并且在AR环境中的用户交互期间降低自然可视化和沉浸水平在本文中，我们提出了一种方法，利用矩形标记，以支持有形的AR交互的基础上，指尖触摸使用小尺寸的标记。它基本上调整矩形标记的长度、宽度和内部区域，使其更适合手指等较长的对象该算法利用凸多边形解决了标记的部分遮挡问题，在不影响标记检测质量的前提下，适当扩大了标记的图案面积，同时调整了标记的大小实验结果表明，该方法能够提供更好的自然视觉效果和更高的沉浸感，并且在手持数字产品的设计评估中能够准确、真实地支持虚拟产品与人的手或指尖接触的虚拟感觉关键词：增强现实;触摸交互;指尖触摸;小尺寸标记;矩形标记1. 介绍在有形增强现实（AR）中，每个虚拟对象都注册到物理对象，用户通过操纵相应的物理对象与虚拟对象进行交互[1-5]。具有标记的简单对象的使用已经被利用来支持AR环境中的准确和有形的交互大尺寸的标记有利于准确的标记识别和跟踪，但它们很容易被其他物体遮挡，并在用户交互过程中降低自然可视化和沉浸在本文中，我们提出了一种方法，利用矩形标记，以支持有形的AR交互的基础上，指尖触摸使用小尺寸的标记。该方法使用矩形标记，其长度，宽度和内部区域可以调整，使其更适合手指等较长的物体。该算法利用凸多边形恢复部分遮挡的标记的四边形边界，在不影响标记检测质量的前提下，适当扩大标记的图案面积，调整标记的大小2. 相关工作*通讯作者。电话电话：+82-62-230-7039传真：+82-62 -电话：+82-62-230-7128邮箱：hzpark@chosun.ac.kr© CAD/CAM工程师协会Techno-Press doi：10.7315/JCDE。2014. 028已经研究了各种交互技术以用于在AR环境中改善沉浸感并提供触摸感觉Park等人[4]已经研究了基于AR的用户交互的方法，该方法使用简单的物理对象在简单且廉价的AR环境中提供有形的交互，而无需任何硬连线连接。在他们的方法中，用户通过用指针型对象触摸产品型对象的指定区域来创建输入事件，并且虚拟产品通过在输出设备上呈现其视觉和听觉内容来对事件作出反应在他们随后的作品[5-7]中，Park和他的研究生提出了解决手部遮挡的想法，并用手指固定装置取代指针型物体，以实现更好的视觉沉浸感和与触觉的更有形的交互最近，Park和他的学生提出了使用通过纸工艺制造的产品和环形纸模型的有形AR最近，他们提出了关于有形AR交互的工作，其中环形纸模型被替换为由厚纸制成的小这些方法是非常有吸引力的，因为它们可以在没有硬线连接的情况下以非常低的成本获得，并且可以在没有位置限制的情况下访问。本文中介绍的工作最初是在2013年亚洲数字设计与工程会议（ACDDE 2013）上提出的[9]。在本文中，我们扩展了290H. Park等人 计算设计与工程杂志1、不。4（2014）289~297（一）（b）第（1）款图1.实体对象：（a）纸模型，（b）增强虚拟对象。通过实验和用户研究，进一步研究所提出的有形交互方法的准确性和实用性通过按钮选择任务的实验，评估了所提出的交互方法的准确性，并将其与以前的交互方法进行了比较。用户研究增加了调查的有用性，所提出的方法在数字手持产品的设计评价3. 该方法我们基本上遵循Park等人描述的用户交互机制。[5，8]。如图1所示，我们使用两种类型（产品类型和贴纸类型）的有形对象在AR环境中进行用户和产品之间代表数字手持产品的产品类型对象可以是RP实体模型[4，7]或纸模型[8]。在图中，我们使用了一个纸模型来表示便携式多媒体播放器。由厚纸制成的贴纸型物体本身是一个小型矩形标记器在这项工作中，有形物体是蓝色的，以便使有形物体的真实图像不仅与肤色形成良好的对比，而且还包括虚拟物体的渲染区域。用户将贴纸类型的对象附着在他或她的指尖周围。产品型对象用于获取产品的位置和方向，而贴纸型对象用于识别指尖的位置（一）（b）第（1）款图2.标记尺寸：（a）矩形标记，（b）ARToolKit中使用的方形标记。在以前的作品[4-8]中，由于指针型或环形对象的尺寸相当大，因此在AR环境中的用户交互期间经常阻碍获得虚拟产品的更宽视图因此，需要减小标记的尺寸，同时保持其识别和跟踪的精度。为了克服在AR应用中使用大尺寸标记的缺点，已经开发了包括无标记跟踪的各种解决方案[10]。无标记跟踪不需要任何人工标记来计算真实环境中虚拟物体的位置和方向，但在跟踪精度和计算效率上不如基准标记跟踪。为了在数字手持产品的设计评估中快速准确的用户交互，我们促进了基准标记的有效使用在标记跟踪中，例如ARToolKit [11]中使用的标记跟踪，从真实图像中检测四边形轮廓，并分析其内部区域以识别方形标记（例如通过模板匹配）。在所提出的方法中，我们利用标记的使用，并提出解决方案，以满足以下要求。首先，可以调整标记的宽度和高度以使其适合目标对象。第二，标记的图案区域可以被扩大，以便在不牺牲跟踪质量的情况下第三，当标记被部分遮挡时，可以识别和跟踪标记3.1 扩大图案面积为了解决第一个和第二个要求，我们设计使用图2所示的矩形标记。参数H. Park等人 计算设计与工程杂志1、不。4（2014）289~297291(a)（b）（c）（d）图3.凸多边形和最小外接矩形：（a）二值图像，（b）提取的多边形，（c）红色凸多边形，（d）最小外接矩形。(a)（b）第（1）款图4.交点的计算：（a）无效点，（b）有效点。矩形标记是宽度（w）、高度（h）和厚度（t）。请注意，对于AR- ToolKit中使用的方形标记，w=h且t= 1/4h通过使用矩形标记，可以调整它们的长度，宽度和内部区域，使它们适合目标对象的形状（例如，手指等较长的对象标记的内部图案区域用于标记识别。对于ARToolKit中使用的正方形标记，其用于标记识别的内部图案的图案面积（As）被给出为As= 1/4h2。对于矩形标记，其图案面积（Ar）被给出为Ar=（w对于w= 2h，t= 1/8h的矩形标记，其图案面积为Ar= 21/16h2。当宽度（w）和高度（h）固定时，小厚度增加图案面积和标记识别的准确性但是，过小的厚度很可能导致四边形轮廓检测和标记跟踪的失败从我们的实验经验来看，我们发现厚-在[1/4h，1/10h]中的ness（t）适合于我们的应用。通过调整矩形标记的宽度、高度和厚度的灵活性，我们可以适当地扩大具有固定尺寸的标记的图案区域，而不会降低标记检测的质量。这使得可以使用小尺寸标记来支持有形的AR交互3.2 解决标记的部分遮挡基于附着到可接触对象的标记被用户的手或其他有形对象遮挡的假设，用于解决标记的部分遮挡的基本思想是使用从真实世界图像提取的轮廓的凸多边形来其具体步骤描述如下：(1) 通过应用自适应阈值技术从真实世界图像计算二值图像，并从二值图像获得轮廓对于面积大于指定值的每个轮廓P，执行步骤（2）至（6）。(2) 求出P上的直线段，并由这些直线段计算凸多边形Pconv(3) 如果Pconv的点数是3（即，Pconv是三角形），转到步骤（2）。如果数为4，则将Pconv存储为四边形轮廓之一，并转到步骤（2）。如果数字大于4，则转到步骤（4）。(4) 计算最小外接矩形Rmer，P转化率参见图3。(5) 对于Pconv的四条线段，计算相邻线段p0p1和q0q1之间的四个有效交点，并利用这四个有效交点构造一个候选四边形。如果交点位于直线p1q0的右侧，则该交点有效.参见图4。(6) 在候选四边形中，选择与矩形Rmer的面积差最小的四边形，并且图5. AR标记的候选四边形。292H. Park等人 计算设计与工程杂志1、不。4（2014）289~297(a)（b）第（1）款(c)（d）其他事项图6.解决标记的部分遮挡的示例：（a）真实世界图像，（b）重建的四边形，（c）增强图像，（d）没有手遮挡的增强图像。图7.指尖相对于小尺寸标记的位置。使用四边形进行标记识别。参见图5。图6示出了解决附着到便携式多媒体播放器的纸模型的标记的部分遮挡的结果在图6（d）中应用手部遮挡求解器3.3 用户交互机制对于具有按钮或滑块的数字手持产品，我们假设输入事件是通过按下按钮或移动滑块来创建的。我们认为，如果满足以下条件，则发生输入事件：（i）从指尖到按钮（或滑块）的距离是从指尖到其他按钮的距离中最短的图8.本作品中使用的AR环境和滑块，以及（ii）在指定的时间段内，该距离保持小于公差对于定义在不同坐标系中的两个点之间的距离计算，我们将点转换到参考坐标系中。使用相机校准信息，我们可以获取相机和与其相H. Park等人 计算设计与工程杂志1、不。4（2014）289~297293（一）（b）第（1）款图9.虚拟设计评估使用建议的有形互动：（a）游戏手机，（b）便携式多媒体播放器。有形的物体。为了确定指尖的位置，我们需要知道图7中的长度l1和l2给定这些长度，可以如下确定相对于AR标记的局部坐标系的指尖位置p：p=0m+11ym-12为了准确的有形交互，有必要使指尖位置相对于AR标记相同因此，我们需要尽可能精确地估计或测量长度l1和l2。4. 实现与应用我 们 使 用 C 和 C++ 语 言 ， 结 合 开 放 源 代 码ARToolKit 、 OpenCV 、 OpenGL 和 GLUT ， 在 基 于Windows的台式机（Intel Core i5-2400 3.1GHz处理器、4GB SDRAM和ATI Rade HD 4870 X2 2GB显卡）上实现了所提出的有形交互方法。如图8所示，我们使用了PC摄像头-分辨率高达800 × 600的时代和有形物体作为输入设备。一对扬声器（图中未显示）和分辨率为1024 × 640的小型10英寸LCD显示器用作输出设备。为了模仿视频透视显示，我们将LCD显示器和阅读架安装在一个小的三脚架上，并将摄像机连接到阅读架的背面我们已经将所提出的方法集成到数字手持产品，如MP3播放器，游戏手机，便携式多媒体播放器和智能手机的虚拟其方案与Park等人[4，5，7，8]中描述的方案非常相似图9显示了两个数字手持产品的虚拟设计评估。AR环境中虚拟对象的可视化是通过将对象的渲染图像（没有手遮挡）实时覆盖在现实世界图像上来实现的。可以使用Park和Moon提出的手部遮挡求解器来改善用户交互期间的可视化，而不会出现手部遮挡[6，7]。(a)(b)（c）第（1）款图10.按钮选择任务（12 mm）：（a）使用笔式对象，（b）使用环形对象，（c）使用带有小尺寸标记的贴纸294H. Park等人 计算设计与工程杂志1、不。4（2014）289~297（一）（b）第（1）款图11.有形AR交互的准确性：（a）每个按钮选择任务所需的时间，（b）每个按钮选择的错误数量让PATCH表示使用贴纸类型对象进行有形交互的方法让PEN成为使用笔型对象的方法[4]。让RING成为使用环类型对象的方法[8]。为了比较PATCH方法与PEN和RING方法的准确性，我们在类似于图8中的设置中进行了按钮选择实验。在设置中，代替产品类型的对象，薄板（尺寸：150 × 130 mm2）被定位在固定位置。20名大学生自愿参加实验。受试者包括17名男性和3名女性，他们的年龄范围为21 - 25岁（平均=23）。他们都有三维几何建模和计算机辅助设计（CAD）的基本知识，他们中的大多数人都熟悉AR的概念。每名受试者都被告知如何使用三种方法进行按钮选择任务。如图10所示，然后要求受试者使用每种方法完成一组按钮选择任务将带有AR标记的方形按钮（尺寸：28 × 28 mm2按钮长度从20、16、12、8、6、5、4、3 mm减小。在每个选择任务中，给定4个随机数字的序列，受试者必须用食指尖（拿着戒指或贴纸型物体）或笔尖触摸给定数字的内部区域。不同的声音给出了正确和错误的选择之间的每个数字进行验证我们在此认为，如果一个按钮比其他按钮更靠近指尖（或笔型物体的尖端），并且其距离保持小于按钮长度的一半0.5秒，则该直到受试者正确地选择了4个数字，在每次选择任务之后，我们记录所需的时间和错误选择的数量。方法的顺序在被试之间被抵消，以消除顺序效应。图11描述了三种方法在所需时间和每个任务错误选择次数方面的准确性评估在图中，绘制了具有标准偏差的平均值指尖与其计算位置之间的间隙通常大于笔尖与其计算位置之间的间隙然而，我们发现，对于大于5 mm的按钮尺寸，平均任务时间和错误选择的数量没有显著差异。我们H. Park等人 计算设计与工程杂志1、不。4（2014）289~297295（一）（b）第（1）款图12.PEN和RING方法用于设计评估：（a）PEN方法使用指针和产品类型的纸模型，（b）RING方法使用环和产品类型的纸模型。实验经验是，如果按钮尺寸不小于5mm，则任务时间和错误频率是可容忍的，这意味着使用贴纸型对象的交互可以应用于各种各样的信息应用。调查拟议有形资产的效用交互的方法在设计评估的数字手持产品，我们进行了一项用户研究与同一组的20名受试者在AR环境中显示在图8中。任务绩效测量和问卷调查被用来比较所提出的方法（PATCH）与两种方法（PEN和RING），使用指针和环，(a)（b）第（1）款(c)（d）其他事项图13.用户研究中使用的任务：（a）移动到主菜单，（b）选择动画播放，（c）移动到第4个动画文件，（d）播放动画。296H. Park等人 计算设计与工程杂志1、不。4（2014）289~297图14.任务绩效测量的图形结果图15.调查问卷结果的图形结果打印纸模型，如图12所示。由于我们已经建立了基于逆向工程的商业产品的虚拟原型，我们包括使用真实的产品（以下称为REAL）作为三种方法的目标参考。在这项用户研究中，一个便携式多媒体播放器被选为测试产品，和纸模型被用作其产品类型的对象。每个主题都介绍了使用真实产品的设计评估，并告知如何操作虚拟产品（即，如何点击按钮或通过使用有形对象移动/缩放/旋转虚拟产品）使用三种方法（PATCH、PEN和RING）。当受试者熟悉所有方法时，要求受试者使用每种方法完成一项任务，并测量完成任务所需的时间在执行任务之前，允许受试者访问描述任务步骤的简单图形手册，如图所示13. 在受试者之间平衡入路顺序（PATCH、PEN和RING），业绩衡量的结果（即，平均任务时间）绘制在图14中。从任务绩效的结果来看，我们发现使用真实产品（REAL）的任务绩效是四种方法中最好的，但其他三种方法（PATCH，PEN和RING）彼此相当所示表1.问卷内容。Q1在用户交互过程中点击按钮是否容易？Q2在用户交互过程中使用是否舒适？Q3它是否在用户交互过程中提供良好的可见性？如图11所示，PEN方法的交互精度略优于RING和PATCH方法。这一趋势也反映在任务绩效的结果中，但三者在任务绩效上的差异并不显著。完成所有任务后，要求每个受试者填写问卷，以获取定性方面（即，容易点击按钮、舒适度、可视性水平）关于他或她使用三种方法（PATCH、PEN和RING）的经验所提问题汇总于表1。所有回答均按5分制评分调查问卷的结果（即，平均得分）绘制在图15中。从结果来看，我们发现PATCH方法在所有三个方面都比其他方法获得了更高的分数。大多数受试者评论称，RING和PATCH方法更好地提供了类似于人手操作产品的感觉他们觉得用指尖点击按钮而不是用笔型物体很好。他们还评论说，PATCH方法比PEN和RING方法在AR交互过程中提供了更广泛的虚拟产品视图通过对用户反馈的分析，我们发现，所提出的用户交互方法准确度足以应用于手持数字产品的虚拟设计评估，并且足够有形，可以提供一种用人手操作产品的感觉此外，由于使用了小的贴纸类型的对象，它可以提高用户交互期间的视觉沉浸度5. 结论在本文中，我们已经解决了如何利用矩形标记的使用，以支持有形的AR交互的基础上，指尖触摸使用小尺寸的矩形标记。本文提出的方法可以在操作虚拟对象的同时提高视觉沉浸感，并以非常低的成本支持具有伪触觉的有形AR交互，而无需硬线连接。可能存在一些模式，其支持在所提出的方法中使用的标记跟踪的它需要进一步的研究，以找到一些经验法则，以及用于生成标记模式，保证强大的标记跟踪。当一些AR标记由于不良照明条件或标记被有形物体或用户的手严重遮挡而无法识别时，用户仍然难以基于基于标记的物体进行交互我们在论文中考虑解决标记的部分遮挡。在标记的角或边被遮挡的情况矩形边界）是H. Park等人 计算设计与工程杂志1、不。4（2014）289~297297重建的图像，其内部图案区域用于模板匹配。然而，如果内部图案区域被严重遮挡，则标记很可能被错误地识别。对于未来的工作，我们需要解决所提出的方法可以处理多少遮挡。我们还需要开发更强大的跟踪技术，使用简单的多边形pat-的，在以前的帧中获得的先验信息确认这项工作得到了韩国政府资助的韩国国家研究基金会（NRF-2010-0021953）的支持引用[1] Billinghurt M，Kato H，Poupyrev I.与有形的增强现实界面协作在：人机交互国际会议（HCI）的会议记录; 2001年8月5日至10日;新奥尔良，洛杉矶;第100页。234-241。[2] 南TJ。基于草图的软硬件集成交互产品快速原型平台在：计算机系统中的人为因素会议（CHI）的会议记录;2005年4月2日至7日;波特兰，OR; p.1689-1692年。[3] Lee W，Park J.增强泡沫：用于产品设计模拟的可触摸和可 抓 取 的 增 强 现 实 日 本 设 计 科 学 学 会 通 报 2006; 52（6）：17-26.[4] Park H，Moon HC，Lee JY.数字手持产品的增强原型设计工业中的计算机2009; 60（2）：114-125.[5] 朴H文HC关于使用手指夹具的基于增强现实的有形交互的说明。In：Proceedings of Asian Conference on DigitalDesign and Engineering （ ACDDE ） ; 2010 Jan 27-29;Pyeongchang，Korea; p.687-690.[6] Moon HC，Park H.解决有形增强现实环境中的手部区域遮挡计算机辅助设计/计算机辅助制造工程师学会汇刊2011; 16（4）：277-284.[7] 朴H文HC使用增强实境实体互动的资讯家电设计评估工业计算机2013; 64（7）：854-868.[8] 朴H朴SJ文HC关于使用纸质模型进行基于AR的设计评估的有形交互的说明In：Proceedings of Asian Conference onDigital Design and Engineering（ACDDE）; 2012 Dec 6-8;Niseko，Japan; p.1比3。[9] Park H，Jung HK，Park SJ.关于使用小尺寸标记的基于指尖触摸的在：亚洲数字设计与工程会议（ACDDE）的进展; 2013年8月12日至14日;韩国首尔;第101页。585-588[10] Teichrieb V，Paulo J，Lima SM，Apolinario EL，SoutoT，Cor- deiro M，Marcio F，Cristo AS，Kelner J，SantosIHF.在线单目无标记增强现实研究综述国际石油工业建模与仿真2007; 1（1）：1-7.[11] ARToolKit [Internet]. c2014 [2014年8月27日引用]。可从以下网址获得：http://www.hitl.washington.edu/artoolkit/