基于图像的阴影与虚拟物体交互的方法

þþHOS T E D B Y可在www.sciencedirect.com网站上查阅计算设计与工程学报2（2015）26www.elsevier.com/locate/jcde一种基于图像的阴影与虚拟物体交互的方法河贤宇a，b，高光熙a，b，na光州科技学院机电一体化学院，123 Cheomdangwagiro，Bukgu，Gwangju 500-712，Republic of Koreab韩国文化技术研究所，光州科技学院，123 Cheomdangwagiro，Bukgu，Gwangju 500-712，Republic of Korea接收日期：2014年8月22日;接收日期：2014年9月17日;接受日期：2014年9月18日2014年12月6日在线发布摘要许多研究人员一直在研究交互式便携式投影系统，如微型投影仪。此外，在展览厅和博物馆中，有一种趋势是使用交互式投影系统来使观看更令人兴奋和印象深刻。它们也可以应用于艺术领域，例如，在创建皮影戏。交互式便携式投影系统的核心思想是实时识别用户的提出了一种基于视觉的交互式投影系统阴影手势识别方法。手势识别方法基于由单个网络摄像头获得的屏幕图像该方法通过使用从输入图像分离背景的学习算法将二值图像与输入图像组合来仅分离阴影区域首先对分离出的区域进行阴影标记，识别出感兴趣区域，然后利用每个区域的缺陷、凸壳和矩分离出手部阴影为了区分手势，胡的不变矩的方法。一个光学的光流算法用于跟踪指尖。利用这种方法，开发了几个交互式应用程序，本文介绍&2015 年 CAD/CAM 工 程 师 协 会 。 由 Elsevier 制 作 和 主 持 。 这 是 一 个 在 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。关键词：阴影交互; Hu矩;手势识别;交互式UI;图像处理1. 介绍对于更活跃和有趣的观看体验的需求不断增加，并且交互式投影技术被认为是解决这个问题的方案。例如，如果您可以在做演示时用手势来翻页，或者在没有任何手动工具的情况下写一个句子，那么演示文稿可以更身临其境，更吸引观众。交互式投影系统还可以帮助人们制作更具吸引力的艺术展品，例如交互式墙壁和走廊。最近，人们在戏剧和音乐表演中进行了大量的人机交互的尝试也就是说，如果当演员在舞台上表演时发生适当的事件，则可以从观众获得更好的反应，因为这样的事件与演员的表演很好地同步。n 通 讯 作 者 ： 光 州 科 学 技 术 学 院 机 电 一 体 化 学 院 ， 123Cheomdangwagiro，Bukgu，Gwangju 500-712，Republic of Korea。联系电话：传真：82 62 715 2384。电子邮件地址：khko@gist.ac.kr（K. Ko）。同行评审由CAD/CAM工程师协会负责。演员的表演。使用这个概念，新的应用程序与有趣的互动是可能的，如魔术绘图板或虚拟战斗模拟。从技术角度来看，手势识别的研究是计算机视觉领域的一个热门话题。特别是实时识别手势是至关重要的。大多数研究小组使用Kinect摄像头来精确地识别手势，因为Kinect摄像头可以识别深度和颜色信息。另一方面，Kinect无法获得屏幕后面光线产生的阴影的深度和颜色信息。Kinect的检测范围在应用于大屏幕时受到限制，因为从传感器到屏幕的距离相当大。手势识别的另一种方法是从图像中识别手势。基于图像的方法比基于Kinect的方法更便宜，因为它使用更少的硬件来进行手势采集。在这项工作中，提出了一个基于视觉的交互式投影系统，它识别阴影手势与适当的精度。该过程由阴影手势的实时检测和识别模块组成，是系统的核心部分。http://dx.doi.org/10.1016/j.jcde.2014.11.0032288-4300/2015 CAD/CAM工程师协会。&由Elsevier制作和主持。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）2627提议的系统。接下来，几个新的应用程序的基础上提出的系统，以证明所提出的方法在各种应用中使用的潜力关于交互式投影系统已经进行了许多研究特别是研究人员感兴趣的是使用手势生成事件，因为手势可以表示适合识别的不同形状。Mistry等人[1]提出了一种基于自然手势的便携式交互式投影系统SixthSense 它提供了一个可穿戴的手势界面，允许用户与周围的数字信息进行交互。该系统由便携式投影仪、摄像头和移动可穿戴设备组成，可实时显示物理对象的数字信息Grønbæk等人[2]介绍了一种使用基于视觉的跟踪方法的交互式地板支持该系统由一个12平方米的玻璃表面和一个向上投影玻璃的投影仪用户（儿童）的肢体被跟踪和识别用于各种交互，这为儿童提供了学习环境微软研究院的Wilson [3]报告了一个交互式桌面投影视觉系统的原型，称为PlayAnywhere，它允许用户与投影在桌面上的虚拟物体进行交互。对于这种交互，结合了基于阴影的手指识别、跟踪和各种其他图像处理，以提供方便但灵活的桌面投影视觉系统。它包括现成的商品，如相机、投影仪和屏幕，不需要任何详细的配置或校准。Berard[4]开发了用于会议的它的表面有一块白板它的开发是为了克服当前白板的限制，提供了各种操作，如复制，粘贴，平移和旋转绘制的内容。它由一台投影仪、两台摄像机和一块白板组成笔的笔划和板上的内容被摄像机捕捉。然后使用各种图像处理技术处理捕获的图像实际上，该系统允许用户交互式地创建和控制内容。除了上述系统之外，世界范围内还开发了各种其他投影系统[5本文的结构如下：第二部分给出了该算法的总体流程。第3节解释了检测过程，分离图像数据在第4节中，提出了区分手势的识别过程。第5节，跟踪过程影子出现了。第6给出了该算法的实验最后，本文的结论与未来的工作在第7。2. 整个过程图1示出了由光束投影仪、屏幕、网络摄像机和计算机组成的整个系统。如果用户创建手势，则在屏幕上创建阴影，该阴影由相机捕获。计算机然后执行计算，以便通过图像处理来识别手势。接下来，计算机控制光束投影仪在适当的地方实时创建一个事件所提出的系统的总体工作流程如图2所示。首先，计算机从网络摄像机接收输入图像。处理该图像以产生二进制图像。然后，对背景和二值图像执行AND运算以去除背景。使用标记算法检测与背景不同的阴影。手的面积可以通过每个标记区域中的曲率、凸包和缺陷来获得。可以使用力矩值来识别手的中心。 不变时刻是用于手势识别。在手势被识别之后，阴影手通过光学光流算法被跟踪。最后，生成对应于手势的事件并将其提供给用户。在随后的部分中，将详细解释整个流程中的每个模块。3. 分离和检测过程在本节中，解释了分离和检测的技术方法。给定一幅图像，利用背景分离和阴影检测方法提取阴影部分.3.1. 背景分离过程背景分离步骤将图像分割成背景和对象。对于该操作，采用改进的平均背景算法。Fig. 1. 系统概述28H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）263.1.1. 平均背景算法使用平均背景算法以便如下所示：dst1x y区分背景和物体，;总;总汞形象该算法利用每个像素的均值和方差来生成背景模型，并根据该模型进行背景删除。当当前帧存在于从背景模型获得的上阈值和下阈值之间时，我们将其视为背景。否则，它将被识别为对象。首先，为了获得背景模型，将每帧的图像累积一段时间。该公式表示为dst1x;y'这里，dst1（x，y）是在dst1的图像中的x和y的位置处的像素，并且frame（x，y）指示在帧中的图像的x和y处的像素值接下来，需要方差来生成背景模型。累加先前帧与当前帧之间的差的绝对值被执行为：dst2x;y'这里，dst 2（x，y）是dst2的图像中的x和y的位置处的像素，Pframe（x，y）是前一帧中的图像的x和y处的像素值。我们通过将帧的总数除以以下公式来获得dst1和dst2的平均值：通过计算值的加法和减法来确定上阈值和下阈值。如果用户想要调整背景被识别的范围，他/她可以通过调整阈值来实现这一点。在本文中，通过以下公式计算上阈值和下阈值：上rx;ydlowerx;y'为了实时应用该方法，我们需要引入比率α，其是累积值与当前帧值的比率。公式表示如下：dstx;y'图3表示平均背景算法的结果。这表明，当用户的阴影出现后，通过累积前30帧识别背景时通过使用OpenCV库[8]提供的反向二进制化方法，可以确定地划分分离的部分。此外，静止物体被识别为属于背景，并且由于实时更新，仅检测到移动物体图二. 阴影手势识别过程。图三. 背景和阴影的分离。H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）26293.1.2. 平均背景算法确定了由于背景实时更新而当阴影在同一个地方停留超过一定时间段时，它们被识别为然后，如果阴影移动，其先前位置仍然被视为阴影。图中的右图。图4示出了前面提到的问题，即尽管先前的阴影不再存在，但是它仍然被检测为当前帧中的阴影。在以往的研究中，深度和颜色信息被用来解决同样的问题，然而，我们只有阴影的2D图像信息。为了解决这个问题，应该采用当前的平均背景算法的图像和当前二值图像通过AND运算来计算。该方法有助于提高对阴影的识别 图 五是解决问题的过程。3.2. 阴影检测过程一旦背景被分离，阴影就被处理用于识别。使用标记算法标记孤立的阴影以进行有效访问3.2.1. 标记算法标记算法[9]的原理如下。二进制图像只有零（0）和一（1）的值。该算法从一个像素（左上角的像素）开始。如果在每个方向上都不存在值1，则算法继续搜索。当检测到第一个值为1的像素时，它被标记为起点。端点是检测到最后一个值1的地方。图6描绘了标记算法的操作。3.2.2. 感兴趣区域（ROI）为了区分手和提高处理速度，我们需要在先前标记的区域内设置感兴趣区域（ROI）。通过使用ROI图像而不是使用整个图像，可以使图像处理更快。ROI的示例如图所示。7 .第一次会议。4. 识别过程本文主要研究手势的识别，这可能会在不同的领域找到很多应用。然而，检测以阴影表示的手区域可能受到限制，因为阴影不具有深度或颜色信息。为了克服这一局限性，本文提出了一种只利用凸壳和缺陷信息提取手部区域的方法。4.1. 手部区域给定图像中的ROI，检测手部区域以用于手势识别。4.1.1. 凸壳与缺陷检测该方法包括如下三个步骤步骤1：为了提取凸包和缺陷，我们需要确定区域的轮廓。使用Canny边缘检测算法[10]获得轮廓信息。图8示出了阴影区域的检测到的轮廓。第2步：许多研究人员一直在研究和开发搜索凸包的算法，例如Gift wrapping[11]和Quick hull[12]。凸壳是见图4。 平均背景算法有问题。图五、AND运算符。（a）平均背景算法的图像（b）当前二进制图像。（c）AND运算后的图像30H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）26见图6。 标记算法的操作。见图7。 感兴趣区域的示例。见图8。 检测到轮廓。给定一组点，包含所有点的最短封闭路径。图中给出了点的凸包的一个例子。9.第九条。在本文中，格雷厄姆扫描算法[13，14]被选择用于凸壳计算。该算法依赖于这样的原则，即当由三个点组成的三角形包括一个点时，该点不能是凸包的一部分 也就是说，如果有点S，A，B，C，D如图。在图10（a）中，S被选择为y轴的最小值（如果它具有相同的值，则选择x轴的最大点）。然后，获得所有四个点（A，B，C，D）与点S的角度，并按大小顺序排序结果，S、A和B被放在堆栈上，并且扫描算法开始于所有剩余的点。我们可以见图9。 凸壳原理通过检查每个扫描结果周围的交叉向量的方向来确定点是否在凸包上如果三个堆叠点的交叉向量为负，则意味着该点位于三角形内部在这种情况下，将从堆栈中删除该一旦扫描了所有点，就可以获得如图10我们可以得到凸壳分别为每个ROI，因为搜索算法的操作独立于每个ROI。第三步：为了从阴影中区分手和其他物体，需要一种只使用阴影形状的新方法，因为没有深度或颜色信息可以利用。因此，我们提出了一种方法来提取手的区域。要对手的阴影进行分类，最好的方法是绘制手腕的位置。在此步骤中，阴影缺陷用于此目的。缺陷被定义为距离由凸包的两个点组成的线段最远的点。换句话说，它们是轮廓线上阴影和凸包线之间距离最长的点。我们可以用直线方程画出从凸包线垂直于阴影的直线然后，具有最长直线的阴影边缘点被识别为缺陷点。 图 11显示了缺陷点。4.1.2. 重置ROI为了更快的图像处理，考虑较小的阴影区域。 原始ROI经常变化，因为ROI图像大小的纵横比根据手臂的长度进行修改，这使得识别手势变得困难，因为我们可以H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）2631x;y020ðÞ02由mij唯一确定. 应注意21-2011ð3见图10。 凸壳搜索算法。限制假设是重要的;否则，搜索者提到的唯一性定理可能不成立。4.2.1. Hu不变矩在数字图像中，fx;y的二维二阶矩根据黎曼积分定义为：mij<$∑f<$x;y<$xi yj<$i;j<$0;1;2..重心由力矩值确定，并在事件发生时用作参考点。重心（x0;y0）将表示为：x0的 ¼m10;y0 01米ð7Þm00m 00见图11。 缺陷点和实验结果。图13指示手的质心和距离中心最远的凸包。当用户想要选择一个基准时，比如鼠标指针，这个点非常有用。中心矩在平移下不会改变[16]。重心移动的中心矩定义为：仅通过矩值识别手势但是，如果我们在手腕位置裁剪图像，则ROI仅包括手，而不管手臂的长度力矩值为μij ^^x-x0i。y-y0j：18这里，i和j表示水平x轴，因为新ROI的纵横比是固定的，所以没有改变。因此，重置ROI将有助于识别手势。我们可以使用第一个和最后一个缺陷重置新的ROI图12指示使用缺陷点的新ROI。y-轴，分别在等式（八）、中心矩的关系如下：μ00µm00µ 9µ mμ10¼μ01¼0 ð10Þ4.2. 手势识别μ20 1/4m20-μx11 μm在本节中，我们将描述用于区分各种手势的过程。识别算法μ11 1/4m11-μxyð12Þ通过计算ROI的矩来执行算法。根据唯一性定理[15]，如果假设密度分布函数f x;y是分段连续的，因此是有界函数，则它可以有非零的值仅在xy平面的有限部分，然后，μ02μ031/4米021/4米03-μy 13-3m02μy02μy014μ m一切秩序的时刻都存在。 时刻的顺序。米伊杰·阿里斯μ30¼m30-3m20μx0μx0μx03μ15μm唯一确定的。fx;y;andrariwise，fx;yisμm my02米x02μx02y0216x;y21¼-þÞ32H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）26112222¼μ见图12。 重置一个ROI图十三. 手的中心2019-12-17 00：00：00矩的数学解释如下。μ02：水平轴的分散在这项工作中，我们提取了Hu不变矩[18]到（18）和（25），并将它们用于手势识别算法。Hu不变矩由二阶和三阶中心矩组成，如下所示I1½η20µη02µ η 19µ ημ20：垂直轴的色散。μ11：水平轴和垂直轴的协方差121/4英寸20英寸022 2234英寸2ð20Þμ12：水平轴上左侧与右侧μ21：水平轴上的下方向相对于上方向μ30：水平轴上的不对称程度（偏斜）。μ03：垂直轴上的不对称程度（偏斜）。I31/4η30-3η12η2η21-η03η2η 211234 5 67 89 101112 131415161718 19I5¼英寸30-3英寸12英寸30英寸12英寸 12英寸2-3英寸21英寸03英寸2]3归一化矩是通过划分一致大小的值来获得的，并且这些矩给出了不变量I6¼英寸20-η02½英寸30英寸12英寸2-η21英寸03英寸2]2ð23Þ这是一个很大的特点[17]。归一化矩定义为þ4η11ðη30þη12Þðη21þη03Þð24ÞI7123η12-η3012 η30η1212-3η21η03η2]ημij γij118-30-3η1218- 21-20-21-22-ijγ;00¼2：ð25ÞH. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）2633n阴影根据图像的位置而改变MSRi∑¼1nii;½nn;Þnn;]ð我们对上述等式中定义的Hu不变矩的分析如下：I1：水平和垂直方向的色散之和。值沿水平和垂直方向展开得越多，值就越大。I2：水平和垂直方向的协方差。(if水平和垂直方向的分散是相似的）。I3：水平和垂直方向的离散度的强调值。I4：水平和垂直方向色散的抵消值。I5，I6：大小，旋转和平移不变矩。第七章：斜正交不变量。这种斜交不变量在区分镜像时是有用的。Hu不变矩受图像亮度的影响。即使当用户做出相同的手势时，时刻也具有不同的值。不变矩的最频繁的变化发生在一个特定的角落。因此，我们提出了一种方法来提高识别率。该方法是通过以下方式来测量每个不同的Hu不变矩：这种方法有助于提高识别率。图 14表示图像如何划分。当Hu不变矩与数据库中预先计算的Hu不变矩进行比较时，考虑矩值的有效范围来处理计算的Hu不变值的变化，以提高识别的鲁棒性。需要考虑系统的环境来选择范围。在这项工作中，24.2.2. 多尺度retinex算法当环境光较强时，无法正确检测阴影图15显示了一个这样的强光情况。在灰度图像中观察到手的阴影，但在二值图像中仅检测到手指的一部分或根本没有为了解决这个问题，我们使用多尺度retinex算法。多尺度retinex算法被广泛用于改善图像差异[19]。该算法假设图像中的场景由两个分量组成：照明和反射。当照明元件从场景中移除时，可以提高图像的清晰度。公式仅适用于输入使用HSV颜色模型表示的图像如下：将图像分为四部分，因为RNω。logS x ylogGx y*Sxy26见图14。 识别区域的细分。R MSRi是结果图像，S表示场景强度，G表示高斯滤波器，ω表示权重系数。图16示出了应用该多尺度retinex算法的结果。以前看不见的手现在清晰可见。4.3. 手势识别技术提取手部区域是手势识别的关键，因为每个手势的特征是基于手部的阴影计算的。所提出的方法使用ROI提取标记子图像的手部区域，然后使用第一个和最后一个缺陷重置ROI，从而为手部产生更紧凑的区域这个过程大多可以图十五岁强光照明错误左边是灰度图像。右边是二进制图像。-Þ34H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）26.Σ23ðÞþXIy图16. 多尺度retinex算法的结果。如图7所示，从诸如手臂和头部的各种对象的阴影中提取手区域。然而，手的阴影区域的鲁棒性可能会受到影响，因为可能无法一致地计算缺陷。因此，在这项工作中，要求用户做出手势，使得手的阴影区域一致地得到了与时间一致。假设在小的搜索区域中，光学相干流v是恒定的，可以使用最小二乘法将其估计为：v¼AT A-1AT-b29在这里，鲁棒的手部区域提取对于更多样化的手势识别是必要的。为了解决这个问题，需要利用颜色信息以及来自其它传感器的数据。在本工作中没有讨论这种扩展，但它AT A<$h∑I2∑Ix Iy∑Ix Iy∑I2iIt1b/4/7/5：Itn建议在今后的工作中使用。5. 跟踪过程在本节中，我们提出了一种跟踪算法，以提高识别率。大多数跟踪算法（如SIFT[20]或SURF[21]）使用从图像中提取的特征点。然而，阴影中没有特征点，因为阴影只有二进制图像。在本文中，我们使用由Lucas和Kanade[22]提出的一种光学卷积算法来解决这个问题。光学光流表示观察者看到的相对运动。图像中的光学光流意味着帧中的像素的位置变化的速度被表示为二维矢量。有各种方法计算光通量。本文使用的Lucas-Kanade为了计算光学光流，如果亮度从对应于x;y坐标的时间t到tδ t是恒定的，则我们可以得到图像约束方程为光流：I x; y<$I xδx; yδy; tδt27我们在等式中应用泰勒级数。（27）.忽略高次项，导出下列表达式Idxxdt这里，v/dt=dt/dx = dt/dt=dt/dtT是像素空间。It/VI= It表示亮度的变化，这种跟踪手势的方法是使用Lucas-Kanade因此，我们可以在所需的位置生成所需的事件。跟踪并不总是涉及使用光学跟踪。当Hu不变矩不能识别手势时，使用光学小波作为补充。6. 实验结果在这项研究中，识别手势进行了测试，使用七个胡不变矩的值，并提出了四个交互式应用程序使用手势识别。6.1. Hu不变矩度量四个手势被认为是交互，这是手掌，第一，一个手指和两个手指的运动，如表1所示。理论上，相同的手势应该具有相同的Hu不变矩，但每个手势的值都不同。这种现象是由于投影机的亮度、周围照明和相机性能不一致造成的。四种不同的环境条件下，应用于胡不变矩计算。对于每个条件，计算不同的Hu不变矩。表1总结了在四种不同环境条件下四种不同姿势的Hu不变矩的值。有些值是相似的，有些值是显著不同的。特别是，第七个Hu不变矩值是不稳定的，因此，我们在演示中不使用它们。这些价值观是相对的，而不是H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）2635表1根据手势和环境条件的Hu不变矩的值单元胡1一96.89.510.8 10−4B10.67.712.411C11.66.810.710.8D12.47.210.611.8胡二号一10.33.43.7 10−7B0.50.45.43.6C10.043.53.8D0.60.33.94.4胡三一2.50.8251.5 10-11B2.22.97.93.5C40.5493.8D3.120.02171.24胡4一30.03158 10−11B9.50.31910C80.082819.4D60.072519.6沪5一1020055 10−14B−380.0422775C−401700307D−1660.0250647沪6一1065 10−22B1.40.02246.49C1.901311D1.801310胡七一-300.01500~60065 10−23B192-2.5-400~-10072C5740.02-800-400D23500.05-700690表2已识别的帧数。掌拳指1指2平均在应用细分方法之前，识别了1638帧;然而，在应用细分方法之后，识别了1638帧。其他手势的识别率也提高 图图17示出了增强的识别的曲线图。费率。在平均值方面，总识别率从1475帧（81.9%）提高到1584帧（88%）。这一结果表明，如果应用更多的划分，则绝对的换句话说，这些值仅适用于我们的环境。这些值是一个示例，如果在不同的环境中进行实验，建议再次测量这些值在实验中，我们发现使用细分方法可以提高Hu不变矩的识别率表2指示使用Hu不变矩识别的帧的数目。总共有1800帧/分钟。在手掌的情况下，识别了1592帧6.2. 手势识别我们使用三种手势进行了一个简单的演示。如果用户做出手掌手势，则板被初始化。当用户做一个单指手势时，在板上画出一条曲线。最后，董事会准备提取像素的颜色，以响应双指手势。之前15921624139412901475后1638168415281487158436H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）26图17. 识别率图表。6.3. 应用试验表3图18. 绘图板的示例。一个影子本身就可以用来做一个有趣的表演。图19指示了示出这种可能性的示例。图19（a）是阴影后像效果，其意图是模拟梦幻般的感觉。图19（b）示出了如果阴影移动，则球实时跟踪阴影。在图19（c）中，标识被绑定到阴影。人们可以使用这种技术成为展览的一部分。这些示例不使用手势识别。但是，如果您将手势识别添加到此技术中，则可以创建有趣的内容7. 结论本文提出了一种阴影手势识别方法Hu不变矩的值。用于交互式投影系统的方法。 在在交互式投影系统领域，自2000年以来一直没有关于阴影手势识别的研究。在这方面，本文提供了一个地面的各种新的应用程序使用的阴影手势识别的概念，并打开了一个新的研究课题与虚拟内容的人的接口。在这项工作中提出的阴影手势识别可能不直接适用于工程目的。然而，在这项工作中开发的各种算法可以用于工程应用，如基于视觉的监测和管理在制造现场。例如，当前制造过程的图像被处理以获得二进制图像，从各种特征和形状可以分析以检查当前状态。使用Hu不变矩的识别可以用于识别图18示出了描绘使用展开的绘图板创建的海的绘图。我们还使用不同的手势实验了所提出的识别方法，例如手指木偶模仿枪，心脏，狗和猫。 皮影戏中这些手势的效果可以产生很大的兴趣和娱乐。Hu不变矩的值总结在表3中。当用户做出拿枪的手势时，一声枪响。当用户做出心脏手势时，心脏图像出现。如果出现狗的图像，则会生成犬吠声。生产过程中的各种产品。所提议的系统存在一些局限性。3D手势识别是不可能的，因为基于2D的Hu不变矩用于手势的识别。这是拟议方法的一个固有局限性，将限制拟议方法的适用范围我们正在考虑将3D扫描仪与我们的方法相结合，以实现更复杂的手势识别。其次，图像处理的鲁棒性并不总是有保证的。这意味着在某些情况下手势识别失败，并会发生意想不到的结果。这两个问题M枪心脏狗猫单位HU11218129.2 10−4HU2101471.9 10−7HU35262374.2 10−11HU41.23.0~3.11.38.4 10−11Hu52.6−500−47.1 10−14Hu60.6−1003.6 10−22Hu7––––10H. 哈，K。Ko/Journal of Computational Design and Engineering 2（2015）2637图十九岁应用实验。（a）阴影残影效果（b）跟踪阴影（c）简单的弹跳游戏。包括使用额外的传感器以提高识别率。利息负债表作者没有利益冲突需要报告。致谢该研究由韩国教育科学技术部资助的韩国国家研究基金会（NRF）的基础科学研究计划（2011-0010099）支持。引用[1] 放大图片作者：Mistry P. SixthSense：A Wearable Gestural Interface.In：ACM SIGGRAPH ASIA 2009 Sketches; 2009.[2] GrønbækK，Iversen OS，Kortbek KJ，Nielsen KR，Aagaard L. 儿童学习环境中动觉交互的交互式地板支持。人机交互-交互2007.Berlin Heidel-berg：Springer; 361-75.[3] Wilson AD. PlayAnywhere：一个紧凑的交互式桌面投影-视觉系统.在：第18届年度ACM用户界面软件和技术研讨会论文集，ACM;2005年。[4] Bérard F.魔术桌：基于计算机视觉的创意会议白板增强。在：IEEE计算机视觉国际会议，投影仪-摄像机系统研讨会（PRO-CAMS'03）; 2003年。[5] [10]李国雄，李国雄，李国雄.与可操纵投影显示交互。In ：Proceeding of Auto-matic Face and Gesture Recognition; 2002;Washington，DC，USA; p. 402-407[6] 2005年10月20日，中国科学院院士。可操纵投影仪-摄像机系统的应用。在：ICCV投影仪-摄像机系统研讨会（PROCAMS'03）会议记录; 2003年;法国尼斯。[7] [10]杨文，王文，王文. PaperWindows：数字纸张的交互技术。在：CHI '05会议记录的SIGCHI会议的人为因素在计算系统; 2005年;波特兰，俄勒冈州美国; p. 591-599.[8] OpenCV开发团队，[9] 张锋，陈昌杰，陆昌杰。一种基于轮廓跟踪技术的线性时间分量标记算法。计算机视觉与图像理解2004; 93（2）206-20.[10] 铃木S用边界跟踪法对数字化二值图像进行拓扑结构分析。计算机视觉，图形和图像处理1985; 30（1）32-46。[11] [10]杨文，李文，李文.凸壳的快速算法。ACM数学软件汇刊（TOMS）1996; 22（4）469-83。[12] 杉原湾坚固的礼品包装的三维凸包。Journal of Computer and System Sciences1994; 49（2）391-407.[13] Sklansky J.寻找简单多边形的凸包。PatternRecognition Letters 1982;1（2）79-83.[14] Graham RL，Yao FF. 求简单多边形的凸包。Journal of Algorithms1983; 4（4）324-31.[15] Papoulis A，Pillai SU.概率、随机变量和随机过程。Tata McGraw-Hill Education;2002.[16] Nadler M，Smith EP. 模式识别工程。New York：Wiley.[17] Flusser J，Suk T，Zitová B.平移、旋转和缩放的不变模式识别中的矩和矩不变量;2009。[18] 胡明凯利用不变矩进行视觉模式识别。Transactionson InformationTheory，IRE 1962; 8（2）179-87.[19] JobsonDJ，Rahman Z，Woodell GA. 一种多尺度视网膜，用于弥合彩色图像和人类对场景的观察之间的差距。IEEETransactions onImage Processing 1997; 6（7）965-76.[20] 劳基于局部尺度不变特征的目标识别。第七届IEEE计算机视觉国际会议论文集; Kerkyra，希腊; 1999年。[21] Bay H，Tuytelaars T，Gool LV. Surf：加速了强大的功能。In：ComputerVision-ECCV 2006; Springer Berlin Heidelberg;2006.[22] Lucas BD，Kanade T.一种迭代图像配准技术及其在立体视觉中的应用。在：IJCAI'81第七届国际联合会议的程序人工智能; 1981年; p.674-679