基于图像平滑和形态学运算的深度边缘检测技术研究

HOS T E D B Y可在www.sciencedirect.com网站上查阅计算设计与工程学报3（2016）191www.elsevier.com/locate/jcde基于图像平滑和形态学运算的深度边缘检测Syed Mohammad Abid Hasan，Kwanghee Kon韩国光州科学技术学院机电一体化学院接收日期：2015年12月3日;接收日期：2016年2月5日;接受日期：2016年2月10日2016年2月17日在线发布摘要由于三维测量技术在制造业中的广泛应用，深度图像的边缘检测在计算机视觉应用中起着重要的作用。在本文中，我们提出了一种基于图像平滑和形态学操作的深度图像边缘检测过程。在这种方法中，我们使用了中值滤波的原理，它具有边缘保留特性的著名功能。边缘检测基于Canny边缘检测原理，并结合腐蚀和膨胀的形态学运算进行改进。随后，我们将我们的结果与一些现有的方法进行了比较，并表明该方法产生了更好的结果。但是，此方法适用于具有有效帧率的多帧应用程序。因此，该技术将有助于从深度图像中鲁棒地检测边缘，并有助于促进深度图像中的应用，例如对象检测、对象分割等。&2016 年 CAD/CAM 工 程 师 协 会 。 Elsevier 的 出 版 服 务 。 这 是 一 个 在 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：边缘;深度图像;平滑;形态学1. 介绍由于深度边缘代表物体轮廓[1，2]，因此适当的边缘检测在各种计算机视觉问题中发挥着重要作用。边缘图包含自然场景的部分几何信息;特别是在深度图像的情况下，深度不连续性将前景对象与背景分开，并可用于各种图像处理任务，如分割或去噪[3]。尽管在图像块分类领域[4- 6]已经取得了一些快速的进展，但目标检测仍然是一个活跃的3D测量技术通常基于计算场景中物体的深度信息。在3D测量技术方面已经有了一些工作，研究人员试图通过使用立体相机来获取场景中物体的深度信息[7然而，这种方法是有限的，因为立体相机能够工作在场景中包含丰富的纹理。有些人使用三维激光测距仪[10，11]。他们成功地生产了n通讯作者。精确的深度数据。 但由于其昂贵的设备，他们不能使用这种设备的实时应用。甚至一些基于图案的方法[12- 15]被用于产生深度图，但是这些方法在相机和对象位置方面也具有一些限制。由于廉价的RGB-D传感器（如Apple PrimeSense、Microsoft Kinect、Intel Real Sense等）的可用性迅速增长，对于诸如3D建模[16]、分割[17]和身体姿势估计[18，19]的若干任务，已经实现了许多突破。虽然这些传感器帮助我们实现了深度图，但很少有方法被应用于边缘检测方面来分析这些地图深度图像的精确边缘检测对于某些对象检测过程[20]至关重要，这些过程取决于特定形状的模型适当的边缘检测过程可以用于真实环境中的各种人类行为分析[21]问题，例如行走，观察和坐下。然而，由于一些限制，深度图像中的现有边缘检测过程不能应用于这些类型的情况深度图像中的一些边缘检测方法[22]未能提供无噪声的深度图像;因此无法实现正确的边缘检测http://dx.doi.org/10.1016/j.jcde.2016.02.0022288-4300/2016 CAD/CAM工程师协会。&Elsevier的出版服务。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。192S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）191一些其他方法[22，23]在深度图像中的边缘检测中起作用。但是，它们仅适用于单个帧。当它们被应用于需要处理多帧的问题时，这些方法可能会失败，因为它们不能处理每个帧中新生成的噪声，例如抖动问题。本文提出了一种从深度图像中更深层次地检测边缘的方法。这种方法可以检测连续的边缘，这是非常重要的，当我们试图从图像中检测一个大的对象，如人体。为了检测连续边缘，我们对Canny边缘检测方法进行了改进，加入了形态学运算。形态学操作通常处理图像中的特征的形状。它已被用来消除各种类型的形状，如对象边界，骨架等的缺陷，这种操作通常包括两个操作：腐蚀和膨胀。第一个操作，表示为打开，平滑轮廓对象，打破窄带，消除薄突起。第二种操作称为闭合，也使轮廓平滑，但与打开相反;它融合了细微的不连续性，消除了琐碎的漏洞并填充了轮廓中的间隙这种方法也适用于多帧，而以前的方法检测边缘在一个单一的帧。本文的结构如下：第二部分介绍了系统的总体框架。它还提出了获取深度图像的方式。在第3节中，我们提出了一个平滑深度图像的过程。部分4表示深度图像中的边缘检测处理。在第5中，我们展示了不同场景的实验结果最后，第6节总结了本文以及未来可能的工作方向。2. 总体框架在图1中，我们已经说明了所提出的系统的总体框架。这里，通过使用Microsoft Kinect获取深度图像。从Kinect捕获的数据必须以某种方式进行处理。在对Kinect数据进行适当处理后，我们使用中值滤波原理对深度图像进行平滑，以降低噪声水平。稍后，我们继续进行边缘检测过程，深度图像在这里，我们使用Canny边缘检测的原理，并使用形态学操作对其进行修改，以获得更好的性能。形态学运算是开运算和闭运算。在本节中，我们将讨论从Kinect获取深度图像的技术方法，并将其处理为其他应用程序。微软提供了一些内置的库，这些库已经在这项工作中用于获取深度图像。但是，使用Microsoft Kinect有一些预处理任务。NuiGetSensorCount功能已用于确保准备使用的传感器数量。NuiImageResolutionToSize函数用于确保准备使用的传感器数量。NuiImageResolutionToSize函数用于获 取 深 度 帧 的 宽 度 和 高 度 ， 而 INuiSensor ： ：NuiImageStreamOpen函数用于初始化传感器以流出深度数据。一旦我们开始获取深度流，我们就开始通过使用INuiSensor ： NuiImageStreamGetNext-Frame 和 使 用INuiSensor：NuiImageStreamRelease- Frame从下一帧捕获数据，保存后每个帧都已被释放一旦我们逐帧捕获深度数据，就必须与Kinect进行对话以获取深度数据，特别是一次一帧。在这种情况下，我们使用了一个名为KinectHelper的抽象在这里，我们使用KinectHelper：UpdateDepthFrame方法来更新深度数据的帧，然后通过使用KinectHelper：GetDepthImageAsArgb，我们获取了格式为ARGB的Kinect数据。一旦我们找到这些数据，我们就能够根据我们以后的义务来推进我们以后的算法。3. 深度图像平滑算法在本节中，我们将解释用于降低所获取的深度图像中的噪声水平的原理。这里我们使用了中值滤波原理[24]。有几种滤波器可以去除图像中的噪声。然而，中值滤波器与大多数现有滤波器不同。中值滤波器最重要的特点是在去除噪声的同时保留边缘。基本上，中值滤波器通过每个图像像素进行分析，Fig. 1. 总体框架。S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）191193¼~~.Σðþ Þ.- 是的Σ每个图像的像素由相应的滤波器区域R中的像素的中值。该过程可以根据以下等式表示：I这里，（u，v）是图像像素的位置，（i，j）是图像区域的邻域大小，这些被指定为正整数的两个元素数值向量。通过使用中值滤波，每个输出像素包含输入图像中对应像素周围的i乘j现在，由于这个滤波器用中值替换像素值，2 K1像素值p i的中值可以定义为Median。p0;p1;p2;...; p k ;...; p 2 k p k2由方程式(2)如果序列（p 0，...，p 2 k）按照pi：π：pi 1排序，则中心值将是p k;根据它们的数值排序。由于中值滤波器不会生成任何新的值像素，这些像素不在Eq之前的图像中。（2）定义奇数大小的值集合的中位数。在在矩形滤波器的边长为奇数的情况下，滤波器区域中的元素数量也变为奇数。对于另一种情况，其中元素的数量是偶数（对于某个K40，2K），则排序序列的中位数（p0，中位数p0;：;pk- 1;pk; ¼pk-1pk=23在这个方程中，两个中间值pk-1和pk的算术平均值被认为是序列的中值。由于该插值创建了一个新的像素值，因此中值滤波器的区域被认为是均匀大小的。在图2中，我们显示了在特定的二维图像结构中3 × 3像素中值滤波器区域的效果。这里，从该图像区域提取的所有九个值被分类为向量。矢量中的中心值被认为是中值，并最终替换指定像素区域的中心值。然而，在我们的算法中，我们使用了相同的原理，只是我们在深度图像结构中使用了5 × 5像素的中值滤波器。在示例部分中，我们已经说明了这种中值滤波技术的效果4. 深度图像本节说明了我们的系统的边缘检测过程。在这里，我们使用了Canny边缘检测原理的过程。为了实现更好的性能，我们用一些形态学操作对其进行了修改[27]。4.1. Canny边缘检测算法在图像处理领域有几种边缘检测算子，Canny边缘检测器[25]是最有效的检测器之一。它能够感知图像中广泛的边缘。由于它准确地满足了边缘检测的一般标准在以下部分中，我们解释Canny边缘检测算法的过程[26]：4.1.1. Canny边缘检测算法Canny边缘检测算法的过程可以分为五个不同的步骤：1. 平滑：为了从图像中去除噪声，执行平滑或模糊操作。2. 寻找梯度：在获得图像的梯度之后，应该仅在获得大幅度的那些区域中标记边缘。3. 非最大值抑制：只有局部最大值应被视为边缘。4. 双阈值：通过双阈值确定预期边缘。5. 通过滞后进行边缘跟踪：在抑制所有未连接到非常确定或强边缘的边缘后，这些边缘将被视为最终边缘。在我们的工作中，我们没有使用所有这些步骤，因为我们已经通过使用中值滤波应用了平滑操作。所以我们跳过了第一步，其他步骤已经为我们的方法做好了。稍后，通过引入形态学运算，我们修改了这个边缘检测过程，就深度图像而言，这个过程是全新的。图二. 3~ 3像素中值滤波器的计算。图三. 用结构元素探测图像。194S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）1914.2. Canny边缘检测算法的虽然Canny边缘检测器已经能够以某种方式检测边缘，但为了从深度图像中实现更准确的边缘检测，我们使用形态学操作修改了此边缘检测过程。这些操作通常是对像素排序进行比较而不影响其数值的非线性操作的集合。形态学运算的关键算子是腐蚀和膨胀。在下文中，我们解释了我们的方法中使用的形态学运算[27]。形态学图像处理是根据图像中的形状或形态特征继续做一些集合的非线性运算。 这些操作取决于像素值的相对顺序，而不是数值，因此特别适合于处理二进制图像。然而，形态学运算也可以用于其他类型的图像，例如灰度图像。在灰度级图像中，光传递函数是未知的，因此它们的绝对像素值是无关紧要的。通常，形态学技术通过使用小形状或模板（称为结构元素）来研究图像。 该结构元素通常被放置在图像中的所有可能位置处，然后与对应的邻域像素进行比较。在此操作期间，该技术测试元素是否 图图3示出了如何在图像像素上执行这些操作。对于二进制图像，如果测试在特定位置处成功，则该操作创建新的二进制图像，其中像素在输入图像的该特定位置处包含非零值在此形态学操作中使用的结构元素是小的二进制图像，像素的小矩阵，其中每个像素包含值为零或一。关键的解释可以写如下：矩阵维度指定结构元素的大小。1和0的模式指定了结构元素的形状结构化元素的原点通常是其像素之一，尽管通常原点可以在结构化元素之外。在我们的研究中，我们使用了一种形态学操作，表示为腐蚀和膨胀的组合。第一个操作称为打开，另一个称为关闭。开口是一种形态学过滤器，其中侵蚀之后是扩张。而且，闭合是一种形态过滤器，其中膨胀之后是侵蚀。这些形态学运算可以用集合论运算来解释，例如二进制图像的补数：如果f=a;b=1，则fc= a;b= 1;如果f=a;b =1，则f c=a ;b=1图四、边缘检测得到各种场景的深度图像●●●S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）191195联系我们¼[图五. 不同场景测试结果对比在这里，补集fc是不包含在图像f中的元素的集合。现在，两个二值图像f和g的交集I f g可以解释为以下等式：如果f=a;b=1且g=a;b=1且I=a;b=0，则I=a;b=1否则两个二值图像f和g的并集U f g可以解释为以下等式：如果f=a;b=1或g=a;b=1，则U= a;b= 1;否则U =a;b=0在下文中，我们将分别解释打开和关闭操作[27]。4.2.1. 开口由结构元素s（用f3s表示）对图像f的打开是一种腐蚀（用y表示），随后是一种膨胀表1测试场景参考计算时间计算时间号方法[22]拟定方法010.7250.1020.6860.1030.6870.1040.6560.09（表示为）：f3 s¼fs s之所以称此操作为opening，是因为它可以在由像素组成的细桥连接的对象之间打开一个间隙。作为该操作的一部分，可能在腐蚀操作中幸存的区域将通过膨胀恢复到其原始大小。使用圆盘196S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）191●结构元素的一个重要特点是，它从内部平滑角落。而且，通过执行整个操作，它可以进一步消除噪声，从内部圆角并缩短图像。4.2.2. 关闭由结构元素s（由fs表示）封闭图像f是膨胀（由表示），随后是侵蚀（由y表示）：f●sf s s在形态学操作中，闭合是起源于它能够在保持初始区域大小不变的情况下填充区域中的孔。利用盘结构元件的这种闭合操作与打开操作相反，因为从外部平滑该操作的主要目的是平滑轮廓并保持对象的形状和大小。结合这两种操作，我们能够得到更好的结果，检测深度图像的边缘。5. 结果和比较在本节中，我们说明了我们的研究结果。我们将图4中的结果组织如下：每行的第一张图片表示场景的RGB图像（图4 a，e和i），下面的图片表示该特定场景的原始深度图像（图4 a，e和i）。 4 b、f和j）。随后，我们展示了应用中值滤波器所获得的结果（图4c、g和k）。每行的第四和最后一张图片显示了我们通过所提出的方法获得的最终结果（图4d，h和l）。在本文中，我们已经说明了我们的结果为四个不同的场景。为了将我们的结果与现有方法进行比较，我们实施了Lejeune等人开发的框架。[22]并将我们的结果与他们的结果进行了比较。在下文中，我们已经示出了在类似场景中的边缘检测过程的结果在图5（i），（iii）和（v）的图中，我们介绍了Lejeune等人开发的边缘检测方法。[22]在图5（ii），（iv）和（vi）的另一个图中，我们显示了相同场景序列的边缘检测方法的结果。它清楚地表明，通过使用我们的技术，噪声水平已显着降低 在《易经》中， 5（i）、（iii）和（v）），还发现一些边缘没有被保留，这些边缘通过我们的技术被保留。为了清楚地理解这些区域，我们用红色圆圈突出显示了在参考方法中这种类型的连续边缘检测失败的除此之外，各种形状的轮廓也通过使用我们的方法得到了改善我们还测量了这两种方法的计算时间;参考文献[22]和我们在表1中提出的方法。我们已经表明，在计算时间方面，我们的方法比参考方法更快。这两种方法都是使用具有英特尔酷睿i5 CPU、8 GB RAM和英特尔（R）HDGraphics 4000的同一系统进行测试的。6. 结论在这项研究中，我们开发了一个框架，用于检测深度图像中的边缘。该框架由以下过程组成：获取深度图像，深度图像平滑和深度图像中的边缘检测首先，通过使用一些Kinect库获得深度图像，并将其转换为所需的格式，以便后续算法可以有效地应用。在获取深度图像之后，通过使用中值滤波原理将噪声水平最小化。由于我们所提出的框架工作在多帧中，因此，通过使用这种平滑技术，还可以处理由每个新帧产生的噪声，如抖动问题。并且，在去除噪声的同时，也保留了边缘。最后，我们尝试通过应用改进的Canny边缘检测技术来检测边缘。针对Canny边缘检测算法在应用于平滑深度图像时存在的问题，利用形态学运算对Canny边缘检测算法进行了改进。这种技术有助于进一步消除平滑操作无法处理的噪声。此外，在去除进一步的噪声的同时，它还平滑了轮廓并保持了对象的形状和大小;因此，场景中各种对象的形状被保留下来。在本文的结果和比较部分，除了展示我们的结果，我们还与现有的技术进行了一些比较。它明显表明，我们的方法能够更精确地检测边缘，同时减少深度图像中的噪声。此外，在计算性能方面，该方法优于传统方法.尽管我们的方法在多帧中工作良好，但这种方法的局限性之一是帧率不能达到实时水平。因此，如果我们能够提高帧率，那么我们就可以将这种技术应用于实时应用。作为未来工作的一部分，我们将这种方法应用到一些目标检测应用。该技术可用于基于深度图像的对象分割、对象检测和其他计算机视觉应用。例如，通过使用这种技术，我们可以找到对象的所需边缘，并通过使用预先构建的模板，我们可以使用倒角匹配算法并正确检测对象。为了检测深度图像中的较小对象，深度图像应当包含较少的噪声以及保留的边缘。因此，我们的方法可以在这种情况下稳健利息负债表作者没有利益冲突需要报告。致谢本研究由韩国教育科学技术部资助的韩国国家研究基金会（NRF）的基础科学研究计划（2011-0010099）支持。S.M. Abid Hasan，K.Ko/Journal of Computational Design and Engineering 3（2016）191197引用[1] 卡 斯 ·TA 用 于 3D 对 象 识 别 的 鲁 棒 的 仿 射 结 构 匹 配 。 IEEETransactions on Pattern Analysis and Machine Intelligence1998; 20：1265-74.[2] 作 者 ： Ray M. 基 于 模 型 的 单 幅 图 像 三 维 物 体 识 别 。 IEEETransactions on Pattern Analysis and Machine Intelligence2001; 23：116-28.[3] Gokturk SB，Yalcin H，Bamji C.一个时间的光深度传感器系统的描述，问题和解决方案。在：计算机视觉和模式识别研讨会，2004年。CVPRW'04。IEEE; 2004年。[4] Felzenszwalb PF，Girshick RB，McAllester D，Ramanan D.使用区分训练的基于部分的模型进行目标检测。模式分析与机器智能2010。[5] Malisiewicz T，Gupta A，Efros AA.用于对象检测及其他的示例支持向量机。在：ICCV的会议记录2011年。[6] 王X，杨M，朱S，林Y.用于通用对象检测的regionlet。在：ICCV的会议记录。2013年。[7] Rovira-Mas F，Zhang Q，Reid JF.精准农业立体视觉三维地形图。农业电子计算机2008; 60（2）133-43。[8] Orteu J.实验力学中的3D计算机视觉。光学激光工程2009; 47（3-4）282-91。[9] 张文辉，张文辉，张文辉.一个创新的基于视觉的3D建模数字化系统。光学激光工程2011; 49（9-10）1168-76。[10] Dias P，Matos M，Santos V.使用低成本3D范围扫描仪的真实世界场景的3D重建。计算机辅助民用基础设施工程2006; 21（7）486-97。[11] Cole DM，Newman PM.在户外环境中使用激光测距数据进行3DSLAM。2006年IEEE机器人与自动化国际会议。佛罗里达州奥兰多;2006年。p. 1556-63年。[12] 徐军，Xi N，张聪，石庆安，Gregory J.基于结构光图案的汽车零部件实时三维形状检测系统。 光学激光技术2011; 43（1）1-8.[13] Gorthi SS，Rajshekhar G，Rastogi P.基于条纹投影法的高阶瞬时矩三维形状测量。光学激光技术2011; 43（1）40-4.[14] 左成，陈强，顾国华，冯世军，冯富孝，李荣斌，等。基于高频三极脉宽调制条纹投影的动态场景高速三维面形测量。光学和激光工程2013; 51（8）953-60。[15] 吴克，Xi俊，余永国，杨志坤. 3D轮廓测量基于对来自多步三角形图案的强度比之间的空间移位的估计。光学和激光工程2013; 51（4）440-5。[16] Izadi S，Kim D，Hilliges O，Molyneaux D，Newcombe R，Kohli P等人，Kinectfusion：使用移动深度相机的实时3D重建和交互。第24届ACM用户界面软件与技术研讨会论文集。ACM; 2011年。[17] 放大图片作者：NathanSilberman，Derek Hoiem PK，Fergus R. 室内分割和支持rgbd图像推理。 计算机视觉学报-ECCV。Berlin，Heidelberg：Springer;746-60.[18] Shotton J，Girshick R，Fitzgienia A，Sharp T，Cook M，FinocchioM，Moore R，Kohli P，Criminisi A，Kipman A，Kipman A，BlakeA. 从单个深度图像中进行有效的人体姿势估计。IEEE TransactionsonPattern Analysis and Machine Intelligence 2013; 35（12）2821-40.[19] Shotton J，Sharp T，Kipman A，Fitzgienia A，Finocchio M，BlakeA，Cook M，Moore R.从单个深度图像中实时识别部分人体姿势。ACM通信2013; 56（1）116-24。[20] 放大图片作者：Xia，Lu，Chia-Chih Chen，Aggarwal Jake K.利用kinect深度信息进行人体检测。2011年IEEE计算机协会计算机视觉和模式识别研讨会（CVPRW）。美国电气与电子工程师协会。[21] 严赫敏尹昌永李熙镇朴敏使用深度-MHI-HOG和spotter模型的连续人体动作识别。传感器2015; 15（3）5197-227。[22] Lejeune A，Pienard S，Van Droogenbroeck M，Verly J.一种新的3D相机跳跃边缘检测方法。在：3D成像国际会议（IC3D）的会议记录。比利时列日; 2011年。[23] 陈伟，岳红，王军，吴晓.一种改进的深度图修复边缘检测算法。光学和激光工程2014; 55：69-77。[24] 黄天，杨国，唐国.一种快速的二维中值滤波算法。IEEE声学、语音和信号处理汇刊1979; 27（1）13-8.[25] 精明的约翰。边缘检测的计算方法。IEEETransactions on PatternAnalysis and Machine Intelligence 1986; 6：679-98.[26] 默斯伦德河Canny边缘检测丹麦：奥尔堡大学计算机视觉与媒体技术http://www.cvmt.dk/education/teaching/f09/VGIS8/AIP/canny_09gr820.pdf [2009年3月]。[27] 形态 学图像分 析。原理 与应用Pierre Soille ISBN 3-540-65671-5（1999），第2版（2003）。