缺陷检测中基于缺陷区域直方图极值边缘的自动阈值分割算法

Journal of King Saud University沙特国王大学沙特国王大学学报www.ksu.edu.sawww.sciencedirect.com基于缺陷区域直方图极值边缘的缺陷检测Zouhir Wakafa， Hamid A.Jalabb，*a英国斯特拉斯克莱德大学工程学院电子电气系b马来西亚吉隆坡马来亚大学计算机科学和信息技术学院接收日期2016年7月20日;修订日期2016年10月31日;接受日期2016年11月1日2016年11月10日在线发布摘要自动阈值分割在图像处理和模式识别系统中有着广泛的应用。在钢铁加工和纺织制造等不同行业的质量控制目的检查过程中给予了特别关注最大类间方差法（Otsu）已很好地解决了自动然而，当直方图是单峰或接近单峰时，大津方法失败缺陷有不同的形状和大小，从很小到很大。图像直方图的灰度级分布可以在单峰和多峰之间变化。此外，克服了Otsu方法的缺点的Otsu修正方法（如谷强调方法和背景直方图模式范围）需要预处理步骤并且不能使用用于多峰缺陷的通用阈值提出了一种新的自动阈值分割算法，该算法通过获取缺陷区域直方图，并选取其极值边缘作为阈值，将前景中的所有缺陷对象从图像背景中分割出来。为了评估所提出的缺陷检测方法，使用了用于实验的常见标准图像。实验结果表明，该方法在缺陷检测方面优于现有方法©2016作者。制作和主办由爱思唯尔B.V.代表沙特国王大学。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍*通讯作者。电子邮件地址：Zouhir. strath.ac.uk（Z.Wakaf）、hamidjalab@um.edu.my（H.A. Jalab）。沙特国王大学负责同行审查制作和主办：Elsevierhttp://dx.doi.org/10.1016/j.jksuci.2016.11.001工业工件中的缺陷检测在计算机视觉应用中引起了特别的关注。用于这些目的的广泛使用的技术是自动阈值 化 （ Sezgin ， 2004; Ng ， 2006; Sezgin 和 Sankur ，2001）。在自动阈值分割中，根据图像中目标的灰度分布，选择最佳的灰度阈值，将图像中的目标从背景中Sezgin（2004）最近对各种阈值方法进行了深入研究和评估。1319-1578© 2016作者制作和主办由爱思唯尔B.V.代表沙特国王大学。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词图像分割;自动阈值化;缺陷检测;Otsu法34Z. Wakaf，H.A. 贾拉卜自动阈值技术可以大致分为全局阈值和局部阈值（Kwon，2004; Fan和Lei，2012）。全局阈值化从图像直方图中选择单个阈值，而局部阈值化基于它们的局部强度信息选择多个阈值全局阈值算法相当容易实现，但其结果取决于良好的（均匀的）照明（Ng等人， 2013年）。Otsu方法被认为是通用图像的最佳阈值算法之一（Gonzalez和Woods，2008）。该方法在单阈值情况下将图像分为背景和前景两类，在多级阈值情况下将图像像素分为多类。Otsu方法选择使图像直方图的类方差最大化 的 阈 值 作 为 成 本 函 数 （ Ng ， 2006; Ng 等 人 ， 2013年）。但被证明对于从背景中阈值化大对象是最佳的，但是当直方图是单峰或接近单峰时失败（Yang等人，2012; Wang and Liao，2002;Aminzadeh and Kurfess，2015）.在缺陷检测应用中，缺陷可以具有不同的形状和尺寸，范围从非常小到大。此外，缺陷检测应用范围从无缺陷到小缺陷和大缺陷，这使得灰度分布范围从单峰到双峰分布。因此，大津方法需要修改，以处理单峰和双峰分布，并有效地检测缺陷。图像直方图的灰度分布可以在单峰和多峰之间变化，如图所示。1 .一、下面的例子显示了Otsu方法无法检测小缺陷。 如图2（c），Otsu方法产生了一个不正确的阈值，并未能隔离污染物。Otsu方法失败，因为直方图显示单峰分布，因为缺陷尺寸与背景尺寸相比非常小。期望的和Otsu阈值在图2（d）中示出（Bhardwaj等人，2015;Shapiro and Stockman ， 2001; Nixon ， 2008; Zhang andBresee，1995）。为了克服这一局限性，已经对原始的Otsu方法进行了一些修改。Ng（2006）通过自动选择接近直方图中谷点的阈值来修改原始Otsu方法，并将其称为谷强调方法。这种方法简化了双峰和单峰分布的最佳阈值的选择。此外，Ng等人（2013）通过应用高斯加权算法提出了一种改进的山谷强调方法，该算法有效地增强了Otsu方法的目标函数。另一种改进的山谷强调方法（Fan和Lei，2012）涵盖了方差物体的形状不同于背景。在模式之间具有大重叠或没有可消除的谷的图像的情况下，该方法不能提供令人满意的结果。此外，该方法需要许多预处理步骤和关于缺陷的先验知识来发现最佳阈值。Ng等人（2013）修改了Otsu阈值，使其尽可能靠近图像直方图中的谷点。该方法表明，在图1所示的单阈值情况下，该阈值存在于双峰的谷（双峰）或单峰的底缘（单峰）。1.一、 The Ng et al. （2013）方法基于在阈值处发生的概率必须很小的原则。因此，谷值强调方法选择具有小的出现概率（灰度直方图中的谷值）的阈值，并且该方法还像Otsu方法那样最大化组方差。Bhardwaj等人（2015）评估了谷阈值方法的局限性，并提出了一种新的方法，该方法使用光线来增强有缺陷照片的成像。这种方法在光线穿过照片后应用谷强调方法来识别有缺陷的检测结果取决于通过缺陷照片的光的空间强度分布的变化像素计数像素计数阈值ThresholdC（一）灰度（b）第（1）款灰度图1灰度直方图中的最佳阈值选择：（a）双峰和（b）单峰。C基于缺陷区域直方图极值边缘的缺陷检测351400120010008006004002000a B C50004500400035003000250020001500100050000 50 100 150 200 250D e图2 Otsu方法在小缺陷阈值化中存在的问题：（a）原始图像;（b）新方法阈值结果;（c）Otsu阈值结果;（d，e）直方图和阈值。或者，Aminzadeh和Kurfess（2015）研究了自动阈值方法。本研究的目的是确定的灰度范围的背景和缺陷，尽管他们的大小，特点，或模式。该方法还需要许多预处理阶段和噪声去除，同时研究图像的区域以选择合适的阈值。与使用假设的方法不同，例如基于谷的阈值或研究背景和缺陷区域之间的差异以找到合适的阈值的方法，本研究提出了一种新的算法，用于选择单峰，双峰或多峰分布的最佳唯一阈值。所提出的方法的想法是基于减法- tion掩模建立在从图像本身的整个底层图像中的像素强度的平均值。为了找到一般阈值，计算位于背景和缺陷区域（前景）之间的边界界限上的所得缺陷区域的直方图中的极值，并将其选择为阈值。所提出的自动缺陷检测方法使用该唯一的通用阈值从背景中分割感兴趣的对象（缺陷区域），而不管它们的大小、特征或模式。通常，阈值应当位于原始缺陷图像的直方图的灰度级分布的谷或底部边缘处，其将匹配直方图的缺陷区域的极端（Bhardwaj等人， 2015年）。本研究组织如下：第2节提出了建议的阈值算法。第3节提供了关于获取阈值的详细信息。第4节给出了实验结果。最后，第5节提出了结论。2. 该算法考虑到以下基本事实：1. 阈值化的基本思想是全局阈值化是一种合适的分割技术，用于包含占据与背景不同的灰度范围的对象的图像。2. 在大多数应用中，缺陷的强度不属于单个灰度级范围，并且可能看起来比背景更暗和更亮。3. 最佳阈值位于与缺陷和背景相关联的灰度范围的边界处（Zhang和Bresee，1995; Nixon，2008）。这些想法是方便地使用在这项研究中，提出了一种新的方法自动阈值选择的缺陷检测应用。所提出的算法包括以下步骤：1. 从整个原始图像（缺陷图像）的平均灰度值创建背景掩模2. 锐化原始图像以增加沿着缺陷区域和背景之间的边界的对比度。3. 从图像本身中减去掩模，从而提取缺陷区域的特征。4. 计算结果图像的直方图（基本上包含缺陷的特征）。5. 找到直方图的极值（最高灰度级）。6. 选择该值作为阈值以将缺陷从背景中分离data1Otsu阈值所需时间建议方法36Z. Wakaf，H.A. 贾拉卜2--原始图像均值掩码分类缺陷使用平均强度值的掩模的主要优点是，它允许将缺陷区域与其背景分离，从而隔离缺陷区域。函数由Shapiro和Stockman（2001）和Nixon（2008）给出：21-x2togram完全从原始图像的直方图，如图2所示。Gxpe2rð1Þ所提出的方法允许确定所需的阈值，可以很容易地用于分离的背景（无缺陷的区域），以及有缺陷的区域（包含缺陷的区域）自动。所提出的方法被证明是非常有效的几个标准图像的表面缺陷与划痕，颠簸，和坑在纺织制造，金属加工，以及在一些其他行业。所提出的方法的流程图如图所示。3.第三章。3. 自动阈值选择在该算法的步骤2中，对原始图像（缺陷图像）进行锐化处理，以增加背景和缺陷区域（前景）之间边界周围图像像素的对比度 如图 4、图像锐化技术使用模糊的负图像来创建原始图像的掩模。然后将此未锐化的蒙版与正（原始）图像组合，创建比原始图像更模糊的图像。基于高斯函数，采用高斯模糊作为图像模糊滤波器对于一维，高斯--缺陷直方图指定阈值=直方图极值图3所提出方法的流程图。在二维空间中，高斯函数是两个这样的高斯，每个维度一个（Shapiro和Stockman，2001; Nixon，2008）：1x2y 2Gx;y2pr2e2r2在横轴中，x是到原点的距离。在垂直轴中，y是到原点的距离r是高斯分布的标准偏差。当应用于二维时，高斯函数产生一个表面，其轮廓是从中心点开始具有高斯分布的得到的离散值用于形 成 应 用 于 原 始 图 像 的 卷 积 矩 阵 （ Shapiro 和Stockman，2001; Nixon，2008）。这个过程将边界边缘的灰度强度推到物体颜色图的内部，增加了边界处颜色的变化，如图所示。 4，并因此便于前景对象与背景的阈值化处理。从步骤3得到的图像包含具有新重新分配的灰度值的相同原始场景，其远离原始值，具有可分离的背景和前景。换句话说，从锐化的原始图像中减去平均值掩模的步骤创建了以灰度级值重新映射的新图像。理论上，图像分割的全局阈值（T）可以由以下表达式表示（Nixon，2008）：Tlz·r3参数l表示整个图像像素的平均灰度级。参数r表示缺陷图像（原始）中平均灰度级的标准偏差。可以通过试 错 法 选 择 因 子 z， 以 确 定 缺 陷 检 测 测 试 的 严 格 性（Nixon，2008;Aminzadeh和Kurfess，2015）。在所提出的方法中，阈值等于步骤3中得到的图像的直方图的极值，这可以很容易地自动计算，被选择。该值正好位于前景和背景之间的区域的边界限制处。4. 实验结果在实验中，所提出的方法和Otsu方法（及其修改）的性能进行了测试，对几个常见的缺陷检测标准图像。对于每个缺陷检测测试应用，选择三个类别：无缺陷、小缺陷和大缺陷对象。所有的图像，使用建议和大津方法（或山谷强调方法）的消隐。对于清晰双峰分布的图像，本研究的方法提供了一个阈值，该阈值与Otsu和谷强调方法产生的值可比较（Ng等人，2013; Aminzadeh和Kurfess，2015）。图 5示出了测试图像的阈值的示例，2pr2+锐化基于缺陷区域直方图极值边缘的缺陷检测37图4锐化过程的效果。5010015020050 100 150 200 250 300a B300025002000150010005000050100 150 200250C450040003500300025002000150010005000050 100 150 200 250D图5具有双峰分布的测试图像的阈值：（a）测试图像，（b）阈值结果，（c，d）具有阈值的直方图双峰分布最大类间方差法、山谷强调法和所提出的方法返回的阈值分别为121、117和125。在下面的实验中，对所提出的方法在多级阈值上的性能进行了测试。图6a是具有小缺陷的机器部件的图像。目的是将零件与背景隔离，并将缺陷与零件隔离。图图6b示出了所提出的方法的阈值结果，其与谷值相同。强调方法，使用三级阈值。显然，该方法适用于没有明显的多峰灰度分布的图像。相比之下，Otsu方法在零件图像上表现不佳（图6c），因为它需要清晰的多模态灰度分布（Yang等人，2012; Nixon，2008; Zhang andBresee，1995）.由这三种方法计算出的阈值如图1和图2所示。6d和6e。所提出的方法的优点是它能够分离的所有实体中，Otsu山谷强调该方法该方法38Z. Wakaf，H.A. 贾拉卜5010015020050100150200250300a B C25002000150010005000山谷强调Otsu阈值0 50 100 150 200250D3500300025002000150010005000050 100 150 200 250e图6建议的、Otsu和谷强调阈值结果：（a）部分图像;（b）建议的和谷强调三级阈值结果;（c）Otsu三级阈值结果;（d）直方图和阈值。该方法使用通用阈值对图像进行分割，不像Otsu方法和所有其他基于该方法的方法，例如谷值强调方法，在双峰或多峰分布的情况下，该方法使用多个阈值将缺陷与背景分离图图7示出了具有两个缺陷的表面的图像及其直方图。 图图7（b）呈现了单级和双级Otsu分割的结果。尽管经过了预处理和去噪处理，但分割效果仍不理想.二阶Otsu分割的缺陷，但错误地分割大部分的背景。所提出的方法的应用结果如图7（c）所示。显然，与其他已知方法相比，该方法能够方便地计算和选择合适的阈值，以最小的误分类误差将缺陷从背景中分离出来两级和多级阈值使用多个阈值，结果较少或相等图图7（e）示出了作为从原始图像中减去平均掩模的结果的缺陷区域的直方图。 图图7（f）示出了缺陷直方图的放大端，该方法使用该缺陷直方图来找到阈值（在这种情况下等于83）。算例表明，该算法在大多数情况下，其中的大津阈值的情况下，单峰缺陷，产量大大改善的结果比其他已知的方法。同时，对Otsu方法进行了改进的山谷强调和背景直方图范围方法需要进行大量的预处理和区域选择，才能得到较好的结果。尽管如此，它们也没有在多式联运缺陷的情况下使用一般阈值。 当应用于不同类型的图像时，所提出的方法表现出非常好的效果，特别是在小的和非常小的缺陷，其检测通常比非常大的缺陷更重要。5. 结论在这项研究中，提出了一种新的自动化方法的缺陷检测阈值。该方法通过比较基于像素强度值的平均值的掩模与图像本身的锐化副本来有效地分离缺陷区域直方图。阈值被选择为缺陷直方图的极端边缘。对不同类型的缺陷图像进行了实验，其中背景可以具有均匀或不均匀的灰度分布，甚至可以包括如样本图像中所描绘的低锐度和对比度所提出的方法的显着优势是它的适用性，以各种各样的不同尺寸和特性的图像和它的能力，以检测和隔离的小和大的缺陷从背景。结果表明，所提出的方法优于其他已知的方法，因为所提出的方法成功地分割不同的对象的前景，从他们的背景使用所得到的一般阈值。结果表明，该方法是一种简单有效的缺陷检测方法。利益冲突作者声明，发表这篇文章不存在利益冲突建议的方法阈值基于缺陷区域直方图极值边缘的缺陷检测39100200300400500600100200300400500600700 800一B12000100008000600040002000Cx 1044.543.532.521.510.50060050040030020010000 50100150 200 250D0 50 100 150 2002500 50 100 150 200 250 300e f图7具有两个缺陷的表面的测试图像：（a）测试图像;（b）Otsu阈值处理的结果：单级（左）和双级（右）;（c）：所提出的方法的结果;（d）图像直方图;（e）重新绘制图。 7（e）使用SQRT函数来说明小值（f）。作者贡献所有作者共同努力得出结果，并批准了最终手稿。源代码我们所提出的方法的Matlab代码和其他图像可在链接上获得：http://darkion.net/in-dex/codes/0引用Aminzadeh，M.，Kurfess，T.，2015年。 自动阈值缺陷检测的背景直方图模式范围。J. Manuf. 系统37，83-92.Bhardwaj，N.，阿加瓦尔，S.，Bhardwaj，V.，2015年。一种用于照片缺陷自动阈值化的成像方法。模式n。Lett. 60，32-40。范，J. - L.，Lei，B.，2012.一种改进的谷值增强自动阈值分割方法。模式n。Lett. 33，703-708。冈萨雷斯，R.C.，伍兹，R.E.，2008.数字图像处理。新泽西。权信雄2004年基于聚类分析的阈值选择模式n。Lett. 25，1045-1050。Ng，H.- F.、2006年。自动阈值缺陷检测。 模式n。Lett. 27，1644-1649.Ng，H.- F.、Jargalsaikhan，D.，蔡，H.- C.的方法，林角，英-地是的，2013.一种改进的基于谷值强调法的图像阈值化方法。在：信号和信息处理协会年度峰会和会议（APSIPA），2013年亚太地区。IEEE，pp. 一比四尼克松，M.，2008.特征提取图像处理.中国科学出版社.图F，放大该区域拟定方法阈值40Z. Wakaf，H.A. 贾拉卜Sezgin，M.，2004.图像阈值化技术综述及量化性能评价。J.Electron. Imaging 13，146- 168。Sezgin，M.，Sankur，B.，2001.无损检测应用中阈值方法的选择。In：Proceedings. 2001年国际图像处理会议。IEEE，pp. 764-767。Shapiro，L.G.，斯托克曼，G. C.，2001年计算机视觉普伦蒂斯·霍尔Wang，G.，Liao，T.W.，2002.射线图像中不同类型焊接缺陷的自动识别。NDT和E Int. 35，519-528。杨，X.，沈，X.，Long，J.，陈洪，2012年。一种改进的中值Otsu图像阈值化算法。AASRI Procedia 3，468-473.Zhang，Y.F.，Bresee，R.R.，1995.利用图像分析进行织物缺陷检测和分类。短信了Res. J. 65，1-9.