图像中阴影检测的模糊分割与合并算法

KKK埃及信息学杂志（2015）16，29开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com原创文章阴影检测雷米亚湾Sasi*，V.K. Govindan. .、印度喀拉拉邦卡利卡特国家理工学院计算机科学系接收日期：2014年5月20日;修订日期：2014年9月12日;接受日期：2014年2014年12月24日在线提供摘要图像中阴影的存在常常给计算机视觉应用如目标识别和图像分割带来困难。本文提出了一种检测沙区的方法，采用模糊分割与合并的方法从单幅图像中分割出一幅图像。分裂合并算法是图像分割中的经典算法。在所提出的方法中，经典方法中的谓词函数被模糊谓词代替。该方法遵循递归地将图像分割成均匀四叉树块的自上而下的方法，然后通过合并相邻的独特区域来实现自下而上的方法。该方法已与以前的方法进行了比较，发现是更好的性能方面的准确性。1. 介绍阴影是当来自光源的光被部分或全部阻挡时形成的。很难捕捉没有阴影的图像和视频。因此，唯一的可能性是删除一次它被抓住了。如果忽略图像中阴影的存在，在各种视觉过程中会引起物体形状变化、物体合并和物体丢失图像分割、场景解释、驾驶[1]、监控系统[2]、卫星成像[3]和医学成像模式[4]。2. 背景图像I（x，y）由如下的反射分量R（x，y）和照明分量L（x，y）构成[5]：Ix;yRx;yLx;y1分类，目标跟踪。因此，阴影检测和去除被认为是各种图像处理应用中的预处理步骤，例如自动化图像处理。*通讯作者。开罗大学计算机和信息系负责同行审查。制作和主办：Elsevierhttp://dx.doi.org/10.1016/j.eij.2014.11.003其中kC<${R，G，B}和“k”表示逐像素乘法。阴影区域是通过减少照明而分量，导致通过乘法标量C k（x，y）的图像强度的变化。因此，（1）可以重写为Ikx;ylRkx;ylLkx;ylCkx;y2取等式两边的对数。（2）我们得到Ikx;y Rkx;y Lkx;y Ckx;y3其中I、R、L和C分别是I、R、L和C的乘积。 因此，在日志域中，阴影意味着1110-8665 © 2014由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词阴影检测;分割与合并;模糊谓词; ANFIS30 R.K. V.K.萨西Govindan强度的附加变化。文献中已经报道了许多试图减少加性阴影分量的工作。然而，找到受阴影影响的区域需要智能阴影分割方法，因此，这不是一件容易的事情。自阴影、互反射、阴影不均匀、物体的几何形状以及图像采集过程中的伪影等因素使得阴影检测过程更加复杂。本文的其余部分组织如下：在阴影检测和去除的一些重要工作的简要回顾进行了第3节。第4节和第5节分别介绍了所提出的模糊分裂和合并方法以及ANFIS结构。实施细节和实验结果在第6节和第7节中给出。 最后，论文在第7节中结束。3. 相关作品在文献中已经提出了许多用于静止图像、卫星图像和视频的阴影检测算法。在移动阴影检测领域报告的大多数工作都是特定于特定领域的，例如交通监控[1]和视频监控系统[2]。因此，它们不适合一般应用。来自静止图像的阴影检测涉及检测由称为软阴影[6]的非点光源和称为硬阴影[1]的点光源生成的阴影的方法。到目前为止，还没有一种普遍适用于所有类别的通用方法。使用多个图像[7]、视频帧[2，8]或允许用户干预的方法[9，10]的现有技术方法已经给出了令人印象深刻的结果，但是从具有各种几何特征和照明约束的单个室内或室外图像中准确地检测阴影仍然是一个悬而未决的问题。这是因为室内和室外阴影的外观和形状取决于多个因素，例如光源（太阳、天空、云）的颜色、方向和大小、投射阴影的对象的几何体以及投射阴影的对象本节简要概述了静止图像中报告的各种阴影检测方法。Zhu等人[9]提出了一种基于学习的方法，使用阴影不变量，阴影变量和近黑特征来检测单色图像中的阴影。该方法基于提升的决策树分类器，该分类器被集成到条件随机场（CRF）中。使如果可以学习CRF参数，他们使用马尔可夫随机场（MRF）模型进行标记。在[10]中提出了一种使用用户提供的信息从图像中提取阴影的方法。此方法需要用户帮助，因为阴影、非阴影和背景区域由用户交互指定Ruiqi等人。[11]提出了一种使用成对区域的关系图来检测阴影的方法。但是，该方法无法区分由于表面方向变化和由于投射阴影而导致的着色差异。此外，阴影检测在多个光源的情况下失败基于模糊的阴影检测方法由Muthukumar等人在[12]中提出。该方法基于三色衰减模型（TAM），将阴影区域视为一类特殊的图像退化。阴影边缘检测是基于颜色恒定性进行。采用模糊c均值算法进行分割。在[13]中，训练的决策树分类器用于检测户外图像中的地 面 阴 影 边 缘 。 阴 影 边 缘 ， 然 后 分 组 的 条 件 随 机 场（CRF）为基础的优化。此方法主要关注对象投射到地平面上的阴影。Murali和Govindan在[14]中提出了基于LAB图像的A平面和B平面的平均值工作的阴影检测方法。结合来自L和B通道的值，具有小于阈值的值的像素被识别为阴影像素，而其他像素被识别为非阴影像素。该方法仅适用于黄蓝比保持在一定范围内的图像。Finlayson等人。[15]提出了一种通过生成光照不变图像来定位阴影的方法，其中阴影不会出现。光照不变图像与原始彩色图像一起用于定位阴影边缘。该方法需要使用校准的相机获取图像以获得更好的结果。文献[16]根据太阳和天空下阴影的性质提出了阴影的物理模型。此方法无法表征室内阴影。目前已有的阴影检测工作大多需要多幅图像、用户交互/输入和标定摄像机。从具有表现出不同反射参数的各种几何特征和纹理的单个图像中检测和去除阴影仍然是一个极具挑战性的问题。4. 该方法本文提出了一种分裂和合并的方法，使用模糊谓词的阴影检测从一个单一的图像。作为第一步，我们执行自顶向下的方法，将图像分割为四个四叉树块，并以树的形式生成图像的稀疏表示。 然后使用模糊谓词来检查可以在四叉树块之间合并的任何相邻的同质区域。相邻的同质区域被合并，并且递归地重复分裂合并过程。使用ANFIS训练模糊谓词4.1. 模糊分裂与合并经典的分割与合并算法是由Horowitz和Pavlidis[17，18]在20世纪70年代中期提出的一种著名算法，在图像分割、数据挖掘等领域得到了广泛的应用分割合并技术以四叉树的形式表示，非常方便。树的根对应于整个图像，每个节点对应于一个细分，最终树的叶子定义了图像中包含的区域集。设R表示一个2n·2n图像，该图像分别由阴影和非阴影子区域RS和RN组成。 阴影检测的模糊分割和合并使用模糊谓词PF，其将四叉树块的熵、边缘响应、标准偏差和平均值作为分割合并决策的输入。拆分和合并过程的工作原理是将图像连续地划分为越来越小的四叉树区域，因此对于任何四叉树区域RiC<$R，PF（Ri）=TRUE。也就是说，如果PF（Ri） =然后，Ri必须重新细分。如果只是分裂最后一个分区可能包含相邻的[[1其中（a，b，c）是使用gra学习的前提参数。100万美元。.JI我 我 我模糊分割和合并阴影检测31具有相同属性的四边形区域[19]。这个缺点可以通过允许合并以及拆分来解决。 如果P F（R j R k）= TRUE，则两个相邻的四边形区域R j和R k将被合并。迭代地重复此分裂合并过程，直到用于分裂的四叉树块的大小达到最小维度。因此，使用分割和合并的阴影检测可以被视为将R划分成两个子区域的过程，{RS，RN}，使得：1. RS[RN=R2. RS和RN是连通区域3. RS\RN=B，6S，N，SnN4. PF（Ri）=TRUE，6i2S，N5. PF（RS\RN）=0其中PF（Ri）是Ri中的像素集合上的模糊谓词。算法：模糊分割和合并a. 将任何区域Ri（其中PF（Ri）=0）分割成四个四叉树块。b. 合并任何相邻块RS和RN，PF（RS RN）=TRUE;c. 当无法进一步合并或拆分时停止。否则重复步骤（a）和（b）。分割阶段是一个预处理阶段，旨在减少解决问题所需的合并步骤的数量4.2. 模糊谓词经典的分裂合并算法中使用的谓词函数以均值和标准差为输入。由于我们的模糊谓词被调整为检测阴影，它应该采取其他功能以及。利用四叉树块的局部极大值、熵和边缘信息来检测阴影。模糊预测采用自适应神经模糊推理系统（ANFIS）实现.4.2.1. 本地最大值在阴影节点中，阴影具有强度非常低的值;因此，局部最大值应该很小。相反，非阴影通常具有高4.2.3. 边缘响应由于阴影会影响边缘响应，因此可以将其用作重要特征。据观察，边缘响应往往是小的阴影。我们通过求和来计算这个特征，四叉树块内的边缘响应。5. ANFISANFIS是一个神经模糊框架，有助于学习，并 行 化 、 泛 化 和 容 错 。 所 提 出 的 模 糊 谓 词 基 于JangJang[20，21]将模糊推理系统和神经网络结合起来，利用这两种技术的优点，发展了自适应神经模糊推理系统（ANFIS）。该系统采用模糊系统以语言形式表示知识，同时采用神经网络直接从数据中调整隶属函数参数和语言规则，以提高系统性能。本文中使用的ANFIS实现了一阶Sugeno模糊模型。这个模型的规则如果x是A，y是B，则z是C·则f/pixqiyr i zð5Þ其中Ai、Bi和Ci是前件中的模糊集，pi、qi和ri是在训练过程中确定的设计参数。图1示出了三输入ANFIS架构，其由五个层组成，每个层中的节点的输出由Oil表示，其中i是层l的第i个对于网络的训练，有一个向前传递和一个向后传递。前向传递通过网络逐层传播输入向量在反向传递中，错误以类似于反向传播的方式通过网络发送回来5.1. 层1第1层被称为模糊层，定义了每组输入的隶属度，并取决于所选择的模糊成员函数。每个节点的输出由（6-8）给出强度和局部最大值被期望为大。通过计算每个四叉树块的平均强度并与相邻块进行比较4.2.2. 熵1A;i1B;i1/4lAi1/4lBixji/1;2;3：j/1;2;3：16xji/1;2;3：j/1;2;3：17阴影经常与近暗物体混淆。熵特征用于区分阴影和近暗物体。阴影的熵值比1C;i1A;illcxji/1;2;3：j/1;2;3：18本质上是输入xj的隶属度黑暗的物体。大多数黑暗的物体和自然场景都是无纹理的。镜面反射对象的熵和阴影的熵具有平均值，但略微使用隶属函数lA（xj）。隶属函数在所提出的方法中使用的是钟形隶属函数，在他们的高峰[9]。使用（4）计算四叉树块的熵。X我2我i2wlAxj. x-c。2bið9ÞE¼-p×logp4其中w是大小为2n·2n的四叉树块。.a我.梯度下降法OOOOPW-iA AA32R.K. V.K.萨西Govindan图1提出的ANFIS架构。5.2. 层2第2层输出节点提供规则的点火强度wm，作为由（10）给出的隶属度等级的乘积。O21/4 wm 1/4l1/2 l 1/2l1/2i¼1;2;3：m¼1toN10mm5.3. 层3第3层包含固定节点，用于计算（11）中给出的规则的归一化过滤强度wm。以及X是未知的后件值（与12中的后件参数的集合相关），其可以使用XXωATA-1ATB14其中 AT 是A的转置，并且如果（ ATA）是非奇异的，则（ATA）-1AT是A在反向传递中，误差信号被传播，并且前提参数通过反向传播被更新。所提出的ANFIS检测器的框图如图1所示。在该图中，ANFIS的输入变量是局部最大值、边缘响应和四叉树的熵O3½ wWM¼ð11Þ块 该方法中使用的ANFIS检测器是一种imNw1/1M5.4. 层4这一层中的节点是自适应的，并且执行在（12）中给出的系统中使用的规则的具有三个输入和一个输出y（i，j）的一阶Sugeno型模糊系统.三个广义钟形隶属函数用于所有的输入变量，而线性隶属函数用于输出变量。ANFIS的输出被应用于在15中定义的决策器，其决定四叉树块是否需要被分割或合并O4½w f ¼wðp xþq yþr zÞð12Þ是的。如果y=i;j= i，则拆分>10个ð15Þim m m我 我我合并 如果y∈i;j∈610其中（pi，qi，ri）是一组结果参数，可以是使用最小二乘估计（LSE）。5.5. 层5在这一层中有一个节点，它将总输出计算为所有传入信号的总和，表示为（13）6. 执行在这里，我们正在训练模糊谓词使用手动标记432四叉树块准备从数据库提供的朱等人。[9]的文件。每个四叉树块的尺寸为16· 16，其中281个是阴影块，151个是非阴影块个街区.O5¼Xwm fm公司简介ð13ÞANFIS系统初始化为迭代次数、步长和输入隶属度函数。当MmMLSE用于最小化平方误差||AXB||2，其中A是第3层产生的输出，B是目标输出当达到停止标准时，网络被认为是稳定的。在这项工作中使用的epoch数是150。参数自适应的步长为0.01，-¼ð ω Þ-ð ω Þ-模糊分割和合并阴影检测331表示预测与观测之间的总不一致。准确度测量TPTN FP FNFPFNMCC<$pTPFPPFNTNFPTNFNNFNNð16Þð17ÞTP =被正确分类为阴影的阴影像素数。TN=正确分类为非阴影的非阴影像素数FP=被错误分类为非阴影的阴影像素数FN=被错误分类为阴影图2训练过程的均方根误差。隶属函数属于广义钟形曲线范畴。训练过程中的RMSE绘制在图2中。关于提议的ANFIS系统参数的其他信息如下：ANFIS信息：节点数：78线性参数个数：108非线性参数个数：27总参数个数：135训练数据对个数：432检验数据对个数：0模糊规则个数：277. 实验结果该算法的性能进行了定量评价朱等人的图像[9]的文件。根据（16）中定义的每像素精度和（17）中定义的马修斯相关系数（MCC）对结果进行评估。准确度和MCC根据真阳性（TP）、假阳性（FP）、真阴性（TN）和假阴性（FN）计算。MCC是一个平衡的度量，即使类的大小不同，也可以使用它，系数+1表示完美预测，0表示下注-在从静止图像中检测阴影的领域中报道的许多工作没有报道结果的定量评估[12]。很少有作品报道了准确性方面的评价[9，11，13]。但是，从我们的实验来看，可以观察到，在阴影检测的情况下，单独的准确度可能不能提供更好的度量。图3给出了一个错误生成的结果的例子，它更好地解释了失败阴影检测时，使用准确度指标进行评估。图3给出了输入图像、地面实况和阴影检测的结果。从表1中给出的混淆矩阵可以看出，系统已经正确识别了非阴影像素（假阴性=1），并报告了83.16的准确度值，尽管结果根本不令人满意。然而，MCC（0.3593）值正确地表明了性能的损害。因此，所提出的方法的性能评估的MCC和准确性指标。图4（a-d）示出了使用所提出的方法的阴影检测的结果。给出了该方法检测的输入图像、地面真值和阴影.观察到，各种类别的阴影图像，例如投射到均匀纹理表面上的阴影、非均匀纹理表面和具有自阴影的图像，在阴影检测中提供了良好的结果。图4中使用的图像的混淆矩阵在表2中给出。表3中给出了相同图像的每像素精度和MCC。在Zhu等人[9]数据库中使用混淆矩阵进行的定量评价见表4。该方法已图3合成图像的精度为83.16，MCC为0.3593。由于假阴性为1（见表1），系统报告高准确度值，但MCC是一个合理的性能指标34R.K. V.K.萨西Govindan图1中图像的阴影检测混淆矩阵3.第三章。阴影非阴影影子（GT）0.1563 0无阴影（GT）0.8437 1与[16]相比，发现在准确性方面性能更好。这可以从表5中观察到。8. 结论和进一步的工作本文提出了一种模糊分割与合并的阴影检测方法。中使用的模糊谓词表2图2中图像的阴影检测混淆矩阵。3.第三章。图号影子非影子4（a）影子（GT）0. 9811 0. 0189无阴影（GT）0.0416 0.95844（b）阴影（GT）无阴影（GT）0.0311 0.9689无阴影（GT）0.0251 0.9749图4（使用所提出的方法输入图像、地面实况和检测到的阴影。4（c）影子（GT）10无阴影（GT）0.23280.76724（d）影子（GT）0.91340.086635[5] Barrow H，Tenenbaum J.从图像中恢复固有场景特征。In：Hanson A，Riseman E，editors.计算机视觉系统。中国科学院出版社，1978年.[6] 董强，刘毅，赵强，杨华.在单个户外图像中检测软阴影：从基于局部边缘的模型到全局约束。Comput Graph2014;38：310-9.[7] 韦斯·耶尔从图像序列中提取本征图像。在：第八届IEEE计算机视觉国际会议论文集，不列颠哥伦比亚省，加拿大; 2001年。p. 68比75[8] Jose Jasmin T，Govindan VK.一种有效的视 频 序 列 阴影检测算法。 国际计算机应用杂志表5使用每像素精度进行定量评估，建议方法的MCC以及与[16]的比较。每像素精度（%）MCC建议方法89.04[16]使用SVM 85.92的性能使用Adaboost 83.83执行[16]0.7912––方法使用ANFIS进行调整。该方法在检测阴影的准确性和Mathew相关系数方面提供了更好的可接受性能。与现有的工作进行的比较性能研究demonstrates所提出的方法的优越性能。引用[1] 吴Q，张W，Kumar BV.基于块的阴影边缘检测的强阴影去除.在：IEEE机器人和自动化国际会议; 2012年5月p. 2177-82[2] 雷波，徐立清.实时户外视频监控，具有强大的前景提取和通过多状态转换管理的对象跟踪。Pattern Lett2006;27（15）：1816-25.[3] Unsalan C. Sirmacek在航空和卫星图像中检测建筑物的概率框架。IEEE Trans GeosciRemote Sens 20 1 1 ;49（1）：211-21.[4] [10]杨文，李文. Quoit滤波器--一种基于数学形态学提取孤立阴影的新滤波器，及其在X线CT肺癌自动检测中的应用。在：1996年第13届IEEE模式识别国际会议论文集。p. 三比七Heidelberg; 2010. p. 234比45[11] 郭瑞琪，戴切云，霍伊姆·德里克。用于阴影检测和去除的成对区域。IEEE Trans Pattern Anal Mach Intell2013;35（12）：2956-67.[12] [10]杨文辉，杨文辉，杨文辉，杨文辉.基于模糊方法的图像阴影检测。 Int J Inform Comput Technol 2012;2（1）：17-26.[13] Lalonde J-F，Efros AA，Narasimhan SG.检测户外消费者照片中的地面阴影。第11届欧洲计算机视觉会议论文集，柏林，海德堡; 2010年。p. 322比35[14] Murali Saritha，Govindan VK.使用LAB颜色空间从单个图像中检测和去除阴影。Cybern InformTechnol 2013;13（1）：95-103.[15] Finlayson GD，Hordley SD，Drew MS.从图像中去除阴影。在：第七届欧洲计算机视觉会议论文集-，伦敦，英国; 2002年。p. 823-36[16] 黄翔，华刚，杰克·汤布林，兰斯·威廉姆斯。在太阳和天空下，阴影边界的特征是什么？ICCV。IEEE; 2011年。第898[17] 放大图片作者：Horowitz Steven L，Pavlidis T.通过定向分裂和 合 并 过 程 的 图 片 分 割 。 收 录 于 ： Proceedings ， 2ndInternational J.C.模式识别，哥本哈根; 1974年。第424- 433页。[18] 放大图片作者：Horowitz Steven L，Pavlidis T.图像分割的树遍历算法。J ACM1976;23（2）：368-88.[19] Kelkar D，Gupta S.一种改进的四叉树分裂合并图像分割方法。收录于：Proceedings ， First International Conference onEmerging Trends in Engineering and Technology ， 华 盛 顿 特区，2008年。p. 44比7[20] JSR.基于自适应网络的模糊推理系统。IEEE TransSyst ManCybern 1993;23（6）：65[21] 张志成罗杰，孙传财，水谷英二。神经模糊与软计算学习与机 器 智 能 的 计 算 方 法 。 IEEE TransAutom Control1997;42（10）：1482-4.模糊分裂与合并阴影检测表3图3中图像的每像素精度和MCC。图号每像素精度MCC4（a）96.77730.93974（b）94.330.85814（c）90.30760.78884（d）94.87300.8900表4所提方法的阴影检测混淆矩阵。2013;72（16）：20[9]Zhu J，Samuel KG，Masood SZ，Tappen MF.学习识别单色自然图像中的阴影。见：IEEE阴影非阴影计算机视觉和模式识别会议CVPR，影子（GT）0.97130.0287IEEE; 2010年。p. 223比30无阴影（GT）0.07550.8095[10]宫崎骏 D、 松下 Y， Ikeuchi K. 交互阴影使用分层图切割从单个图像中移除。于：第九届亚洲计算机视觉会议论文集，柏林，