鲁棒正则化改进散焦模糊度量

可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）468www.elsevier.com/locate/icte使用鲁棒正则化改进散焦模糊度量Usman Ali1，Muhammad Tariq Mahmood1，未来融合工程，计算机科学与工程学院，韩国技术教育大学，1600，Chungjeol-ro，Byeongcheon-myeon，31253，Cheonan，韩国接收日期：2021年7月27日;接收日期：2021年10月8日;接受日期：2021年11月3日2021年11月11日网上发售摘要本文提出了一种鲁棒正则化方法，用于增强单幅图像模糊检测中的初始模糊图。所提出的技术考虑指导和初始模糊地图之间的结构差异。具体来说，我们建议通过优化非凸能量函数来改善初始模糊图，该非凸能量函数联合利用来自指导和模糊图的结构信息。非凸问题通过优化极小化算法求解模糊映射，得到了一种充分光滑且具有较好边缘保持特性的改进模糊映射. 最终，这会导致高质量的模糊分割。版权所有2021作者。由爱思唯尔公司出版代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：模糊测度;模糊分割;鲁棒正则化1. 介绍图像中模糊和清晰像素的检测以及它们到相应区域的分类是许多图像处理和计算机视觉应用中非常受欢迎的任务，如对象检测[1]，场景分类[2]，图像分割[3]，背景模糊放大[4]，景深扩展[5]和深度估计[6，7]。模糊可以主要分为两种类型：（a）散焦，以及(b)动态模糊在没有任何附加信息的情况下对单个图像进行模糊检测和分割是一项具有挑战性的任务。在文献中，已经在空间域和变换域中提出了大量的模糊测度算子[8]。 例如，众所周知的模糊度量算子是基于模糊区域和清晰区域的均匀局部二进制模式（LBP）的分布之间的差异[9，10]。模糊图像的平均功率位于较低频率，并且已经提出了基于局部功率谱（LPS）的模糊测量算子[11]。使用梯度幅度的高频多尺度融合和排序变换（HST）来检测模糊[12]。 奇异值分解∗ 通讯作者。电子邮件地址：usmanali@koreatech.ac.kr（美国）。阿里），tariq@koreatech.ac.kr（M.T.Mahmood）。作者声明这是他们的原创作品。了贡献平等地同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.11.001图像邻域窗口的奇异值分解（SVD）已经通过利用较大奇异值对应于邻域窗口的整体外观而较小奇异值表示精细细节的事实而被用作模糊度量[13]。通过测量图像像素的强度值的多样性，在一个小邻域中，已经提出了一个用于该块模糊测量算子总变差（TV）[14]。已利用暗通道（SDC）的稀疏性来区分图像的模糊和清晰块[15]。熵图像的直方图（HSE）表示信息的多样性，并已被用作模糊度量[16]。空间频率（SFR）测量计算水平和垂直方向的差异（导数）[17]。现实世界中的模糊图像受到许多因素的影响，如镜头畸变、传感器噪声、光照不足、饱和度、非线性相机响应函数和相机流水线中的压缩。所有这些因素使得图像模糊的检测和分割成为一项具有挑战性的任务。现有的模糊度量算子对其中一个或几个因素表现良好，但不是全部;更确切地说，它们不能处理所有图像中的所有不完美都是平等的。因此，模糊分割方法的性能的一个主要障碍是包含不足信息的恶化的初始模糊图。在这项工作中，我们提供了一个有效的和强大的正则化技术，提高了模糊测度算子的性能。我们提出的技术是通用的，2405-9595/© 2021作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。联合阿里和MTMahmoodICT Express 8（2022）468469˜ˆˆ=∑（）（）−E关于我们（（））（）E˜ˆγ图1.一、 建议的方法。使用TV [14]获得的初始模糊图（BM）是其中，Nx是以x为中心的小的2D局部邻域窗口，并且wx，y（g）是根据指导g计算的空间变化的加权函数。使用空间变化的权重wx，y自适应地加强位于位置x和y处的像素之间的邻域相干性（平滑度）。为了受益于引导滤波的优点[18，19]，我们在我们提出的框架中加入了引导信号g具体地，正则化（平滑度）权重已经从g而不是m或m计算。从模糊输入图像Ib计算的灰度图像已经被用作引导g。这个想法是，如果g（x）与g（y）显著不同（例如，如果x和y跨越图像中的边缘），则m（x）在m（y）的正则化中应该具有很小的影响。我们使用空间中的高斯距离和强度[20]定义这些权重，使用静态和动态引导进行正则化。对初始BM和正则化BM应用相同的分割技术分段的比较wx，y （g）=exp（−α（x-y）2）exp（−β（g（x）−g（y））2），（4）与地面实况（GT）的BM表明所提出的方法的优点它可以用作后处理步骤以改进任何模糊度量的模糊图（BM）。我们所提出的方法有效地利用静态和动态的结构先验规则化的初始BM。优化问题通过优化最小化（MM）算法求解，迭代收敛到最小值。使用两个广泛接受的公共数据集进行实验，以评估我们提出的方法的性能。我们发现，我们提出的方法是有效的改善BM，从而导致改善分割结果。2. 该方法2.1. 初始模糊贴图所提出的方法的示意图已在图1中示出。首先，我们通过在输入模糊图像上应用模糊度量算子来计算初始模糊图（BM）。这表示为，m（x）=B（Ib（x）），（1）其中x（x， y）表示像素坐标，B是模糊度量算子，Ib是输入模糊图像，并且m是初始BM。2.2. 模型我们建议通过最小化以下非凸能量函数来优化初始BMmE （ m） =m（ x ） −m （ x ）2+λΘ （ m） ，（2）x∈其中第一项是如果x和y之间的距离大则将减小权重wx，y的空间滤波器，第二项是将减小权重wx，y的如果g（x）和g（y）之间的强度差很大。α和β是用户定义的正参数。这些参数分别控制空间和强度范围滤波器的衰减速率，从而调整正则化（平滑度）带宽。所提出的鲁棒正则化器是参数化的平方双曲正切函数，φγm（ x ） −m （ y ） =tanhγm（ x ） −m（ y ） 2 ，（ 5）其中γ是控制该函数的陡度的正参数。该函数已绘制在图中。2（a）对于不同的γ值。此函数将任何m（x）m（y）映射到范围[0 1]，并且可以压缩大值以接近1. 从鲁棒性的角度来看，该函数抑制了离群值，并且在相邻像素的初始BM值可能严重变化的情况下是期望的。2.3. 优化我们使用优化最小化（MM）算法，有效地优化我们的非凸能量函数（m）。MM重复执行两个步骤。第一步，构造目标函数的凸优化函数，称之为代理函数。在第二步中，该算法为目标函数的易于处理的凸优化版本（代理函数）找到局部最小值。这两个步骤交替重复，直到收敛。对于集合m（k），（m）的值随着迭代次数k的增加而单调减小。在MM的优化步骤中，其中m是中值滤波的m，m是正则化的（目标）BM，λ是BM的2D空间域，右手边的第一项是数据保真度项，第联合阿里和MTMahmoodICT Express 8（2022）468470Eλ（）（−二项是正则化项，λ控制这两项的相对重要性我们提出以下正则化子，函数E（k），通过代入φγ（2）如下：E（k）（m）=∑[（m（x）−m（x））2（i）Φj（i）Θ（m）=x∑∈<$y∑∈Nx（2）x=y（m（x）−m（y））、（3）+y∑∈Nxm（k）（x）m（k）（y）wx，y（g）Φγm（x）−m（y））]。（六）x∈联合阿里和MTMahmoodICT Express 8（2022）468471=γx为ˆx为ˆ==˜x为图二、（ a）对于不同的γ 值，所提出的鲁棒正则化子φ（i）的曲线。（b）当γ = 0 时，正则化子φ（i）及其代理函数Φ j（i）。5和γ γ γj= 1，1. 5.其中Φj（i）是φ（i）的替代函数，即，Φj（i）是一个γγγ上界为φγ（i），且仅当i j时它们重合。该替代函数Φ j（i）如图所示。 二、该凸函数E（k）可以很容易地通过取它对m的导数来最小化。（6）的正规方程为，0=m（x）−m（x）+λ∑wx，y（g）x（k）（m）（m（x）−m（y）），（7）y∈Nx其中，χ（k）（m）=[1-（φ（m<$（k）（x）−m<$（k）（y）））2]γ。输出m通过迭代求解以下形式的线性系统通过（7）m（k）=（I+λL（k））−1m，（8）其中I是单位矩阵，|Ω|×|Ω|、m和m表示的|Ω|×1列向量，包含m和m的值并且L是空间变化的、稀疏的、非对角（对于8个最近邻邻接）拉普拉斯矩阵。重要的是要提到，静态制导权重wx，y（g）将被计算一次并且在迭代期间保持固定，而动态权重x（k）（m）被迭代地更新。在正则化方案的K次迭代之后，得到正则化BM，m m（K）最后，通过应用Otsu方法[ 21 ]将该正则化BM分类为模糊和该方法找到位于直方图的两个峰值之间的阈值3. 结果和讨论为了分析所提出的方法的性能，我们在两个基准数据集上进行了测试。[22]这两个数据集是CUHK [22]和DUT[23]。中大收录了704幅不同场景的部分散焦模糊图像。DUT由1100个具有多尺度聚焦区域的图像组成。我们将性能与最先进的算法LBP [9]，LPS [11]，HST [12]，[13]《道德经》：《道德经》，《道德经》，《道德经》。所提出的方法中使用的参数被设置为（默认）值：|N| =8，λ= 1600，α= 10，β= 500，γ= 200，图三. 提出的正则化方案的有效性分析。初始BM使用SVD [13]获得。与建议方法对应的BM由默认设置表示。修改在标题中提到。使用MATLAB在具有Intel CPU和16 GB RAM的台式计算机上进行实验。首先，我们简要分析了模型参数对初始BM正则化的影响。图3显示了使用SVD [13]获得的初始BM和当参数使用不同值时通过我们的方法获得的正则化BM。对于我们的非凸能量函数（2），优化的初始化是重要的。因此，在应用所提出的正则化方案之前，我们已经对初始BMm应用中值滤波以获取m。图3，具有默认设置的BM（第一行，第二列）是当使用对于所有参数，中值滤波的BM模型如下：K10 已对所有应用程序使用相同的参数值图像.定量比较是使用准确度、精确度和召回率的指标来完成的。这些度量的较高值指示模糊检测和分割的改进。我们γ联合阿里和MTMahmoodICT Express 8（2022）468472MM算法初始化。中值滤波通过比较“默认设置”的结果可以看出 “没有中位数”。可以看出，在聚焦的花瓣区域上，对应于“没有”的正则化模糊图是“没有”的联合阿里和MTMahmoodICT Express 8（2022）468473=||为| |=-见图4。 根据定量度量的平均值改进两个数据集上的模糊度量。[12][13][14][15][16][17] [13][14][16][17][18]图五. 样本图像上模糊测度算子初始BM的定性改进。(a)4散焦模糊图像与地面真理。(b)质量初始BM通过对所有9个模糊测度算子LBP [9]，LPS[11]，HST [12]，SVD [13]，TV [14]应用所提出的正则化方案来改进，[22][23][24][25][26][27][28与“默认设置”相比，“中值"稍微暗一点。同样地，图3中的所有其他正则化BM是通过每次仅从其默认值改变一个参数来获得的，并且在对应子图的下面提到了这种改变的参数值。我们可以比较不同正则化BM的质量和默认BM的质量设置.可以看出，当N4时，与默认值（当N8 时 ） 相比，没有足够的邻域信息来实现足够的平滑度。λ6太小，不能去除噪声，而λ10，000太高，叶）消失。α值较小(like，0.001）降低了邻域差异的显著性，并且它导致更平滑。当β=50时，联合阿里和MTMahmoodICT Express 8（2022）468474===被认为是相似的相邻引导值的容差变大，并且这导致引导边缘上的平滑较大的值（如β5000）会导致纹理从指导中复制。较小的γ值（如2）无法处理相邻BM值的差异过大（离群值）。K10时BM质量的相似性(i.e.、默认值），K30表示算法收敛到最小值。然后，在两个基准数据集上使用9个模糊测度算子对所提出的方法的有效性进行了定量评估初始BM通过应用模糊测度算子获得。然后，对于九个度量中的每一个，通过应用所提出的正则化方案来更新初始BM，从而获得相应的正则化结果。然后，相同的分割技术应用于初始和正则化的BM。通过将这些分割的BM与地面实况进行比较，计算定量测量。图4中提到了准确度、精确度和召回率这三个定量指标的平均值。可以看出，在正则化BM的情况下，所有三个定量测量都得到了改善。这种比较表明，所提出的正则化是有效的模糊检测，这导致有效的模糊分割。最后，我们定性地展示了我们所提出的方法的有效性输入的模糊图像和它们的GT显示在图1中。5（a）.前两张图像来自CUHK数据集[22]，后两张图像来自DUT数据集[23]。为了分析定性的改进，我们在图中显示了9个模糊测度算子的初始和正则化BM。5（b）.初始BM和正则化BM的比较表明，与初始BM相比，正则化BM具有更好的质量。我们的正则化BM不仅足够光滑，而且它们的大部分尖锐的结构边缘被很好地保留。 随后，BM质量的这种改善最终导致分割步骤的结果改善。4. 结论提出了一种正则化方法来增强散焦模糊检测的初始BM。所提出的非凸正则化子对离群值具有鲁棒性。该方法有效地改善了初始BM，并保留了结构边缘。这种BM的改进导致更好的分割结果。在我们未来的工作中，我们将分析所提出的正则化运动模糊图像的性能。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢这项工作得到了韩国创意挑战研究计划（2021 R1 I1A1 A01052521）和BK-21 FOUR的支持。通过韩国国家研究基金会（NRF）由教育部资助的引用[1] P. Jiang，H. Ling，J. Yu，J. Peng，UFO的显著区域检测：均匀性，聚焦性和对象性，在：ICCV，IEEE，2013，pp. 1976 -1983年。[2] K.G. Derpanis，M. Lecce，K.达尼埃尔河P.，Wildes，动态场景理解：场景分类中空间和时间中的方向特征的作用，CVPR，IEEE，2012，pp. 1306-1313。[3] K. Bahrami ， A.C. Kot ， J.Fan ， A novel approach for partialblurdetection and segmentation ， in ： International Conference onMultimediaandExpo，IEEE，2013，pp. 1比6[4] S. Bae，F.杜兰德，散焦放大，在：计算机图形论坛，卷。26，Wiley Online Library，2007，pp.571-579[5] L. Dandres，J. Salvador，A. Kochale，S. Susstrunk，非参数模糊映射 回 归 用 于 景 深 扩 展 ， IEEE Trans.ImageProcess 。 25 （ 4 ）（2016）1660-1673。[6] J. Lin，X.吉，W.徐，智-地戴，从单个散焦图像的绝对深度估计，IEEE图像处理。22（11）（2013）4545-4550。[7] C.唐角，澳-地胡，Z. Song，通过光谱对比度从单个图像估计散焦图，Opt. Lett. 38（10）（2013）1706[8] 联合M.T.阿里Mahmood，单图像模糊分割的模糊测度算子分析，应用。Sci. 8（5）（2018）807.[9] X. Yi，M. Eramian，基于Lbp的散焦模糊分割，IEEETrans. 图像处理。25（4）（2016）1626[10] M.T. Mahmood ， U. Ali ， Y.K. Choi ， Single image defocusblursegmentation using local tyrene pattern ， ICT Express 6 （ 2 ）（2020）113-116。[11] R. Liu，Z. Li，J. Jia，图像局部模糊检测与分类，在：CVPR，IEEE，2008，pp.1-8号。[12] S.A. Golestaneh，L.J. Karam，基于空间变化模糊检测 关于梯度幅度的多尺度融合和排序变换系数，在：CVPR，2017，pp. 596-605[13] B. Su ， S. Lu ， C.L. Tan ， Blurred image region detection andclassification，in：International Conference on Multimedia，ACM，2011，pp. 公元1397-1400年。[14] C.T. Vu，T.D. Phan，D.M.钱德勒，一个光谱和空间测量局部感知清晰度在自然图像，IEEE trans.image处理。21（3）（2012）934-945。[15] J. Pan，D.孙，H. Pfister，M. H. Yang，使用暗通道先验的盲图像去模糊，在：CVPR，2016，pp.1628-1636年。[16] E. Krotkov ， J. P. Martin ， Range from focus ， in ： InternationalConferenceon Robotics and Automation，Vol. 3，IEEE，1986，pp.1093 -1098.[17] W. Huang，Z.景，多聚焦图像融合中聚焦度量的评价，模式识别。Lett. 28（4）（2007）493[18] K. He ， J. Sun ， X. Tang ， Guided Image Filtering ， IEEE Trans.PatternAnal. 马赫内特尔35（6）（2013）1397[19] X. Guo，Y. Li，J. Ma，H. Ling，交互引导图像滤波，IEEETrans.模式肛门。马赫内特尔42（3）（2020）694[20] G.佩施尼格河塞利斯基湾阿格拉瓦拉湾Cohen，H. Hoppe，K. 富山，数码摄影与闪光灯和无闪光灯的图像对，ACMTrans. Graph.23（3）（2004）664[21] N. Otsu，一种基于灰度直方图的阈值选择方法，IEEETrans. 系统曼·赛伯恩9（1）（1979）62[22] J.Shi 湖 Xu ， J. Jia ， Discriminative blur detection features ， in ：CVPR，2014，pp. 2965-2972年。[23] W. Zhao，F. Zhao，中国粘蝇D.小王，H.鲁智深道：散焦联合阿里和MTMahmoodICT Express 8（2022）468475模糊通过多流底部-顶部-底部网络进行检测，PAMI 42（8）（2020）1884-1897。