侧窗过滤与图像滤波算法中的边缘模糊相关

8758侧窗过滤Hui Yina郑元昊龚a郑GuopingQiua，ba深圳大学信息工程学院、广东省智能信息处理重点实验室b英国yinhui0606@gmail.comgong@szu.edu.cn郭平.邱@ nottingham.ac.uk摘要局部窗口通常用于计算机视觉，并且几乎无一例外地窗口的中心与正在处理的像素对齐。我们表明，这种传统的智慧是不普遍适用的。当像素位于边缘时，将窗口的中心放置在像素上(a) 阶跃边缘(b) 斜坡边缘(c) 屋顶边缘是造成许多滤波算法边缘模糊的根本原因之一。基于这 一 认 识 ， 我 们 提 出 了 一 种 新 的 侧 窗 滤 波 （ SideWindow Filtering）技术，该技术将窗口这个技巧出奇的简单，但理论上是根深蒂固的，在实践中非常有效我们发现，许多传统的线性和非线性滤波器可以很容易地实现SWF框架。大量的分析和实验表明，实现该算法可以显著提高其边缘保持能力，在图像平滑、去噪、增强、结构保持纹理去除、互结构提取和HDR色调映射等应用中达到最先进的性能。除了图像滤波，我们进一步表明，可扩展到其他应用程序，涉及使用本地窗口的原则。使用优化着色作为一个例子，我们证明，实现的颜色的原则，可以有效地防止文物，如与传统的实现相关的颜色泄漏。鉴于计算机视觉中基于窗口的操作的普遍性，新的SWF技术可能会使更多的应用程序受益。1. 介绍在计算摄影和图像处理领域，许多应用涉及图像滤波的概念，以降噪[23]、去模糊[8]和增强细节[9]。几十年来，已经开发了各种滤波器，例如箱式滤波器、高斯滤波器和中值滤波器，仅举几例。这些滤波器广泛用于图像去模糊和锐化，本文作者同样对本文做出了贡献图1.二维分段图像中理想边缘的模型像素‘a’和‘f’在边缘上或边缘附近。为了满足线性逼近，它们应该在与它们具有相同颜色的侧窗中近似，而不是在以它们为中心的局部窗中近似。边缘检测和特征提取[10]。有许多应用需要能够保持边缘的图像滤波。典型示例包括高动态范围（HDR）图像的色调映射[6]，通过多照明图像的细节增强[7]以及结构保留和纹理去除[29][30]。出于这个原因，已经提出了许多边缘保持滤波器。基本上，这些边缘保持过滤器可以分为两类。一种是基于全局优化的算法，例如全变分（TV）算法[23]，其迭代收缩方法[17]，相对全变分算法[29]和加权最小二乘算法[18]。另一种是基于局部优化的算法，例如双边滤波器[26]，其加速版本[5][19][20]，引导滤波器[11]，其扩展[15][13]，滚动引导滤波器[30]，互结构联合滤波[24]和曲率滤波器[9]。通常，可以实时计算基于局部的滤波器这是优选的，因为许多实际应用场景需要实时处理。1.1. 过滤基础知识基于局部的滤波器总是尝试基于像素的相邻像素来估计像素几乎无一例外，被处理的像素位于操作窗口的中心，并且操作窗口中的基本上，有两种方法进行估算：线性近似，例如箱式滤波器和高斯滤波器eFB一DC8759滤波器和非线性近似，例如中值滤波器[12]，双边滤波器[26]和引导滤波器[11]。常见的基于线性近似的图像滤波操作假设图像是分段线性的，并且将像素近似为局部窗口上其相邻像素的加权平均基于分析和eq. (1)如果像素i在边缘上，则支持区域i必须被限制在边缘的一侧，否则，不可能使用相邻像素的线性组合来近似i。换句话说，我们不能把Ω i的中心放在i上，而是必须把Ω i的边放在i上。受这一发现的启发，′II= Σj∈iωij qj（1）提出了一种新的边缘保持策略，称为边窗滤波（SideWindow Filter，简称STEM）技术。我们认为每个目标像素作为一个潜在的边缘，并产生多个局部胜利，其中，Ωi是以像素i为中心的局部窗口（支持区域），ωij表示权重核，qi和Ii分别是输入图像q和输出图像I在位置i处滤波器输出和原始图像之间的差异可以用公式表示为以下成本函数每个窗口都将目标像素与窗口的边或角（而不是的输出是一个线性组合的邻居在一个侧窗口，可以最好地近似目标像素。1.3.我们的贡献′E i= ||I i-I ||2=（I i− Σ ωij qj）2（2）本文的新贡献是：I2j∈i不同的权值核将导致不同的滤波输出图像，在大多数情况下，设计滤波算法的任务就是估计权值通常，在操纵输入图像朝向期望的目标和保持其接近原始图像之间存在折衷。值得注意的是，优化问题的形式类似于eq. (2)在许多应用中发现，包括着色[14][22]和图像分割[25][28]，其中权重函数通常被称为亲和函数。非线性近似滤波，如中值滤波，也可以用公式表示为类似形式的优化问题[21]。1.2. 问题与动机在许多应用中，使用滤波的形式在方程中。(1)希望平滑掉真正的噪声，同时保留边缘和其它信号细节。为了便于分析，我们将研究集中在三种典型的边缘[4]，阶梯边缘，斜坡边缘和屋顶边缘，并在2D信号空间中对其进行建模，如图所示。1. 我们使用g（x，y）来表示（x，y）处的强度值。该图中所示的函数g（x，y）是连续的但不可微的。考虑强度改变的位置（边缘），例如，在位置“a”处我们用（x−1，y）和右极限（x+1，y），其中1>0。显然 ， g （ x−ε ， y ） /=g （ x+ε ， y ） 和 （ 或 ） g′（x−ε，y）=/g′（x+n，y），这是由于边的跳跃。 因此，这两个区域的泰勒展开是不同的：g（x−2<$，y）<$g（x−<$，y）+g′（x−<$，y）（−<$）和g（x+ 2<$，y）<$g（x+<$，y）+g′（x+<$，y）<$.因此，在位置而类似的陈述适用于其它边缘位置，例如1.一、1. 利用泰勒展开，我们表明，为了重建一个边缘像素使用其邻居的线性组合，邻居像素必须来自边缘的一侧。基于这一认识，我们提出了边窗滤波技术作为一种有效的和实用的边缘保持滤波解决方案。2. 我们展示了如何传统的线性滤波器，如框滤波器和高斯滤波器，流行的非线性滤波器，如中值滤波器，双边滤波器和引导滤波器可以很容易地实现SWF框架下。通过广泛的分析，我们表明，实现这些流行的过滤器的基础上，新的框架，可以显着提高他们的边缘保持能力。3. 我们表明，实现传统的过滤器下，新的TMF框架提供了最先进的性能，在各种现实世界的应用，包括图像平滑，去噪，增强，结构保持纹理去除，互结构提取，高动态范围图像色调映射。4. 我们表明，新的可扩展框架，可以扩展到其他应用程序，涉及一个局部窗口和一个像素的邻域的线性组合。使用优化着色作为一个例子，我们证明了实现的色彩平衡原则可以有效地防止文物，如颜色泄漏。5. SWF技术非常简单，但在理论上根深蒂固，在实践中令人惊讶的有效。鉴于基于窗口的操作的普遍性，该原理具有使图像处理和计算机视觉中的许多领域受益的潜力2. 侧窗滤波技术首先，我们定义了连续情况下的侧窗。侧窗的定义如图所示图2（a），具有参数θ和r。θ是窗口与水平线的夹角，r是窗口的半径，ρ∈8760D（x，y）USWF2Nn我我2我我我2j∈ωnj∈ωn（一）（b）第（1）款（c）第（1）款θ=πρ=rθ=3(d)ρ=0θ=0ρ=rθ=0ρ=0θ=π/2ρ=0图2.侧窗的定义r是窗口的半径。(a)连续情况下侧窗的定义。(b)左侧（红色矩形）和右侧（蓝色矩形）侧窗。(c)上（红色矩形）和下（蓝色矩形）侧窗。(d)西北（红色矩形），东北（蓝色矩形），西南（绿色矩形）和东南（橙色矩形）侧窗。{0，r}，并且（x，y）是目标像素i的位置。r是一个用户定义的参数，它将被固定为所有的边Windows. 通过改变θ和固定（x，y），我们可以改变输入强度作为最终输出，′′θ，ρ，r2窗口的方向，同时将其侧面与i对齐。为了简化计算，我们在离散情况下只定义了八个侧窗，如图所示2 （b）（d）。我在哪里我是 =argmin||q i− Ii||第二（四）条θ，ρ，ri这是一个输出。当量 (4)被称为这八个特定窗口对应于θ=k×π，k∈[0，3]。 通过设置ρ=r，我们有下（D），右（R），上（U）、左（L）侧窗，表示为ωD、ωR、ωU和L的技术。有关程序的详情，算法1.表1.BOX和S-BOX输出汇总ω i. 它们与它们的侧面对齐通过设置ρ= 0，我们有西南（SW）、东南（SE）、东北（NE）和西北（NW）侧窗，如图所示2（d）中，记为ωSW、ωSE、ωNE和ωNW。 它们使i与我我我他们的角落。值得指出的是，在设计侧窗的尺寸、形状和方向方面的灵活性并且唯一的具体要求是所考虑的像素被放置在窗口的侧面或角落上。算法1计算每个像素的像素数要求：wij是基于核函数F的目标像素i附近的像素j的权重。S={L，R，U，D，NW，NE，SW，SE}是侧风d轴向风e轴向风x轴向风 Σ1：In=1wij qj，Nn=wij，n∈S第二章： 找到Im，使得Im = argminn∈S||q i− I n||2确保：我是通过在每个侧窗中应用滤波核F′θ，ρ我们可以得到八个输出，记为Ii，其中θ=k×π，k∈[0，3]且ρ∈{0，r}′θ，ρ，rIi=F（qi，θ，ρ，r）（3）保留边缘意味着我们希望在边缘处最小化输入和输出之间的距离，即，滤波器输出应当与边沿处的输入相同或尽可能接近因此，我们选择到窗口的L2距离最小的侧窗口的输出。2.1. SWF分析在这一节中，我们详细分析了边缘保持技术的边缘保持特性.为了分析方便，本文以箱形滤波器（BOX）为例，对其它形式的滤波器也可进行类似的分析。这意味着F在eq. (3)是平均的，并且所得到的滤波器被称为侧窗盒滤波器（S-BOX）。我们比较了BOX和S-BOX滤波器的边缘保持特性。首先，生成具有典型边缘的测试图像，如图所示。3.有六个典型的边缘，包括垂直边缘（a）、水平边缘（d）、对角边缘（g）、拐角（j）、斜坡边缘（m）和屋顶边缘（p）。对于垂直边缘、水平边缘、对角边缘和角，边缘的黑色部分的像素值为u，边缘的白色部分的像素值为v。对于渐变边缘，像素值以Δv的步长从u增加到v。对于屋顶边缘，屋顶的顶部为v，并以△u的步长减小。基于这些条件，推导了BOX和S-BOX的输出，并给出（x，y）θθ=3π/2ρ=rθ=π/2ρ=rR（x，y）Lπ/2ρ=0NW（x，y）θ=πNESWSE输入框s盒（一）（r+1）u+rv2r +1u（d）其他事项（r+1）u+rv2r +1u（g（r+1）u+rv2r +1u876122r+1(a)（b）第（1）款10.80.60.40.200100200300400500（c）第（1）款（d）（e）10.80.60.40.200100200300400500（f）第（1）款0.4输入框0.3s盒0.2框s盒0.10输入200250300（g）（h）10.80.60.40.200100200300400500（一）（j）（k）10.80.60.40.200100200300400500（l）(m)（个）10.80.60.40.200100200300400500（o）(p)（问）10.80.60.40.200100200300400500（r）图3.在具有不同边缘的测试图像上比较BOX和S-BOX第一列和第四列（a）、（g）、（m）、（d）、（j）和（p）是具有边缘或角的输入图像。第二列和第五列是用于输入、BOX滤波器和S-BOX滤波器的中间线轮廓。第三列和第六列是边缘或角位置处的放大区域。表2.S-BOX中每个侧窗的输出汇总情况LRUDNWNESWSE（一）uu+rvr+1（r+1）u+rv2r +1（r+1）u+rv2r +1uu+rvr+1uu+rvr+1（d）其他事项（r+1）u+rv2r +1（r+1）u+rv2r +1uu+rvr+1uuu+rvr+1u+rvr+1（g）（3r+1）u+rv2 22r +1（r+1）u+3rv2 22r +1（3r+1）u+rv2 22r +1（r+1）u+3rv2 22r +1u（r+1）u+rv2 2r+1（r+1）u+rv2 2r+1（（r+1）2−1）v+u（r+1）2（j）（r+1）u+rv2r +1u+2rv2r +1（r+1）u+rv2r +1u+2rv2r +1uu+rvr+1u+rvr+1（（r+1）2−1）v+u（r+1）2（m）uu+r△v2u+r（r+1）△v2（2r+1）u+r（r+1）△v2（2r+1）uu+r△vr+1 2uu+r△vr+1 2（p）v−r △u2v−r △u2v−r（r+1）△u2r +1v−r（r+1）△u2r +1v−r△u2v−r △u2v−r △u2v−r △u2表1中从表1中，我们可以很容易地看到，S-BOX比BOX更好地保留了（a）m（m）中的边证明r

下载后可阅读完整内容，剩余1页未读，立即下载