硬件高效的多通道引导滤波器在多标记问题中的应用

1多标记问题戴龙泉1袁梦科2李泽超1张晓鹏2唐金辉1张1. 南京理工大学计算机科学与工程学院2. 中国科学院自动化研究所模式识别国家重点实验室{戴龙泉，zechao.li，金惠堂}@ njust.edu.cn，{孟可.袁，xpzhang}@ nlpr.ia.ac.cn摘要引导滤波器（GF）以其线性复杂性而闻名然而，当使用n通道引导对图像进行滤波时，GF需要为每个像素反转n×n矩阵据我们所知，现有的矩阵求逆算法在当前的硬件上是低效的这个短讯-限制了多通道引导在诸如多标记系统的计算密集型系统我们需要一种新的GF类滤波器，可以执行快速多通道图像引导滤波。由于GF的最优线性复杂度不可能进一步最小化，因此，唯一的途径就是充分发挥现有并行计算硬件的潜力。在本文中，我们提出了一个硬件高效的引导滤波器（HGF），它解决了多通道引导图像滤波的效率问题，并产生合格的结果时，将其应用于多标签问题与合成多项式多通道引导。具体地说，为了提高滤波性能，HGF采用了一种新的矩阵求逆算法，该算法只涉及两个硬件有效的操作：逐元素算术计算和盒滤波。为了突破线性模型的限制，HGF综合了多项式多通道制导，引入了非线性.由于采用了多项式制导和硬件高效的矩阵逆算法，HGF不仅对制导的底层结构更加敏感，而且运算速度也最快。由于这些优点，HGF在计算密集型多标记系统中的准确性和效率方面获得了最先进的结果。1. 介绍自2010年以来，GF已被应用于许多计算机视觉和图形问题，如图像重定向[6]，颜色转移[1]和视频去雾[33]。其中，多标号系统由于计算量大，是GF最适合的应用之一，可以充分利用GF的效率和有效性* 通讯作者。急需一种快速过滤工具。典型的多标签系统[12]根据输入数据在成本卷（V（x，y，l）= c）中记录在坐 标 x 和 y 处 选 择 标 签 l 的 成 本 c 。 然 后 利用WTA（Winner-Takes-All）标签选择策略为聚合后的每个像素（x，y）确定最终标签（即引导图像平滑）步骤。除了将GF应用于多标签系统的聚合步骤之外，我们还可以将其纳入MRF模型[28，30]，因为这些MRF模型中采用的边缘感知滤波器可以直接由GF代替由于线性复杂度和边缘保持能力，GF被认为是多标签系统的所有候选滤波器中的最佳选择[12然而，GF的一个缺陷是，彩色图像引导滤波算法不是非常高效。更具体地，矩阵求逆是耗时的操作，但是GF需要针对每个像素el求逆3×3矩阵以计算等式（1）的系数w→p和根据第i个通道Ii（q）的滤波结果Z（q）两者。Σ3Z（q）= w→p（i）Ii（ q）+w→p（0）（1）i=1颜色输入引导I.图1a绘制了随着矩阵大小的增加，逆106矩阵的运行时间，其中矩阵逆算法是OpenCV的内置LU算法。我们可以观察到，随着矩阵的大小，运行时间显着增加。因此，将GF应用于具有多信道引导的多标记系统是低效的，特别是对于大信道数。为了减少执行时间，GF最直接的方法是同时启动一组线程来求逆然而，这种策略在当前的硬件上不是很有效。这是因为：1、CPU和GPU都依赖于SIMD（单指令多数据）体系结构来提高性能; 2、对于传统的矩阵求逆方法，如LU算法[ 13 ]，分支指令是不可避免的;3、SIMD架构无法实现运行分支指令的最快速度，因为这些指令需要将每个向量分解为元素并在架构上顺序处理它们。图1a还示出了求逆10× 6矩阵的运行时间。53255326(a) 矩阵求逆（b）立体匹配图1：矩阵逆&立体匹配：（a）说明了随着矩阵大小的增加，求逆10~ 6矩阵的运行时间。（b）说明了不同制导条件下GF的立体匹配结果。是的报告的数据不能令人满意。为了避免分支指令，我们可以根据矩阵求逆的解析解[11]求矩阵的逆. GF的最快OpenCV实现采用这种策略来反转3×3ma-三倍，并成功地减少了反相106的运行时间矩阵小于100ms。但随着矩阵规模的增大，解析解的实现复杂度也随之增大。当矩阵规模变大时，该方法不再能手工实现这解释了为什么我们在图1a中错过了这个方法的运行时间。我们提出了一种硬件高效的矩阵求逆算法，以充分利用硬件的并行计算能力。我们算法的能力源于两种硬件高效操作：逐元素算术计算和框过滤。为了与OpenCV采用的内置LU算法进行比较，我们收集了英特尔OpenCL实现的算法的运行时间，并将其绘制在图1a中。实验结果表明，该方法在Intel平台上的性能得到了很大的提高.为了克服GF线性模型的缺点，我们在GF中引入非线性，将输入制导合成一个多项式多通道制导线性模型通常不适合输入数据，因此容易产生过度平滑的结果。图1b显示了在灰度图像和我们合成的多通道图像的指导下的立体匹配结果。显然，综合制导产生了更好的效果。注意，额外的运行时间伴随着非线性模型可以减少到一个可接受的水平，我们的硬件高效的矩阵求逆算法。利用提出的多项式引导和新的逆算法，我们构造了一个硬件有效的引导滤波器（HGF）的多标签问题。为了表述清楚，我们将本文的其余部分组织如下路上了第二部分介绍了相关的工作。在下一节中，我们将介绍如何有效地求逆矩阵及其在计算回归系数中的应用。第4、5节详细讨论了HGF的硬件实现，包括硬件高效实现和多项式制导的综合方法.最后，我们在第6节中进行了综合实验，以验证HGF的优越性。2. 相关工作加速度：人们已经提出了许多图像引导滤波器，如双边滤波器（BF）[27]和中值滤波器（MF）[34]，用于边缘保持平滑。然而，这项福利不是免费的。例如，BF的简单实现通常需要几分钟来过滤典型的百万像素图像。已经开发了几种方法来加速双边滤波的计算[7，21，23，32，8，5]，结果人们获得了几个数量级的加速。与BF类似，MF也可以有效地过滤图像，同时不会强烈模糊边缘。虽然几乎没有工作来加速加权MF [19，34]，但未加权MF有几种解决方案[2，15，22，29]。通常，上述加速方法的主要思想集中在将每个像素的计算复杂度降低到最优O（1）。然而，GF的最小线性复杂度没有留下进一步降低计算复杂度为了加速GF，Heet al.[9]提醒GF可以通过子采样来加速处理的数据量。但这种策略不可避免地引入了近似误差。另一种方法是直接在VLSI上实现GF算法[14]。但是Kao等人。[14]由于现有的矩阵求逆算法过于复杂，难以在硬件上实现，因此仅给出了基于灰色指导的GF实现。与其它算法不同，该算法不仅能充分利用现有并行处理器，而且易于实现。改进：由于良好的视觉质量，快速的速度和易于实现，GF自诞生以来一直受到努力让它变得更好。2012年，Luet al. [18]指出了GF采用的盒形窗不是几何自适应的，并设计了一个自适应的支撑区域来代替它。然而，Tanet al.[26]认为新设计的自适应支撑区域依赖于扫描顺序，并对支撑区域提出了进一步的改进此外，他们还在GF中引入了二次空间正则化项但过滤速度很慢-因为他们使用传统的算法来反转5×5矩阵。后来，Daiet al. [4]成功地将空间与GF相似，性能没有显著下降。与以前的方法不同，Liet al. [17]修改GF以使其适用于抑制光晕。通过仔细的分析，我们可以发现这些改进并没有对灰度/彩色制导做任何修改，也没有在GF中加入更复杂的非线性模型来达到更好的效果。这是因为这些修改将增加矩阵大小，因此使运行时间不可接受。请注意，即使它们都只考虑线性模型，它们的速度仍然比GF [4]慢从我们的硬件高效的矩阵求逆算法，我们实现了这些修改在HGF不牺牲效率。5327ppppi，pk，pi，p氮磷0，pi，pi，pi，pi=0时i，pj、pij，p3. 技术简介在本节中，我们概述了我们的矩阵求逆算法及其在计算等式（2）中的w → p中的应用。在正式讨论之前，我们提醒读者参考表1中的符号约定。HGF 的 关 键 步 骤 是 根 据 包 含 矩 阵 逆 运 算（λE+XTXp）−1的等式（2）计算向量w → p。这里E表示单位矩阵w→p=（λE+XTXp）−1XT →cn+1，p（2）且Xp=[→c0，p，···，→cn，p]. 对于向量→ci，p，我们将-ci，p=[Gi（q1），···，Gi（q|Ω|）]T（0≤i≤n+1），以记录值Gi（q k），其中q k∈np，np表示以像素p为中心的邻域，|Ωp|表示在n+p中的像素的总数，并且Gi（0 ≤ i ≤ n +1）是图像。为了有效地反演λE+XTXp，我们将替换为TpnT表1：符号约定λE+XpXp，其中λE+i=0→ci，p→ci，p等式（2）为等式（3）。这是因为（λE+λn→c→cT）−1i，pw→p（k）=→cT（λE+Σni=0时→ci，p→cT）−1→cn+1，pw→p=X T（λE+XpX T）−1→cn+1，p<$np p=→c（λ−1E+α→c→cT ）→c=[→cT，···，→cT]T（λE+Σni=0时→ci，p→cT）−1→cn+1，p（3）k，pi，j=0Σnij，pi，pj，pn+1，p可以解释为外积的线性组合根据下面的命题1，=λ−1Ik n+1，p+i，j=0αij，pIki，pIj n+1，p （6）1.提案 如果λE+ λn→ci，p→cT是可逆的如等式（6）所示。根据命题2，Gij，p等于（λE+Σni=0时→ci，p→cT）−1=λ−1E+Σni，j=0αij，p→c i，p→cT（四）逐元素生成图像GiGj。然后可以通过合成一组框滤波结果来合成w→p（k）第二个提案 如果p的邻域p是一个方箱赢，其中αij，p=αn其可以通过以下迭代计算：dow，我们有Gij，p=Gij（p），这是箱式滤波图10中的逐元素生成图像GiGj的结果。Pr oof. 我们有点产生Gij，p=→cT→cj，p=γκF κ+ακ−1iκ，jκAlzhei，p伊杰角ij，p|G（q）G（q）=|G(q )G (q )=G（q）G（ q）和01 -02-0κ−1ακ−1Gnj，p）i κ，j=κk=1ikjkq∈P<$i jακ=n=0in，p（五）框过滤结果Gij（p）=GiGj（q）=ij，p01 -02-0κ−1ακ−1Gim，p）i=κ，jκ

下载后可阅读完整内容，剩余1页未读，立即下载