基于离散小波变换的图像融合与去噪实时处理技术研究

制作和主办：ElsevierElsevier可在www.sciencedirect.com上在线ScienceDirect电气系统与信息技术学报1（2014）72基于离散小波变换的图像融合与去噪FPGA实现A. Anoop Suraj， Mathew Francis，T.S.Kavya，T. M.Nirmal印度喀拉拉邦特里苏尔Sahrdaya工程学院欧洲经委会系2014年3月21日在线提供摘要图像融合是一个广泛讨论的话题，以提高图像的信息含量。图像融合算法的主要目的是将同一场景的多幅图像信息进行融合。图像融合的结果是一个新的图像，这是更可行的人类和机器的感知进一步的图像处理操作，如分割，特征提取和目标识别。本文探讨了将专用小波方法用于图像融合和去噪的可能性这些算法进行了比较数字显微镜图像。该方法采用了一种基于仿射变换的图像配准小波融合。然后，基于最小二乘支持向量机的频带选择的图像去噪可以结合，以减少伪影。缩进是为了最大限度地提高分辨率，减少最终超级图像中的伪影和模糊为了加速整个操作，建议将图像处理算法卸载到硬件平台，从而可以提高性能FPGA为实现实时图像处理应用提供了一个很好的平台在FPGA上执行的图像处理任务比在通用计算机上执行的同等应用程序快2个数量级。© 2014制作和主办由Elsevier B.V.电子研究所（ERI）关键词：离散小波变换;图像融合;图像配准;图像去噪; FPGA1. 介绍融合方法能够将多幅图像的互补方向信息融合到一幅超级图像中，提高了信息密度。利用小波变换的多频带分解的优点，可以在任意给定的频带内选择最佳视点。融合结果显示出改善的整体对比度。回顾的方法不需要系统的点扩散函数（PSF）的知识。PSF独立性使该方法在与未知PSF的环境中的图像一起使用时具有优势（Rubio-Guivernau等人，2012年）。PSF导致高度光学增强成像（例如显微镜）中的图像模糊，并且因此是图像增强的限制因素（Swoger等人， 2007年）。*通讯作者。电子邮件地址：anoopsuraj@sahrdaya.ac.in（A. Anoop Suraj）。电子研究所（ERI）负责同行评审http://dx.doi.org/10.1016/j.jesit.2014.03.0062314-7172/© 2014由Elsevier B. V.制作和托管电子研究所（ERI）A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）7273图1.一、（a）DWT和（b）UWT的第三级滤波器组框图表示在综述论文中使用的图像堆栈来证明该方法是采用多视图显微技术的数字显微图像 系统的点扩散函数（PSF）是光源和检测目标的PSF的组合（Rubio-Guivernau等人，2012年; Huisken和Quinier，2009年）。 图像集是样本的多个视图，可能具有多个焦点。1.1. 非抽取小波变换离散小波变换（DWT），它对每一层的近似系数和细节系数进行下采样。 1（a）. 但是，未抽取小波变换（UWT）不包含下采样操作，因此图像在每个级别进行时大小相同，图1（b）。UWT的这些特性导致了存储空间的需求与原始图像大小成正比的困难，这反过来又使得该算法与DWT相比不太可行。由于UWT是翻译独立的，这在处理刚性图像时非常方便，因此手头的这个问题被认为是一个必要的缺点（Wang et al.，2010; Gyaourova等人， 2002年）。除了平移不变性之外，UWT在平滑性和准确性之间表现出比基于DWT的去噪程序更好的平衡（NagaPrudhvi Raj和Venkateswarlu，2011）。 从而为高质量的图像融合和去噪做出贡献。1.2. Af Fine变换仿射变换包括平移、缩放、剪切、反射、旋转及其任意顺序的组合每个线性变换都是仿射的，但不是每个仿射变换都是线性的。用于融合的图像必须以尽可能大的公差正确配准。配准误差导致最终输出中的伪影，这将难以解决（Rubio-Guivernau等人，2012年）。UWT提供了对这些变化的一定免疫力，从而降低了最终体积中伪影的概率（Gyaourova等人，2002年）（Fig. 2）的情况。74A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）72⎢⎥⎣⎦⎡⎤图二.仿射变换1.3. 最小二乘支持向量机支持向量机（SVM）自1998年引入以来，因此提供了基于机器学习的有效分类工具（Li，2009;Vapnik，1998）。 SVM即使在较小的训练集上也是有效的。因此，提供了一个更好的选择或噪声和数据的去噪方法的逻辑分类，支持向量机的解决方案是由二次规划解决方案。事实证明，这是一个实施的挑战。解决方案是修改后的LSSVM，采用线性方程，造成较小的计算挑战。由于选择方法，网络大小仍然大于SVM（Wang等人， 2010年）的报告。2. 融合方法整个融合过程包括图像配准、预处理和小波分解。对分解系数进行了进一步的分析，并进行了适当的组合。然后利用小波逆变换得到最终的融合体。2.1. 预处理和登记从数字显微镜获取的图像对噪声不太敏感（Swoger等人，2007年）。更紧迫的问题是模糊效应。模糊效应导致配准方法不太有效。这个问题可以通过引入更多视图来创建最大重叠特征来克服（Rubio-Guivernau等人， 2012年）。图像通过裁剪算法来减小尺寸。这是为了减小图像体积的大小以降低实现成本。之后对仿射变换矩阵进行操作，纠正旋转和平移. θ的值是从数字显微镜设置中获得的（Huisken和Quinier，2009）。然后通过基于相似性度量的配准方法来微调该值。需要微调，因为由于不同原因导致的数字显微镜的角度值的微小变化可能导致最终图像中的伪影（Swoger等人，2007年）。翻译值完全由相似性度量系数计算（Vapnik，1998）。仿射变换矩阵=sinθcosθTx sinθ+Ty cosθ0 0 1然后，每个图像被格式化为具有共同的大小和分辨率。然后，创建具有两个像素级别的掩模（低值指示具有数据的区域，高值指示不存在数据的区域），以便在需要时丢弃每个图像中的填充值，以避免边界伪影（Rubio-Guivernau等人， 2012年）。2.2. 小波分解融合过程开始于将图像体积分解为频带。然后对每幅图像的这些频带进行融合规则分析，确定哪一次可以合并，哪一次必须合并A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）7275图三.小波融合过程。从最终系数卷中删除（图3）（Yuan和Yuan，2012;Pajares和delaCruz，2004）。然后对图像进行逆变换，得到原始图像.根据图像集的不同，采用不同的小波变换方法，以达到最大的效率。如开头所述，常规DWT具有非移位不变的更大限制 结果是图像非常容易错过配准，因此需要非常全面的图像配准算法（Lewis等人，2007年）。但正如开始时所解释的，随着成像深度的增加，数字显微镜图像自然会变得模糊。当试图融合来自样品较深部分的图像时，这会导致严重的问题。非抽取小波变换提供了平移不变性，是目前提出的解决这一问题的方法之一。 如图 1（b）在每个级别之后不向下采样，因此随着每个级别的增加，额外的元素被添加到分解中（图4）。UWT是移位不变的原因是抽取实际上导致非移位不变性。此外，随着级别的增加，空间分辨率变得更粗糙，大小保持不变。UWT也可以被称为冗余，因为信息可以保留在相邻的级别中。所需的分解级别直接取决于源图像的分辨率（Amolins等人，2007年;Pajares和delaCruz，2004年）。UWT提供了一个很好的融合平台，可以用于多视点图像的融合，以产生更好的图像，具有更高的信息密度。随着更多的视图被融合在所得到的图像中，发现显示出更多的各向同性分辨率（Swoger等人， 2007年）。解释模糊的另一种方法是将图像视为多焦点。我们可以使用一个可调的半带对小波（THP）分解的图像。这里回顾的THP也不会在每个级别之后降低样本THP是一种实现双正交小波滤波器组的 使用这种小波方法的原因是分解频带之间的窄过渡带，导致更好的频率选择性（Baradarani等人， 2012年）。双树复小波变换（DTCWT）还具有平移不变性和方向选择性。Wavelet在较低的维度中操作更好，优选地在1D中。通常高维数是低维运算的组合，按需要命名DTCWT不像这里比较的其他算法，在更高的维度上表现良好该方法可用于融合未配准图像，并具有显著的边缘保留性。DTCWT在复域中操作时这里讨论的其他小波方法不具有此功能。DTCWT使用实数滤波器，因此它不是纯粹的复小波（Singh和Khare，2012）。2.3. 融合规则融合规则是用于决定导出的系数是否应该与另一图像的系数融合的算法协议规则通常定义高阶频带的组合，因为高频分量表示图像中的特征因此，它们被用来获得融合参数。 低频区域表示图像的平滑区域，因此通常不使用（Nason，1995; Lewis等人， 2007年）。 图像76A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）72见图4。3级UWT分解。去噪方法也用于决定给定系数是否应当被用在最终系数库中。如果使用噪声图像带，则最终图像将变成噪声（Wang等人，2010; Motwani等人， 2004年）。使用系数的相似性度量来进行适当的匹配通常，边缘和其他重要特征是匹配的。发现基于区域的匹配比基于像素级的方法更有成效（Lewis等人， 2007年）。2.4. 逆变换一旦融合体系数被最终确定，则图像被放置通过用于创建系数的变换的逆变换 逆变换将图像恢复到空间域（图1）。 5）。3. 去噪方法可以使用任何空间或变换域滤波器来去除图像噪声 但是小波滤波器提供了更好的多分辨率方法，这对于数字显微镜的图像集是非常重要的（Motwani等人，2004年）。此外，对于图像融合，我们已经将图像转换到频域。当系数通过融合规则中的选择并确定后，采用去噪技术对噪声图像进行细化。一个基于LSSVM的算法是用来实现这一点。机器学习方法可以为去噪提供更多的通用性，使系统能够根据图像噪声挑战进行自适应，而无需实际改变去噪算法（Li，2009）。去噪的第一步是用高频子带的小波建立特征向量和训练目标然后，形成二进制映射和支持值对应的系数使用支持值和训练对象作为初步二值图来选择特征向量LSSVM培训是该过程的第二步。一旦LSSVM训练完成，则该模型用于对高频子带进行分类A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）7277X为||+−y图五.海胆胚胎的三种不同视图的融合（Rubio-Guivernau等人，2012年）。变成无噪音 然后将所有有噪声的高频系数进行阈值处理以去除噪声（Wang等人，2010年）的报告。阈值化使用两种方法：软阈值化和硬阈值化。软阈值处理优于硬阈值处理，因为处理后的伪影更少（图1）。 6）（Grace Chang等人， 2000年）。4. 比较研究比较研究集中于基于三个参数（即边缘强度、融合因子和融合对称性）比较UWT和DTCWT。 UWT和DTCWT都可以有效地用于多视点图像的融合。另一方面，THP更适合多焦点图像。边缘强度是融合图像“F”相对于输入图像A和B的基于索贝尔边缘算子的归一化加权性能Sobel边缘是通过求沿x轴Gx和y轴Gy方向的导数来计算的对于图像，则获得G=.G2 +G2。为了获得更好的边缘信息，需要更高的边缘强度值。融合因子是源图像与融合图像之间的互信息之比这就是融合图像‘F’ is compared with first image ‘A’ this value is added with the value obtained by doing the same process with thefused 值越高表示数据密度越高融合对称性是指图像与融合图像FS之间的对称关系I FA/（I FAI FB）0的情况。5[7]的文件。融合对称性的值越低，结果越好。总之，边缘强度描述了融合后尖锐特征表1UWT和DTCWT方法的比较（Singh和Khare，2012年）。图像集方法边缘强度融合因子熔合对称性集1UWT0.68051.70310.3680DT CWT0.62781.03240.3784集合2UWT0.65344.95970.1968DT CWT0.60914.32290.1659组3UWT0.50943.57460.0447DT CWT0.52283.06210.002978A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）72见图6。噪声图像（a）和去噪图像（b）（Wang等人， 2010年）的报告。融合因子表示转化为融合图像的信息量。融合对称性是指融合后的图像是否与父图像具有对称性。如果对称属性高，则图像更接近于图像之一，而不是父图像的理想组合。表1描述了在该融合过程之后针对三组医学图像获得的结果。对于第1组图像，UWT最富有成效，具有更好的边缘，信息和更少的对称性。集合2UWT边缘强度和信息量都很好，但对称性相对较高集合3是不确定的，但证明了DTCWT与DTCWT相比如何接近于实现A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）7279见图7。提出的模型的框图表示。5. 该模型如图7所示，我们提出了一种基于UWT的图像融合和去噪方法，该方法针对的是由仿射变换和皮尔逊相关系数抵抗的图像集。根据表1所示的比较研究选择UWT。我们使用的图像集被假设为刚性图像，因此旋转和平移是唯一需要的仿射变换校正。在所有情况下计算Pearson相关系数以确定图像的正确配准在图像集中的多焦点问题的情况下，小波方法从UWT改变为DTCWT以获得最大能力。sobel边缘算子是用来确定模糊的图像，以有效地使这一点80A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）72见图8。融合后的图像采用Daubechies母小波，采用Undecimated小波变换。开关. 在分析小波置信度方向信息的基础上，设计了融合规则最后利用小波逆变换从系数中恢复融合图像。一旦该模型在MATLAB仿真中被有效地证明，该算法将在可重构架构上实现。实现将集中在实现实时处理到期固有的并行编程。6. 结果和讨论我们目前已经达到了使用Daubechies母小波对患有肉瘤的患者的T1，T2质子密度MRI图像进行非抽取小波变换来有效融合图像的点（图11）。8）。用于融合图像的工具是MATLAB。下一步是在FPGA中实现该算法，并扩展到执行实时操作。7. 结论对基于小波变换的图像配准和图像融合技术进行了综述。结果表明，当需要进行多视点图像融合时，超小波变换是一种很好的融合方法。当处理多焦点图像时，THP是好的。DTCWT可用于具有较高计算开销的任一情况。在图像去噪方面，根据审查的论文，LSSVM被发现在去噪方面优于SVM。利用非抽取小波变换的Daubechies母小波对一个肉瘤病人的T1、T2、质子密度MRI图像进行了有效的融合但分析的重点在于图像融合算法的硬件综合。现象的研究领域的一部分是集中在FPGA实现的算法和放大的算法执行实时操作。虽然我们的研究工作背后的原则已经开始活跃起来，但结构建筑仍然是一个持续的过程，等待着可能会有许多惊喜和挑战。A. Anoop Suraj等人/Journal of Electrical Systems and Information Technology 1（2014）7281引用Amolins，K.，张玉，Dare，P.，2007年基于小波变换的图像融合技术：介绍、回顾与比较。 国际摄影测量和遥感学会 照片RemoteSens.62（September（4）），249-263.Baradarani，A.，Jonathan Wu，Q.M.，Ahmadi，M.，Mendapara，P.，2012. 可调半带对小波滤波器组及其在多聚焦图像融合中的应用。P模式。45（February（2）），657-671.Grace Chang，S.，于，B.，Vetterli，M.，2000. 自适应小波阈值法用于图像去噪和压缩。IEEETrans. 图像处理。9（September（9））.Gyaourova，A.，Kamath，C.，Fodor，I.K.，2002年11用于图像去噪的非抽取小波变换，LLNL技术报告，UCRL-ID-150931。Huisken，J.，D.Y.R.，2009. 发育生物学中的选择平面照明显微技术。 发展136（6月），1963-1975年。刘易斯，J.J.， Nikolov，S.G.，布尔，D.R.，Canagarajah，N.，2007年基于像素和区域的复杂图像融合。 INF.Fusion8（April（2）），119-130.Li，D.，2009. 支持基于矢量回归的图像去噪。图像视觉计算27（May（6）），623-627. Motwani，M.C.，Gadiya，M.C.，Motwani，R.C.，小哈里斯FC，2004年 图像去噪技术综述。 Citeseer。Naga Prudhvi Raj，V.，Venkateswarlu，T.，2011年。 基于非抽取小波变换的心电信号去噪 Int. J. 成像机器人。 6（A11）。内森，G.P.，一九九五年 小波函数估计中阈值参数的选择。 你好，Stat。 讲义统计。103，261-280.Pajares，G.，de la Cruz，J.M.，2004年 一个基于小波的图像融合教程. P模式。 37（September（9）），1855-1872.Rubio-Guivernau，J.L.，Gurchenkov，V.，Luengo-Oroz，文学硕士，杜洛坎湖，Bourgine，P.，桑托斯，A.，Peyrieras，N.，Ledesma-Carbayo，M.J.，2012年。基于矢量的多视角三维显微图像融合。 Bioinformatics28（January（2）），238-245.辛格河，巴西-地Khare，A.，2012年。多模态医学图像融合的Daubechies复x小波变换-多分辨率方法。 INF.融合。Swoger，J.，Verveer，P.，Greger，K.，Huisken，J.，Stelzer，E.H.K.，2007年多视图图像融合提高了三维显微镜的分辨率。Opt.Soc.Am. 15（June（13））.Vapnik，V.N.，1998年 统计学习理论 约翰·威尔父子&，纽约。王X-是的，杨，H.-是的，傅，Z-K.，2010年。提出了一种新的基于非抽取离散小波变换和最小二乘支持向量机的图像去噪方法。ExpertSyst.Appl.37（October（10）），7040-7049.Yuan，X.，Yuan，X.，2012年。 融合多平面影像以改善三维物体重建。 P模式。 45（February（2）），657-671.