基于卷积稀疏表示的可见光与红外图像融合

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）350www.elsevier.com/locate/icte基于卷积稀疏表示的压缩感知可见光与红外图像融合S. Nirmalraja， G. 纳加拉詹ba印度Sathyabama科学和技术研究所计算机系b印度钦奈Sathyabama科学技术学院CSE系接收日期：2020年7月24日;接收日期：2020年10月27日;接受日期：2020年11月23日2020年11月27日网上发售摘要设计了一种基于深度学习框架的可见光和红外图像融合方法，融合后的图像包含红外和可见光图像的所有特征。首先对源图像进行低频和高频分解子带利用小波变换。然后采用最大融合准则对低频信号进行融合。对于高频子带，学习网络用于找到活动水平测量，然后使用最大融合规则进行融合。在重建时，采用了优化的正交匹配追踪算法和小波逆变换。c2020年韩国通信与信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：稀疏性;压缩感知;卷积稀疏表示;图像融合;优化正交匹配追踪1. 介绍像素级图像融合的主要目的是融合不同成像设备获取的同一场景的互补信息[1融合图像将提供关于场景的详细信息，这在许多应用中具有重要意义，如医学成像、监视 、 遥 感 等 [4 ， 5] 。 近 年 来 ， 基 于 深 度 学 习 （ DeepLearning，DL）的图像融合因其在特征提取和数据表示方面的优势而成为一个重要的研究课题。许多基于深度学习的图像融合方法被提出，克服了传统图像融合技术所面临的困难。传统图像融合技术面临的一些重要问题是图像表示，即找到适当的变换，活动水平测量和融合策略[6，7]。卷积神经网络（CNN）和卷积稀疏编码（CSC）等深度学习模型为上述传统图像融合方法所面临的问题找到了解决方案。图像融合技术表示的过程，活动水平测量∗ 通讯作者。电子邮件地址：nirmalraj. sathyabama.ac.in（S.Nirmalraj），nagarajanme@yahoo.co.in（G.Nagarajan）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.11.006融合规则可以分别与视觉识别技术的特征提取、特征选择和预测过程相比较。CCN具有从海量数据训练集中学习有效特征的能力，可用于图像融合中的图像变换、活动水平测量和融合规则的提取深度学习技术卷积稀疏编码是一种去卷积网络，可用作图像变换，可获得整个图像的稀疏表示，而不像标准稀疏编码那样计算单个图像块的稀疏表示。因此卷积稀疏编码也被称为卷积稀疏表示（CSR）。除了上面讨论的基于深度学习的图像融合技术之外，最近还提出了其他方法。2. 文献综述Yu Liu等[8]提出了一种基于卷积稀疏表示的图像分解方法的图像融合方法。Yu Liu等人[9]提出，可以使用深度卷积神经网络Yu Liu等人[10]提出了基于卷积神经网络的红外和可见光图像融合将来自两个源图像的像素活动信息进行整合2405-9595/2020韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. Nirmalraj和G.NagarajanICT Express 7（2021）350351步骤2×××××2步骤3×利 用 Siamese 卷 积 神 经 网 络 得 到 的 加 权 映 射 。 AdnanQayyum等人。[11]提出了使用深度卷积神经网络进行基于内容的医学图像检索的深度学习框架。Han Tang等人[12]提出了一种使用逐像素卷积神经网络从多聚焦图像融合的邻域像素中识别源图像中的聚焦和散焦像素的方法。Hui Li等人[13]提出了一种用于红外和可见光图像融合的新型深度学习架构。该网络的架构与卷积层，融合层和密集块相结合，其中每一层的输出与其他每一层相连接。Hui Li等人[14]提出了基于深度特征和零相位分量的新型融合算法。Kai-jian Xia等人。[15]提出了一种多模态医学图像融合的方法，其中使用了深度卷积神经网络和多尺度变换的特征。3. 基于卷积稀疏表示F-CSR在所提出的算法中，使用深度学习技术通过压缩感知[16源图像 被分解为低频和高频子带。使用最大融合规则直接融合低频子带，而测量高频子带用于活动水平测量[20，21]。为了测量活动水平测量，卷积稀疏表示CSR的概念被引入到所提出的算法中。CSR技术实际上是从去卷积网络构建的，其中通过构建分解的层次结构来学习图像的多级特征表示。从所获得的分解，图像可以按照层次结构逐层重建。因此，卷积稀疏编码技术可以有效地用于图像融合。框图该算法将CSR技术用于可见光和红外图像的融合，称为F-CSR。1.一、该算法使用深度学习框架有效地融合了可见光和红外图像，具体如下：步骤1：输入的可见光和红外图像的大小调整为256256。：红外图像和可见光图像应用于显示，图1.一、所 提出的方法F-CSR的框图。32. cells of size每个单元格包含4个元素，因此一个单元格中有16个元素。CELL到MAT的转换每个单元格的16个元素被扩展到新的列中以形成大小为16的重塑矩阵1024。同样，每个单元格都被转换为向量，所有这些向量都被更新为一个空矩阵，最终产生一个大小为16× 1024的整形稀疏矩阵。步骤5：使用字典滤波器从可见光和IR图像的高频子带获得活动水平测量。所提出的方法中使用的字典滤波器是从50幅大小为256的高质量图像中学习的256.字典过滤器 是从使用Eq. （一）具体的小波变换Daubechies-2（DB2），1∑ ∑∑ ∑将把图像分成一个较低的子带和三个较高的子带，每个子带的大小为128 × 128：可见光和红外图像arg min2{Cn}{yl， n}L卢恩 cn yl， n−tl+λ2Lyl， n1n（一）步骤4采用最大融合规则进行融合。：高频子带被重新整形以便于活动水平测量。• MAT到CELL的转换。每个大小为（128×128）的高频子带被转换为其中，c，n是字典滤波器，λ表示正则化参数，并且t1表示训练图像的集合，yl，n是用于在CSR模型中借助于字典滤波器··S. Nirmalraj和G.NagarajanICT Express 7（2021）350352步骤6：从可见图像的高频分量获得的活动水平测量结果与从IR图像的对应高频分量进行的活动水平测量结果融合。步骤7：融合的高频活动水平测量值与使用字典优化的正交匹配追踪的恢复算法一起应用，以重新覆盖高频分量。优化的正交匹配算法从初始化开始，其中通过将零分配给AN中的N来找到初始解，其中A是源图像。因此，初始解为零。然后使用Eq.（二）RN=W−cn<$A0（2）其中，W是活动水平测量值，cn是字典过滤器。迭代过程开始于将1分配给N，这将使用最优选择来计算误差。最优性是通过选择减少相应剩余的字典原子来实现的。如果残差小于设置为99%的误差阈值，则迭代停止，否则，继续下一次迭代。步骤8：对恢复的高频分量和融合的低频分量进行逆离散小波变换，以恢复压缩和融合的图像。4. 结果和讨论为了比较所提出的方法与现有的方法四个性能指标，如FMIpixel，Nabf，修正的结构相似性指数（SSIMA），和平均边缘保持指数（EPIa）。FMIpixel计算像素的互信息。SSIMA计算融合图像和源图像之间的结构相似性。修正后的结构相似性指数SSIMa由方程计算。（3）、SSIMa（F）=[SSIM（F， i1）+SSIM（F， i2）]（3）其中SSIM表示结构相似性指数。F、i1和i2分别表示融合图像、可见光图像和红外图像。EPIa是平均边缘保留指数，其计算当与源图像相比时融合图像中保留的边缘的平均量当所获得的性能度量FMIPiel、SSIMa和EPIa的值高时，融合图像的质量被认为是好的。Nabf将计算融合后添加到图像中的噪声率。得到的Nabf值应该很小，这将表明融合图像具有较少的噪声平均EPI（EPIa）通过等式（1）计算（4）、EPIa（f，i1，i2）=[EPI（f，i1）+EPI（f，i2）] × 0.第五章（四）图二、解 压缩（a）红外图像（b）可见光图像（c）融合图像。图3.第三章。 街道（a）红外图像（b）可见光图像（c）融合图像。图四、直 升 机（a）红外图像（b）可见光图像（c）融合图像。其中EPI指示边缘保留索引操作。F、i1和i2分别表示融合图像、可见光图像和红外图像。对UNcamp、街道和直升机的可见光和红外图像进行了实验。UNcamp、Street和Helicopter的原始图像和融合图像如图1A和1B所示。2选取了7种基于深度学习技术的融合算法进行比较，它们是交叉双边滤波融合（CBF）、离散 余 弦 谐 波 小 波 变 换 （ DCHWT ） 、 联 合 稀 疏 表 示（JSR）、稀疏域显著性检测（JSRD）、加权最小二乘优化（WLS）和零分量分析（ZCA）。所提出的算法和现有算法之间的性能测量比较如表1所示。从表中可以推断，所提出的算法在除Nabf之外的所有性能测量中优于所有现有算法，只有ZCA算法在边际值上超过所提出的算法。与现有算法相比，F-CSR算法具有较好的像素互信息量。只有少量的噪声被添加到融合图像作为融合的结果，使用所提出的方法所示的Nabf。Nabf值越小，说明向融合图像添加的噪声越少。与ZCA算法相比，F-CSR算法得到的融合图像Nabf值较小S. Nirmalraj和G.NagarajanICT Express 7（2021）350353表1使用建议的方法F-CSR与现有方法的测试图像的性能指标评估的比较图像CBFDCHWTJSRJSRSDWLSZCA拟议的F-CSRFMI像素0.870100.890000.852810.833920.878970.885170.91253NABF0.231670.051180.341530.341530.144940.000110.04512取消SSIMA的露营0.623760.748340.527150.527150.728270.777650.79188EPIA0.680930.783240.680740.521030.744770.831940.86543CR2.76471.69731.86722.23471.63181.34821.0987时间（秒）1.33481.07641.94751.23651.54211.21450.4543FMI像素0.894410.921060.910040.904460.911440.920680.93152NABF0.487000.218400.197490.198890.169970.003670.01895街道SSIMA0.498610.644680.623990.623530.668730.681300.76178EPIA0.602580.701340.668760.641650.665230.723440.75642CR2.34121.62811.85472.65781.68751.23140.9876时间（秒）1.34621.43611.86471.15241.49731.16580.5346FMI像素0.891010.927720.906300.887460.908510.932440.95678NABF0.476320.103400.332250.329410.205880.000440.13467SSIMA直升机0.664860.838150.702110.703650.827270.873030.88378EPIA0.810660.924620.864990.753620.871440.943780.96372CR2.51891.67491.75432.51281.62941.46131.0923时间（秒）1.43281.58211.96321.24791.54611.29370.5241与现有算法相比，F-CSR算法具有最高的SSIMa值，表明所有融合图像与源图像具有良好的结构相似性。与现有算法相比，所提出的算法F-CSR产生高的EPIa值。结果表明，融合后的图像质量较好。压缩比和执行时间的建议的F-CSR方法，并与表1中的实验算法进行比较。压缩比值与现有的方法相比，本文提出的F-CSR方法的恢复图像的压缩率更低，这表明本文提出的方法比现有的算法具有更好的压缩效果。该算法的执行时间相对较少，因此与现有算法相比，它可以被称为一种高速算法5. 结论提出了一种基于深度学习技术卷积稀疏表示F-CSR的压缩感知可见光和红外图像融合方法。利用小波变换对可见光和红外图像进行分解。低频分量采用最大值融合规则进行融合，而活动水平测量则采用字典滤波器从可见光和红外图像的高频分量中获得，然后采用最大值融合规则进行融合。活动水平测量应用OMP算法，以在字典滤波器的帮助下恢复高频分量。对恢复的高频分量和融合后的低频分量进行小波逆变换，得到融合图像。实验结果表明，该算法优于作者所考虑的评价指标。CRediT作者贡献声明S. Nirmalraj：研究的概念和设计，数据采集，数据分析和/或解释，写作- 原始草稿，写作-审查编辑。G. Nagarajan：研究的概念和设计，数据采集，数据分析和/或解释，写作-原始草稿，写作- 审查编辑。竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认所有的作者都同意出版这个版本的手稿。引用[1] 龚文，一种基于小波变换的图像融合算法，模式识别，2004年。[2] D. Hu，H.施，基于非下采样剪切波变换和块压缩感知采样的红外和可见光图像融合，Ukr。J. Phys. 选购配件18（3）（2017）157.[3] J.李，M.宋，Y。彭，基于鲁棒主成分分析和压缩感知的红外和可见光图像融合，红外物理技术89（2018）129-139。[4] J.李，M.宋，Y。彭，基于鲁棒主成分分析和压缩感知的红外和可见光图像融合，红外物理技术89（2018）129-139。[5] V. Tsagaris，V. Anastassopoulos，可见光和红外图像的夜间彩色视觉融 合， 显示 器26 （4- 5 ）（ 20 0 5 ） 19 1 - 1 9 6 。[6] 王立军，韩俊，杨文张立峰白，基于特征残差和统计匹配的图像融合，IET Comput。目视10（6）（2016）551-558。[7] X. Wang，J. Meng，F.刘，基于压缩感知和非下采样剪切波变换的红外与可见光图像融合，国际期刊。 信号处理。9（4）（2016）37S. Nirmalraj和G.NagarajanICT Express 7（2021）350354[8] Y. Liu，X.陈瑞凯Ward，Z.J. Wang，卷积稀疏表示图像融合，IEEE信号处理。Lett. 23（12）（2016）1882-1886。[9] Y. Liu，X. Chen，H.彭，Z. Wang，使用深度卷积神经网络的多焦点图像融合，Inf.2009。Fusion 36（2017）191[10] Y. Liu，X.陈建，陈建.彭，Z.王，红外和可见光图像融合与卷积神经网络，国际小波多分辨率信息。过程16（03）（2018）1850018.[11] A. Qayyum，S.M.安瓦尔，M。Awais，M. Majid，使用深度卷积神经网络进行医学图像检索，Neurocomputing266（2017）8-20。[12] H.唐湾肖，W. Li，G. Wang，像素卷积神经网络用于多聚焦图像融合，Inform。Sci. 433（2018）125[13] H. Li，X.J. Wu，J. Kittler，Infrared and visible image fusion usingadeep learning framework ， in： 2018 24th International ConferenceonPatternRecognition（ICPR），IEEE，2018，pp. 2705-2710[14] H.作者：Li，X.J. Durrani，红外和可见光图像融合与resnet和零相位分量分析，红外物理技术。102（2019）103039。[15] K.J. Xia ， H.S. Yin ， J.Q. Wang ， A novel improved deepconvolutionalneural network model for medical image fusion，ClusterComput. 22（1）（2019）1515-1527。[16] R.G.张文，压缩感知，IEEE信号处理。Mag.24（4）（2007）118-120，124.[17] E.J. Candes ， M.B. Wakin ， An introduction to compressivesampling，IEEESignal Process。麦格25（2）（2008）21[18] D.张文，压缩感知，北京大学学报。理论52（4）（2006）1289-1306。[19] M.F. Duarte，文学硕士达文波特湾Takhar等人，通过压缩采样的单像素成像[构建更简单，更小，更便宜的数码相机]，IEEE信号处理。Mag.25（2）（2008）83-91。[20] J. Romberg，通过压缩采样成像，IEEE信号处理。Mag.25（2）（2008）14-20。[21] M.B. Wakin，J.N.拉斯卡，M.F. Duarte等人，用于压缩成像的架构，在：Proc.Int.Conf.on Image Processing（ICIP），New York，USA，2006，pp.1273-1276年。