基于有效自适应过渡区提取技术的红外图像与可见光图像融合研究

工程科学与技术，国际期刊29（2022）101037完整文章基于有效自适应过渡区提取技术的Bikash Mehera，Sanjay Agrawala，Rutuparna Pandaa，Lingraj Dorab，Ajith Abrahamca印度Burla VSS技术大学电子电信工程系b印度Burla VSS技术大学电气和电子工程系c美国华盛顿机器智能研究实验室阿提奇莱因福奥文章历史记录：2021年1月4日收到2021年6月4日修订2021年6月29日接受在线预订2021年保留字：红外图像可见光图像目标区域提取过渡区域提取A B S T R A C T为了跟踪目标环境，隐蔽武器探测、导航和军事需要各种成像模式，例如可见光图像（VI）和红外（IR）图像。这些模态提供了额外的细节。这些图像的互补信息需要融合成一个单一的图像，以提高态势感知。因此，理想的融合图像应该吸收红外图像的基本亮度信息，并保留大部分来自VI的原始视觉信息。为了实现这一目标，本文提出了一种基于区域的图像融合技术，该技术使用了一种有效的自适应过渡区域提取（ATRE）策略。首次将基于过渡区提取的方法应用于可见光与红外图像融合。这种方法是有益的，因为它克服了与传统的基于像素的方法相关联的噪声敏感性、差的对比度和模糊效果的问题。建议ATRE技术被用来有效地提取明亮的目标区域从红外图像和保留大部分的视觉背景区域从VI。引入自适应参数进行精确分割。区域映射过程如下得到融合图像我们的技术进行了测试标准的融合数据集。利用图像检测和客观融合指标对结果进行了验证。它们与传统的和当前的基于像素和基于区域的融合技术进行了比较。结果表明，建议的技术与最先进的融合技术相当或更好。©2021 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍图像融合是图像处理领域中一个很有前途的研究课题。它是一种用于将来自多个图像（相同视图或不同模态）的互补和冗余细节组合到单个图像中的技术。所获得的融合图像可以产生明确的视觉感知，并应用于高级图像处理应用中。随着先进的图像采集设备的出现，图像融合技术被广泛应用于军事监视、疾病诊断、遥感等领域，特别是红外图像与可见光融合技术在军事监视、目标识别、探测、图像增强、目标的自动检测和定位在军事技术中尤为重要。中使用的传感器*通讯作者。电子邮件地址：rpanda_etc@vssut.ac.in（R. Panda）。由Karabuk大学负责进行同行审查VI捕获来自具有丰富外观信息的对象的反射光然而，由可见光传感器捕获的图像另一方面，IR传感器利用热辐射原理捕获图像IR图像不受上述干扰的影响。相反，它们具有低分辨率和差的细节。因此，通过使用各种图像融合技术组合IR和可见光图像两者的互补信息来获得良好的图像。图像融合分像素级、特征级和决策级三种方式进行。许多研究报告使用像素级图像融合技术[1像素级图像融合技术简单易行。 然而，它们有一些缺点，如配准不良，模糊效应等，这些缺点可以通过使用属于特征级图像融合的基于区域的方法来消除。在基于区域的方法中，区域（即，相关像素的组）被考虑用于融合而不是单个像素。决策级图像融合是图像融合的最高层次这https://doi.org/10.1016/j.jestch.2021.06.0172215-0986/©2021 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchB. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010372该方法基于初始对象检测和分类的输出通常，从特征级融合做出初始决策。初始决策的结果作为决策级融合的输入。基于区域的方法由于其相对于基于像素的方法的优点，在许多图像融合过程中被采用。Meher等人对基于区域的图像融合技术进行了深入的[8]的一项建议。此外，在[9，10]中对IR和VI融合进行了详细的审查。在本文中，我们已经开发了一个区域为基础的融合技术，红外和VI融合，并比较我们的结果与各种像素为基础的和区域为基础的融合技术。在基于区域的融合技术中，分割任务是至关重要的。研究人员使用了各种分割技术近年来，基于过渡区域的阈值化方法在图像二值化中得到了成功的研究传统的基于梯度的过渡区提取技术受噪声影响较大。过渡区描述子是该过程中的一个关键部分，它直接影响到过渡区的提取和阈值分割.局部熵（LE）（描述符）[11]仅考虑灰度变化的频率这导致非过渡区域的不准确分类，其中频繁但微小的灰度级变化进入过渡区域。为了克服这个问题，Li等人[12]实现了一种修改的描述符（修改的局部熵（MLE）），它同时考虑了灰度变化的频率和程度。这种图像分割的概念以前没有用于融合。这促使我们开发一个区域为基础的红外和VI融合方案使用过渡区提取的想法利用图像二值化的极大似然估计思想提取目标区域在这种情况下，我们提出了一种新的有效的自适应过渡区提取（ATRE）融合方法应当注意，所提出的方法的效率并不意味着融合时间效率。在这里，我们已经从红外图像中提取的目标区域引入基于ATRE的分割方法。ATRE方法用于确定阈值。在Li等人[12]中，阈值由范围[0，1]中随机选择的系数然而，我们已经提出了一个自适应系数来确定阈值，它在分割中起着关键作用。该系数用过渡区描述符矩阵的最大值和平均值表示。这导致过渡区域的精确描绘，从而导致用于融合的精确对象区域和然后，使用ATRE获得的二值化图像的反转，从VI和IR图像中提取然后采用合适的基于块的融合最后，通过区域映射得到输出图像所提出的方法进行了实验与一些测试图像从标准数据库[13]。最后将结果与传统的和现代的像素级和区域级融合技术进行了比较。据观察，我们的研究结果是令人鼓舞的，并可能在这一领域的未来研究本文的主要贡献是：（1）采用过渡区提取的思想进行融合目标区域的划分;（2）引入自适应系数确定阈值，实现精确分割。本文其余部分的结构如下：相关工作在第2节中讨论第3节介绍了所建议的工作，结果比较和讨论在第4节中给出。最后，在第5节中给出了结论。2. 相关工作许多研究人员提出了VI和IR图像的融合方法。大多数使用的方法都是基于像素的。该com-基于像素的红外与可见光图像融合方法主要包括多尺度变换、显著性方法、稀疏表示、神经网络、子空间、混合模型等。[10].Liu等人[14]提出了基于离散小波变换（DWT）的VI和IR图像融合。与金字塔变换相比，DWT提供了良好的时频表示。然而，由于小波变换在每个分解层都要进行下采样，因此会产生伪吉布斯效应。此外，它缺乏移位不变性和方向性特性。这是克服使用对偶树复小波变换（DT-CWT）。Lewis等人。[15]采用DT-CWT来获得源图像的多分辨率分解。 然而，这种变换不能检测图像的曲线和边缘在核聚变中。针对DT-CWT方法存在的问题，提出了一种基于曲线波变换的图像去噪方法。Quan等人[16]使用CVT对VI和IR图像进行分解，并获得两组系数即高频和低频分量。然而，由于曲波的平移变化特性，融合图像的视觉质量下降Naidu[17]使用多尺度奇异值分解（MSVD）来融合VI和IR图像，其没有固定的基向量集Bavirisetti和Dhuli[18]提出了一种新的VI和IR图像的边缘保持图像融合技术。输入图像被分 解 成 两 层 ： 近 似 层 和 细 节 层 ， 使 用 基 于 各 向 异 性 扩 散 的 融 合（ADF）。然而，该方法遭受块效应或伪影。Bavirisetti等人[19]的作者提出了一种基于四阶偏微分方程（FPDE）和主成分分析（PCA）的融合方案。据观察，基于MST的融合方法遭受以下困难。分解级数的确定是困难的。分解级别的大小是获得空间细节与对噪声和变换伪影的敏感度之间的折衷。此外，MST的选择和融合规则的预定义也是一个难题.研究人员还使用了基于显着性的方法。在Bavirisetti和Dhuli[20]中，作者提出了一种基于视觉显著性的双尺度图像融合（TSIFVS）算法，用于融合红外和可见光图像。然而，用于发现视觉显著性的均值和中值滤波器的维数影响了其方法的性能。在Zhan等人[21]中，作者建议采用多模态图像无缝融合（MISF）进行融合。然而，他们的方法产生梯度反转伪影。在Jin等人[22]中，作者提出了一种使用基于像素的混合技术静态小波变换-离散余弦变换-空间频率（SWT-DCT-SF）的VI和IR图像融合。他们在离散平稳小波变换（SWT）域中使用离散余弦变换（DCT）和局部空间频率（LSF）。窗口大小的选择对于DCT也是非常重要的，并且可能影响输出图像的质量。在Ma等人[23]中，作者提出了一种利用梯度转移融合（GTF）和总变差最小化的程序。然而，作者没有考虑VI的强度信息，这可能导致低动态范围和细节丢失。在Zhang等人[24]中，作者使用基于像素的红外特征提取和视觉信息保存（IFEVIP）方法从红外图像中提取重要的明亮特征，并与VI的原始视觉特征融合。然而，他们的算法只适用于低光红外图像和VI对。此外，融合图像的对比度下降，因为红外特征提取与大量的背景信息。应当注意，所有上述技术都基于像素级融合。Mitianoudis和Stathaki[25]提出了使用ICA的基于区域的图像融合。将源图像分割成两个区域：（i）活动区域和（ii）非活动区域。活动区域包含B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010373X×XX;elseuvðÞgð Þ¼ðÞfx;y-f左心室m;n= 10，右心室W=10，左心室u×v-1x¼1y ¼1细节信息和非有源区包含背景信息。[25]中的作者将他们的工作扩展到更复杂的基于区域的图像融合[26]。该方法可能不适用于多模态图像，因为几种模态图像具有不同的纹理特征。我们还提出了一种基于区域的融合方法，利用过渡区域提取的思想来描绘目标区域。最近，深度学习方法在可见光和红外图像融合方向得到了广泛应用[27作者在[27]中使用深度学习进行IR和VI融合。他们使用深度学习从图像的细节部分提取特征。Ma等人。[28]提出了FusionGAN来解决手头的问题。他们在[29]中进一步即兴发挥了他们的工作。作者在[30]中提出了一种通过双阈值条件生成对抗网络（DDcGAN）的融合方法，改善了热图像和可见光图像的损失。Li和Wu[31]提出了一种新的深度学习架构，该架构由编码网络和解码网络构成。编码网络提取特征，解码网络给出融合图像。Zhao等人。[32]提出了一种新的基于自动编码器（AE）的融合网络VI和IR图像。据观察，大多数方法使用深度学习进行特征提取和分类。已知L-1的E¼ -PilogPilog1/4其中，P i^n i=M×Ni表示图像中出现灰度级i的概率。现在，像素的局部熵可以通过取窗口大小为uv的邻域Wk并表示为L-1的LEWk-PrlogPr 2r¼0其中，Prnr=nu×vn r表示邻域Wk中存在灰度级r的出现概率，nr表示邻域中具有灰度级r的像素的从文献中可以看出，这一过程是计算密集型的，因为它计算每个灰度级在其邻域中出现的为了降低计算强度，利用类似的参数，如[35]中的局部复杂度（LC）来表示灰度级变化的频率，L-1的信用证号码r¼0训练深度网络需要大量的输入数据工程. 因此，作者使用补丁和深度网络来生成大量输入。建议的比较其中，sgn为零。1; if09f x; yr在附近的WK。并且表示像素位置。方法和基于深度学习的方法稍后在结果部分。3. 拟议的融合方案应注意，LE和LC两者仅考虑强度水平变化的发生它不考虑变化的程度。因此，采用局部方差（LV）来定义灰度级变化的程度，并且对于邻域Wk，其可以表示为VI和IR图像包含不同的图像特征。的VI传感器检测纹理信息。IR传感器检测人眼无法感知的VI包含21X X。-102清晰的背景区域。红外图像包含清晰的目标区域。图1显示了建议的技术的示意框图。使用所提出的ATRE技术从红外图像中提取目标区域然后使用所提出的方法找到一个分割阈值。然后利用该阈值对红外图像进行然后，对二值化后的图像进行反相，从红外和可见光两个方向注意，-f是f W k的平均强度水平。相应地，当邻域窗口在图像内移动时（逐像素地），我们得到每个像素为了更准确地找到灰度变化，通过使用如[12]计算的归一化局部复杂度（NLC）和归一化局部方差（NLV），提出了一种新的LC-m;n-minLC-x;y图像和VI。这两个区域都被分解成补丁。然后，通过使用合适NLC样本量800x;y最大LC-最小LCð5Þ融合规则最后将其映射到红外图像的目标区域800x;y800x;y以获得输出图像。在本文中，输入图像是LVmm;n-min LVmmx;y假设是注册的。NLV无菌包装800x;yð6Þ最大左心室舒张末期容积x;y=最小左心室舒张末期容积x ;y =最大左心室舒张末期容积x; y=最小左心室舒张末期容积x; y =最大左心室舒张末期容积x; y =最小左心室舒张末期容积x; y =最大左心室舒张末期容积x; y =最小左心室舒张末期容积x; y =最小左心室舒张末期容积x ; y8x;y 8x;y3.1. 基于ATRE的目标和背景区域提取过渡区域存在于图像中的对象和背景之间。它的特征在于区域，边界和灰度变化的基础上。灰度的变化在过渡区的确定中起着重要的作用。过渡区像素灰度变化频繁、剧烈，为过渡区的描述带来了丰富的信息。为了准确地得到过渡区域，需要同时考虑灰度变化的发生和程度。为了找到灰度变化，Yan等人[11]建议使用过渡区域描述符（即LE）。为了解释LE的概念，让I表示具有L个强度水平1/20;1;：;L-1]的尺寸为M×N的图像。令n i表示具有强度水平i的像素的计数。假设U<$fm;n：m<$1;2;：;M;n<$1;2;**设fm;n是一个灰度级m处的像素;n. 图像的熵（E）表示为[33，34]因此，使用两个归一化因子来形成新的过渡区域描述符S，Sm;nb×NLCm;n1-b ×NLVm;n 7其中b是平衡NLV和NLC的贡献的权重因子。从该等式中可以明显看出，当b1/4 1时，过渡区描述符等于NLC，当b 1/4 1时，过渡区描述符等于NLV。b 1/40。因此，b的值应该在[0，1]的范围内。从方程得到的Sm;n值。(7)对于位置m ; n处的每个像素，m将形成图像矩阵S。与非过渡区域像素相比，过渡区域像素具有更高的S_m;n_m用于过渡区域提取的阈值ST被获得为：ST¼c×Smax100其中，Smax最大S m;n c是一个随机系数，8毫米;n[0，1]。c的值在确定ð4ÞB. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010374Fig. 1. 建议的融合方案框图。B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010375.ðÞ¼¼ðÞ图二. 从不同红外图像中提取目标区域的例子。(a-d，i-l）输入IR图像，（e-h，m-p）提取的对象区域。阈值和过渡区。我们没有将其作为随机值，而是将阈值ST计算为TR m;n1，如果Sm;nPST0否则ð10ÞST¼ca×Smax100其中，ca 1/4S max-S mean= 1/4S max1/4 S mean是引入的自适应参数，取决于图像的类型。 注意S是指平均S m;n. 然后，提取过渡区域为8毫米;n然后使用如下给出的公式将最终分割阈值TfTf¼XTRm;n×fm;n=XXTRm;n11如下所示：m n m nB. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）101037表16“掩体”图像的客观性能指标比较域方法QPQ/FEMIFMIVIFF基于MSTDWT0.31986.71342.12520.88730.2085DT-cwt0.63597.07762.12330.90510.2230CVT0.60447.09372.11800.89870.2335MSVD0.38966.73812.10930.89240.2181ADF0.56686.88802.10680.83590.1781FPDE0.50406.81972.12000.85200.1761基于显著性TSIFVS0.58437.21152.13390.88390.3446MISF0.71237.50562.71690.91620.2464基于子空间ICA地区0.32866.67822.21910.89340.2039ICA文本标准0.57226.58742.20470.88900.2525混合方法SWT-DCT-SF0.62747.21272.27170.90460.2427其他方法GTF0.59626.94132.06550.88970.1774IFEVIP0.62917.07072.32820.85260.2835Atre提出0.72507.51082.70450.90950.3607表2“坦克”图像的客观性能指标比较域方法QPQ/FEMIFMIVIFF基于MSTDWT0.20757.27562.18520.79530.1930DT-cwt0.49107.41322.15870.81830.1856CVT0.44457.40972.15150.80870.1878MSVD0.17107.24332.17280.79850.1851ADF0.31167.34592.12670.82160.1546FPDE0.43967.29842.11450.76670.1227基于显著性TSIFVS0.61937.46862.16920.79930.2360MISF0.65217.95762.58160.83200.0516基于子空间ICA地区0.38207.22942.23270.81110.1905ICA文本标准0.65157.45492.16290.81040.2395混合方法SWT-DCT-SF0.50707.94952.28060.81920.1625其他方法GTF0.54196.36372.21390.78270.0993IFEVIP0.66257.82452.47550.80110.2124Atre提出0.75777.95832.55780.82980.2856表3Nato_camp1 0图像的客观性能指标比较。域方法QPQ/FEMIFMIVIFF基于MSTDWT0.35416.25992.11890.86950.3149DT-cwt0.46836.49182.11270.89590.3309CVT0.42516.54662.10740.88600.3528MSVD0.35186.26892.11740.86640.3179ADF0.46436.27592.12260.86880.2678FPDE0.39726.32372.10960.86210.2599基于显著性TSIFVS0.46266.64002.11520.87600.4613MISF0.54906.88692.25000.90160.2635基于子空间ICA地区0.50206.31722.26420.88970.3515ICA文本标准0.54936.39132.26460.89460.3823混合方法SWT-DCT-SF0.45326.79092.17320.88230.3779其他方法GTF0.58176.63792.06250.88120.2393IFEVIP0.46376.77282.21870.88060.4049Atre提出0.59797.17973.02810.91150.2522使用Tf对图像进行二值化，以从不同的IR图像中提取目标区域。然后将二值化图像反转以从IR图像和背景图像两者中提取背景区域六.在图2中示出了针对不同IR图像的所提取的对象区域。据观察，所提出的方法准确地提取对象区域从不同的红外图像。由于目标区域和背景区域的亮度级之间的差异，过渡区域提取技术成功地从背景中描绘出目标区域。3.2. 融合规则红外图像和VI的背景区域融合使用基于补丁的融合规则。将来自IR图像和VI的区域计算并比较各图像块的能量，得到融合后的背景区域。令IR图像的背景区域由IRB表示，VI的背景区域由VIB表示，融合的图像由背景区域表示为IFB，融合图像表示为IF。B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）101037表47BXNato_camp2 0图像的客观性能指标比较。域方法QPQ/FEMIFMIVIFF基于MSTDWT0.35006.26292.12260.87710.3129DT-cwt0.46796.51572.10750.87960.3301CVT0.42756.56072.10190.87630.3513MSVD0.34606.26892.12090.87450.3148ADF0.46246.28452.12440.87350.2698FPDE0.38576.34952.11050.86240.2507基于显著性TSIFVS0.46566.63102.11720.88480.4601MISF0.55156.98912.25900.90800.2908基于子空间ICA地区0.50376.32472.26510.89840.3529ICA文本标准0.55036.39752.26900.89970.3854混合方法SWT-DCT-SF0.45836.79932.17580.88870.3820其他方法GTF0.39606.69402.34280.88530.2472IFEVIP0.46336.77532.20670.89060.4099Atre提出0.52107.14732.86370.91370.3681表5“Sandpath”图像的客观性能指标比较域方法QPQ/FEMIFMIVIFF基于MSTDWT0.30436.10052.09530.84410.2754DT-cwt0.55326.48132.09740.87920.2325CVT0.49936.53022.09500.86770.2476MSVD0.29616.10192.09410.84280.2711ADF0.55626.32942.09660.84460.1942FPDE0.51106.24632.09550.83690.1968基于显著性TSIFVS0.48136.62492.10070.84820.3727MISF0.65637.13472.84920.90060.2554基于子空间ICA地区0.33396.10362.15550.86200.2876ICA文本标准0.43246.23242.18590.86450.3187混合方法SWT-DCT-SF0.49156.75922.14940.86970.2808其他方法GTF0.52736.53812.02140.85110.1788IFEVIP0.41946.62742.19720.85610.2318Atre提出0.65957.14542.91050.89540.3805表6“Gun”图像的客观性能指标比较域方法QPQ/FEMIFMIVIFF基于MSTDWT0.44306.56482.23640.92310.3072DT-cwt0.67536.79902.21040.93720.6087CVT0.64556.82502.20140.93090.5898MSVD0.46216.57362.26410.91890.3682ADF0.59296.55872.25000.93190.3448FPDE0.56276.58472.26170.90090.3932基于显著性TSIFVS0.66236.94722.20980.91810.7670MISF0.73637.11662.58360.94020.8357基于子空间ICA地区0.58646.78162.17800.93210.4721ICA文本标准0.66526.84202.19160.93150.5927混合方法SWT-DCT-SF0.67457.07512.36950.93640.7071其他方法GTF0.60256.26782.13970.92210.4400IFEVIP0.61757.08182.44750.93070.6623Atre提出0.73697.14792.88710.93770.8443得到融合后的背景区域，将IIRB和IVIB分割成小块。两个区域中的每个贴片的能量计算为：其中P1是图像的第i块，EIR是来自IR图像的背景图像块的能量，EVIB是来自VI的背景图像块的能量在这里，我们已经采取了补丁大小E P XP212个w ¼ 3 × 3。 应注意，5 × 5、7 × 7的贴片尺寸也可IRB IRBiu;vIRBiÞ被利用然而，较大的贴片尺寸可能引入阻塞伪像。值得一提的是，当地的能源，红外目标明显高于其他区域。融合EVIBPVIBi Þ¼u;v2VIBið13Þ背景图像IFB是通过利用基于如下所示的EIRB和EVIB的比较PB. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010378×¼×表7“树”图像的客观性能指标比较域方法QPQ/FEMIFMIVIFF基于MSTDWT0.39555.69532.00640.84760.3878DT-cwt0.49975.81112.02860.87200.2878CVT0.46595.84342.02930.86500.3154MSVD0.37995.69772.14100.84410.2644ADF0.40365.68032.00650.85130.3650FPDE0.51605.73912.13640.84380.2029基于显著性TSIFVS0.50795.92922.13890.85850.4199MISF0.55016.36642.32970.88280.5058基于子空间ICA地区0.44726.29882.02070.86060.5421ICA文本标准0.46376.36552.01900.86290.6000混合方法SWT-DCT-SF0.46696.20622.21010.86220.3044其他方法GTF0.46165.68302.18620.86570.2689IFEVIP0.57346.14912.89520.87630.1865Atre提出0.58916.78182.60450.88310.2527表8“两个男人在房子前面”图像的客观性能指标域方法QPQ/FEMIFMIVIFF基于MSTDWT0.48446.45632.12090.88010.2751DT-cwt0.53866.77242.13110.90320.2755CVT0.49996.79642.12480.89530.2945MSVD0.34346.45902.14920.87660.2620ADF0.53946.45792.13730.88730.2710FPDE0.45856.50062.14400.84970.2258基于显著性TSIFVS0.50716.90462.12950.88350.2686MISF0.59757.11592.35070.90840.2180基于子空间ICA地区0.51566.45092.11420.89130.2998ICA文本标准0.63426.58132.11700.88210.3595混合方法SWT-DCT-SF0.52616.93262.23670.89890.2763其他方法GTF0.30497.05802.28520.88050.1756IFEVIP0.48926.67232.28240.86780.3363Atre提出0.46947.15222.65880.90890.3969IFBIIRBPiifEIRBPi>EVIBPiIVIBPi否则ð14Þ八个标准图像集，即坦克、掩体、Nato_camp1、Nato_camp2、沙径、枪、树和房子前的两个人 进行定性和定量比较。模拟最后利用区域映射得到融合图像IF在红外图像的目标区域和融合的背景区域之间进行处理。所提出的方法的伪代码如下：输入：IR和可见光图像（假设它们被配准）。初始化：补丁大小33，b0： 3。第一：对红外图像应用ATRE方法提取过渡区域。步骤2：找到最终的分割阈值Tf。使用Tf对红外图像进行二值化。步骤3：使用二值化图像从IR图像提取对象区域。步骤4：使用反转的二值化图像从VI和IR图像两者提取背景区域。步骤5：通过使用等式11中的融合规则合并IR图像的背景区域和VI的背景区域来找到融合的背景区域（十四）、步骤6：通过红外图像的目标区域与融合后的背景区域之间的区域映射找到输出图像。输出：融合图像。4. 结果和讨论在这项工作中，不同的多模态图像（红外和可见光）被用来执行所提出的融合方法。图像对在图像数据集中公开可用[13]。我们选择在MATLAB中使用8 GB RAM的Core i5处理器执行。通常，输出图像的性能以两种方法评估，即定性和定量。许多perfor- mance指标在文献中报告的融合结果的评估。通常，这些指标衡量从源图像传递到输出的信息量。本工作使用评价指标最佳成绩以粗体显示。有关指标的详细信息，请参阅相关文献。在本研究中，我们初始化了b和邻域大小。在详尽的实验之后，选择b的值为0.3它被用来稳定局部方差和复杂性的贡献。在我们提出的方案中选择了3 - 3的邻域大小。选择该邻域大小的好处是减少块效应。图（3）-（10）示出了所建议的方法和其他方法对所有图像对的视觉结果。在所有图中，（a）、（b）是源图像（分别是VI和IR图像）。来自（c）-（p）的其余图像是来自包括所提出的技术的各种方法的输出。可见光图像包含背景的细节，而红外图像聚焦目标，即掩体，坦克，人等。我们建议的方法的目标是融合图像应该保留来自红外图像的大部分热辐射信息，.¼B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）1010379图三. 掩体图像的融合结果。来自可见图像的背景信息的细节不同方法的客观比较见表1-8。在图3中，掩体物体在（i）、（j）、（l）、（o）和（p）中的融合图像中清晰可见。在图像（h）中，掩体的中间部分明显清晰，然而，背景看起来模糊。类似地，其他方法不能保留对象信息。与其他技术相比，该技术的输出图像清晰地突出了掩体及其背景。VI的对比度也被保留。使用其余方法的图像或者暗或者具有差的对比度，特别是在（c）、（f）、（g）、（k）和（m）中。原因可能是ATRE该方法利用自适应参数有效地对红外图像进行阈值分割，更准确地提取目标区域。此外，当我们合并VI和IR图像的背景区域时，从表1中可以看出，所建议的技术在QPQ=F、E和VIFF方面优于其他方法。尽管如此，所提出的技术的MI和FMI值接近于最好的价值。由于掩体对象的尺寸较大，因此建议方法能够有效地定位它。 该技术的自适应性质准确地提取对象区域。所获得的熵是最高的，因为我们的方法是基于MLE概念的，B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）10103710见图4。坦克图像的融合结果。细分在所提出的方法中，传递到输出的信息也是最高的。因此，与其他方法相比，度量显示出更好的值。在图中观察到。 4的视觉表现是相同的掩体图像。在图4（g）和（k）中，坦克图像及其背景不清楚。在（c）和（h）中，坦克图像看起来清晰，但是背景看起来较暗。使用ADF和FPDE获得的图像对比度很差同时，该方法保持了融合图像的对比度.从表2中可以看出，所建议的方法在QPQ=F、E和VIFF方面优于其他方法。 MISF方法显示出较高的MI和FMI值。尽管如此，用该方法得到的FMI值与实测值接近。其原因可能是输入图像包含更多的纹理和边缘特征。从图5可以看出，（c）、（f）、（g）和（h）中的输出图像没有保留源图像的信息。 例如，不能清楚地检测人物图像。屋顶、树和栅栏对象也不清晰可见。物体和背景之间的区别并不明显。有些图像甚至有重叠的区域。另一方面，从我们提出的方法中得到的融合图像在视觉上看起来清楚从表3中可以看出，所建议的技术对于QPQ=F、E、MI和FMI显示出最佳结果。然而，TSIFVS方法导致VIFF值。原因可能是使用了双标度B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）10103711图五. Nato_camp1图像的融合结果。分解技术，它减少了失真，更好的VIFF值。在图6中，观察到类似的趋势。在（f）、（g）和（h）中没有适当地跟踪人物图像。屋顶、树和栅栏的图像也无法清楚识别。然而，在（c）、（d）、（e）、（k）、（m）和（n）中，检测到人。融合图像（p）显示出良好的效果。道路、树木、篱笆和屋顶看起来很突出。对于Nato_camp2图像，定量比较如表4所示。可以看出，建议的技术的E，MI和FMI值更好。值得注意的是，在Q_PQ=F值的情况下，该方法接近最佳值。在图7中，特别是在（c）、（d）、（e）、（g）、（h）、（k）和（m）中，没有正确地检测人物图像。然而，人、树和路径在融合图像（p）中清晰可见。此外，用其他方法获得的融合图像具有较差的对比度。表5中的定量值表明，所提出的技术在QPQ=F、E、MI和VIFF方面优于其他技术。原因可能是使用基于ATRE的方法来提取对象地区 不同方法的Gun输出图像如下：如图8所示。可以看出，在（p）中我们提出的方法中，枪图像被清楚地检测到。然而，在（g）、（h）和（m）中，没有正确地检测到枪图像。枪和背景之间的边界重叠。每-表6中所示的度量QPQ=F、MI、E和VIFF在我们的方法的情况下比除FMI值之外的其他方法尽管如此，我们的方法得到的FMI值是非常接近的最佳值。在图9中，使用所建议的方法适当地提取对象，即（p）中的人。融合图像的可见质量(p)由于背景和人物形象比较少，B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）10103712见图6。 Nato_camp2图像的融合结果。强度变化。我们提出的方法保留了大部分的VI信息。这就是为什么在区域映射期间，对象的强度与背景的强度匹配，导致图像不清晰。如果我们在融合之前包括一些预处理操作（以加宽强度差），则可以改善这一点。可能的解决方案可以是增强对象区域的对比度。与表7中给出的其他方法相比，我们的技术的QPQ=F、E和FMI指数更高。图在图10中，可以看出，融合图像（f）、（g）和（h）中的人在视觉上并不突出。人在融合图像（i）和（j）中清晰可见。不过，背景并没有那么突出。在（l）中，天空中有一些黑色的斑块在（p）中，与其他方法.窗户和树也被显著地感知。类似地，从表8中可以看出，所提出的技术领先于E、MI、FMI和VIFF值。值得注意的是，大多数用于比较的方法使用像素级融合方法。基于像素的方法在融合图像中引入了块效应，背景不清晰。此外，VI的纹理特征没有被适当地转移到融合图像。另一方面，基于区域的方法通过考虑来自IR和VI的补丁来提取重要的感兴趣在这个过程中，目标和纹理信息得到了保留，从而得到了更好的融合图像.所提出的方法与最近基于深度学习的方法的比较如表9所示。指示的值B. Meher，S.阿格拉瓦尔河Panda等人工程科学与技术，国际期刊29（2022）10103713×见图7。 Sa