基于增强JAYA优化的自适应非下采样Shearlet变换域医学图像融合的新方法.

工程科学与技术，国际期刊35（2022）101245完整文章基于增强JAYA优化的自适应非下采样Shearlet变换域医学图像融合Suresh Shilpa，M.Ragesh Rajanb，C.S.Ashaa，Lal Shyamc，a机械电子学系，Manipal技术学院，Manipal高等教育学院，Manipal，Karnataka 576104，印度b电子和通信工程系，Amrita Vishwa Vidyapeetham，Amritapuri 690 525，印度c电子和通信工程系，国家技术学院Surathkal，卡纳塔克邦，Mangalore 575025，卡纳塔克邦，印度阿提奇莱因福奥文章历史记录：2022年3月7日收到2022年8月8日修订2022年8月19日接受2022年9月13日网上发售保留字：ANSST增强的JAYA优化多模态图像融合A B S T R A C T多模态图像融合在医学领域已经得到普及，因为它帮助医生在单个图像中查看不同的医学图像模态。通过查看帮助医生诊断疾病的融合图像，有效地规划治疗。医学图像融合的目的是将多幅图像的纹理特征融合到一幅图像中。所提出的方法包括应用基于自适应窗口的非下采样Shearlet变换（ANSST）的源图像分离的低频和高频方向子带。此外，增强的JAYA（EJAYA）优化框架被用来获得自适应权重，用于组合多模态医学图像融合的高频子带。低频带融合使用最大规则的基础上，低频子带的平均能量。整个过程的重点是保留低频带的能量，同时改善组合图像中的纹理细节。最后对融合后的低频分量和高频分量进行ANSST逆运算，得到融合图像。从大脑图谱网站获得的数据集，包括100多个图像进行了广泛的实验。通过定性和定量的评估，验证了该方法的重要性。该方法在主观分析方面表现出良好的性能，最近著名的图像融合技术。©2022 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍为了准确诊断疾病，医生建议对器官进行多模态扫描。这些图像有助于医生检查器官以准确诊断问题。这一发现需要仔细调查每一个图像，以定位与软组织，骨结构，肿瘤等有关的受影响区域。多模态图像融合使信息能够被容纳在通过不同模态获得的单个图像中。最后，可以基于图像结果建议放射治疗/手术或其他治疗程序。许多医学成像设备，如计算机断层扫描（CT）、单光子发射CT（SPECT）、磁共振（MRI）和正电子发射断层扫描（PET）扫描仪，捕获器官的补充信息。通常情况下，CT获取高质量的图像，重点是骨骼或第三方*通讯作者。电子邮件地址：shilpa. manipal.edu（S.Shilpa），rageshrm@ am. amrita. edu（M. Ragesh Rajan），asha. manipal.edu（C.S.Asha），shyam. gmail.com（L.Shyam）。植入物.这有助于发现血凝块、骨折、内伤、脾脏破裂、脑瘤等。磁共振成像（MRI）捕捉体内然而，与CT不同，MRI无法检测到致密结构。MRI使用磁无线电波来检查大脑的变化，如中风或体内受伤代谢信息是通过采用成像模式，如PET和SPECT，这有助于血管疾病的诊断和治疗/检测肿瘤捕获。通常，PET和SPECT图像分辨率低，使用假颜色描述，导致检查不佳。医生分别观察软组织和致密结构的信息，这往往是不准确的，更耗时。因此，当组合成单个图像时，提供互补信息的多模态医学图像节省时间并提高准确度。图像融合技术是从不同的图像中提取相关信息，然后将其融合到一幅图像中。因此，疾病诊断、手术过程和治疗计划可以通过更好的信息感知而更有效。https://doi.org/10.1016/j.jestch.2022.1012452215-0986/©2022 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchS. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）1012452ð Þ ð Þ×XY融合技术在诸如多焦点卫星图像、多模态医学图像、可见光和红外图像、彩色和深度图像等若干领域中是常见的[1，2]。然而，医学图像融合起着关键的作用，因为它可以帮助医生获得细节不同的图像模式在一个单一的图像。一些工作集中在使用空间和频域融合两个互补的图像。此外，还实现了多尺度域，将源图像转换为多尺度分量。然后，对这些多尺度系数应用融合规则最后，利用逆变换生成融合图像。本文主要研究多波段分解技术，用于融合多模态图像以获得单一图像。Nair等人利用拉普拉斯金字塔构建离散小波变换，并以较低的计算复杂 度合 并多 模态 医学 图像[3] 。Li等人 在非 下采 样轮 廓波 变换（ NSCT ） 系 数 上 使 用 基 于 张 量 的 融 合 [7] ， 而 Guorong 等 人 和Vishwakarma等人通过非下采样剪切波变换（NSST）采用分解，对于子带具有不同的融合规则[8]。然而，基于轮廓波和剪切波的变换由于其能量和结构保持的性质而被广泛用于融合领域。在多波段分解方法中，融合技术的选择在结合低频和高频波段中起着重要的传统的融合规则组合基于每个尺度上的显著特征，组合系数的分组方案，以及每个尺度的加权函数。样本包括融合策略，如平均，最大规则的频带。这些融合方法展示了各种融合规则Du等人提出了一种基于局部拉普拉斯滤波的方法其中基于感兴趣信息的融合规则被考虑用于多尺度分量[10]。最近，卷积神经网络（CNN）已被用于生成权重图，以组合来自源图像的像素[11]。脉冲耦合神经网络（PCNN）是受生物神经网络模型（如猫的视觉皮层）的启发而产生的一种神经网络，广泛应用于图像融合中。PCNN已被成功地用于提取活动水平，这些值被用来融合图像。它进一步扩展到多尺度分量，如NSCT，NSST[12]。自然启发的算法可以用来找到一个自适应的权重系数，以结合多尺度组件。然而，优化算法、适应度函数和多波段/尺度域的选择对于决定图像的视觉质量至关重要[32，24]。融合技术还可以应用于卡通纹理分解[4]，去雾[6]等。一些融合方法经常在从源图像提取的区域的边缘处产生不期望的结果，导致不正确的融合结果可能存在伪彩色、噪声伪像、对比度差 、 噪 声 增 强 等 。 本 文 提 出 了 一 种 基 于 自 适 应 窗 的 NSST（ANSST）的多模态医学图像融合方法。此外，我们使用增强JAYA算法优化子带组合的权重参数，它可以有效地将纹理特征从源图像到最终的融合图像，通过利用一个适应度函数，最小化融合图像和源图像之间的欧氏距离因此，权重被认为是自适应的，并且针对每个高频子带独立地计算。EJAYA算法以更少的迭代次数计算权重，具有快速收敛性。采用一种简单的最大融合规则对低频图像进行融合，与当代融合技术定性和定量。一些常用的度量，如视觉信息融合保真度（VIF），特征互信息（FMI），视觉熵（熵），边缘强度（边缘），和标准差（STD），用于定量分析。所提议的方法的主要贡献如下：所提出的方法采用NSST与自适应迈耶窗口，以获得低频和高频子带的源图像。采用增强型JAYA（EJAYA）算法，以融合图像与源图像之间的欧氏距离最小为目标函数，自适应地寻找融合高频子带的权值。适应度函数保证了合成图像在纹理特征、对比度和亮度方面基于源图像的最大平均能量选择合并图像的低频图像分量。与现有的融合研究不同，这项工作使用了100多对各种疾病的医学图像，以了解其在医学领域的适用性。该文件的结构安排如下。第二章提出了多模态医学图像融合框架，并对各个子模块进行了详细的说明，最后对融合结果进行了分析和讨论。最后，在第四章中给出了结论.2. 拟议方法图 1和图 2分别描述了灰度图像和彩色图像的融合方法的框架。令X和Y表示待融合的源图像如果图像大小不匹配，则需要双三次插值技术来配准我们认为融合的MRI，CT，PET和SPECT图像组合在所提出的方法。主要阶段包括ANSST分解、使用增强JAYA算法的高频和低频子带的融合以及逆ANSST。所提出的框架的伪代码作为算法1算法1用于医学图像融合的EJAYA-NSST框架的伪代码1：输入：相同大小的多模态医学源图像X和Y2：输出：融合图像F3：对于输入图像X和Y，4：使用具有自适应Meyer窗口的ANSST方法进行分解，以根据等式（1）得到LX、LY、Hl;k和Hl;k（4）.5：结束6：根据等式6，基于源图像的3× 3邻域像素的平均值，对ANSST分解的低频源图像LX m;n、LY m;n应用（6）.7：对于每个源图像X和Y，第8章：我的每一关9：对于每个方向k，10：使用目标函数采用增强的JAYA算法计算权重wX和wY最后 一分钟，ffiffi ffiHffiffiffi ffilffi；ffikffiffi ffi—ffiffiffi ffiHffi ffi ffi ffilffi；ffikffi ffiΣffiffi ffi2ffiffi ffiþffiffiffiffi ffi.ffiffiffiHffiffiffilffi;ffikffiffiffi-ffiffiffiffiffiHffiffiffilffi;ffikffiffiΣffiffiffi2ffiffi该方法使用从Brain Atlas中选择的100多幅医学图像，包括各种模式，如MR和CT、MR和PET、MR-T1和MR-T2、MR和SPECT，用于指定疾病和病例研究[20]。此外，还对所提出的技术进行了比较对于分解过程中得到的每个高频带，●●●●源图像的最大能量。 拟议objFXFYS. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）1012453FXYHFig. 1. 利用该方法进行灰度图像融合。图二. 彩色图像融合方法框图。11：合并具有使用EJAYA最小化算法获得的最佳权重的详细层，如Hl;k 1/4wXHl;kwYHl;k12：结束13：结束14：结束15：对低频和高频融合层FL;FI;k应用逆ANSST以获得组合图像Fm;n使用Eq.（7）。16：返回融合图像Fm;nS. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）10124542. Σþ¼l;k;mK KXY2.1. ANSST分解小波变换、曲波变换和轮廓波变换由于其良好的融合能力而被广泛应用于图像融合中将图像分解成各种子带。Shearlet变换被提出来克服小波变换的缺点[16]。Shearlet变换能更有效地捕捉不同尺度、不同方向的梯度特征。Contourlet变换使用方向滤波器来产生高频带，其由剪切波变换中的剪切滤波器代替。剪切滤波器简化了逆变换，因为它是一个简单的加法。Shearlet变换提供了多个波段，每个波段提供不同尺度和方向的纹理特征。然而，将这些子带与适当的权重或融合规则相结合仍然具有挑战性。一些融合规则发现存在所选分量的最大值或平均值，但可能导致最终融合图像中的信息丢失。整个融合过程旨在保留低频带的能量，同时将纹理特征更有效地传递到最终图像。该方法利用剪切带的加法特性作为逆变换。高频带被适当地加权，使得融合图像与剪切波域中的源图像保持最小欧几里得距离。非下采样方法克服了传统Shearlet变换的平移不变性。图3 .第三章。为仿射系统与复合伸缩的大小n/2;MAB w写成，nwl;k;m 我的天啊！BkAly-m：l;k2C;m2C2oð1Þ其中，w2N2R2;B是2× 2可逆矩阵，jdetBj¼1，表示具有尺度（l）、方向（k）和位移（m）的剪切矩阵一是2× 2各向异性伸缩矩阵。如果系统的分量满足MAB小波的Parseval框架，即，X. .f;w21/4f2;8f2N2。R22012年l;m;k伸缩矩阵对应于尺度变换，而剪切矩阵实现变换。因此，该过程有助于在不同尺度和方向上构建Parseval框架。具有各向异性伸缩矩阵的复合小波使得Shearlet变换是唯一的。离散剪切波变换包括两个阶段来执行多尺度划分和方向定位。拉普拉斯金字塔在第一阶段将图像分离为低频和高频细节。方向定位是通过采用剪切滤波器。因此，对于N级分解，拉普拉斯金字塔滤波器具有N1个子带。Shearlet变换提取N个高频带和一个低频带。每个层次的方向模型是通过应用剪切波滤波器获得两者的第一步图三. 增强的JAYA优化算法。对于NSST。平移不变剪切滤波器应用于高频子带，而低频子带被连续地分解成低子带和高子带。低频带表示源图像的整体强度，而高频带表示各种方向和尺度上的梯度。对源代码图像X和Y分别构造nLX;Hl;ko和nLY;Hl;ko步进过程用于获得非下采样金字塔。最终步骤是使用重建滤波器[16]从粗到细重建由非二次采样金字塔捕获的图像。NSST是产生多尺度分量的几种图像处理算法的主要部分。考虑到NSST的多尺度、多方向、平移不变性以及用于逆变换的简单加法性质，我们选择了NSST。剪切波变换操作使用拉普拉斯金字塔将图像分解成不同的尺度，使用剪切波滤波器将图像分解成不同的方向。NSST将图像分为低频和高频分量。拉普拉斯金字塔滤波器获得多尺度特征，剪切波滤波器获得不同方向的特征.我们假设源图像的大小相同。否则，需要在申请[16]第10段。Ll;k;Hl;k组合表示在级别l和方向k处的低频带和高频带。分解能级的数目N在融合过程中起着至关重要的作用。从实验中可以观察到，对于更多的分解级别，性能水平不会提高[12]。根据实验分析，确定了分解级数的总数为N4. 此外，每个级别的方向总数固定为16，16，8，8，以及从细尺度到粗尺度。在这种方法中，我们利用ANSST来分割源图像[8]。预配准的源图像X;Y被分解为在第l级和第k方向上的低频和高频分量。高频分量通过ANNST分解完成。当前的Meyer窗口被更改为S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）10124552..：.Σ>.¼×ðÞXYFX1½¼;;。 . .ð克no.¼FFXYXYX2F X FY在该方法中得到增强图像对比度的自适应剪切波滤波器。修改后的窗口由下式给出8>1;1x5K266662.4. 增强的JAYA优化框架JAYA是一个简单而强大的元启发式优化工具去寻找一个复杂数学问题2. pz=k;56x67或 -16x65ð3Þ问题. 我们已经进行了先前的实证研究，比较0否则w是加窗信号，z 1/4 y 35 - 84 y = 70 y2- 20 y3和y 1/4 3 x-1 -1;参数通过改变剪切滤波器通带的高度和形状提供了更多的自由度。通过调整剪切滤波器系数，可以得到纹理提取所需的锐化响应。ANSST X¼nL X;H l;ko和ANSSTY<$nLY;Hl;ko402.2. 子带融合低频分量的融合规则：最终融合图像需要保持源图像的整体能量以及结构和颜色细节。随后，低频融合规则需要一个合适的方法来选择一个源图像。源图像的能量水平随着各种成像过程的操作而显著改变。因此，最终图像的强度水平由于传统的图像处理而下降。平均策略因此，为了解决这个问题，各种类似的元启发式优化算法解决问题的有效性。JAYA算法被证明收敛速度更快，控制参数更少，与其他算法相似[27]。优化算法的优点在于，它需要不特定于任何应用的标准控制参数[27]。对于解空间优化，JAYA算法使用下式给出的策略，vk¼ x k k1x best-jx kj-k2x worst-jx kj; k ¼ 1; 2; 3;. Nð9Þ其中k1和k2是0和1之间的随机参数。N定义了人口尺寸的人口是初始化as x k<$iu-lk3;k <$1; 2; 3;.. . N.其中，k3是一个随机数，u和v分别定义变量的上限和下限xbest和xworst分别是当前最佳和当前最差解。xk和vk 分别表示解和迹第i个人的错误在等式（9），第二项向最佳解移动，而第三项远离最差解。为了加快收敛速度，根据方程选择改进的解空间。（十）合成的融合图像中的各个图像的能量改善了视觉感知。该方法采用最大规则融合xvk;f vk6f xkkxk;否则ð10Þ战略，以达到这一效果。融合的低频带是使用一个简单的融合策略。当地平均3.计算源图像对应的3个图像块，以查看活动水平。因此，通过考虑由下式定义的图像的局部能量来获得总体能量图：11ELAm;n9jLAmx;nyj5x¼-1;y ¼-1其中f定义目标函数。继续循环直到满足终止条件以给出最优解。为了改善局部捕获，在增强的JAYA（EJAYA）算法中改进了JAYA的全局搜索，其中上下局部吸引子和全局探索由历史种群引导[28]。EJAYA利用种群信息对搜索机制进行了改进，包括局部利用和全局探索机制。因此，上吸引点修改为：L 1/4。LXifELXm;n>ELYm;nFXY10000x1M11LYifELm;n6ELm;n最好的3个游戏-k3ELAm;n提供关于高能量区域的信息该过程有助于在融合图像中保留源图像的总体能量。高频分量的融合规则：Hl;k表示在源图像X上应用ANSST之后接收到的高频子带。类似地，在源图像Y产生Hl;k. 每个波段与自适应权重合并H l;kw X H l;kw Y H l;k.因此，采用δ作为适应度函数，对EJAYA优化算法进行最小化，得到自适应权值。2.3. ANSST重建融合的高频分量和低频分量LF;Hl;k是用于重建所得到的融合图像F，M是当前平均值，计算公式为NMxk 1 2 N 12Nk¼1局部吸引点pl计算为：pl1/4 k4x最差值1-k4M13其中k4是0和1之间的随机数。然后，将局部勘探策略修改为：vk¼ x k k5pu-x k-k6pl-x k;k ¼ 1; 2; 3; 4;.. . N14k5和k6是0到1之间的随机数。由于最优解可能陷入局部最小值，EJAYA的全局搜索策略也被修改因此，它生成了一个历史种群，因为它有更多的搜索空间。历史人口是作为一个向量获得的，通过简单地添加子带。使用EJAYA进行优化的适应度函数选择为XX;如果10：00：00oXo;否则ð15Þ最小化F¼ANSS T-1。LF;Hl;krps是切换概率。因此，全局探索策略被提供为vk1/4 x 1/4v. xo;k-xkn;k1;2;.. . 第1页第6页X.Hl;k-Hl;k-H2。Hl;k-Hl;k-H2ð8Þv是0到1之间的随机数。最大迭代次数固定为25，因为观察到迭代次数较少时收敛66S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）1012456XFðÞkoojW jw2W算法2增强JAYA优化技术的伪代码Ymn表示融合图像的平均值。熵通常用于测量存在于信息中的信息内容。形象如[14]所使用的熵，可以定义为1：初始化大小为N的种群，上限为u，下限为l、总体X、历史总体Xo、评估次数Tc和最大评估次数Tmax。2：计算适应度值Eq.求出最佳值xbest。255熵的计算方法1/43：将当前评估更新为Tc<$TcN。4：如果当前评估次数Tc超过Tmax，则停止。 xbest是最好的解决方案。否则继续下一步。5：选择本地和全球的勘探战略。6：重复步骤2。7：返回x最佳值。其中p表示概率分布函数。特征互信息（FMI）是一种非参考图像度量，广泛应用于基于互信息的图像融合领域该度量有效地计算从输入图像到最终融合图像的变换信息图像的梯度信息。计算[18] 提出的FMI 的数学公式由FMIXY¼IFXIFY给出。其中，IFX¼Xp 对数pFXm;n;z;wð19Þ3. 实验分析FX2pFm;n：pXz;wIFY¼Xp 对数pFYm;n;z;wð20Þ包括表1中提供的各种图像模态。该数据集由哈佛医学院创建，并公开提供[20]。关于每种成像方式的详细信息和医学解释与数据集一起呈现。在MATLAB中进行了仿真R2020a安装在个人笔记本电脑中，第11代英特尔（R）酷睿i5处理器，2.4 GHz CPU，8 GB RAM和Windows 10企业64位操作系统。EJAYA_NSST医学图像融合与最近的国家的最先进的融合算法进行了比较。比较的融合算法包括NSST_CGWO[23] NSST-梯度图包含边缘强度和方向、纹理、对比度和关于像素邻域的信息。Peilla度量[19]主要关注人类视觉系统。该方法利用源图像的对比度、相关系数、光照度等信息来提供融合图像与源图像之间的结构相似性。在此，输入图像X和Y的局部特征分别被计算为sXjw和sYjw。很好窗口w计算为WsXjw和权重sXjwsY jw分配给每个窗口。因此，Peilla度量计算为，PAPCNN[12]，CNN[11]，LLF_IOI[10]，LP_SR[5]，MMIF_NSCT[15]，MIF[9]、MLCF_MLMG_PCNN[26]、NSST_MSMG_PCNN[25]。3.1. 评估指标1XkwQX;Fjw1-kwQY;Fjw其中，Qo是在[19]中定义的图像质量指数。ð21Þ我们选择了度量信息内容，能量，对比度和纹理细节，通常用于融合文学，erature评估算法的性能。因此，边缘强度（Edge），熵（Entropy），特征互信息（FMI）[17]，标准差（STD），Piellas结构相似性[21]基于度量（Peil）和视觉信息保真度融合（VIF）[22]进行了评估和比较。在此，边缘强度计算最终图像中的边缘坚固性标准偏差提供像素值与平均值的偏差因此，它给出了融合图像的对比度的想法。vutXMXN。ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiΣffiffi2ffiffi利用VIF度量来衡量融合图像与源图像之间的视觉信息保真度它采用高斯混合模型，失真模型和HVS模型[22]。VIF计算融合图像的我们考虑了六个指标，比较所提出的方法与最先进的融合算法。定量判断取决于每个指标的最重要值有时，大量的误导，因为它可能是由于噪声的存在或引入文物。然而，在对融合算法进行评价时，主观评价的权重大于客观评价的权重3.2. 结果分析标准品¼表1m² 1n² 1Ymn-Ymnð17Þ我 们 讨 论 了 定 量 和 定 性 分 析 的 结 果 所 提 出 的 方 法（EJAYA_NSST）与国家的最先进的融合方法的比较。客观评价是通过各种指标进行的。然而，视觉结果在分析医学图像融合中起着重要的作用，展望的的放射科医生的定量比较结果用于实验的数据集的详细信息。获得的九个融合方法用于研究是图像数量源图像疾病数据集表2-表9中列出了显示所有图像的平均分数所提出的方法位于前三名的比较方法。为了证明融合算法的有效性，对子区域进行了视觉分析突出显示这些区域以指示正确诊断的基本特征研究分析是基于从源图像到融合图像的对比度、色彩保真度和能量保存方面的特征转移我们从Brain Atlas[20]中选择了大约100个多模态脑图像来验证所提出的方法。数据集FY2pFm;n：pYz;w21MR-T1和MR-T2阿尔采末视觉失认症数据集121MR-T2和SPECT胶质瘤数据集211MR-T2和SPECT转移性支气管源性数据集311MR-T2和PET轻度阿尔茨海默病数据集411MR-T2和SPECT运动神经元数据集511MR-T2和PET正常老化数据集611CT和MR-T2肉瘤数据集77MR-T2和SPECT亚急性卒中数据集8S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）1012457表2数据集1的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话100.11969.646385.59600.89100.49930.9004NSST_PAPCNN[12]98.51779.495385.10070.89080.51540.9925美国有线电视新闻网[11]99.13099.755984.80010.80160.55400.9649LLF_IOI[10]101.41959.815285.05460.93930.44840.9819LP_SR[5]101.56495.152880.88719.94730.55791.0099[15]第十五话98.41739.652685.42640.74290.50790.8071[9]第九话99.35636.177285.20010.73360.47711.0357[26]第二十六话98.34627.766084.63740.73320.53661.2219NSST_MSMG_PCNN98.40216.146485.28950.72320.50700.9130EJAYA_NSST100.21579.835985.59810.89090.57000.9011见图4。MR-T1和MR-T2的融合结果（a）MR-T1（b）MR-T2（c）NSST-CGWO（d）NSST-PAPCNN（e）CNN。(f)LLF-IOI (g)LP-SR.（h）NSCT-SF-PCNN。(i)MIF（j）MLCF_MLMG_PCNN（k）NSST_MSMG_PCNN（l）EJAYA_NSST（建议）。3.2.1. MR-T1和MR-T2MR-T1和MR-T2图像的融合如图4所示。大多数融合方法都是将源图像的特征和能量相结合进行融合。但是，这些方法会引入不需要的信息或删除所需的信息。很明显，LLF-10 I使图像过饱和。尽管LLF-IOI的定量指标较高，但它经常引入可能误导诊断的噪声伪影。这些噪声含量增加了融合图像的标准偏差。因此，视觉方面被给予更多的优先权，使得源图像的纹理和能量细节在最终图像中不会被掩盖。此外，这些方法往往不能准确地将源图像的强度和纹理细节传递到融合图像。MLCF_MLMG_PCNN和NSST_MSMG_PCNN显示出较差的对比度和较差的能量转换。通过视觉比较，CNN技术明显优于其他方法。但是，基于CNN的方法不能保持源图像的对比度。该方法突出了融合图像中所需的信息，同时保持了对比度和能量。此外，在所提出的方法中没有引入噪声伪影。与数据集对应的定量指标见表2。EJAYA_NSST在VIF和STD指标中名列前茅。3.2.2. MR-T2和SPECTMR和SPECT的融合结果如图5和图6所示。在这种类型的图像中，纹理和颜色保持对于疾病诊断至关重要。LP-SR、LLF-IOI等方法不能很好地反映SPECT图像的细节。此外，LLF-10 I在结果中引入了噪声伪影。虽然视觉效果看起来更容易接受，MLCF_MLMG_PCNN 和NSST_MSMG_PCNN ， MR 而CNN、NSST-CGWO、NSST-PAPCNN在保持源图像的功能信息方面表现得很好。然而，与所提出的方法相比，图像对比度差。EJAYA_NSST突出显示MR图像的结构信息，保留SPECT图像的功能细节。最新技术的定量指标见表3、表4、表6和表9。该方法在大多数数据集中具有较高的标准差和VIF。它是前三名的融合结果之一。3.2.3. MR-T2和PETMR和PET图像如图7所示，其中MR拥有大部分纹理细节，而PET包括功能信息。在融合过程中，保持融合图像中现有的颜色是困难的。很少有技术在引入失真的同时更有效地传播颜色。很明显，LLF-IOI拥有颜色细节，但在最终图像中添加了噪声。此外，模糊效应对融合图像的干扰也较大. LP-SR共享MR图像的纹理信息，但不能共享PET图像的功能细节。NSST-CGWO、NSST-PAPCNN和MLCF_MLMG_PCNN产生极好的可见结果，但缺乏对比度。CNN在保留源图像的细节方面效率不高。NSST_MSMG_PCNN会产生噪声和低对比度图像。该方法在对比度和保色性方面优于其他方法。 在表5和表7中，EJAYA_NSST增加了熵、边缘强度和标准偏差等指标的值然而，它仍然是三大技术之一S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）1012458图五. MR-T2和SPECT的融合结果。(a)MR-T2（b）SPECT（c）NSST-CGWO（d）NSST-PAPCNN（e）CNN。(f)LLF-IOI (g)LP-SR.（h）NSCT-SF-PCNN。(i)MIF（j）MLCF_MLMG_PCNN（k）NSST_MSMG_PCNN（l）EJAYA_NSST（建议）。见图6。MR-T2和SPECT的融合结果（a）MR-T2（b）SPECT（c）NSST-CGWO（d）NSST-PAPCNN（e）CNN。(f)LLF-IOI (g)LP-SR.（h）NSCT-SF-PCNN。(i)MIF（j）MLCF_MLMG_PCNN（k）NSST_MSMG_PCNN（l）EJAYA_NSST（建议）。表3数据集2的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话63.74116.083164.92070.61730.63690.9015NSST_PAPCNN[12]66.45906.372064.69100.617590.64590.9958美国有线电视新闻网[11]66.06646.342564.84790.62600.64860.9242LLF_IOI[10]68.73967.671065.19960.61830.55590.8276LP_SR[5]66.18446.349064.58250.57930.64760.9064[15]第十五话65.18876.214064.25230.48710.56630.7809[9]第九话65.24594.570664.84920.47260.61141.0311[26]第二十六话65.24844.109863.40790.47190.44450.8857NSST_MSMG_PCNN66.25123.826663.56810.47200.48750.7924EJAYA_NSST67.69056.378864.92340.61790.63920.98233.2.4. CT和MR图8示出了在合并CT和MR图像对之后的融合结果。与CT图像相比，MR图像包含大部分结构细节。所有方法都能较好地保留纹理特征。然而，大多数方法都难以保持合成图像中的原始信息。很少有技术能够成功地实现有效的结构转换，但却存在失真问题。在这组图像中，NSST-CGWO、NSST- PAPCNN保留了CT和MR图像的结构信息，而LLF-10 I具有内容，但通过在最终图像中呈现噪声而过度增强了结构细节。 CNN在传播原始源图像的信息方面并不有效。LP-SR、NSCT-SF-PCNN、MIF缺乏结构细节和对比度。NSCT-SF-PCNN保持了结构事实，但对比度不足。但是，该方法在保留信息和对比度的同时是非常有效的。NSST_MSMG_PCNN无法传输MR图像的纹理信息。在表9中，所提出的方法具有S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）101245表49数据集3的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话41.14214.421556.15610.86691.04680.3302NSST_PAPCNN[12]43.38994.146156.32240.87801.08700.2974美国有线电视新闻网[11]43.35724.217052.91240.88401.11710.3400LLF_IOI[10]53.67473.879157.99960.81951.08270.2770LP_SR[5]43.50674.239954.35150.87791.05120.3167[15]第十五话44.00493.911247.53550.86211.06620.2640[9]第九话44.15584.050551.25330.85351.14980.3023[26]第二十六话44.13453.803351.21300.84961.15590.3526NSST_MSMG_PCNN43.14374.032451.21460.84951.06920.3789EJAYA_NSST44.15254.420956.16080.88721.04730.3411见图7。PET和MR-T2的融合结果（a）MR-T2（b）SPECT-TC（c）NSST-CGWO（d）NSST-PAPCNN（e）CNN。(f)LLF-IOI (g)LP-SR.（h）NSCT-SF-PCNN。(i)MIF（j）MLCF_MLMG_PCNN（k）NSST_MSMG_PCNN（l）EJAYA_NSST（建议）。表5数据集4的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话78.83704.868677.61500.80980.48310.8621NSST_PAPCNN[12]81.45244.428178.14030.84620.47400.8640美国有线电视新闻网[11]80.25854.453455.96950.85930.26860.8933LLF_IOI[10]74.63073.626870.59260.82480.42280.8608LP_SR[5]83.26944.423075.83860.81780.43570.8336[15]第十五话76.84573.852673.91940.83140.43340.8615[9]第九话79.65154.262280.27850.86080.45030.8581[26]第二十六话79.91874.436668.64710.82860.36450.8732NSST_MSMG_PCNN79.76414.034763.86460.84880.34050.8715EJAYA_NSST80.86654.873377.74030.81120.41570.8616表6数据集5的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话62.96835.470262.13080.90790.93060.3630NSST_PAPCNN[12]66.98225.017962.25920.91961.02290.3137美国有线电视新闻网[11]67.30635.804662.05220.91900.96720.4942LLF_IOI[10]79.74614.942263.53140.88190.92620.2891LP_SR[5]67.65055.167862.83540.91951.08080.3400[15]第十五话65.86744.864652.03360.85500.83930.2644[9]第九话65.24885.095151.26060.83771.05440.3233[26]第二十六话65.22274.525751.21030.83280.93880.3757NSST_MSMG_PCNN[25].66.23424.793050.21200.83270.85880.3672EJAYA_NSST67.74155.490262.81880.91150.93090.3675S. Shilpa，M.Ragesh Rajan，C.S.Asha等人工程科学与技术，国际期刊35（2022）10124510表7数据集6的平均质量指标。边缘熵STD佩尔VIFFMI[23]第二十三话55.28214.989154.53530.87430.94890.3208NSST_PAPCNN[12]58.41354.693954.14280.88120.98930.2855美国有线电视新闻网[11]57.54704.238049.57120.89121.09680.2565LLF_IOI[10]69.16464.693855.48390.84090.92120.2620LP_SR[5]58.35514.58475