医学图像配准与融合的挑战与工作

埃及信息学杂志（2016）17，99开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com审查医学图像配准与融合Fatma El-Zahraa Ahmed El-Gamal，Mohammed Elmogy*，Ahmed Atwan曼苏拉大学计算机与信息学院，P.O. 35516，曼苏拉，埃及接收日期：2015年8月11日;接受日期：2015年2015年10月21日在线发布摘要近年来，医学图像配准与融合技术被认为是医学专家的重要助手。这些过程的作用来自于它们帮助专家诊断、跟踪疾病演变和决定必要治疗的关于病人的情况因此，本文的目的是集中在医学图像配准以及医学图像融合。此外，本文还介绍了常见的诊断图像以及它们各自的主要特点该文件还illustrated-asthma最知名的工具包，已开发，以帮助与配准和融合过程的工作。最后，本文提出了当前的挑战与工作与医学图像配准和融合，通过说明最近的疾病/病症，通过这样的分析过程中解决©2015制作和主办由Elsevier B.V.代表计算机与信息学院开罗大学。 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http：//creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言. 1002.一般图像融合过程1012.1.图像配准1012.2.特征提取1032.3.决策标签1032.4.语义对等103*通讯作者。电 子 邮 件 地 址 ： fatma. hotmail.com （ F.E.-Z.A. El-Gamal ） ，melmogy@mans.edu.eg（M. Elmogy），gmail.com（A. Atwan）。开罗大学计算机和信息系负责同行审查。http://dx.doi.org/10.1016/j.eij.2015.09.0021110-8665© 2015由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier关键词医学图像融合;医学图像配准;医学成像模式;基于疾病的配准/融合100 F.E.- Z.A. El-Gamal等人2.5.辐射校准1032.6.图像融合1033.医学图像配准1033.1.专业性1043.2.登记依据1043.3.转变的性质1053.4.转换域1073.5.互动1073.6.模式1073.7.被摄体1084.医学图像融合1084.1.像素融合方法1084.2.子空间方法1094.3.多尺度方法1094.4.学习技巧1094.5.同时真实和性能水平估计1095.医学成像模式和图像融合1095.1.放射学1105.1.1.X射线计算机断层扫描1105.1.2.磁共振成像1125.1.3.发射计算机断层扫描1125.1.4.超声成像1125.1.5.其他医学成像模态1125.2.可见光摄影1135.2.1.皮肤病学1135.2.2.内窥镜检查1135.2.3.其他器官/专业1135.3.印刷信号/波1135.3.1.心电图（ECG）1135.3.2.脑电图（EEG）1145.3.3.肌电图（EMG）1165.3.4.其他方法1165.4.显微镜1165.5.3D重建1166.软件工具1166.1.Insight Segmentation and Registration Toolkit（ITK）1166.2.Elastix 1166.3.高级标准化工具（ANTs）1166.4.NiftyReg 1166.5.医学图像处理，分析和可视化（MIPAV）1166.6.医疗成像工具包（MITO）1186.7.OsiriX 1187.基于当前疾病的登记/融合工作1187.1.医学图像配准研究1187.2.医学图像融合研究1208.讨论1208.1.医疗模式挑战1208.2.方法/技术挑战1208.3.数据集挑战1208.4.人类面临的挑战1219.结论121参考文献1211. 介绍图像分析的最终目标是提取包含在处理后的图像中的有用的潜在信息。因此，许多过程可以发生，如图像配准和图像融合。图像配准的目的是将图像相对于彼此对齐。该过程的输入是两个图像：原始图像被称为参考图像，而将与参考图像对准的图像被称为感测图像。ðÞ医学图像配准和融合101此步骤的结果可以帮助进一步的分析过程，包括图像融合。图像融合是在输入图像的基础上产生信息量更大、描述性更好的图像的过程。实际上，图像融合和图像配准被认为是一个重要的助手，在许多应用领域产生了宝贵的帮助。生物医学工程中的医学图像、遥感中的天气预报和机器视觉领域中的地理信息系统（GIS）是这些应用领域的一些例子[1]。随着医学影像技术的飞速发展，对人体解剖结构和功能进行高分辨率、高信息量的描述成为可能。这种发展促进了医学图像分析领域的研究。此外，医学图像在临床应用中的重要性日益增加，对该研究领域产生了直接影响[2]。在过去的二十年里，医学图像融合领域发表的科学论文数量不断增加。这方面的增长主要是由于医疗诊断设备的广泛使用、对基于医疗诊断的技术的日益信任以及低成本计算和成像技术的快速发展。此外，这些技术的可用性以及简化使它们对医务人员更友好[3]。由于医学图像配准和融合程序在医学领域的重要性，本综述的目的是关注它们因此，本文的结构安排如下。首先，第2节描述了常见的图像融合过程，包括配准过程作为执行融合过程时的必要步骤。第3节和第4节着重于医学成像配准以及融合过程，并介绍了这些过程下的方法类别。在第5节中，介绍了常见的医学成像模式以及与每种模式相关的主要特征、优点和缺点。第6节说明了一些著名的工具包，这些工具包是为了帮助医学图像配准和/或融合领域的开发人员和研究人员而开发的。第七部分介绍了医学图像配准与融合的研究现状.它基于身体器官相关疾病/病症进行分组，以显示此类医学分析过程在不同医学领域的影响。第8节讨论了当前医学图像配准和融合的挑战，为那些对这些研究领域感兴趣的研究人员提供研究领域。最后，第9节总结了本文的主要观点。2. 图像融合的一般过程如前所述，图像融合过程的目的是构建更详细和更有代表性的输出图像。一般来说，图像融合过程包括一些步骤，有助于实现这样的目标。图1显示了图像融合过程中涉及的主要步骤[4]。对于医学图像融合，在实施这些步骤时存在一些考虑。本节的目的是说明一般的图像融合过程的主要步骤。接下来的章节将重点介绍配准和融合步骤，以及在医疗领域应用这些步骤的考虑因素。2.1. 图像配准图像融合过程的第一步是对输入图像进行配准。图像配准被定义为在参考图像的帮助下映射输入图像的过程。这种映射的目标是基于某些特征匹配相应的图像，以辅助图像融合过程。通常，配准框架被认为是一个优化问题，其目标是最大化相似性或最小化成本。换句话说，在配准过程中，对输入（目标）图像It应用参数变换Tgt：t，以便最大化它们与参考图像Ir的相似性。重要的是要注意，目标相似性取决于定义的相似性（成本）函数P：。优化目标可以表示为等式（Eq. （1）[5]：Tg：± 1arg maxqIr;TgIt± 1 argT：g图 2 [5]中，通过配准计算机断层扫描（CT）肾脏图像来呈现配准过程的示例，这些肾脏图像又表示一种放射学医疗模式，如第5节所述。为了配准输入图像，它们必须通过图1所示的一些子阶段。3 .第三章。图 1图像融合过程的主要步骤。102F.E.- Z.A. El-Gamal等人图 2图像配准示例：从左到右-参考、目标和配准的CT肾脏图像。图 3图像配准步骤。相似性/不相似性度量是第一步，其中输入图像相对于彼此进行比较，以测量它们之间的相似性。有效的测量必须能抵抗噪声和背景变化。它提供了有效的，高效的计算结果以及有效地处理语义图像意义[6]。然后，应用点检测器来描述携带关于场景的关键信息的控制/关键点医学图像配准和融合103结构[7，8]。检测到的点应该独立于任何改变，包括噪声、模糊、对比度和几何变化。在检测到控制点之后，下一步是获得代表处理图像中的关键信息的这些点。提取这些点可以手动或自动完成[9]。所提取的点可以是简单的点，例如包括均值和方差的统计点。此外，它可以是复杂的，例如纹理点[10]。无论提取的点的类型如何，它们都必须保证某些特性。这些特征是对空间相邻点的区分、对原始图像变化的不变性、对噪声的鲁棒性、计算效率和可比性，以便于检测其他图像中的对应点[11]。然后使用图像描述符来表示提取的临界点，以帮助估计图像之间的相似性。因此，所有关键信息以及任何其他内容信息也应包括在图像描述中。其目的是促进除图像内容外的视觉查询的可访问性[12]。减少用于进一步识别或匹配过程的提取点的数量是点选择步骤的目的。所选点必须具有两个特征[7]。首先，它们必须相互独立，以避免冗余信息。第二，它们必须提供关于所识别的对象的完整信息，以确保在区分不同对象时最少模糊。然后，应用点模式匹配方法，旨在建立图像的控制点之间的对应关系。目的是确定正确和不正确的对应关系。一些控制点可能是异常值，而其他控制点可能由于噪声或其他因素而略微偏离其真实位置[7]。在接下来的步骤中，应用鲁棒参数估计和变换函数。这样的函数的目的是使用控制点的所确定的对应性来估计在图像配准中使用的变换函数的参数。许多估计器可用于执行所需的参数，例如普通最小二乘（OLS）估计器、加权最小二乘（WLS）估计器、尺度（S）估计器等[7]。在定义相应控制点的坐标之后，变换函数估计图像之间的几何关系。可以根据需要配准的图像的几何形状对变换函数进行分类，但由于每个函数的优缺点，很难找到一个对所有类型图像都更好的单一变换函数。在transformation函数中有很多理想的属性，如[7]：单调性：确保变换函数不会产生高波动和超出控制点。适应密度和点接下来在医学配准部分中给出了转换类别的详细描述。在图像重建步骤中，扫描参考图像，并且对于该图像中的每个点，将感测图像确定。已发展出各种方法来估计所需的坐标。通常，速度和精度是评价这些方法性能的主要关键因素[7]。最后，图像合成步骤将配准的图像组合成称为合成图像或马赛克图像的较大图像。由于采集过程中的环境和传感器参数，配准图像的重叠区域可能具有不同的坐标2.2. 特征提取在该步骤中，配准图像的特性特征被提取并为每个输入图像产生一个或多个特征图[4]。2.3. 决策标注基于给定的准则，通过应用决策算子产生一组决策图，该决策算子旨在标记正则图像2.4. 语义等价在某些情况下，所获得的特征/决策图可能不涉及相同的对象/现象。在这些情况下，语义等价被应用于将这些映射链接到共同的对象/现象，以促进融合过程[13]。重要的是要注意，对于从相同类型的传感器获得的输入，这样的过程是不必要的。2.5. 辐射定标在该步骤中，将空间对齐的输入图像和特征图转换为通用尺度，以产生通用表示格式，作为即将到来的融合步骤的输入[13]。2.6. 图像融合最后一步是将结果图像组合成单个输出图像，该输出图像包含比任何输入图像更好的场景描述。图像融合的最终好处是输出图像中包含的信息的质量。其他好处包括[4]：扩展操作范围，扩展空间和时间覆盖范围，减少不确定性，提高可靠性，实现强大的系统性能，以及更复杂地表示信息。3. 医学图像配准如前所述，配准过程的最终目标是将一些感测图像中的对应特征相对于参考对准。这样的过程对于实现聚变过程是必不可少的。其重要性在于主要基于这些图像的对应特征来执行的图像合并/融合。一直以来，提出了各种方法来执行图像对准配准任务。这些方法可以根据标准的数量进行分类，如图4所示[15]。的●●104F.E.- Z.A. El-Gamal等人图 4注册方法的分类标准。本节的目的是更详细地描述这些注册类。3.1. 维度维度标准分为空间维度和时间序列维度。对于空间维度，图像维度是指图像空间的几何维度的数量。在医学应用中，这些维度通常是三维的，但有时也可以是二维的[14]。在配准过程中，可以通过图像的坐标系或物理空间和输入图像来计算所需的变换换句话说，可以基于一组对应点对或一组对应点对来完成配准。[14-16]对应的表面对I. 2D到2D：如果图像采集严格控制图像的几何形状，则可以简单地通过旋转和两个正交平移来此外，可能需要校正从真实对象到每个图像在实践中，控制图像采集的几何形状通常是一项非常困难的任务。II. 3D到3D：这里，配准过程基于假设患者的内部解剖结构在器官之间的空间关系中没有失真或改变。通常，3D到3D配准用于将断层扫描数据集或单个断层扫描图像与任何空间定义的信息对齐。重要的是要注意，确定扫描图像的比例需要仔细校准每个扫描设备。III. 2D到3D：当需要建立3D体积和投影图像（例如X射线或光学图像）之间的同时性时，进行配准过程。此外，当来自跟踪的B模式超声、介入CT或介入MR图像的一个或多个切片的位置要关于3D体积构造时，需要它们。重要的是要注意，关于3D到3D配准，2D到2D配准，它被认为是复杂性较低、实现较容易和速度较快的。此外，MR和CT图像的多个3D体积的精确配准被认为是最常见和充分发展的方法。此外，3D到3D配准与断层摄影数据集或当单个断层摄影图像配准到任何空间信息源时产生准确的配准结果。最后，在远离手术和放射治疗的手术情况下应用2D到3D配准的计算复杂性和速度不被认为是问题。IV. 时间序列：基于时间序列的配准处理在不同时间实例上对齐相同或不同模态的医学图像它有助于监测疾病进展和评估治疗反应。因此，这可以提供增加精度以及治疗换句话说，配准在不同时间间隔期间采集的图像有助于各种研究，包括组织灌注、血流和代谢或生理过程以及其他动态过程。例如，在放射治疗期间应用这种类型的配准除了估计患者在治疗下的治疗反应之外还有助于量化特定的3.2. 登记依据该组下的方法根据配准基础的性质分为外在和内在方法[16]。(a) 外部配准方法：在这里，清晰可见的人造物体被附着到患者身上，必须在所有采集的模态中准确检测。医学成像中常用的附加外部物体的示例有[13]：立体定向框架严格加强到患者● 螺钉安装标记● 标记卡在患者皮肤上。●医学图像配准和融合105计算效率和自动化简单是这些配准方法的主要特点。此外，这些方法不需要复杂的优化算法，因为容易计算的变换参数[16]。外部方法不包括关于患者的图像信息此外，配准变换性质在许多时候限于刚性变换（仅应用平移和旋转另一方面，将这些方法应用于具有低（空间）信息内容的图像需要额外的空间信息。由于严格的转换限制和各种实际考虑，这些类型的方法高度限于脑部和骨科成像[16]。(b) 固有配准方法：此类方法基于患者提供的信息，例如明显的突出标志、二进制分割结构或体素图像强度[16]。I. 基于地标的配准方法在这里，任何可识别和突出的元素，如一个图像中的表面，曲线和点地标[17]，都与另一个图像中的相应元素相匹配。它有助于定义图像上发生的变换[16]。随后，当点界标对明确对应时，应用插值来推断剩余图像体积与匹配界标的对应关系[18]。通过分析体素强度在整个图像中的变化，可以从几何学或解剖学上识别所使用的标志。此外，地标可以手动定义。在地标的手动识别中，重要的是将位置的准确性测量纳入这种配准基的好处是这些元件确保了映射的生物有效性。它允许基于基础解剖学或生理学的转换解释[15]。II. 基于分割的配准方法在这些方法中，刚性或可变形模型是配准过程的基础。在刚性模型中，从两个图像（源图像和目标图像）中提取表面，其用作注册过程的输入。相反，在可变形模型中，从一个图像中提取表面或曲线，通过弹性变形来拟合另一个图像[16]。重要的是要知道，刚性为基础的方法比变形为基础的方法更简单。变形方法的复杂性是由于代价函数中的一些正则化项。 因此，我们认为，这些方法是基于这样的假设，即正确配准的图像将是最相似的基于此假设，测量输入图像的强度相似性以指导变换调整，直到最终达到最大相似性 。 常 见 的 基 于 体 素 的 相 似 性 度 量 是 均 方 差（MSD）、归一化相关（NC）、互信息（MI）和归一化互信息（NMI）。当输入图像具有相同的灰度级结构时，可以在单峰配准中的输入图像之间利用平方灰度值差之和当不存在相同的灰度级结构但至少假定灰度级之间的线性依赖性时，可以应用互相关（CC）。在多模态配准中，由于没有给出线性相关性，因此必须使用基于熵的测量作为MI。MI和NMI是最常用的相似性测量，因为它们具有产生令人满意的准确、稳健和可靠结果的优势。然而，基于MI的方法被认为对实施决策具有高度敏感性。特别地，概率分布的估计和帧间预测器的选择高度影响配准过程的准确性以及鲁棒性。重要的是要注意，基于强度的相似性度量发生在对应像素之间，而不考虑由于假定空间静止强度关系而导致的空间像素的依赖性。当需要配准两个图像时，这导致了针对空间变化强度的失真破坏的措施四. 基于混合的配准方法这些方法结合了几何和强度特征，目的是产生更稳健的方法，在困难的配准问题中建立更准确的对应关系。3.3. 转变的性质所有的映射方法都属于刚性（全局）和非刚性（弹性/局部）变换这两个基本范畴之一在刚性变换方法中，整个2D或3D图像被变换，例如以同样的方式平移、旋转、缩放和/或共享每个描绘的对象，从而保留距离、线和角度[5，19]。在数学上，这些变换可以表示为Eq.（2）最多有四个参数wij[19]。 图 5提出了实际情况下，这些全球性的转换与T g。严格的方法是最流行的方法，0x010w11宽12010x1长期以来，在临床应用此外，本发明还提供了一种方法，由于执行分割过程相当容易计算复杂度较低，B@y0CA¼B@w21W220CAB@yCA210 011方法很受欢迎。因此，许多后续论文提出了自动分割步骤，以增强优化性能或扩展方法[16]。三. 基于体素属性的配准方法在这些方法中，使用数学或统计标准来匹配每个图像中的强度图案。此外，刚性方法包括仿射变换、相似性变换和透视投影[5]。图6示出了这样的配准方法的示例。仿射变换可以定义为独立的平移、旋转、缩放和共享。它保留了线的平行化和相交性质，但不保留这些线的角度和长度[5，19]。等式（3）及（4）B C B CB CB@z0CAB@w31 w32 w33 w34CAB@zCA01天y0 0 10ay 00 01sinhcosh00 0 1fy1 00 1 0A@yA106F.E.- Z.A. El-Gamal等人图 5常用的刚体变换方法，具有坐标平移步骤：dx和dy，旋转角度：h，缩放因子：ax和ay和剪切因子：fx和fy[5]。图 6刚性变换的类型：从左到右-参考图像和目标图像的相似性，仿射和投影变换[5]。分别表示2D和3D中的仿射变换0x010w11W1213岁以下儿童宽1410x1[5]的文件。相似变换是仿射变换的特殊情况年0月21日W22W23w24 y¼ð4Þ平移、旋转和均匀缩放ax¼ay。 最后，0 0 0 1 1透视投影是一种在将线映射到线时不保留线属性的变换类型关于这些方法的更多细节可以在[5]中找到。在医学图像配准中，刚性变换类型的示例包括当颅骨或硬脑膜尚未打开时的骨或脑配准。此外，它还可以应用于0x010w11宽12宽1310x1近似地对齐包含小变化的图像@y0A¼@w21W22年23岁10 011在物体形状中严格的方法在医学上很流行在许多情况下，由于刚体约束的图像配准医学图像，导致一个很好的近似。0@1 0dx1A0@ax0 01A0@cosh-sinh01A此外，这类方法包括很少的参数要确定，最后许多注册技术不准备应用更复杂的转换[15]。0@10 01A0@1 fx010x1虽然刚性方法对于在图像由于刚体的存在，各种身体器官在空间0 0 10 0 11ð3Þ不同的几何差异，反过来又需要更灵活的方法 到 完成 的 登记 任务 弹性保持角度但不保持长度的地层线和点的位置由于只应用÷×1医学图像配准和融合107方法是通过空间变化局部变形配准输入图像来提供这种可伸缩性的方法[5]。 图 7给出了弹性（局部）变形的一个例子。该图显示了这类方法如何比刚性（全局）方法更容易实现，但同时也显示了此类方法的复杂性可以通过应用径向基函数（RBF）、物理建模的连续方法或基于大变形的模型来完成这种灵活的图像变换上述方法的进一步描述通过Khalifa et al. [5]的文件。目前，大多数配准工作包括非刚性配准技术的提议，其应用范围从建模、组织变形到解剖结构的变化。值得注意的是，处理非刚性配准仍然被认为是一个开放的研究领域。其原因是由于在变形过程中需要平滑和高自由度。已经出现了广泛的算法来执行非线性医学图像配准。然而，需要进一步研究如何提高精度，提高速度并检查从配准过程中获得的结果[15]。3.4. 变换域图像的坐标变换可以是全局的，也可以是局部的在全局情况下，利用对整个图像有效的映射参数来执行变换在局部情况下，图像的一小部分被变换，其中局部映射函数参数仅对所选控制点位置周围的小块有效[15]。3.5. 相互作用基于用户与配准过程之间的关系，图像配准方法中存在三个层次的交互。交互式算法是用户使用某些软件通过向其提供初始变换参数估计来完成配准任务的算法。相反，自动算法是在没有任何交互的情况下工作的算法。最后，在半自动算法中，用户执行算法通过分割数据或将算法转向所需的解决方案来初始化[15]。最近，在实现最小交互与速度、准确性和鲁棒性之间存在权衡。在某些方法中，用户的交互作用会缩小搜索空间，拒绝不匹配，加速优化过程。在相反的方向上，由于缺乏量化或对交互水平的控制，进一步的人为交互将使验证过程复杂化[15]。在外部方法中，由于标记物具有可见性和易于检测的特点，这些方法通常属于自动类型。尽管如此，用户仍然可以提供种子点或确定初始位置。基于体素或几何标志的方法被视为自动方法，而基于固有解剖标志和基于分割的方法被视为半自动方法，因为用户必须初始化该过程[15]。3.6. 方式根据应用于配准的不同类型的模式，有四种配准任务。在单模态任务中，配准过程发生在相同医疗模态的图像之间，而在多模态任务中，配准过程中涉及的图像属于不同模态[20]。还有模态到模型和模型到模态配准任务。在这些类型中，仅包括一个图像，而模型或甚至患者表示其他配准输入。模型到模态任务经常应用于术中配准技术[21]，而模态到模型任务可以通过收集统计数据来帮助组织形态学[22]。与其他类型相比，单通道和多通道任务是最著名的类型。单模态任务有助于处理监测生长、验证干预、比较静息-应力、减影成像和更多应用的应用[23，24]，而多模态任务有助于通常属于诊断概念的大量应用解剖-解剖和功能解剖配准代表了可以进行多模态任务的主要类别。这些类别之间的区别在于，图 7非刚性（局部）变形示例[19]。108 F.E.- Z.A. El-Gamal等人配准的目的是组合显示组织形态的不同侧面的图像，而此外，多模态配准任务在医学应用中发挥着重要作用，图像融合将在本综述的前面章节中进行更详细的描述。这些应用包括3D图像的重建、对象识别和医学图像分析。尽管多模态配准任务很困难，因为从不同模态获得的图像可能具有极端的强度映射差异，但这种配准类型会产生显示生理和解剖信息的图像。反过来，这可以帮助临床诊断和治疗[253.7. 主题本课题为图像配准方法的划分提供了另一个标准。是指其图像将被配准的患者。因此，配准方法可以分为图谱内、图谱间和图谱受试者配准。这种划分是基于所涉及的图像是否属于同一患者、不同患者，或者其中一个图像属于患者而另一个图像从信息数据库获得[15]。(a) 基于受试者内的配准方法：它们通过在不同时间使用相同模态从同一受试者采集的图像的准确对齐来帮助实现可观的临床效益。它们可以简化结构的任何强度或形状变化的检测[16]。此类的方法大多数常用于诊断、手术和干预程序[16]。它们主要用于脑部连续MRI的对齐[28]。(b) 基于受试者间的配准方法：这里，配准过程中涉及的图像属于不同的患者。因此，这种类型的配准通常用于确定形状和尺寸变化以及更大的拓扑变化[16]。(c) 基于Atlas的登记方法：在这些方法中，输入图像之一是从单个患者收集的，而另一个是通过经由许多对象成像获取的图像信息的数据库构建的。因此，这类配准有助于获得关于特定结构的尺寸和形状的统计数据。因此，这些统计数据有助于发现异常结构，然后可以帮助将分割从一个图像转移到另一个图像[29]。4. 医学图像融合如第2节所述，图像融合是旨在通过将输入图像彼此合并来产生更具代表性的图像的过程提出了各种方法来执行所需的融合目标。图8示出了这些方法的主要类别，而即将到来的小节呈现了每个方法的简要概述。4.1. 像素融合方法在这些方法中，使用简单的逐像素操作来执行融合任务。这些运算包括简单的算术运算符，如加、减、除和图 8图像融合方法的分类。2fg01L医学图像配准和融合109乘法以及最小值，最大值，中位数和秩[4]。此外，它还包括复杂的算子，例如被视为概率模型的马尔可夫随机场（MRF），其中局部条件概率用于定义这种模型。Li[30]介绍了在图像分析中应用MRF的详细数学描述虽然这类融合方法简单，但它往往面临一定的限制，包括图像的对比度降低。尽管有其局限性，这些方法在某些情况下提供了良好的结果，例如当输入图像具有整体高亮度和对比度时[31]。4.2. 子空间方法这些方法是统计技术的集合，可以消除输入图像之间的相关性。换句话说，由于以下原因，高维输入图像被投影到低维空间或子空间上[4]：可视化：图像维度的减少有助于理解输入数据的内在结构。泛化：在较低维度上投影图像允许更好的泛化。计算：在低维空间中处理图像比在高维空间中处理图像更快，需要的内存更少。模型：表示较低维度的数据可以用作其右侧的模型。主成分分析（PCA）、独立成分分析（ICA）、非负矩阵分解（NMF）、典型相关分析（CCA）和线性判别分析（LDA）是众所周知的子空间方法的示例[4]。4.3. 多尺度方法多尺度也称为图像的多分辨率分析（MRA），其由变换每个输入图像I_k_k的技术的集合组成，使得其可以以多分辨率表示规模的方式。yk;y k;. . . 我知 道了。想象一下，生成Ik 个图像的方法是对基础图像Iω应用K个不同的变换。为了使集成学习有效，Ik图像必须是独立的，并且应该突出Iω中的不同特征。Mitchell[4]详细描述了可用于实现此目的的常见图像变换。在演示了从基图像Iω空间和时间对准Ik图像、特征图像或决策图之后，可以对Ik和特征图像应用基于像素的融合算子，例如算术平均或修剪平均。对于决策图，可以使用多数投票或加权多数投票规则。4.5.同时真值和性能水平估计同时真值和性能水平估计（STA-PLE）算法是其中期望最大化（EM）算法用作将大量分割图像融合在一起的基础的类别EM算法背后的主要思想是在强大的迭代基础上评估给定的一组不完整数据的潜在分布的最大似然。在STAPLE算法中，EM算法有助于迭代估计单个分割的质量。然后考虑这些单独分割的质量，以通过对由更高可靠性分割算法做出的决策比由不太可靠的算法做出的决策进行加权来计算最终分割。重要的是要注意，尽管有不同的图像融合算法，但这些算法中必须存在一些主要要求，包括[32]：模式保护必须确保输入图像中的所有相关信息都保持在融合版本中。无干扰：不应产生任何可能混淆人类观察者或后续图像处理阶段的伪影或不一致。不变性：应该是不变的旋转和移位的变化。时间稳定性：融合过程的输出应该是时间稳定的。● 时间一致性：输出必须包括灰度级图像11的分解序列可以被布置成金字塔，其中底部包含与输入图像I相同的图像I0。然后，在接下来的l个级别，通过应用低通滤波以及对图像Il-1进行子采样来重建Il个图像[4]。离散小波变换（DWT），双树复小波变换（CWT）和非抽取小波变换（UDWT）代表属于这类方法的方法的示例[4]。4.4.包围学习法包围学习的目的是通过组装弱预测器或分类器来构建准确的预测器或分类器。在图像融合的上下文中，集成学习表示K个图像I k，k 1; 2;. . ;K都是从从相同的基本图像Iω。这里的目的是获得实质上改善质量的融合图像。的最简单方法存在于输入序列中。5. 医学成像模式和图像融合存在各种医学成像模态，其中每种模态具有其独特的特征。它们可以为进一步的加工程序（包括熔融过程）增加有用的信息源。 图 9说明了基于ImageCLEF 2015 [33]的医学成像模式的分类。如图9所示，诊断图像分为五类。这些类别中的每一个都使用不同的医疗技术，因此产生不同的输出图像。尽管共享整体类别结构，但每个图像都有其有助于产生不同类型信息的特征。本节旨在描述这些图像模态的结果信息，以处理配准和/或融合过程。因此本节●●●●●●●●110F.E.- Z.A. El-Gamal等人图 9医学成像模式分类。根据输出图像的性质分为五个子部分这些子部分是放射学、可见光照相术、打印信号（波）、显微镜和3Dremonstration。5.1. 放射学术语放射学是指医学的分支，其中成像技术被应用于诊断和治疗的目的。放射学的概念分为两类：诊断放射学和介入放射学[34]。诊断放射学，顾名思义，是对身体内部结构进行成像以用于不同诊断目的的类别，包括症状解释、治疗进展或疾病监测。另一方面，介入放射学是放射学类别，专业人员使用成像方式来帮助进行治疗。包括插入导管在内的现代医学程序[34]。各种成像模式可以帮助放射科医生进行诊断或介入手术 。 X 射 线 、 计 算 机 断 层 扫 描 （ CT ） 、 磁 共 振 成 像（MRI）、超声（US）、单光子发射计算机断层扫描（SPECT）和正电子发射断层扫描（PET）是最常见的辅助成像模式的示例。此外，表1显示了这些医学成像模式的比较，而这些成像模式的简要介绍以及与每种成像模式相关的主要应用领域见以下小节[355.1.1. X射线计算机断层扫描X射线计算机断层扫描（CT）或计算机轴向断层扫描（CAT）是采集内部解剖结构的横截面图像的医学成像模态。身体的结构[42]。顾名思义，CT图像属于X射线成像的范畴。因此，在进入CT图像之前，重要的是描述X射线医学模态。X射线成像模态被认为是最古老的医学成像模态，出现于1895年。通过将患者定位在X射线管和X射线探测器之间来执行X射线成像的形成。 X射线管的目标这些X射线的主体是患者，患者将吸收这些射线，以在另一侧重建通过X射线探测器测量的射线。X射线探测器上的测量值简单地表示患者身体每个扫描点的衰减程度[34，43]。X射线成像最常见的应用 此外，这类医学成像也可用于使用胸部X射线的肺炎检测[34]。X射线图像和CT扫描之间的区别在于，X射线图像中产生的X射线波是沿一个方向发射的，而在CT图像中，X射线是沿所有可能的角度和距离发射的[34]。CT扫描的结果是一系列2D轴向切片，这些切片依次累积形成患者的3D表示[42]。CT医学成像模态经常用于结肠健康评估（CT结肠造影、肺栓塞和血管状况/血流（CT血管造影））。它还用于骨损伤和心脏炎以及检测肿瘤的存在、大小和位置[44]。在医学图像融合中，CT图像有助于各种应用，包括3D肿瘤模拟、脑诊断/治疗、手术计划、癌症诊断/治疗、肿瘤检测、3D Voxel融合、脑深部刺激、远程医疗和分类融合。医学图像配准和融合111表1主要诊断放射学影像的比较。超声例如主要特征使用X射线扫描身体器官，并通过计算机生成一系列基于横截面的图像通过施加磁信号产生示踪剂用于疾病诊断的核成像技术实例一种基于非侵入性的技术，其中构建了人体内放射性示踪剂的横截面图像基于声波的技术，具有较高的时间频率，能够通过一组组合方法产生定量和定性诊断信息优势决议– Effectively used todistinguish betweenbenign andmalignant tumors insingle- 图像无背景– High spatial- 检测身体组织之间的细微差异– Capable ofshowing– Can imagebiochemical andphysiological– Confirmneurodegenerative– Low– Tomographicacquisition– Does not–低于PET）– Safety高空间分辨率- 未观察到短期影响- 高穿透深度- 高穿透深度– Clinical- 高穿透深度– Clinical–注射）– 临床翻译– 易于使用– 无辐射缺点–磁场干扰- 有限的空间分辨率- 产生模糊效应– Operator––- 成像仅限于血管室- 每次检查的高剂量–吞吐量–– Difficult image of bone–- 有限的空间分辨率– Limited- 组织非特异性– 软组织对比度– Motion artifacts arethe serious– 分辨率低于CT和MRI– 口译是非常具有挑战性的– PET中使用的放射性成分只允许患者接受有限的手术–– 在从组织到气体或从气体到组织时，反射非常强烈（接下页）SPECT宠物MRICT表1（续）CT对比度MRI–宠物–SPECT–超声–应用–– 解剖– 功能– 分子– 中间成本– 功能– 代谢– 分子– 成本高–– 解剖– 功能成本– Intermediate– High– Low辐射-源类型- 电力&磁场（非电离）-正电子（电离）-光子（电离）-声波（非-电离）112 F.E.- Z.A. El-Gamal等人5.1.2. 磁共振成像磁共振成像（MRI）是医学成像技术领域的主要制造[42]。MR成像技术不依赖于X射线及其高能光子特性，而是依赖于强磁场中质子的取向，其中共振射频波可用于操纵取向质子。然后，测量质子返回到其平衡状态[43]。所产生的输出图像显示了人体的详细描述，以及在非侵入性基础上对比无与伦比的软组织。尽管MR成像技术比CT更适合对比软组织，但它需要更多的采集时间，除非经常使用图像质量较差的特殊高速协议[43]。重要的是要注意，CT和MR图像用于获取身体的结构信息。这种特性是由于他们所基于的辐射的性质和他们的工作方式对于CT图像，情况一直如此另一方面，MR成像模式具有另一类成像，称为功能性MRI，旨在提取被扫描身体的内部功能信息。提取的功能信息代表血氧水平，因此代表身体的代谢活动[43]。MR成像模式被认为是主要的临床医学模式，其有助于许多诊断领域，包括血管、异常组织、乳房、骨盆、骨骼和关节。诊断区域还包括脊柱/肌腱损伤、韧带撕裂、胸部和腹部（心脏、肝脏、肾脏和脾脏）[44]。对于医学图像融合，在MRI影响发生的不同人体器官上有密集的应用这些应用包括前列腺研究、图像再生、肺/肝诊断、组织分类、癌症评估和诊断、手术计划和培训、可视化、MRI引导治疗和3D肿瘤模拟[3]。5.1.3. 发射计算机断层扫描发射计算机断层扫描（ECT）不是像许多其他模态那样处理解剖结构，而是专注于生理功能和与这些功能相关的映射的医学成像模态的ECT的主要目的是确定患者体内的同位素化合物分布单光子发射计算机断层扫描（SPECT）和正电子发射断层扫描（PET）是ECT成像模式的应用。SPECT技术应用放射性同位素，其衰变发射单个伽马光子，而PET技术采用同位素，其中在每次湮灭中产生两个光子[42]。SPECT技术广泛应用的主要应用是研究组织和器官的血流。这些应用还包括[3]：脑和癌症的诊断和治疗，肝脏诊断，多模态图像融合，可视化，模式识别和活检。对于PET，该技术主要用于脑部诊断和治疗的放射学研究[3]。其他应用包括[3]：癌症治疗、图像分割和集成、3D肿瘤模拟、肿瘤检测和治疗、远程医疗和胰腺肿瘤表征。5.1.4. 超声成像超声（US）是一种基于声波的技术，具有很高的时间频率。它能够根据一组组合方法产生定量和定性诊断信息。US技术可用于许多应用，例如癌症诊断、检测和治疗、适形放射治疗、图像融合、肝肿瘤诊断和前列腺活检[3，42]。5.1.5. 其他医学成像模态红外、荧光、微波和显微