基于特征的多模态视网膜图像配准的深阶模式表示方法

5077一种用于多模态视网膜图像配准的深阶模式表示Jimmy Addison Lee1岁，Peng Liu2岁，Jun Cheng1岁，3岁，Huazhu Fu4岁1中国科学院慈溪生物医学工程研究所2电子科技大学大数据研究中心，中国3UBTech Research，中国4Inception Institute of Artificial Intelligence，UAE摘要本文提出了一种新的基于特征的方法，该方法建立在卷积神经网络（CNN）的基础上，以学习多模态视网膜图像配准的深度表示。我们创造了算法深度步骤模式，简称为DeepSPa。大多数现有的基于深度学习的方法都需要一组手动标记的训练数据，并具有已知的相应空间变换，这限制了训练数据集的大小。相比之下，我们的方法是完全自动的，并且可以很好地扩展到不同的图像模式，无需人为干预。我们从多个视网膜成像模式中血管连接处形成的连接边缘补丁内的简单步骤模式我们利用CNN来学习和优化用于图像配准的输入补丁。基于一对图像的CNN的全连接层的输出可能性来估计空间变换。该算法的主要优点之一是对由于采集方式不同而广泛存在于视网膜图像中的非线性强度变化具有鲁棒性。我们验证了我们的算法在广泛的chal，challening数据集，包括质量差的多模态视网膜图像的病理（疾病），斑点噪声和低分辨率的不利影响实验结果表明，国家的最先进的多模态图像配准算法的鲁棒性和准确性1. 介绍图像配准是计算机视觉、模式识别和医学图像分析等领域的重要内容。它旨在将两幅或多幅图像对齐到同一坐标系中，以获得全面的了解。在眼科领域，用于辅助眼科医生诊断疾病，*同等贡献†通讯作者：chengjun@nimte.ac.cn治疗计划有三个主要的视网膜配准组[9，29，36]，分别是单模态配准、时间配准和多模态配准。第一组对准由同一传感器捕获的单峰视网膜图像（例如，眼底照相机），以形成视网膜的单个全景视图。第二组将相隔数周、数月或数年拍摄的颞部视网膜图像对齐，以揭示疾病进展。第三组对齐由不同传感器捕获的多模态视网膜图像（例如，眼底照相机和荧光素血管造影术）以获得对象的更完整的在本文中，我们专注于第三组多模态配准。虽然医学图像配准已经成为一个活跃的研究领域超过二十年[23]，但全自动和鲁棒的多模态图像配准仍然是一项挑战性任务。在不同的成像模态中，强度差异是非线性的，并且很多时候从诊所和医院获得的图像受到病理和/或噪声的不利影响。图1示出了视网膜图像的一些示例。荧光素血管造影（FA）图像在图1B中。图1（b）、1（d）和1（f）是在将荧光素染料注射到血流中之后获得的。染料突出显示眼睛后部的血管，导致血管造影片的强度显著变化，并且与图1中的彩色眼底图像不同1（a）、1（c）和1（e）。血管通常在FA图像中比背景组织亮，但在彩色眼底图像中较暗图1中的光学相干断层扫描（OCT）眼底图像。图1（h）通过沿深度对3D断层图像进行积分来构建，以提供类似于传统的正面成像模式（例如彩色眼底图像）的视图。由于使用相干光成像的性质，OCT易受相干噪声或也称为斑点噪声[28]的影响，这会导致空间分辨率和质量显著下降。受其在计算机视觉中的成功启发，我们提出在不同的视网膜成像中学习模式补丁5078(a)（b）第（1）款(c)（d）其他事项(e)（f）第（1）款(g)（h）图1.受病理（疾病）和/或斑点噪声影响的质量差的多模态视网膜图像对。每行呈现一对，其中（a）、（c）、（e）和（g）是彩色眼底图像，（b）、（d）和（f）是FA图像，并且（h）是OCT眼底图像。基于CNN的模式。这些模式片是来自主要由血管连接形成的边缘图的连接边缘的阶梯模式表示。该问题被建模为一个分类任务，其目标是区分信息丰富的模式片并将它们用于多模态图像配准。通过拒绝具有低分类置信度的模式块来进行优化，从而提高准确性。所提出的方法是全自动的，不需要地面实况人工标注。据我们所知，这是CNN第一次被用于多模视网膜图像配准的背景下。由于正在开发越来越多的成像模态以更好地识别眼睛视网膜异常，因此开发一种多模态图像配准方法，该方法可以很好地扩展到新的模态或新的图像应用，几乎没有人为干预，这将对医学图像分析界产生重大影响。本文的其余部分组织如下。第2节讨论相关工作。在第3节中，介绍了我们的方法。实验和结果见第4节。最后，在第五部分对全文进行了总结.2. 相关工作虽然CNN在图像分类和图像分割方面已经达到了最先进的性能[14，21]，但使用CNN解决图像配准的工作很少[20]。而将CNN应用于多模态视网膜图像配准的研究更是少之又少。最近，已经提出了卷积它随后与传统的稀疏，特征驱动的注册算法相结合。引入了基于CNN的回归方法[26]，以解决2D X射线图像中器械跟踪的刚性2D或3D配准。配准方法是受监督的，不是完全自动的。一个名为空间变换器网络（spatialtransformer network，缩写为STN）[11]的可学习模块与CNN结合用于学习预测模型，并已在非医学成像配准上进行了演示。该算法需要大量的标记训练样本。随后提出了一种连续切片电子显微镜（ssEM）[34]图像配准方法，该方法结合了CAE和SVM，通过网络的反向传播生成用于图像对齐的变形图。它遵循一个基于特征的图像相似性度量，这是从训练图像的自动编码器学习。虽然上述算法为我们提供了一些利用CNN进行图像配准的方向，但它们既不适用于医学成像，也不适用于多模态或疾病病例。多模态视网膜图像配准的当前最新技术是基于不直接与图像强度值一起工作的基于特征的方法。由特征表示的信息处于更高的水平。这适用于预期强度变化或需要多传感器分析的多模式应用[36]。在5079事实上，基于特征的方法可以进一步细分为两类：基于血管的方法和基于特征的方法。基于血管的方法通常涉及通过从候选分叉位置的圆形边界提取每三个暗或亮血管来使用互信息的局部最大化[6]或基于角度的不变量[35]来匹配分叉点。还有其他几种类似方法[3、15、29]利用血管分叉进行图像配准。然而，尽管分叉对于强度变化是不变的，但是它们的局部化是不精确的[31]。此外，检测分叉点在质量差或不健康的图像中具有挑战性[8，16]。不依赖于脉管系统的基于特征向量机的方法已被证明更适合于多模态视网膜图像配准[5，8，16]。广义双引导迭代最近点（GDB-ICP）[33]使用流行的尺度不变特征变换（SIFT）[22]，其中对齐方法由角点和面点驱动。通过使用边缘点用形状上下文丰富SIFT，引入了称为边缘驱动DB-ICP（ED-DB- ICP）[30]的改进版本然而，它对规模变化、疾病病例和噪声不稳健[5，8，16]。为了克服非线性强度变化，梯度镜像方法[13]结合了SIFT特征的相反梯度方向。然而，由于SIFT的维数减少，独特性受到损害。为了避免该问题，提出了部分强度不变特征描述符（PI-IFD））[4]，以通过线性地组合0到π接着通过执行旋转来解决对应点在相反方向上的梯度取向的多模态问题然后提出Harris-PIIFD [5]，使用PIIFD来描述Harris角点的周围固定大小然而，Harris角点的局限性是非均匀分布[8，17]，以及由于尺度变化或疾病病例导致的重复性差[8，16]。后来的方法用统一鲁棒SIFT（UR-SIFT）[8]取代Harris方法，它也被证明对尺度变化更鲁棒[16]，但它在疾病的多模态视网膜图像上仍然表现不佳[16]。最近，低维阶跃模式分析（LoSPA）算法针对具有疾病的多模态视网膜图像，并且已经显示出优于GDB-ICP 、 ED-DB-ICP 、 Harris-PIIFD 和 UR-SIFT-PIIFD。它使用许多定制的模式来描述血管连接处，并且模式能够很好地处理非线性强度变化。然而，多模式是复杂的并且难以实现。此外，在该文件中，疾病病例的登记成功率仍然低于80%。图2. DeepSPa3. 方法DeepSPa的框架如图所示。2.我们发现的交点之间的边缘，主要是由血管交界处的视网膜图像。围绕交点的图案片被提取，并根据它们的像素片模式分类。CNN用于学习用于匹配的补丁在测试过程中，通过拒绝类之间具有低分类置信度的不可靠模式块来进行优化。无论成像模态如何，上述步骤都是相同的，因为图案块是根据其图案而不是其模态来分类的。在本文中，我们应用我们的方法FA，OCT眼底和彩色眼底图像。然而，其可以应用于其他或更多成像模态。以下各节将更详细地描述这些部分中的每一个。3.1. 特征提取提取独特但重复的特征可能具有挑战性，因为必须在不同的传感器模态上进行相应的特征对。我们没有将整个视网膜图像输入到我们的神经网络中，而是利用检测交叉点的方法[17]，该方法基于图像边缘图的连接边缘。图3示出了所提取的边缘及其交点的示例。使用条带拟合5080杨永cei，jcei，jcei，javgeiejWe（x，y），i，jeiej两条边ei和ej。旋转角θcei，j isgivenby：min（θx，θx）+[δ]（max（θx，θx）−min（θx，θx）），（2）eie jeiejeiej其中θ x 表示从Ek到正x轴的角度，和[. ]是一个二进制指示函数。δ是如下导出的不等式：max（θ x，θ x）−min（θ x，θ x）> 180Ω。（三） eie je ie j(a)（b）第（1）款图3.在（a）中示出了FA图像的提取边缘，并且在（b）中示出了由连接边缘形成的交点。算法[18]。许多连接边缘位于血管连接处，并已显示可实现高重复性[17]。这种方法的其他关键优点是对不同模态之间的非线性强度变化不敏感在旋转之后，从旋转的图像中导出以c e i，j为中心的27×27局部窗口Wrot。然后，我们确定W_rot是否包括如图1所示的阶梯图案。4. 顾名思义，这些模式是同步的其中较高的阶跃区域指示那些区域中较高它们是用两条平行线将每个正方形贴片分成三个相等大小的区域。这些区域可以是两级或三级台阶的图案，例如，图4（a）和4（e）是相同的，但前者有两个水平台阶，后者有三个。 是或完整的血管结构才能发挥作用它还表明显然，W腐烂只能包括其中一个以优于各种特征检测方法，例如在可重复性和稳定性方面，SIFT和哈里斯角点检测[10]使用的高斯差异（DoG）[22][17]。然而，也有两个共同的问题两个步骤模式，而不是同时进行。然而，它可以包括一个或多个其他阶梯图案。这给出了一些可能的类组合，如：遇到的。其中之一是丢失或断裂的边缘，由于众所周知的碎片的边缘地图的真实图像。另一个常见的问题是检测Σ4 .4ΣKk=0·2（4−k），（4）孤立的或不重要的边缘，主要是噪声。为了规避这些问题，应用后处理步骤来修复（连接）具有紧密接近的端点和角度的碎片边缘如果满足以下条件，则两条边ei和ej是重合的因此总共有81个班。以图4（a）作为示例，R1、R2和R3中的像素数相等。R k中的平均强度值IRk被公式化为：θsm > τ θ和min.ΣPk，i，Pk，j <τdist，1根草Nc其中θsm{1，2}，（1）表示e和i之间的较小内角（x，y）∈Rkk∈{1，2，3}，（5）和ej，τθ表示它们之间的允许内角Pk，i是ei的第k个端点，τdist表示ei和ej的最短端到端点之间的允许距离阈值。随后，短的和孤立的边缘（例如，<5像素）被移除。3.2. 步进模式表示我们提取小补丁周围的交叉点，并根据他们的步骤模式进行排序。这项工作的重点是强度变化模式，而不是强度变化值，因为不同模态的对应图像通常由于非线性强度变化而不能很好地相关。我们首先相对于相互定向旋转每个贴片以实现旋转不变性，其中旋转中心在交点cei，j处(a)（b）（c）（d）(e)（f）（g）（h）5081图4. 8阶跃图案，其中（a）-（d）是两级阶跃图案，（e）-（h）是三级阶跃图案。5082cei，jI−I avgI−I avgi、j图5.我们的CNN模型的架构。其中N 是Rk中的像素数。输出Wrot置信度阈值τc1用于过滤模式片输出1cei，jWrotcei，j 对于这种阶梯模式，提高了分类精度。 对于输入特征，有81个分类置信度输出（每个在如下所示IR1−I R2>τ·Σ 、（6）0.0和1.0，求和为1.0），用于softmax层后的81个类当最大分类置信度高于avgWrot平均标准差avg平均标准差τcl，则输入特征被认为是可靠的并且被保留以在后续步骤中使用，否则它将被拒绝。其中1Wrotcei，j是一个二进制值，指示是否更高的τcl意味着对pat的要求更严格，cei，j包括该阶跃模式，并且τsm是小的位置整数值以避免噪声。为了应对不同图像模态中的对比度反转问题，例如，一些暗血管变亮，Wrot燕鸥补丁。它导致分类的准确性增加，但剩余特征的数量减少。良好的平衡将是用于良好分类准确性的最佳τcl，同时保持尽可能多的特征可描述的 因此，另一个输出2修改为：cei，j可以是数学-可能我们在第4节中对此进行了实验测试。Σ2avgΣ1 > τsm·Σ2avgΣ3> τsm.（七）3.4. 特征匹配和验证在使用CNN进行分类和优化后，我们发现描述Wrot示于图4（a）由下式给出：对于步进模式，使用k维数据结构和搜索算法[2]，通过欧几里得距离在两组分类的DeepSPa特征之间进行对应对算法识别-出来Wrotcei，j3=outWrotcei，j+outWrotcei，j，（8）证明了高维空间中特征的k个最近邻居，本文中我们将k设置为4Wrote其中out3c仍然是二进制值。剩下的部分-图中所示4也可以通过应用类似地计算ing方程（5-8）。将存在8个二进制值（作为向量），因为存在8个阶跃模式，并且存在81个可能的组合类，如等式（1）中所述。（四）、3.3. CNN迄今为止，最成功的图像分析模型CNN包含许多层，这些层使用小范围的卷积滤波器来转换其输入在本文中，我们使用CNN学习，分类和优化的模式补丁提取的原始图像的多个模式。我们的CNN网络架构如图所示。5.将27×27RGB图案块馈送到网络。该网络由一系列卷积层、ReLU层和最大池化层组成。网络的输出是通过softmax层的81类分类可能性为了识别从所有图像模态中提取的模式块，我们用多模态混合数据训练多模态分类模型分类接下来，我们验证全局这两个图像之间的变换函数，而不考虑它们的图像模态 。 具 有 仿 射 变 换 设 置 的 随 机 样 本 一 致 性（RANSAC）[7]应用于相应的对。使用此方法排除不正确的对。3.5. 变换函数可以应用各种类型的变换函数最常见的是线性共形[25]，仿射[12]和二阶多项式[10，27]模型。线性共形是最简单的模型，只需要两个对应的对。由于通过我们提出的算法获得的对应对的数量通常是足够的并且在视网膜的表面上分布良好，所以我们可以使用高阶模型，例如仿射模型（三个对应对）或二阶多项式模型（六对点）。我们更倾向于仿射模型而不是二阶多项式模型，因为我们没有看到重新建模与二阶多项式模型之间的任何显著差异的1R2RRR5083在我们的实验中，这两种模型之间的结果。当变换函数已经应用于浮动视网膜图像时，我们简单地将变换后的视网膜图像叠加在固定视网膜图像上以产生视网膜马赛克。图1中的图像的拼接图像结果。图1所示。六、(a)（b）第（1）款(c)（d）其他事项图6.所提出的DeepSPa算法用于多模态图像对的马赛克结果如图所示。1（a）和1（b），图。1（c）和1（d），图。1（e）和1（f），以及图1。1（g）和1（h）。4. 实验和结果在 本 节 中 ， 我 们 从 三 个 方 面 评 估 我 们 提 出 的DeepSPa al-出租：CNN设置，旋转不变性和比例变化。我们还比较了我们的注册性能与国家的最先进的算法。4.1. 数据集在我们的实验中，我们主要对三种视网膜图像模式进行测试：OCT眼底、彩色眼底和FA图像。对于CNN评 估， 从 200 个OCT 眼 底图 像中 提取 了 67， 240 个DeepSPa特征，尺寸从304×304到513×385。从292张尺寸从410×410到2588×1958 的 彩 色 眼 底 图 像 中 提 取 了 196 ， 212 个DeepSPa特征，从194张尺寸从720×576到768×768的FA图像中提取了100，125个DeepSPa特征。正在提取的DeepSPa特征总数为363，577。其他评估和比较测试在三个多模态视网膜图像数据集上进行。数据集描述如下。彩色眼底-FA（轻度至中度）视网膜第一个数据集[1]是公开可用的，包括30名糖尿病视网膜病变患者的彩色眼底和相应的FA图像。在本文中，我们将此数据集归类为轻度至中度视网膜疾病患者。数据集中的彩色眼底图像和FA图像具有相同的分辨率，均为720×576。彩色眼底-FA（严重视网膜疾病）第二个数据集由当地医院提供，包括120名匿名患者的彩色眼底和相应的FA图像，这些患者具有严重黄斑水肿和葡萄肿的症状，需要视网膜光凝或光动力治疗。医生将此数据集描述为与其他视网膜异常病例相比最具挑战性的数据集之一。本文将此数据集归类为严重视网膜疾病患者。图像对的一些例子如图所示。1. 颜色眼底图像的大小范围为2588× 1958，FA图像的大小范围为768× 768。两个数据集中最大的比例因子是1.8，但大多数数据集都是临床数据具有小于1.5的非常小的尺度差异最大旋转角度为30度。彩色眼底OCT（斑点噪声低分辨率）第三个数据集也由当地医院提供。它包括80对彩色眼底和相应的OCT眼底图像。OCT眼底图像会受到散斑噪声的影响。本文将该数据集归类为具有斑点噪声和低分辨率的图像。图1（g）和1（h）示出了这些图像对中的一个。彩色眼底照片用TRC-NW 8非散瞳眼底照相机获取，3D OCT数据从Topcon DRI OCT-1机器获得，992× 512× 256体素。OCT眼底图像通过沿A扫描的强度平均形成。彩色眼底图像的大小范围为410× 410至1016× 675，调整大小后的低分辨率OCT眼底图像的大小范围为304×304至513 ×385。4.2. 耐用性试验结果这部分评估了CNN设置以及DeepSPa算法对旋转不变性和尺度不敏感性的鲁棒性。CNN测试我们将4.1节中描述的数据集分为训练集和测试集。每个训练集包含80%随机挑选的特征，另外20%的特征用作测试集。我们分别训练了OCT眼底、彩色眼底和FA特征的三个单 我们还用所有三种模态混合数据训练了一个多模态分类模型。我们应用不同的分类置信度5084图7.不同分类置信度阈值τcl的CNN测试结果。这两条线相交于0. 68岁表1.在三个数据集上，不同模态模型的分类准确性，无阈值。每个项目的最高分以粗体字表示。数据集的模型检验准确度（%）OCTFA彩色眼底总计华侨城59.03 50.46 19.15 36.84财务部72.02 85.42 28.43 59.19眼底颜色53.47 49.50 79.36 63.10多式联运阈值τ c1来过滤模式片，详细的测试结果如图所示。7.从图中可以看出，当阈值升高时，分类精度提高。相反，当阈值升高时，其余特征下降。要选择的最佳τ cl是在0处的相交点。68，这给出了一个很好的平衡90%的分类精度和剩余的功能。表1和表2比较了三个不同数据集中单训练模型和多模态训练模型之间的分类准确度，无阈值恢复和有阈值恢复。我们可以看到所有模型的准确性都有所提高，很明显，我们的多模态训练模型在所有三个数据集中表现最好 我们使用0。68，因为它给出了最好的结果。旋转不变性测试虽然我们数据集中的最大旋转角度是30°，但我们从数据集中选择了20个多模态图像对，并以20°的步长将图像对中的浮动图像从0°旋转到180°应当注意，参考图像保持固定。我们对参考图像和旋转后的浮动图像应用DeepSPa算法。无论旋转角度如何，所有图像对都能成功配准，证明DeepSPa具有旋转不变性。表2.在三个数据集上，采用0.68阈值的不同模态模型的分类准确度。每一项的最高分以黑体字表示。数据集的模型 检验准确度（%）图8.相对于比例因子的成功配准尺度变化测试我们数据集中最大的尺度因子是1.8。同样，我们从数据集中选择20个多模态图像对我们用从1到2.8的缩放因子重新缩放浮动图像，并对所有图像应用DeepSPa算法在不同尺度变化范围内的登记率如图所 示 8. 结 果 表 明 ， 当 比 例 因 子 为 1.8 及 以 下 时 ，DeepSPa可以提供鲁棒的配准。当比例因子大于1.9时，它通常会失败然而，这是可以接受的，因为临床数据通常具有非常小的尺度差异，通常小于1.5 [5，16]。4.3. 比较试验结果我们在每个图像对中手动选择10对对应点来生成地面实况。这些点被选择为均匀分布，具有准确的定位。这种方法的主要优点是它可以处理受疾病和/或噪声不利影响的低质量视网膜图像。对于每个标记的图像对，将有另一个团队成员来验证标记点的正确性。该过程是耗时的，但它提供了一个相对可靠和公平的测量所有图像。由于我们的数据集包含质量较差的临床图像，例如：受病理学和/或斑点噪声的不利影响，中心线误差测量[3，29]测量OctFA彩色眼底总Oct70.2562.2331.0453.84FA79.1389.9531.9565.61彩色眼底68.2556.4387.2871.13多式84.5990.1090.7690.115085表3.7种算法在彩色眼底-FA（轻中度视网膜疾病）数据集上的多模态配准结果显示了注册成功率每一项的最高分以黑体字表示。SIFTGDB-ICPED-DB-ICPUR-SIFT-PIIFD哈里斯-PIIFDLoSPADeepSPa成功率（%）0106086.679093.3396.67平均RMSEN.A.4.072.332.972.271.931.71平均MAEN.A.7.674.064.883.673.352.97平均价格N.A.31.782.541.671.551.37表4.7种算法在彩色眼底-FA（严重视网膜疾病）数据集上的多模态配准结果显示了注册成功率每一项的最高分以黑体字表示。SIFTGDB-ICPED-DB-ICPUR-SIFT-PIIFD哈里斯-PIIFDLoSPADeepSPa成功率（%）04.1727.53541.6779.1786.5平均RMSEN.A.3.813.14.583.932.612.13平均MAEN.A.8.236.588.868.46.264.61平均价格N.A.3.512.814.553.692.342.12表5. 7种算法在彩色眼底OCT数据集上的多模态配准结果（斑点噪声低分辨率）。显示了注册成功率每一项的最高分以黑体字表示。SIFTGDB-ICPED-DB-ICPUR-SIFT-PIIFD哈里斯-PIIFDLoSPADeepSPa成功率（%）03.7522.527.533.7563.7581.25平均RMSEN.A.4.213.54.463.973.432.62平均MAEN.A.8.636.988.988.746.685.29平均价格N.A.3.712.954.253.832.722.07脉管系统是无效的。实际上，变换点的坐标与参考点的坐标之间存在微小差异。因此，我们通过每个图像对中10对对应点之间的均方根误差（RMSE）来评估配准精度[8，16，19，24]。RMSE低于5像素对于临床目的是可接受的[24]。 我们还报告了所有相应点的中位数误差（mean error）[5，8]和最大误差（MAE）[5，8]。为了成功配准，我们考虑RMSE 5像素[8]与[8]中的图像分辨率成比例。<此外，MAE> 10像素的显著误差[5]导致配准失败。我们记录所有成功注册的结果。比较结果我们在7种算法之间进行比较实验：SIFT[22]、GDB-ICP [33]、ED-DB-ICP [30] ， UR-SIFT-PIIFD [8] ， Harris-PIIFD [5] ，LoSPA，我们的DeepSPa表3、4和5显示了第4.1节所述三个数据集的比较结果。SIFT算法无法在所有三个数据集上配准任何图像对对于挑战性较小的彩色眼底-FA（轻度至中度视网膜疾病）数据集，大多数算法通过了50%的成功率标记，DeepSPa在所有评分中占主导地位，如表3所示对于更具挑战性的彩色眼底- FA（严重视网膜疾病）和彩色眼底-OCT（斑点噪声和低分辨率）数据集，只有LoSPA和DeepSPa算法通过了50%的成功率标记，DeepSPa在所有评分中仍然无法超越，如表4和表5所DeepSPa也是7种算法中唯一实现80%以上配准的三个数据集的成功率。DeepSPa在三个数据集上的一些配准结果如图所示。六、本节中的比较表明，将DeepSPa算法用于多模态视网膜图像配准可转化为更高的配准精度。虽然我们已经在彩色眼底、FA和OCT眼底图像上展示了我们的算法，但是它可以应用于其他图像模态，例如自体荧光和正面OCT图像，以及来自其他应用的图像。5. 结论在本文中，我们利用深度神经网络的优势来学习和优化用于多模态视网膜图像配准的阶跃模式补丁。DeepSPa算法对非线性强度变化具有不变性，这是多模配准的重要前提。我们已经在三个多模态视网膜图像数据集上演示了DeepSPa，结果表明DeepSPa实现了更高的配准精度，这很容易挫败实验中其他6种现有算法它还实现了最先进的性能，在所有三个数据集上始终达到80%以上的配准成功率，其中包括更复杂的数据集，如严重的视网膜疾病。引用[1] 希林湾M. Alipour，Hossein Rabbani，and Mohammad R.阿克拉吉糖尿病视网膜病变数字曲线5086变换Comp.与Math.医学方法第1607- 1614页[2] 乔恩湖本特利用于关联搜索的多维二叉搜索树。ACM通讯，18（9）：509-517，1975年。[3] 作 者 ： Ali Can ， Charles V. Stewart ， BadrinathRoysam，and Howard L.塔南鲍姆一种基于特征的、鲁棒的、分层的算法，用于配准弯曲的人类视网膜的图像对。TPAMI，24（3）：347[4] 剑尘，R. Theodore Smith，Jie Tian，and Andrew F.莱恩一种基于局部特征的视网膜图像配准新方法。在Proc.EMBC，第2242-2245页[5] 陈剑 ，田杰 ，李诺 亚，郑 建，R. Theodore Smith 和Andrew F.莱恩一种用于多模态视网膜图像配准的部分强度不变特征描述符。TBME，57（7）：1707[6] 泰·E崔和艾萨克·科恩视网膜多模态荧光图像序列的配准。在Proc. ICCV，第106-113页[7] Martin A. Fischler和Robert C.波尔斯随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。ACM通讯，24（6）：381[8] 泽 纳 布 河 Ghassabi ， Jamshid Shanbehzadeh ， AminSedaghat，and Emad Fatemizadeh.基于UR-SIFT特征和PIIFD描述子的多模态视网膜图像配准方法。IJIVP，2013（25），2013.[9] Arthur A.戈什塔斯比2-D和3-D图像配准：用于医疗、遥感和工业应用。Wiley-Interscience，2005年。[10] 克里斯托弗·G哈里斯和迈克·斯蒂芬斯一种组合的角点和边缘检测器。在Proc. AVC，第147-151页[11] Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu. 空 间 Transformer 网 络 。 在 Proc.NIPS，第2卷，第2017-2025页[12] 放大图片作者：Peter L.约翰·史密斯阿诺德，肯尼斯·泰勒，理查德·伍顿。荧光素视网膜血管造影的自动几何配准。Comp.和Biomed。Research，23（5）：403 -409，1990.[13] Avi Kelman，Michal Sofka和Charles V.斯图尔特关键点描述符，用于匹配多种图像模态和非线性强度变化。在Proc. CVPR，第17-22页[14] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的图像网分类。在Proc. NIPS，第1097-1105页[15] 法国Lalibert e'，LangisGagnon和YunlongSheng。视网膜图像的再现与融合--一项评价研究。T-MI，22（5）：661[16] 吉米·A.作者：Lee，Jun Cheng，Beng-Hai Lee，Ee-PingOng，Guozhen Xu，Damon W. K. Wong，Jiang Liu，Augustinus Laude，and Tock-Han Lim.低维阶跃模式分析算法及其在多模态视网膜图像配准中的应用在Proc.CVPR，第1046-1053页[17] 吉米·A.作者：Lee，Beng-Hai Lee，Guozhen Xu，Ee-Ping Ong，Damon W.K. 王，刘江，林德汉。地理-视网膜眼底图像中的度量角提取。在Proc. EMBC，2014年。[18] 梅勒Leung和Yee-Hong Yang。曲线拟合中的动态两条带算法 帕特记录，23（1-2）：69[19] 李伟成，陈厚进，姚昌，张新元基于特征的曲面人眼彩色视网膜图像拼接方法在Proc. BMEI，第845-849页[20] Rui Liao ， Shun Miao ， Pierre de Tournemire ， SasaGrbic ， Ali Kamen ， Tommaso Mansi ， and DorinComaniciu.一种用于鲁棒图像配准的人工代理在procAAAI，第4168-4175页，2017年。[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在Proc. CVPR，第3431-3440页[22] David G.洛从尺度不变关键点中提取独特的图像特征。IJCV，60（2）：91[23] Prim ozMark elj ， DejanTomaze vic ， BostjanLikar ，andFranjoPernus.图像引导介入的3D/2D配准方法综述医学图像分析，16（3）：642[24] George K.潘特利斯·马索普洛斯尼古拉斯·阿斯维斯塔斯Mouravliansky和Konstantinos K. Delibasis.基于自组织映射的视网膜图像多模态配准。T-MI，23（12）：1557[25] George K.尼古拉斯·马索普洛斯孔斯坦蒂诺斯？穆拉夫连斯基.Delibasis和Konstantina S.尼基塔基于全局优化技术 的 视 网 膜 图 像 自 动 配 准 方 法 。 交 易 信 息 Tech.BioMed. ，3（1）：47[26] Shun Miao，Z. Jane Wang和Rui Liao。用于实时2D/3D配准的CNN回归方法。T-MI，35（5）：1352[27] 尼尔·瑞安，康纳·亨内汉，菲利普·德·查萨尔。基于期望最大化的标志点对应的数字视网膜图像配准IVC，22（11）：883[28] Joseph M.施密特，S。H. Xiang和Kin M.容光学相干层析成像中的散斑 J. BioMed. 选购配件，4：95[29] Charles V. Stewart ， Chia-Ling Tsai ， and BadrinathRoysam.双引导迭代最近点算法及其在视网膜图像配准中的应用。T-MI，22（11）：1379[30] 蔡嘉玲，李春义，杨歌华，林凯顺。边缘驱动双引导迭代最近点算法配准多模态荧光血管造影序列。T-MI，29（3）：636[31] 放大图片作者：Charles V.霍华德·斯图尔特塔南鲍姆和巴德里纳特·罗伊萨姆基于模型的方法，用于提高从视网膜眼底图像估计血管分叉和交叉的准确性和可重复性译Info. Tech. BioMed. ，8（2）：122[32] 吴国荣，金敏贞，王倩，布伦特C.文胜和沈定刚。通过无监督深度特征表示学习的可扩展高性能图像配准框架。TBME，63（7）：1505[33] 作者：Charles V.史都华，麦可索夫卡，蔡嘉玲。挑战性图像对的对齐：从一个关键点对应开始的细化和区域增长。TPAMI，23（11）：19735087[34] 作者：David G. C.作者：Willie F.作者：Tobin，Wei-Chung A.李和郑元基ssEMnet：使用具有学习特征的空间变换器网络的 在proc DLMIA工作室，MICCAI，第249-257页，2017年。[35] 弗 雷 德 里 克 · 扎 纳 和 让 · 克 劳 德 · 克 莱 因 一 种 基 于Baikhough变换的眼底图像配准算法。在Proc. Int'l Conf.图像处理。和Apps。第2卷，第479-483页[36] Barbara Zitova 和 Jan Flusser 。 图 像 配 准 方 法 综 述 。IVC，21：977