基于RetinaNet和迁移学习的肺结节检测与分类模型

沙特国王大学学报使用RetinaNet和迁移学习Ivan William Harsonoa，a，Suryadiputra Liawatimenab，c，Tjeng Wawan Cenggorod，ea计算机科学系，BINUS研究生课程-计算机科学硕士，Bina Nusantara大学，雅加达11480，印度尼西亚b计算机科学系，BINUS研究生课程-计算机科学博士，Bina Nusantara大学，雅加达11480，印度尼西亚c计算机工程系，工程学院，Bina Nusantara大学，雅加达11480，印度尼西亚d印度尼西亚雅加达11480 Bina Nusantara大学计算机科学学院计算机科学系生物信息学和数据科学研究中心，Bina Nusantara大学，雅加达11480，印度尼西亚阿提奇莱因福奥文章历史记录：2019年12月22日收到2020年2月19日修订2020年3月31日接受2020年4月8日网上发售保留字：计算机断层扫描肺结节对象检测模式识别与分类迁移学习A B S T R A C T肺恶性肿瘤是世界上最常见的死亡原因之一，其由恶性肺结节引起，通常由放射科医生通过放射学诊断。不幸的是，医院中不断的医学图像流驱使放射科医生将数量置于质量之上。这种工作条件允许误解，特别是在类似于肺结节的模糊解剖结构上，例如增大的淋巴结，并导致恶性肺结节检测的灵敏度和准确性降低，并且晚期诊断被证明对患者是致命的。为了解决这个问题，本文提出了一种新的肺结节检测和分类模型，使用一个阶段的检测器称为“I3 DR-Net”。该模型通过将膨胀3D ConvNet（I3D）骨干的预训练自然图像权重与特征金字塔网络结合到多尺度3D胸部计算机断层扫描（CT扫描）数据集而形成。I3 DR-Net在肺结节纹理检测任务上能够产生显著的结果，公共和私人数据集的mAP分别为49.61%和22.86%，曲线下面积（AUC）分别为81.84%和70.36%此外，对于恶性结节检测和分类任务，I3 DR-Net成功地超过了先前最先进的Retina U-Net和U-FRCNN+平均精度（mAP）7.9%和7.2%（57.71%VS 49.8%VS 50.5%）©2020作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍肺结节或肺肿瘤是肺中直径小至3 mm至3 cm的肿块。肺结节是描述良性肺结节和恶性肺结节或肺癌的通用术语为了确定其恶性程度，放射科医生通常根据结节的大小、位置、细微程度、内部结构、钙化、球形度、边缘、分叶、毛刺、质地和恶性程度来考虑结节的特征。一般来说，非常小的结节3毫米被忽略，因为他们几乎是不可见的CT扫描和无症状。从流行病学上看，60岁以上的男性和重度吸烟者是最常见的人群*通讯作者。电子邮件地址：ivan. binus.ac.id（I.W. Harsono）。沙特国王大学负责同行审查患有肺癌。印尼是仍采用传统肺癌检测方式（由放射科医生逐一人工解读）的国家之一。然而，与人口增长相比，放射科医生和适当的卫生设施数量减少，导致治疗和诊断医学实践，而不是早期干预和预防医学实践。 先前的研究表明，在没有计算机辅助诊断（CAD）工具的情况下，放射科医生对肺结节的解释具有较高的假阳性率，从51%到83.2%不等（每例0.33 -1.39），灵敏度为94.4-96.4%（Rubin，2015;Litjens等人，2017; Swensen等人，2000; Kementerian Kesehatan，2019; Novitaria等人，2017; Nasution等人， 2016年）。癌症是全世界的主要死因，2012年有820万人死于癌症。到目前为止，癌症仍然是可预防的疾病之一，但如果诊断晚，则被证明是致命的。国际癌症研究机构（IARC）的研究发现，最常见的三种癌症是乳腺癌（43.3%），前列腺癌（30.7%）和肺癌（23.1%）。在印度尼西亚，肺癌是最常见的癌症，发病率为34.2%，死亡率https://doi.org/10.1016/j.jksuci.2020.03.0131319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com568I.W. Harsono等人/Journal of King Saud University率印度尼西亚肺癌的高患病率主要是由吸烟引起的，吸烟很容易获得（Pusat Data dan，2015）。美国健康协会提出的方法之一，通过采用预防性健康实践，通过对有肺癌风险的患者进行胸部CT扫描的年度体检（MCU）早期发现肺结节，降低肺癌死亡率（空气污染、吸烟、肺癌家族史），以早期捕获潜在的恶性肺结节，这通过在它们转移到邻近的肺和肺外结构之前切除受影响的肺结构来改善预后）（Ciompi等人，2015; Dou等人，2017;Hua等人， 2015年）。为了减轻放射科医生的工作量，特别是在印度尼西亚等发展中因此，为了解决上述问题，本文提出了I3 DR-Net的迁移学习，这是一种 新 的 单 级 检 测 器 最 先 进 的 3D CNN 模 型 ， 它 将 I3 D 主 干 与RetinaNet和修改的FPN框架相结合。考虑到少量高质量的可训练肺结 节 CT 扫 描 数 据 集 ， 我 们 决 定 将 ImageNet上预训练的InflatedInception 3D（I3 D）权重迁移学习到I3 DR-Net中，以提高公共CT 扫 描 数 据 库 （ 如 Lung Image Database Consortium imagecollection（LIDC-IDRI）数据集）上肺结节检测和肺结节分类任务的性能并减少训练时间。此外，我们还训练了所提出的方法来检测肺结节并对其纹理进行分类，这是一项重要的任务，但通常被CAD开发中的研究人员所忽视。2. 相关工作计算机辅助诊断（CAD）是通过使用单个或多个算法来提高健康诊断质量的工具。 大多数用于医学图像分析的CAD以监督或半监督的方式对感兴趣对象（例如肺结节）进行定量评分并将其与标记数据集进行比较。然而，传统的CAD评分高度依赖于通过使用尺度不变特征变换（SIFT）、方向直方图（HOG）和局部二进制模式（LBP）对原始数据集进行的预处理、模式识别算法、特征提取和选择过程的质量（Shen等人，2015年）。然而，大多数传统CAD被更简单、更准确、一体化的深度学习方法所取代，这些方法能够完成传统CAD的所有步骤，并使用动态优化的函数进行评分（Hua et al.，2015; Greenspan et al.，2016;Ongsulee ， 2017; Ardila 等 人 ， 2019; Pardamean 等 人 ，2018;Hossain，2019; Kanwade和Bairagi，2019）。深度学习是人工智能的一个分支，它通过动态地改变神经网络的函数参数来模仿人类的抽象能力，从而进行更精确的检测和分类。深度学习的抽象能力，特别是卷积神经网络（CNN），使CNN成为当前最先进的图像分析方法，并且最近在过去10年中研究了医学图像（ Hua et al. ， 2015; Greenspan et al. ， 2016; Ongsulee ，2017）。为了适应动态变化的函数和参数的随机性，这会导致早期训练迭代过程（epoch）变慢，需要对允许多层收敛的批次进行归一化 通过对批次执行随机梯度下降（SGD）和反向传播来实现批次归一化，反向传播将调整每层之间的参数（权重和偏差），同时SGD将优化训练过程中数据丢失/质量下降的数量（LeCun et al.，1988;He等人，2016年; Ioffe和Szegedy，2015年）。一些流行的CNN实现自然在最大的分层注释自然图像数据库ImageNet上的图像检测和分类（Deng等人，2009;Krizhevsky等人，2012; Russakovsky等人，2015;Shin等人 ，2016 ）， AlexNet （Krizhevsky et al. ，2012 ）、Overfeat（Sermanet等人，2013）、ResNet（He等人，2016）和基于 区 域 的 卷 积 神 经 网 络 （ R-CNN ） 家 族 （ Girshick 等 人 ， 2014;Girshick，2015; He等人，2017; Ren等人， 2017年）。2.1. 卷积神经网络（CNN）作为各种计算机视觉任务一般来说，为计算机视觉任务创建的CNN可以根据其功能分为两类，即分类和检测（有分割或无分割）。大多数前一代的自然图像CNN分 类 器 ， 如 AlexNet （ Krizhevsky 等 人 ， 2012 ） 、 Inception（Carreira和Zisserman，2017 ）、ResNet（He等人，2016 ）和Overfeat（Sermanet et al.，2013）仅用于实现分类目的，而没有边界框或像素掩码生成能力。然而，分类器CNN已经达到了AUC超过0.9的峰值，因此研究从图像分类转向图像检测。图像检测CNN能够进行检测和分类功能，通过生成检测对象的边界框和分类类（纯检测任务），使用或不使用像素伪掩模生成（检测与分割任务相结合）来精确定位感兴趣对象的确切位置。用于比较对象检测器性能的黄金标准参数是平均平均精度，其根据分类类别和对象与预测边界框的交集来平均检测到的对象的精度和召回率（Singadkar等人，2018; Nurfauzi等人，2019;Girshick等人，2014; Girshick，2015; He等人，2017; Ren等人，2017年）。在 2018 年 ， Lin 等 人 提 出 了 最 先 进 的 单 阶 段 对 象 检 测 器RetinaNet，它在速度和性能方面都优于Faster R-CNN。RetinaNet能够通过实现焦点损失交叉熵函数（焦点损失alpha = 0.25，gamma= 2.0）并集成特征金字塔网络（FPN）来解决前期和背景类不平衡问题，该功能用作特征图多尺度器，并成功地优于先前最先进的单级检测器DSSD（解卷积单次激发检测器）和两级检测器Faster R-CNN（具有39.1的更高mAP（RetinaNet）），33.2（DSSD）与36.8（更快的R-CNN）（Ren等人，2017年; Liu等人，2016; Lin等人， 2017年）。2.2. CNN在肺结节分类检测中的应用到目前为止，与自然图像检测和分类任务相比，使用CNN的医学图像分类和检测要困难得多，因为3D图像上包含的空间信息，医学图像中相对较小的感兴趣对象，数据集中感兴趣对象的分布不均匀，以及少量的高质量标记数据集。通常，医学图像分析任务分为3个主要任务，即分类、检测和分割。由先前使用Lung Image DataConsortium（LIDC）公共数据集的研究提出的用于肺结节分析的一些方法是：（1）与机器学习分类器（诸如支持向量机/SVM或/和随机森林/RF）组合的多尺度CNN层，（2）使用预训练的2D CNN权重的转移学习，（3）将3个相邻切片馈送到多个并行的2D CNN层（2.5D CNN），（4）从零开始训练3D CNN，以及（5）使用来自具有RoI实现的预训练的3D CNN的转移学习（Litjens等人，2017;Ardila等人，2019; Ciompi等人，2015; Dou等人，2017;Hua等人，2015年; Shen等人，2015; Greenspan et al.，二〇一六年;I.W. Harsono等人/Journal of King Saud University569Lindsay等人，2018; Hussein等人，2017年; Yan等人，2018;廖例如，1711; Armato等人，2011; Jung等人，2013; Bi等人，2018;Bi等人，2017; Suresh and Mohan，2019）。然而，大多数CNN实现2D和2.5D架构，因为3D架构消耗更多资源，并且由于对CNN施加的深度限制而难以实现。必须注意的是，2D和2，5D CNN模型不会给出3D医学图像（例如超声、CT扫描和磁共振成像（MRI）机器）的对象深度（z坐标）的足够视觉空间信息。因此，大多数3D CNN是通过以下方式实现的：（1）馈送大量切片作为3D CNN层的单个输入，或(2) 使用正交场或多平面（轴向、矢状、冠状）视图来聚集网络中的3D空间信息（Dou等人，2017; Greenspan et al.， 2016年）。Hua等人进行的研究证明，使用2D CNN和DBN（深度信念网络）以及32x32 RoI选择能够在LIDC公共数据集上以更高的特异性和中等的灵敏度（DBN VS CNN VS SIFT + LBP VS分形分析：规范）优于常规 CAD （ SIFT+LBP ） 进 行 恶 性 肿 瘤 分 类 任 务 。82.2%VS78.7%VS66.8%VS57.2%;73.4% VS73.3% VS 75.6% VS 50.2%）（Hua等人，2015年）。Ciompi等人提出了多个并行2D CNN（2，5D CNN），其使用具有预训练ImageNet权重的Overfeat + RF/SVM来对肺部恶性肿瘤进行分类，并且与曲线下面积（AUC）为0，836/0，847 VS 0，868的频率袋CNN相比，表现出略低的性能（Ciompi等人，2015年）。Ginneken等人还提出在LIDC公共数据集恶性肿瘤分类中使用Overfeat + SVM，与放射科医生相比，其灵敏度更高，20%（Ginneken等人，2015年）。Shen等人建议使用RF的多尺度3D CNN进行恶性肿瘤分类，与LBP + RF（73.67%）和HOG + RF（75.93%）相比，（Shen等人，2015年）。Dou等人还支持使用3个相邻切片的多层上下文3D CNN进行恶性肿瘤分类，导致每次扫描的假阳性率较低，0.125FP/扫描= 0，677（Dou等人，2017年）。Hussein等人提出了3D CNN多任务学习（MTL），使用t-分布式随机邻居嵌入（t-SNE）进行动力学非医疗数据集预训练权重转移，用于肺结节风险分层分类，具有准确性（Acc.）91.26%;平均得分差异（MSD）0.4593（Hussein等人，2017年）。Liao等人提出了3D Deep Leaky Noisy Network用于恶性肿瘤分类，并达到Acc.81.41%和AUC 87.0%。Lindsay等人建议将LIDC公共数据集上预训练的3D CNN的学习转移到用于恶性肿瘤分类的私有数据集，LIDC公共数据集恶性肿瘤分类的性能Acc 71%和AUC 71%。Yan等人提出了一种基于3D CNN的无监督身体部位回归（UBR）算法，该算法在DeepLesion数据集上具有ImageNet转移学习，其给出了Acc.74.82%（Yan等人，2018年）。使用NLST数据集进行1年癌症风险分割和预测的最新研究，使用在LUNA数据集上预训练的3D MaskR-CNN，结合两个未预训练FPN架构的RetinaNet在LIDC数据集上作为RoI检测器和在ImageNet上预训练的3D Inflated Inception V1骨干（Ardila等人， 2019年）。最新的肺结节检测研究，使用mod-Jaeger等人使用最先进的单阶段目标检测器Retina U-Net生成检测/边界框并对肺结节的恶性状态进行分类。 他们的研究证明，集成在Retina U-Net 中的U-Net 能够与最先进的两阶段对象检测器U-Faster R-CNN和Mask R-CNN进行肺部恶性肿瘤检测和分类，其mAP分别为49.8%，50.5%和48.3%（Jaeger等人， 1811年）。这项研究得出结论，Retina U-Net是最先进的医学对象检测器，能够与两阶段对象检测器（如Faster R-CNN和Mask R-CNN）相提并论（Lin et al.，2017; Jaeger等人，1811年）。先前模型的比较可参见结果和讨论部分。然而，由于医学图像数据集本质上是稀缺的，并且数据集的数量无法完全收敛CNN权重，因此需要转移学习来加速深度学习中最耗时的训练过程 顾名思义，迁移学习是通过使用来自先前在其他计算机视觉任务上训练的相同CNN的加权来完成的，以适应更具体的任务，例如肺结节检测（Shin等人，2016; Parisotto等人，1511）。因此，本文提出使用从膨胀的Inception 3D CNN（I3 D）的预训练RGB流转移权重，该预训练的RGB流先前被训练以识别从400个独特的Youtube视频获取的动力学视频数据集上的人类动作，该CT扫描数据集本质上与使用3D数据作为输入的动力学视频数据集相似（Carreira和Zisserman，2017; Lindsay等人，2018年）。使用在LIDC公共数据集上训练的3DCNN的预训练权重来实现转移学习以解决Lindsay等人提出的针对私有肺数据集的检测任务的先前工作的示例使用超参数微调，其中丢弃率为0.2，学习率为0.001，并且使用初始随机化的Adam优化器用于最后的softmax层（Lindsay等人， 2018年）。2.3. Inception 3D（I3D）主干随着CNN的发展继续解决许多图像分类问题，现在的研究集中在ImageNet的CNN的其他实现上，这些实现应用于其他计算机视觉任务，如分割，深度预测，姿态估计和动作分类。Carreira和Zisser-man的研究提出使用Inflated 3D版本的Inception从动力学视频数据集中识别人类动作。这些数据集包含400多个人类动作类（人类动作类），每个类 由 400 个 独 特 的 Youtube 视 频 组 成 （ Carreira 和 Zisserman ，2017）。这项研究的贡献是引入了2D图像分类CNN的应用来解决3D动力学数据集分类，因此与现有的视频架构相比，双流膨胀3D ConvNet（I3D）作为动力学数据集的新的最先进架构，即（1）3D ConvNet +长短期记忆（LSTM），（2）双流网络，和（3）TwoStream充气3DConvNets（I3D）。结果表明，与双流网络（UCF-101 88%，HMDB-51 59.4%）和3D ConvNet（UCF-101 90.1%）相比，I3 D具有更好的预测性能（UCF-101 98%，HMDB-51 80.7%）。这研究通过将学习从2D CNN转移到3D CNN开辟了道路，这可以用于CT扫描图像等3D数据集（Carreira和Zisserman，2017）。2.4. 特征金字塔网络特征金字塔网络（FPN）是使用从CNN层提取的多尺度特征构建在S形模型中的网络，所述CNN层被放大，然后与分层较低的特征图横向堆叠，以增加由每个金字塔阶梯表示的特征的丰富度随着特征图变得更厚，特征图的大小将增加，并导致增加的内存消耗。由于FPN是计算密集型的，因此避免在低计算设置中使用它（Lin等人，2017; Lindsay等人， 2018年）。Lin et al.的研究证明了将FPN集成到更快的基于区域的卷积神经网络（Faster R-CNN）中的好处Lin等人用FasterR-CNN替换原始FasterR-CNN的区域建议网络（RPN），该网络用作通用特征提取器，并且与原始两阶段Faster R-CNN相比，能够以更短的训练时间超过原始FasterR-CNN平均精度0.5 3.4点（59.1 vs. 55.7）（Lindsay et al.， 2018年）。570I.W. Harsono等人/Journal of King Saud UniversityFPN通过组合具有不同比例的多个连续层来工作，其中具有较小尺寸的特征图将被放大2倍，然后使用添加系统与下面的特征图层一起添加在横向添加特征图之后，每个层将在每个金字塔层上进行预测。每个金字塔层生成的预测将被连接并传递到回归和分类函数，给出 像 素 分 割 / 边 界 框 和 检 测 到 的 对 象 的 类 别 作 为 最 终 输 出（Girshick，2015; Lindsay等人， 2018年）。2.5. RetinaNet到目前为止，最流行的对象检测方法是R-CNN，因为它们能够在密集神经网络的训练过程中平衡前景和背景类。Lin等人成功地解决了前景与背景类的问题，他们提出了最先进的一级对象检测器RetinaNet。RetinaNet能够通过实现用于多尺度目的的焦点损失交叉熵函数和FPN来补偿前景和背景类（Ren等人，2017; Lin等人，2017年）。RetinaNet结合ResNet-101-FPN主干，焦点损失α = 0.25，γ =2.0，已成功优于先前最先进的单级检测器DSSD（去卷积单次激发检测器）和两级检测器Faster R-CNN（基于Inception-ResNet-v2-TDM模型），具有更高的AP，39.1（RetinaNet ）与33.2（DSSD ）与 36.8 （更快的R-CNN）（Ren等人，2017年; Liu等人，2016; Lin等人， 2017年）。 其在肺结节检测上的使用由Jaeger等人类似地证明，其中具有随机硬示例挖掘（SHEM）损失函数的Retina U-Net优于用于肺病变检测的U-Faster R-CNN和Mask R-CNN（Jaeger等人， 1811年）。因此，可以得出结论，RetinaNet和Retina U-Net已经被证明是当前最先进的自然和医学对象检测器（Lin等人，2017; Jaeger等人， 1811年）。3. 该方法在图1中，示出了所提出的I3 DR-Net单级对象检测器架构。该架构采用并修改了I3D主干和单级最先进的对象检测器RetinaNet 3D，并修改了FPN框架。如 前 面 第 2.3 节 所 述 ， I3D 主 干 是 从 2D CNN Inception V2 到Inception 3D（I3D）的膨胀的结果，Carreira和Zisserman先前使用了I3D RGB主干，他们提出使用I3D RGB主干从相邻的RGB图片帧中提取特征图，这在动作识别中提供了令人满意的性能。在这个实验中，我们只使用了一个I3D（Inflated Inception V2）架构，它是从RGBI3D主干中提取出来的，用来替换原始RetinaNet架构使用的ResNet主干。这些主干替换的理由是基于由许多RGB或灰度图像组成的3D医学图像数据集的相似性质（Carreira和Zisserman，2017）。每个层的特征图大小、过滤器内核以及I3D主干和特征金字塔网络（FPN）的步幅的细节特征金字塔网络（FPN）是一种使用从先前金字塔层提取的多尺度特征的梯形网络模型，这增加了内存消耗，因为特征图随着金字塔特征图的大小增加而变得更厚，如先前在第2.4节中提到的（Jaeger等人，1811;Lin等人， 2017年）。研究人员发现，使用Lin等人提出的特征金字塔网络[P3，P4，P5 ， P6，P7]以及P2层的添加将导致16 GB TeslaP100服务器上的内存不足，尽管数据集馈送系统已经执行了深度大小为64（c '，x'/2，y '/2，64）的每个补丁修改后的FPN上的P2层对于小对象检测是必要的，其中P2层将进行放大特征图，与原始2D RetinaNet模型提出的最大特征图金字塔层（P3层）相比，该特征图将经验性地提高I3 DR-Net的检测性能，因此由于P2层不可替换（不可或缺），我们对FPN使用的结构进行了更改。Fig. 1. I3 DR-Net模型。I.W. Harsono等人/Journal of King Saud University571ðÞ.Σ公司简介D ¼;D¼;D¼表1I3 DR-NET的每个CNN层的信息没有层神经元数量填充特征图大小（c，n，z，y，x）*滤波器内核步幅1输入––第二、三、六十四、一百二十八、一百二十八––2conv3d_1a_7x73相同第二、六十四、三十二、六十四、六十四七，七，七二二二3maxPool3d_2a_3x364相同第二、六十四、三十二一二三一，二，二4conv3d_2b_1x164相同第二、六十四、三十二一，一，一一，一，一5conv3d_2c_3x364相同第二卷，一九二，三十二三，三，三一，一，一6maxPool3d_3a_3x3192相同第二卷，192，32，16，16一二三一，二，二7mixed_3b192相同第二卷，第二百五十六页，第三十二页，第十六页，第十六页一，一，一一，一，一三，三，三8mixed_3c256相同第二、四百八十、三十二、十六、十六条一，一，一一，一，一三，三，三9maxPool3d_4a_3x3480相同2，480，16，8，8三，三，三二二二10mixed_4b480相同2，512，16，8，8一，一，一一，一，一三，三，三11混合_4c512相同2，512，16，8，8一，一，一一，一，一三，三，三12mixed_4d512相同2，512，16，8，8一，一，一一，一，一三，三，三13mixed_4e528相同2，528，16，8，8一，一，一一，一，一三，三，三14mixed_4f832相同2，832，16，8，8一，一，一一，一，一三，三，三15maxPool3d_5a_2x2832相同2，832，8，4，4二二二二二二16混合_5b832相同2，832，8，4，4一，一，一一，一，一三，三，三17混合_5c832相同二、一○二四、八、四、四一，一，一一，一，一18P2––第二、三十六、三十二、三十二、六十四页三，三，三––19P3––二、三十六、三十二––20P4––二三十六八八十六––21P5––二三十六四四八––* c =数字通道，默认值= 2，用于CT扫描图像（黑白），n =神经元数量，z = z维，y = y维，x = x维。RetinaNet，其结果是修改的FPN而不是完全连接的FPN。修改后的FPN仅使用4个金字塔层[P2，P3，P4，P5]而不是5个金字塔层[P3，P4，P5，P6，P7]，修改后的架构中的每个特征图是两个相邻层之间的横向堆叠/添加的结果（上CNN层的内插一半大小和相邻CNN层的正常大小）与在原始FPN上进行的多级堆叠相比，其中最低金字塔是从先前放大的金字塔等级与新层垂直叠加的结果（放大的预放大的金字塔等级的迭代叠加）。通过比例因子为2的三线性内插的可见金字塔层和正常大小的相邻CNN层）。三线性插值通过应用线性插值七次得到，每次三次以找到点p1，p0，再一次找到点p i;j;k。三线性插值的数学符号可以在下面的公式2a-c中看到（Kang，2006），而在公式2上可以看到使用来自各个特征图Fn与前一层三线性插值t1<$Fn-1<$的加法来构造修改的FPN第n层Pn1Diii2Dji3Dki4Di Dji5Dj Dki6Dki17Di Dj Dk其中，Di、Dj、Dk是如公式2b所示的在x、y、z方向上的点相对于起始点p000的Pn<$FnlFn-1jn<$2Pn<$FnlFn-1j2n≤53

下载后可阅读完整内容，剩余1页未读，立即下载