M3T：基于多平面多切片Transformer的3D医学图像分类器

20718M3T：基于多平面多切片TransformerJinseong Jang Dosik Huang*延世大学电气电子工程学院摘要在这项研究中，我们提出了一个三维医学图像分类器，使用多平面和多切片变换器（M3T）网络分类阿尔茨海默所提出的网络协同组合3D CNN、2D CNN和Transformer以进行准确的AD分类。3D CNN用于执行原生3D表示学习，而2D CNN用于利用大型2D数据库和2D表示学习上的预训练权重。使用具有归纳偏差的CNN网络可以有效地提取局部脑中AD相关异常的局部信息变换器网络还用于在CNN之后获得多平面（轴向、冠状和矢状）和多切片图像之间的注意力还可以使用没有感应偏置的Transformer来学习分布在大脑中的更宽区域上的AB。在本实验中，我们使用了来自阿尔茨海默病神经成像倡议（ADNI）的训练数据集对于验证数据，我们使用了来自三个不同机构的数据集：澳大利亚老龄化成像、生物标志物和生活方式旗舰研究（AIBL）、开放获取系列成像研究（OASIS）和独立于训练数据集的一些ADNI数据集。我们提出的M3T与基于曲线下面积（AUC）和AD分类的分类该研究表明，所提出的网络M3T在多机构验证数据库中实现了最 高 性 能 ， 并 证 明 了 该 方 法 有 效 结 合 CNN 和Transformer用于3D医学图像的可行性1. 介绍卷积神经网络（CNN）已经建立，在计算机视觉领域具有主导性能[35]。他们表现出了很高的水平。*通讯作者。图1.基于多平面多切片Transformer网络（M3T）各种计算机视觉任务，如图像分类[26，28，35，65]，对象检测[38，53，54]和语义，抽搐分段[8，40，55]。此外，这些基于CNN的架构已广泛应用于各种模态（如X射线[27]、CT [24]、MRI[20，30]和超声[12]）中的医学图像分析领域[39]，以及从2D到3D医学图像的各种维度信号[4，74]。特别是，为了分析3D医学图像，已经基于2D和3D CNN网络建立了各种方法[4，47，56，74]。基于2D的方法具有使用大规模2D自然图像的预训练模型的优点，而2D表示学习对于3D图像上下文的分析具有缺点[47，56，74]。另一方面，基于3D的方法可以原生地学习3D表示[13，44，57]。然而，很少有公开的3D数据库用于预训练[61，62]。此外，3D模型缺乏建立深层的能力，因为它需要大的参数和计算。20719成本[64，72]。在3D医学图像上的2D和3D表示学习之间存在权衡：这些研究选择2D或3D CNN模型[74]。同时，Transformer网络不仅广泛用于自然语言处理[16，69]，而且还广泛用于计算机视觉处理[5，18，32]。这些网络具有更宽的感受野，可以覆盖大面积的图像，并且随着网络的深度线性增长，而基于卷积的网络具有有限的感受野。最近，Vision Transformer（ViT）[18]它由一个纯粹的基于变换器的体系结构组成，可以在图像分类上实现合理的性能。此外，ViT使用非常大规模的数据库实现了与传统的基于CNN的方法相当的结果，这表明Transformer模型与其他最先进的技术具有竞争力。然而，当使用较小的数据集训练模型时，基于CNN的方法往往表现出更高的准确性。这表明，由于CNN架构中存在的归纳偏差能力较低，因此纯基于transformer的架构在小数据集上训练时很难学习有意义的表示[18，32]。特别是对于3D医学图像，数据集的数量相对低于其他领域的数据集，因为伦理问题[61，62]难以访问，高维度[64]的计算成本高，注释昂贵，以及严重的类别不平衡问题[72]。因此，基于纯变换器的方法尚未被广泛用于分析3D医学图像。事实上，CNN和Transformer之间存在一些权衡：CNN另一方面，具有最小感应偏置的Transformer可以证明在小数据集中是有限的，但是偏置使得架构能够覆盖具有高感受野的大面积[14，18，71]。最近，研究了结合CNN和Transformer的混合网络，以利用这两种方法，并实现了与传统方法相比更具竞争力的性能[14，71，79]。然而，这些混合网络仅将2D CNN和Transformer结合用于2D图像，而我们的方法将2D，3D CNN和Transformer结合用于3D医学图像。阿尔茨海默AD的进展通常涉及结构变化，如大脑皮质萎缩、脑室面积扩大和海马体积缩小[1，25]。图2显示正常对照和AD患者的脑图像。因此，3D MRI图像已被广泛使用图2.正常对照脑（左）和严重阿尔茨海默病变性脑结构变化（右）的比较分析AD相关异常[63]。然而，对于医生来说，分析大型复杂的MRI图像并手动提取重要信息此外，由于各种操作员间或操作员内的可变性问题，大脑3D MRI的手动分析耗时且容易误诊[15]。AD患者大脑皮层萎缩发生在分布于全脑的皮层。因此，具有宽感受野的Transformer架构适合于检测这种皮层变化。另一方面，局部脑区室性区增大，海马萎缩.具有感应偏置的CNN网络适用于这些局部海马变化。因此，我们在本研究中使用了CNN和Transformer网络相结合的混合网络。此外，Transformer网络可以分析从相邻到远处图像的各种距离关系，因为它具有排列不变性质[18]。在这项研究中，我们提出了一个三维医学图像分类器，使用多平面和多切片变换器（M3T）网络分析AD在三维MRI图像。我们的目标是在3D MRI图像中对正常对照（NC）的阿尔茨海默病（AD）进行分类所提出的M3T模型的总体架构如图1所示。本研究的主要贡献如下。首 先 ， 我 们 提 出 的 M3T 成 功 地 结 合 了 CNN 和Transformer架构，用于三维图像分类。具有归纳偏差的CNN架构使我们的网络能够有效地分析与AD异常相关的局部特征。具有大接收场的Transformer可有效结合CNN的多平面（冠状、与纯CNN和trans-former方法相比，M3 T实现了更高的性能。其次，我们使用混合网络和多平面，切片特征提取有效地结合了3D MRI图像的2D和3D CNN架构。使用3D CNN，可以获得3D表示特征以分析3D AD。20720相关异常此外，在2D CNN过程中使用的交叉切片和交叉平面2D特征可以从3D图像中表现出来。使用2DCNN，我们使用大数据库预训练网络，这确保了使用少量医学图像进行稳定训练。由于这些原因，与不结合2D或3D CNN网络的方法相比，我们的M3T获得了更高的性能。第三，我们在3D MRI图像中可视化激活区域，以实现Transformer可解释性方法[7]。这些结果为3D MRI图像中AD相关异常提供了解释和说明。此外，激活区域显示网络集中在AD相关功能的位置从这些可视化结果来看，我们所分析的区域在很大程度上与阿尔茨海默病主要萎缩的区域一致2. 相关作品2.1. 用于计算机视觉的Transformer随着Transformer在NLP领域的成功应用[16，69]，已经建立了许多研究，以引导Transformer网络用于视觉任务。 种马-如ViT [18]和DeiT [66]用于图像分类，DETR [5]用于目标检测，ViViT [2]和VTN[46]用于视频分析和基于变换器的分割[68]。特别是，ViT解决了第一个问题，简单地将图像划分为不重叠的补丁，并使用每个补丁作为一个视觉令牌。ViT表明，在大型数据集上训练的Transformer模型可以在图像分析方面实现非常有竞争力的性能。然而，当没有足够的训练数据时，ViT并没有达到高性能，因为有非常低的诱导偏差。DeiT [66]通过在ImageNet-1 K中引入正则化和增强管道来解决这个问题。此外，在医学图像分割[22，70]、2D医学图像分类[42]、图像去噪[41]和图像重建[33]中研究了Transformer方法为了利用CNN和Transformer，结合两种网络的混合网络已经在计算机视觉领域得到了证明[14，71，79]。通过各种消融研究，CNN和Transformer的混合实现了计算机视觉领域中包括多层感知器在内的其他网络组合的竞争性能这些结果表明，CNN和Transformer以不同的角色组合可以有效地执行视觉任务。2.2. 3D医学图像分析二维CNN模型已广泛应用于三维医学图像分析。提出了多平面表示方法，其中来自冠状、矢状和轴向平面被视为2D输入的三个通道[45，51，56]。这在经验上是有效的，但该方法的缺点是三个通道在空间上不对齐。另一种方法使用基于多切片的方法，其中三个多切片图像被视为2D输入中的多通道[4，17，48，75]。此外，还有使用多平面和多切片的研究[50，78]。然而，这些网络仅使用2D CNN，无法考虑原生3D表示特征。代替2D CNN方法，有许多方法使用3D CNN网络进行3D医学图像分析[13，44，57]。与2D CNN网络在3D表征学习中的局限性相比，基于3D CNN的方法能够学习3D表征特征。因此，基于3D CNN的方法通常更好地用于需要分析的任务，例如医学图像中的3D器官。然而，很难获得大规模的uniform 3D预训练。因此，3D网络的有效训练是3D方法的一个痛点此外，3D CNN缺乏构建深层的能力，它需要大的参数和计算成本，这导致低的感受野并且具有低的能力来分析3D医学图像中的大对象。为了克服这两种模型的局限性，我们将分析多平面和多切片图像的2D方法与具有3D表示学习的3D CNN方法相结合[74]。此外，我们使用了一个Transformer网络，有效地分析了远程关系，以覆盖多平面和多切片的功能。2.3. 阿尔茨海默已经有基于深度学习的AD分类方法。3D VGGNet[37]，ResNet [31，34，37，73]和densenet [58]用于对AD扫描进行分类。在这项工作中，一些众所周知的基线2D深度架构，如VGGNet和ResNet，被转换为它们的3D对映体，并使用MRI数据进行AD的分类。此外，还演示了一种基于自动编码器的方法，用于从3D贴片的输入特征中导出嵌入[36]。使用MRI数据开发了具有3D CNN 层的 组合 堆叠递 归神 经网 络用于 AD 分类[21]。还研究了使用3D医学图像进行AD分类的深度3DCNN方法。大多数研究人员使用基于CNN的网络[19，77]。3. 方法3.1. 网络：M3T为了建立我们的模型设计，我们结合了各种深度学习结构，包括3D CNN，2D CNN和Transformer网络。M3T的详细架构如图3所示。M3T由五个主要模块组成：1）3D20721∈→→→∈图3.我们提出的M3T的详细架构（a）M3T中的3D CNN模型部分（b）多平面和多切片图像的提取部分（c）M3T中的2D CNN模型和非线性投影部分（d）位置和平面嵌入部分。（e）Transformer编码器部分。CNN块以获得原生3D表示特征，2）从3D表示特征提取多平面和多切片标记的块，3）2D CNN以利用大型2D数据库上的预训练权重和具有非线性投影网络的2D表示特征，4）嵌入块以保留多平面和切片标记的位置和平面信息，以及5）Transformer网络以获得具有位置和平面嵌入的多平面（轴向、冠状和矢状）和多切片图像之间的整体关系。3.2. 3D卷积神经网络模块为了获得3D表示特征，我们将3D CNN块应用于MRI图像IRL×W ×H，其中图像长度L、宽度W和高度H都相同。3D CNN块D3d：RL× W × H→RC3d× L × W × H包括两从3D表示特征X. 这些特征是从提取算子E中计算出来的。该算子由冠状面特征提取器Ecor：RC3d× L × W ×H RC3d× N × W × H、矢状面特征提取器Esag：RC3d× L × W× HRC3d× L × N × H和轴向特征提取器Eax：RC3d× L × W ×HRC3d× L × W × N组 成 。（二）、E= [Ecor，Esag，Eax]。（二）使用提取器E，从3D表示特征X计算多平面和多切片特征S：S= [Scor，Ssag，Sax]，（3）其中特征包括多平面图像切片特征层的5×5×53D CNN层与批量归一化-从等式（3）：冠状切片特征S∈RC3d×N×W×H，和ReLU激活（C是通道号）。 后3D CNN块被应用到输入图像I中，3D CNN块被应用到输入图像I中。矢状切片特征Ssag∈ RC3dCor×L ×N ×H，轴向有限元-计算表示特征XX= D3d（I）.（一）XRC3d×L ×W ×H的空间尺寸与输入I相同。图3（a）呈现了用于获得3D表示特征的3D CNN块的详细架构。3.3. 多平面、多切片图像将3D CNN分块输入图像后，提取20722∈→→真SaxRC3d× L × W × N。因为特征宽度、长度和高度都相同时，拼接和特征整形过程：RC3d× L× W × HR3N× C3d× L × L可以应用于所有提取的特征S。图图3（b）示出了用于获取特征的提取块的详细架构3.4. 2D卷积神经网络模块2D CNN块过程由两部分组成：预训练的2DCNN部分和非线性投影部分。首先，应用权重共享的2D CNN D2d：R3N× C3d× L × LR3N × C2d（C2d是2DCNN的输出通道大小）20723∈→∈CLS∈∈CorCor凹陷∈ ∈ ∈∈∈斧头斧头到重塑的特征SR3N×C3d×L ×L。2D CNN像ResNet网络一样执行全局平均池化[26]。Zk=MSA（LN（Zk）+Zk（7））K=D3d（S），（4）其中2D CNN处理的特征K=R3N×C2d。Af-Zk+1 =MLP（LN（Z）k）+Zk（八）因此，我们将广泛用于各种自监督学习非线性投影层Dmlp：R3N×C2d R3N×d应用于投影[10，11，76]。非线性投影由两层MLP组成，它们之间具有ReLU激活。使用该层，通道数C2d更改为投影尺寸d.来自2D CNN和非线性投影层的多平面和多切片图像令牌TR3N×dT=Dmlp（K），（5）其中，令牌T= [T、T、T]，冠状切片至-MLP层由两个由GELU激活函数分隔的线性投影组成，并且令牌维度d在所有层中保持固定，如图所3（e）。最后，线性分类器用于基于MLP头对编码输入进行分类：zKRd。有两个最终的分类类：NC和AD。4. 实验4.1. 实验数据集在这项研究中，我们从肯 Tcor∈ RN×d凹斧，矢状切片标记Tsag∈RN×d 得双曲正弦值.阿尔茨海默for the training训练process过程.培训总数轴向切片标记TaxRN×d图3（c）示出了2D CNN块和非线性投影的详细过程。3.5. 位置和平面嵌入块在计算多平面和多切片图像标记之后，将位置和平面嵌入标记添加到来自非线性投影层的图像标记，如图3（d）所示。首先，将可学习的一维位置嵌入令牌Ppos应用于嵌入方案以保留位置信息。此外，我们添加了平面嵌入Ppln，以给出指示这些标记属于哪个平面的信息。一个可学习的分类标记z cls被前置到这些标记，类似于ViT类标记。 平面分离标记z sep也被附加在每个平面标记和标记的末尾之间，类似于BERT sep标记。Transformer编码器Z0R（3N+4）×d中使用的最终令牌如下：数据集为4，786例，包括3，174例NC和1，612例AD病例。所有MR图像均使用1.5T或3T MR系统获得在训练期间，总训练数据集的20%用于验证数据集，这是基于患者的随机分割。为了评估各种深度学习模型的性能，从三个机构获得了测试数据集：ADNI，Australian Imaging，Biomarker and Lifestyle FlagshipStudy of Ageing（AIBL）和The Open Access Series ofImaging Studies（OASIS）。特别是，来自ADNI的测试数据库与训练数据集完全分离。ADNI测试数据集包括总共751个病例，其中包括509个NC和242个AD病例。AIBL数据集共包含817例病例，其中包括697例NC和120例AD病例。OASIS数据集共包括509例病例，其中包括323例NC和206例，如图所示。 来自三家机构的数据集需要一个机构批准过程。尽管这些数据是在机构审查委员会批准的情况下收集的，Z0=[zcls，T12Cor、...、TN，zsep，未经许可不得共享数据库，只有经授权的研究人员才能为研究目的使用。1凹陷2凹陷 、...、TN，zsep，（六）T1，T2，. T N，z sep]+ P pos+ P pln，其中zclsRd，zsepRd，PposR（3S+4）×d，PplnR（3S +4）× d.3.6. Transformer模块图3（e）示出了Transformer块架构。然后，来自嵌入过程的图像令牌通过由K个Transformer层的序列组成。每个层包括多头自注意（MSA）[69]，层归一化（LN）和MLP块，如下所示：、T不、T20724× ×××4.2. 实现细节我们应用相同的数据预处理来规范化和标准化来自多机构数据库的MR图像首先，我们使用N4算法[67]来校正强度不均匀性。接下来，使用HD-BET网络执行颅骨剥离算法[29]。然后，我们调整图像的大小，使其具有相同的体素间距（1。75毫米1. 75毫米 1.75mm）和矩阵尺寸（128128128）。最后，我们使用零均值单位方差方法归一化所有体素的图像强度我们将3D CNN块应用于预处理的输入数据。3DCNN的尺寸为128×128×128，20725××型号名称ParamsADNIAIBL绿洲AUC精度AUC精度AUC精度3D ResNet5046.23M0.92260.88680.85890.91060.81750.79963D ResNet50+Transformer51.65M0.93510.91610.86980.90940.85040.80533D ResNet10185.33M0.93550.89080.88320.91680.86230.81473D ResNet101+Transformer90.75M0.95280.91480.90120.91430.86520.81853D ResNet152117.54M0.93560.89610.87180.89960.84040.80153D ResNet152+Transformer122.96M0.93870.91340.90710.91550.83850.80153D DenseNet20125.60M0.95300.92010.89750.92410.86040.82043D DenseNet201+ Transnformer 30.95M0.94350.90410.91790.92530.84510.82233D ViT33.87M0.88510.83490.81730.87390.83790.7996MRNet24.75M0.94050.90140.90500.91550.85380.7996i3D12.30M0.92760.89210.86390.89840.84570.8034医疗网46.19M0.95220.90810.90160.89840.88610.8261FCNlinksCNN12.84M0.94890.90810.91040.91550.84950.8015M3T（我们的）29.12M0.96340.93210.92580.93270.89610.8526表1.在多机构阿尔茨海默病数据库上与各种3D分类网络进行比较将其分解为具有32个通道的3D表示特征。此外，我们使用ImageNet预训练的ResNet50网络[26]进行2D CNN块。第一MLP层中的特征的数量是512，并且最终特征的数量是256。数字256与在Transformer中使用的投影尺寸（关注尺寸）d相同。Transformer层数为8。隐藏大小和MLP大小为768，头数= 8。我们使用Pytorch库实现了M3T [49]。M3T使用β 1 =0的Adam优化器进行训练。9和β2= 0。999，学习率为0.00005，批量大小为4。对于二进制分类（AD和NC ） ， 我 们 使 用 二 进 制 交 叉 熵 损 失 。 培 训 使 用NVIDIA TITAN RTX GPU进行了大约20小时。采用曲线下面积（AUC）和准确率两个指标对分类算法的性能进行定量评价。4.3. 比较研究结果我们将M3T与基于3D ResNet（50，101，152）[26]，3D DenseNet121 [28]的传统3D分类方法进行了比较，因为它们已广泛用于AD分类[19，31，34，37，58，73，77]。我们还包括I3 D [6]、MRNet [4]、MedicalNet [9]和FCN- linksCNN [52]。本实验中使用的MRNet基于2D ResNet50，因为它比使用AlexNet具有更高的性能。I3D和MedicalNet分别使用在Kinetics和23个医学数据库上训练的权重。其他网络没有使用预先训练的权重。在这个实验中，我们添加了一个混合网络，将一些3D CNN网络与Transformer结合起来。变换器在3DCNN之后使用3D特征令牌在ad-此外，我们实现了由纯变压器网络组成的3D ViT[18]。在该模型中，应用Transformer中的序列进行提取的3D面片嵌入，其大小为16 × 16 × 16，投影维数为512。定量性能见表1，其中显示了来自多机构数据集的AD分类的AUC、准确度值。与其他方法相比，M3T实现了最高的除DenseNet121网络外，CNN和Transformer相结合的混合模型的性能也高于普通的3D CNN模型，这突出了Transformer网络在AD分类中的重要性。此外，3D ViT算法的性能低于其他算法。虽然网络在使用非常大的数据库的实验中获得了很高的性能另一方面，我们提出的使用混合网络的M3T在少量的医疗图像中实现了具有竞争力的性能。4.4. 消融研究结果为了评估M3T网络的每个块对性能的影响程度，我们将原始M3T模型与以下3种模型进行了比较：1）没有 初 始 3D CNN 块 的 M3T ， 2 ） 没 有 2D CNN 块 的M3T，3)没有Transformer块。表2显示了性能比较结果。由于直接将2D多平面图像转换为一维向量的双层投影的参数的数量，“w/o 2D CNN块”模型中的参数的总数不同于减去2DCNN块的值的值。20726模型ParamsADNIAIBL绿洲AUC精度AUC精度AUC精度w/o 3D CNN块28.98M0.95150.92280.88960.91680.87500.8242w/o 2D CNN块29.67M0.92360.89610.86170.88980.83400.8147不带Transformer块24.91M0.94450.90810.90520.91310.87270.8336M3T（我们的）29.12M0.96340.93210.92580.93270.89610.8526表2.使用4种不同的M3T模型对AD分类进行定量比较，以评估M3T网络的每个块对性能的影响程度。数据提取方案ParamsADNIAIBL绿洲AUC精度AUC精度AUC精度单切片、多平面29.09M0.90860.85880.86400.81520.81520.7731多层，冠状面29.11M0.94960.91340.91010.90940.86920.8185多切片，超导29.11M0.92950.89750.87760.90330.86910.8223多切片，轴向29.11M0.95410.91610.86170.90700.87600.8336多切片、多平面29.12M0.96340.93210.92580.93270.89610.8526表3.使用5种不同的M3T模型定量比较AD分类，以评价多切片和多平面图像提取。CNN从M3T的。它表示组合所有块的混合模型具有最佳性能。虽然性能的顺序是没有初始3D CNN块、没有Transformer块和没有2D CNN块的M3T，但它表明所有块对于在3D MRI图像中分类AD都很重要。接下来，为了分析基于多平面和多切片特征的方法的重要性，我们将M3T与以下4种模型进行了比较：1）多平面但单切片，2)多层面但仅冠状面，3）仅矢状面和4）仅轴向面。在表3中，使用多平面和多切片的M3T具有与其他型号一致的最高精度结果。这表明多平面多切片提取对于分析三维MRI图像是非常重要的。此外，在单平面实验情况下，轴向和冠状面模型比矢状面模型具有更高的性能。考虑到临床医生主要在轴向或冠状面分析脑室扩大，在冠状面分析海马萎缩[59，60]，M3T在每个平面的分析能力不同然而，当考虑基于多平面的模型的最高性能时，我们可以观察到在对3D MRI图像进行分类时使用所有三个平面的重要4.5. 可视化结果我们基于Transformer可解释性技术[7]可视化我们的M3T网络的激活区域。图4示出了多机构数据集的3DMRI图像中的AD相关激活图。激活图主要集中在海马、脑室和大脑皮质区。特别是，图1的轴向图像4（d）显示M3T主要集中在圆圈注释区域中严重收缩的皮层区域。可以看出，M3T有效地分析了主要发生在AD患者中的大脑结构变化。另一方面，图5显示热图区域广泛分布在大脑上。这意味着整个大脑中与AD相关的异常可以通过我们提出的模型进行分析。激活区宽是具有高感受野的Transformer网络的优点之一。图6显示了3D MRI模板中所有AD病例的平均激活图。热图主要集中在冠状面的海马区和轴向域的脑室有趣的是，在图6中，右侧海马比左侧海马更集中，研究表明AD患者的大脑中右侧海马的收缩更多[3，23]。这表明M3T成功地聚焦于实际大脑中与AD相关的结构5. 结论在本文中，我们提出了一种三维医学图像分类方法，称为M3T，使用多平面和多切片Transformer的阿尔茨海默病分析。我们提出的方法结合了2D CNN，3D CNN和Transformer网络。实验结果表明，我们提出的M3T实现了更高的性能相比，传统的三维图像分类网络在多机构的测试数据集。使用Transformer可解释性技术的可视化结果也表明，M3T可以可视化3D MRI图像的AD相关区域，并且激活区域与临床研究中的AD相关区域研究密切相关。20727图4.使用Transformer可解释性的AD相关可视化映射结果。结果包含来自ADNI测试数据集（a）、（b）、AIBL数据集（b）和OASIS数据集（c）的多平面图像和Transformer可视化结果热图比例是红色接近1（高激活值）和蓝色接近0（低激活值）的喷射色图图5.与AD相关的可视化案例，其中我们的网络分析整个区域而不是大脑的局部器官。图6.所有AD病例的3D MRI模板图像（第一行）和平均激活可视化图（第二行）。6. 确认本研究由三星电子三星研究资助中心支持，项目编号为SRFC-TF 2103 -01。20728引用[1] Liana G Apostolova，Amity E Green ，Sona Babakcha-nian，Kristy S Hwang，Yi-Yu Chou，Arthur W Toga，and Paul M Thompson.正常老化、轻度认知障碍和阿尔茨海默病患者的海马萎缩和脑室扩大Alzheimer diseaseand associated disorders，26（1）：17，2012. 2[2] Anurag Arnab ， Mostafa Dehghani ， Georg Heigold ，Chen Sun，MarioL uc i c′，andCorde l iaSchmid. Vivit：一个 视 频 视 觉 Transformer 。 arXiv 预 印 本 arXiv ：2103.15691，2021。3[3] 约瑟芬·巴恩斯、雷切尔·I·斯卡希尔、乔纳森·M·肖特、克里斯·弗罗斯特、马丁·N·罗索和尼克·C·福克斯。阿尔茨海默病影响海马的不对称性吗？来自横截面和纵向体积MRI研究的证据痴呆和老年认知障碍，19（5- 6）：338-344，2005。7[4] Nicholas Bien，Pranav Rajpurkar，Robyn L Ball，JeremyIrvin ， Allison Park ， Erik Jones ， Michael Bereket ，Boguk N Patel，Kristen W Yeom，Katie Shpanskaya等人，膝关节磁共振成像的深度学习辅助诊断：mrnet的开发和回顾性验证PLoS medicine，15（11）：e1002699，2018。一、三、六[5] 尼古拉斯·卡里昂、弗朗西斯科·马萨、加布里埃尔·辛纳夫、尼古拉斯·乌斯尼尔、亚历山大·基里洛夫和谢尔盖·扎戈鲁伊科。使用变压器进行端到端对象检测在EuropeanConferenceon ComputerVision 中 ， 第213Springer，2020年。二、三[6] Joao Carreira和Andrew Zisserman。你好，动作识别？新模型和动力学数据集。在IEEE计算机视觉和模式识别会议的论文集，第6299-6308页，2017年。6[7] 希拉·切佛希尔·古尔和里奥·沃尔夫Transformer的可解释性超出了注意力可视化。在IEEE/CVF计算机视觉和模式识别会议论文集，第782-791页，2021年。三、七[8] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834-848，2017。1[9] Sihong Chen，Kai Ma，and Yefeng Zheng. Med 3d：用于3D医学图像分析的trans-fer学习。arXiv预印本arXiv：1904.00625，2019。6[10] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的一个简单框架国际机器学习会议，第1597-1607页。PMLR，2020年。5[11] Ting Chen ， Simon Kornblith ， Kevin Swersky ，Mohammad Norouzi，and Geoffrey Hinton.大的自监督模型 是 强 半 监 督 学 习 器 。 arXiv 预 印 本 arXiv ：2006.10029，2020。5[12] 蒋宗真、黄耀贤、陈荣泰、黄春生、张瑞丰。使用3-dcnn和优先候选聚集在自动乳腺超声中进行肿瘤检测。IEEE transactions on medical imaging，38（1）：240-249，2018。1[13] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预国际会议，第424-432页。施普林格，2016年。第1、3条[14] Zihang Dai，Hanxiao Liu，Quoc V Le，and MingxingTan. Coatnet：将卷积和注意力结合起来，适用于所有数据大小。arXiv预印本arXiv：2106.04803，2021。二、三[15] 我是安娜·D·斯波特·奥维奇，巴特·古森斯和W·伊尔弗里德·菲利普斯。人脑的核磁共振分割：挑战、方法与应用。医学中的计算和数学方法，2015，2015。2[16] 雅各布·德夫林张明伟李肯顿和克里斯蒂娜·图塔诺娃。Bert：为语言理解而进行的深度双向转换器的预训练。arXiv预印本arXiv：1810.04805，2018。二、三[17] Jia Ding，Aoxue Li，Zhiqiang Hu，and Liwei Wang.使用深度卷积神经网络在计算机断层扫描图像中准确检测肺结节。医学图像计算和计算机辅助干预国际会议，第559-567页。Springer，2017. 3[18] AlexeyDosovitskiy，LucasBeyer，AlexanderKolesnikov，Dirk Weissenborn，Xiaohua Zhai，ThomasUnterthiner ， Mostafa Dehghani ， Matthias Minderer ，Georg Heigold，Syl- vain Gelly，et al. An image is worth16x16 words ： Trans- formers for image recognition atscale.在2020年的学习代表国际二、三、六[19] Amir Ebrahimi，Suhuai Luo和Raymond Chiong。介绍3dresnet-18在mri图像上检测阿尔茨海默病的迁移学习。2020 年 第 35 届 新 西 兰 图 像 和 视 觉 计 算 国 际 会 议（IVCNZ），第1-6页。IEEE，2020年。三、六[20] Taejoon Eo ， Yohan Jun ， Taeseong Kim ， JinseongJang，Ho-Joon Lee，and Dosik Hwang. Kiki网：用于重建欠采样磁共振图像的跨域卷积神经网络。磁共振医学，80（5）：2188-2201，2018。1[21] Chiyu Feng ， Ahmed Elazab ， Peng Yang ， TianfuWang，Feng Zhou，Huoyou Hu，Xiaohua Xiao ，andBaiying Lei.通过3d-cnn和fsbi-lstm进行阿尔茨海默病诊断的深 度学习框架IEEE Access ，7 ：63605-63618 ，2019。3[22] Yunhe Gao，Mu Zhou，and Dimitris N Metaxas. UTnet：一种用于医学图像分割的混合Transformer架构。医学图像计算和计算机辅助干预，第61斯普林格，2021年。3[23] CGeroldi ， MPLaakso ， CharlesDeCarli ， ABeltramello，A Bianchetti，H Soininen，M Trabucchi和Giovanni B Frisoni。阿尔茨海默病的载脂蛋白e基因型和海马不对称性：一项容积mri研究。神经病学杂志，神经外科和精神病学，68（1）：937[24] Harshit Gupta ， Kyong Hwan Jin ， Ha Q Nguyen ，Michael T McCann，and Michael Unser.基于cnn的投影梯度下降法一致性ct图像重建。IEEE trans-actions onmedical imaging，37（6）：1440-1453，2018。120729[25] Taylor C Harris，Rijk de Rooij，and Ellen Kuhl.脑萎缩：脑外伤后的脑萎缩。生物医学工程年鉴，47（9）：1941-1959，2019。2[26] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and pa