医学信息学解锁16（2019）100227基于Capsule Networks和3D CNN的CBIR系统用于阿尔茨海默K.R. Kruthika a，*，Rajeswari b，H.D. Maheshappa b，阿尔茨海默病神经影像学倡议a印度班加罗尔Acharya理工学院电子和通信系b印度班加罗尔Acharya理工学院电子和通信工程系A R T I C L EI N FO关键词阿尔茨海默病胶囊网络人工神经网络卷积层A B S T R A C T阿尔茨海默病（Alzheimer's disease，AD）是一种与记忆丧失相关的不可逆性脑功能障碍，常见于老年人和老龄化人群。革命性的计算机辅助诊断技术与基于内容的图像检索（CBIR）的实施创造了新的潜力，在磁共振成像（MRI）在相关的图像检索和培训，在早期阶段检测AD的进展。本文提出了一种基于内容的图像检索系统，该系统采用三维胶囊网络、三维卷积神经网络和预训练的三维自动编码器技术，用于阿尔茨海默病的早期检测。3D胶囊网络（CapsNets）能够快速学习，即使是小数据集，也可以有效地处理鲁棒的图像旋转和过渡。据观察，与单独的Deep-CNN相比，使用3D-CapsNets和具有3D自动编码器的卷积神经网络（CNN）的集成方法提高了检测性能。CBIR使用所提出的模型被发现是高达98.42%的准确率在AD分类。CapsNet是一种很有前途的图像分类新技术，使用更强大的计算资源和改进的CapsNet架构进行进一步的实验可能会产生更好的结果。1. 介绍医学科学中的成像技术已经被开发并且正在经历技术修改，目的是分析诊断医学图像并且提供用于诊断的连续洞察，以帮助医师、研究人员和学者，并且鼓励进一步的研究和分析。各种现存的医学成像技术涉及产生医学图像，例如，数字射线照相、乳房X线照片（MG）、超声波照相（US）、MRI和计算机断层摄影（CT）机器。已经进行了许多研究，用于从与这些图像的集合相关联的MRI数据库中检索脑图像。MRI扫描图像的一个非常显著的优点是它们产生更高的空间分辨率，并且图像细节对于疾病诊断是突出的。AD是一种常见于老年人的神经退行性疾病，表现为逐渐的记忆丧失和认知功能受损[1，2]。随着人口老龄化，其患病率估计在未来二十年内将翻一番，从而对社会构成挑战[3]。AD病理学最明显的特征是神经元损失，随后是从AD特征区域（例如海马和海马）进展的脑萎缩。杏仁核）到整个皮质区域，这可以通过MRI扫描来识别。这些可观察到的结构变化在认知能力明显下降之前很久就发生了，因此为使用图像工具进行AD早期检测提供了机会。因此，CBIR是最有效的图像检索工具，它也可以非常有效地管理大型数据集。能够基于图像内容进行有效图像检索的系统被称为CBIR系统。因此，可以基于图像识别任务来定义工作CBIR，在该图像识别任务期间，存在对图片集合内的关键视觉元素的检测，其返回一组相关图像。视觉特征可以指颜色、纹理或形状，并且可以形成描述图片区域的视觉词，用于描述整个图片的视觉文档中。这个问题的简化分类如下：a. 从图像中提取适当的视觉特征b. 创建一种描述所有AD标签的语言。c. 像索引文本文档一样索引AD MRI图像集合原文DOI：https://doi.org/10.1016/j.imu.2018.12.001，https://doi.org/10.1016/j.imu.2019.100246。* 通讯作者。电子邮件地址：kr. gmail.com（K.R.Kruthika）。https://doi.org/10.1016/j.imu.2019.100227在线预订2019年2352-9148/© 2019由Elsevier Ltd.发布这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect医学信息学期刊主页：http://www.elsevier.com/locate/imuK.R. Kruthika等人医学信息学解锁16（2019）1002272在最近十年中，卷积神经网络已被广泛用于图像分类任务，具有出色的性能[4，5]。CNN相关的方法适合于从小规模训练集学习，对于开发使用MRI图像进行AD预测的分类器非常有用。其中一个潜在的解决方案是使用数据集迁移学习模式。这可以在大型图像数据集（ImageNet）上预训练ConvNet，然后使用ConvNet作为固定的特征提取器或简单地作为初始化器。为了克服CNN的不足和缺点，新引入的机器学习结构设计被称为胶囊网络（简称CapsNet）[6]，适用于数据图像的快速和深度学习。CapsNet在访问数据转换和旋转信息方面非常强大，而它需要更少的数据集进行训练，学习曲线更低[7，8]。存在通过使用不同的自动编码器或3D CNN来检测AD的其他方法[9，10]。本文通过整合两种不同的迁移学习方法，3D-CapsNet和3D预训练的自动编码器与浅层神经网络，探索特征检索，根据结构性脑MRI扫描对AD病例与正常健康对照进行分类。胶囊网络最重要的属性被称为“协议路由”，这意味着较低级别的胶囊能够预测较高级别胶囊的结果或结果。因此，在较高水平的胶囊的激活对应于只有这样的预测的协议。CapsNets不仅学习了用于特征提取和图像分类的良好权重，还学习了如何从图像中推断空间姿态参数。例如，胶囊网络学习确定平面是否在图像中，以及平面是否位于左侧或右侧，或者是否旋转。这被称为等方差，它是人类一次性学习类型视觉的一个属性[11]。这为更好地解释所学习的特征提供了一个可视化范例。除了这些学习到的特征表示，我们还使用CBIR系统对AD进行分类，同时处理大型数据集。使用3D-CNN和Capsule Network从头开始使用CBIR和基于查询的方法来计算F1分数。最后将结果与AD预测的初步探索性结果该文件分为六个部分和主题：第1节介绍并概述了计算机辅助诊断（CAD）技术（如CNN，CapsNet等）在早期检测AD中的应用。第2节涉及相关的工作和目前的局限性，在AD诊断使用早期的技术，以及拟议的工作的概述。第三部分介绍了AD诊断的方法学、实验概念和过程。建模和训练各种组件，如自动编码器，3D-CNN和CapsNet等。第4节简要介绍了模型训练和测试的结果和成果。第五部分讨论了实验装置，并对实验结果和前人的工作进行了比较。第六节是论文的总结。我们的目标是研究CapsNet的行为，标准卷积网络（ConvNets）在生物医学图像数据库的典型约束下，例如有限数量的标记数据和类别不平衡。我们讨论了使CapsNets更适合解决上述挑战的技术优势，并通过实验证明了其改进的性能。在本文中，我们证明了CapsNets的等方差特性降低了强大的数据要求，因此非常有希望用于医学图像分析。2. 相关作品文献中的许多研究都试图将大脑的结构MRI自动分类为AD、轻度认知障碍或正常对照[12之间分类.它可以探索灰质和白质局部浓度的差异。见参考文件[16]，球谐函数（SH）形式的形状信息被用作支持向量机（SVM）分类器中的特征在参考文献[17]中，使用统计形状模型（SSM）对人群中海马形状的变异性进行建模。因此，AD的基于图像的诊断主要依赖于海马的分析。参考文献[18]中的作者能够证明，与单独使用MRI或CSF相比，CSF量和MRI生物标志物的组合此外，与本文工作相关的论文分三个部分进行了解释：基于内容的AD图像检索，3D卷积神经网络和AD分割，CapsNet方法用于AD分类。作为一个正在进行的研究课题，有几篇论文可用于AD检测使用结构图像从MRI和图像检索使用CBIR。基于内容的图像检索系统在医学领域的搜索能力仍然是一个值得怀疑的主要研究挑战。原因与医学图像的特定性质及其需要检测的细微变化有关，并且需要考虑到这一点[19]。主要关注的是找到一个很好的代表性的图像内容，通过应用技术的特征提取，将适当地代表临床相关的信息。从而使医学CBIR系统的使用更加适用、准确和具有临床意义。参考文献[20]将神经网络用作检测AD不同阶段的多类识别器。 为此，使用了多种技术来揭示海马区的纹理和轮廓，这些技术是从MRI扫描中提取的，其中他们使用大脑的后部区域来检查AD的体积[21]。一种多层技术[22]为实验提供了灵活性，具有各种特征，如分类，反馈，表示和排名，准确率为82.45%。输入的特征分类不仅提供了疾病阶段的估计，而且还有助于调整排名。在以前的作品中，不同的 分类器是 探索， 使用 在检测和测量AD的进展，与MRI成像，通过建立一个CBIR系统更强大[23，24]。SVM用于通过使用脑结构作为生物标志物来确定早期阶段的痴呆或阿尔茨海默氏利用胼胝体、海马、海马的三维切面图像，与大脑皮层的特征相一致，进行识别的AD。该技术提供了高达90.65%的结果准确度[27]。深度学习技术能够从数据中学习这种表示，特别是使用CNN[28]。最近的另一项工作[29]探索了深度CNN在解决问题方面的应用，并在医学领域利用CAD。作者比较了CifarNet [30]与不同模型训练范例在CT图像中淋巴结和几种类型肺部疾病的检测或分类问题上的性能。他们能够显著地增强他们的数据集，因为他们使用补丁而不是完整的图像进行训练。他们的结论是，迁移学习的表现明显优于从头开始的训练[31]，并且在大多数任务中，GoogLeNet架构被证明是优越的，因为更复杂的网络能够更好地从数据中学习隐藏结构。也有一些使用深度网络进行阿尔茨海默氏症分类的工作。在参考文献中。[32，33]作者使用堆叠式自动编码器进行AD/MCI诊断，准确率分别高达87.07%和92.34%。CapsNets是最近开发的一种强大的方法，CNN的局限性[6]。3D-CNN网络架构的灵感来自人类视觉系统的工作。它有点类似于经典的神经网络，主要是在图像的高级特征提取的基础上显式设计的。最近的一项研究实现了CapsNet设计，并探索了模型变化的不同影响，从堆叠更多胶囊层到改变超参数[34]。在参考文献[35]中，最 的 的 共同 和 早些时候 方法， VBM （voX el为基础的CapsNet和作者报告说，CapsNet成功地超越了形态测量学）[15]，是用于脑肿瘤分类的医学图像CNN的常用自动工具。他们开发了一种可视化的K.R. Kruthika等人医学信息学解锁16（2019）1002273��Fig. 1. 提出的阿尔茨海默病分类模型的框图。表1ADNI数据集的人口统计学数据分布诊断ADNCMCI的受试者345605991男/女186/159301/304646/345MMSE�SD 27.03�2.60 21.88�2.15 35.22 �1.24CapsNet的输出范例，以更好地解释学习的功能。此外，在文献中关于CapsNets用于阿尔茨海默氏症分类的可用性有限;因此，这项工作试图通过引入CapsNets用于AD检测来填补空白。在下文中，我们重点讨论了CAD系统的图像分类问题。3. 方法该范例旨在通过基于查询的图像检索系统利用分类方法，使用3DCNN和最新的基准技术CapsNets来学习特征。图1示出了所提出的模型的框图。3.1. 数据本文准备中使用的数据来自AD Neuroimaging Initiative（ADNI）数据库（adni.loni.usc.edu）。ADNI于2003年启动，作为一个公私合作伙伴关系，由首席研究员迈克尔W。Weiner，MD. ADNI的主要目标是测试MRI、正电子发射断层扫描（PET）、其他生物标志物以及临床和神经心理学评估是否可以结合起来测量轻度认知障碍（MCI）和早期AD的进展。ADNI由六个非营利组织于2003年共同发起：国家老龄化研究所（NIA），国家生物医学成像和生物工程研究所（NIBIB），食品和药物管理局（FDA）和私营制药公司，可在adni.loni.ucla上获得。 edu.它旨在评估结构MRI，PET，生物标志物以及临床和神经心理学评估是否可以共同衡量MCI和早期AD的进展。ADNI有三个阶段：ADNI 1，ADNIGO，ADNI 2，其目标和认知阶段各不相同。数据集中给出的阶段是：正常对照（NC）、显著记忆问题（SMC）、早期轻度认知障碍（EMCI）、MCI、晚期轻度认知障碍（LMCI）和AD。关于标准ADNI 1 1.5 T 2年数据的人口统计学信息见表1。图二. 自动编码器的结构3.2. 图像预处理通过软件-统计参数映射（SPM），版本12对数据集图像进行预处理。标准数据经过预处理，可在www.adni.loni.usc.edu网站上找到。配置包括：偏置、噪声和全局强度归一化。标准的预处理过程输出3D图像文件，121145121像素颅骨剥离和归一化通过将原始大脑图像转换到标准图像空间来确保图像之间的可比性，使得相同的大脑子结构可以在不同参与者的相同图像坐标处对齐。使用稀释或增强的强度来补偿结构变化。3.3. 建立培训和学习进程这需要两个阶段的方法，其中第一阶段是训练3D稀疏自动编码器用于卷积滤波器学习;第二阶段意味着构建卷积神经网络，其中这个学习的滤波器用于自动编码器的第一层3.3.1. 自动编码器-稀疏自动编码器自动编码器是三层人工神经网络架构，其用于学习无监督数据，并且能够通过访问多个“小部分”形式的输入数据，通过提取隐藏在数据中的结构，从诸如数据集或图像的输入中提取数据细节。有一个输入（编码）和一个输出（解码）层，中间有一个隐藏层。虽然隐藏层包含或多或少的单元用于稀疏和过完备表示（参见图2），但输入层和输出层具有相等的单元。它们的工作原理是将输入压缩成潜在空间表示，然后从该表示重建输出。编码器函数F将输入x映射到表示h，解码器函数将表示h映射到x输出。我们从扫描中提取3D补丁作为网络的输入解码器重现了K.R. Kruthika等人医学信息学解锁16（2019）10022741X1�;�-图三. 神经网络的双向结构分类。来自隐藏层H的输入数据。编码过程用线性变换和S形函数对输入进行编码，h¼FW*xb（1）sigmoid函数将隐藏单元约束为区间（0，1），即稀疏向量形式。而解码器则利用线性变换和恒等函数对表示进行解码。解码器函数g将隐藏表示h映射回重构xx对于学习，它结合了三项来构建成本函数。通过优化取决于自动编码器的权重W和偏置b的自动编码器的成本函数J（W，b）来执行训练均方误差用于测量编码器和解码器的输入和输出MJW bx'household（3 ）第二次世界大战Mi12总输入在等式中用M表示。存在这样一个问题，即如果仅减少重构误差，那么结果证明只是学习作为编码器和解码器的恒等函数。所以一间见图4。 2D和3D卷积K.R. Kruthika等人医学信息学解锁16（2019）1002275X.1.1.1.1.1.1S� ��� �� �XX我 一 Jb¼PXXδE（7）abK L.是的！1/4秒日志。s！2001-2002年，1-s！（五）2ð; Þ¼ð; Þþ�P于我��þi;jJ’应当施加附加的稀疏性约束，即，大多数隐藏单元应当更接近于0。因此，让sj确定隐藏单元j的激活均值，则s通常是更接近或小于0（0.05）。M（4）第一次见面Mi¼1因此，在函数中添加另一项惩罚时，在两者之间产生s和s当我们最小化这项时，它使s和sj非常接近。�j1 -s加入J2正则项以减少过拟合.H图五、建议架构中的历元损失值。JWb JWb βXKL�s�sλXW2（六）为训练目的而β和λ是两个超参数，它们控制着最后两个学期。我们的自动编码器的输入是从MRI扫描中提取的小块。图3示出了神经网络的双向架构分类。3.3.2. 3D稀疏自动编码器3D稀疏自动编码器从一个777贴片的3D MRI扫描，并将每个块特征转换为大小为410的稀疏向量。为了训练自动编码器，我们使用了来自训练数据集的300个3D MRI扫描，并随机挖掘了1000个7 7 7个贴片 从每一个3D扫描。一个空的补丁（补丁中所有体积的总和为零）被替换为一个新的绘制。通过250个epoch训练自动编码器。3.4. 训练3D-CNN该过程的第二阶段包括训练3D-CNN。我们在这个项目中使用的CNN有一个卷积层，一个池层，两个线性层，最后是一个对数Softmax层。来自自动编码器的训练模型的编码器的权重（W）和其他偏差（b）被传递到3-卷积CNN的第一卷积层的3D滤波器代替将所有可能的像素与每个神经元连接，我们推荐一个称为“感受野”的2D开放区域[ 35 ]（空间维度为7 7，时间维度为3，具有3个图4示出了2D和3D卷积。在这些区域中，网络层横截面（每个横截面包括许多其他神经元）起作用。CNN采用的空间关系减少了学习的参数数量;因此，这进一步改善了反向传播和前馈曲线的训练过程。误差反向传播E定义了一个误差函数，其中输入x，i，j个神经元为y，而a和b是索引，l是层数，w是滤波器权重，以及神经元的数量以帮助他们提高连贯的概括能力。我们使用的CNN架构如图3所示。此外，我们在50%处添加了dropout层，以防止模型过拟合。在输入层上的神经元的3D布置执行卷积操作。我们将80%的数据作为训练数据，另外20%作为测试和验证数据，共250个epoch。各时期的损失值如图所示。 五、3.5. CapsNet或胶囊网络胶囊网络中的胶囊通常是一组神经元。这些动作以这样的方式，不同的参数姿态由这些神经元的活动向量表示;而向量的长度一般来说，CNN的缺点主要与池化层的存在有关。然而，CapsNet中的层被称为“协议路由”的更合适的标准所取代” 然而，胶囊的耦合系数是不相似的。在这里，所有的胶囊都试图感知父胶囊的输出。这两个胶囊之间的耦合系数增加，基于预测构象的父胶囊的实际输出。因此，如果我们将ui视为胶囊i的输出，则其对父胶囊j的检测通过下式计算：（8）第1001章：我的天！其中u j| i表示较高级别中第j个胶囊的输出的预测向量，其由后续层中的胶囊i计算。 Wij是在后向过程中学习的加权系数矩阵X。因此，基于下层和母体胶囊之间的构象程度，可以从以下等式计算耦合系数cij层的大小是M，而m是滤波器的大小。ci j^ex p.bij（九）δEδyl-1¼m-1m-1δEδxlδxlð - Þð -Þδyl-1m-1m-1Wδxlkexpbik这里，bij是log的概率，用于确定胶囊i是否应该是ija<$0b <$0i-aa¼0b¼0i-a链接到胶囊j;此外，它在过程初始化时初始化为零然而，尽管卷积神经网络在图像检索过程中的速度远远超过了各种方法，但它们仍然存在某些缺点。例如，仿射变换没有鲁棒地处理;此外，它们缺乏考虑图像内的空间关系和特征。除此之外，CNN无法产生准确的输出，并且在存在与大多数大脑MRI或其他数据库图像相关的小数据集的情况下缺乏性能。因此，CNN需要包括各种类型的数据集。第10节因此，父胶囊sj的输入向量将计算如下：sj¼Xciju我最后，利用以下后续函数来防止胶囊j1i;jK.R. Kruthika等人医学信息学解锁16（2019）10022762IJJjji图第六章AD分类训练期间的学习曲线（MSE-均方误差）。�P于我��（十一）对数概率和耦合系数的更新计算如下：��一 vv：u（十二）其中sj是胶囊j的概率在这种类型的路由过程中，即基于v j和u j之间的协议，|利用两个一致向量的事实，I将具有更大的内积。 因此，协议aij为终端层目标中每个胶囊k的损失函数lk当没有记录任何实体的存在时，具有长输出激励参数的胶囊上的高损失值。损失lk计算如下：图第七章每个epoch的训练损失值。胶囊网络（蓝色）和CNN（红色）。K.R. Kruthika等人医学信息学解锁16（2019）1002277-��●�lk1/4Tk最大值0;m-vk2λ1-Tk最大值0;vk-m-2（13）其中，在类k存在的情况下（无论何时出现），T k为1，否则为0。项λ、m和m 是在学习过程的开始期间要较早确认的重要参数。参考文献[36]中提出的实际胶囊网络架构由单层卷积滤波器和两层胶囊组成。令人惊讶的是，它有三层相互连接的神经元，这些神经元试图使用来自与真实标签相关的胶囊的实例化参数来重建输入。3.5.1. 设计CapsNet当我们在胶囊中经历了几种网络架构背景考虑到这一点，大脑的MRI扫描图像是从不同角度拍摄的;因此，矢状和冠状干扰包含许多随机变化。3.6. CBIR深度神经网络在阿尔茨海默病检测中的可喜成果和CNN的成功使CBIR广为人知。通常BoVW过程的变化[38]是由CNN提取特征，CNN之前已经在图像数据上进行了训练，从而取代了SIFT等手工特征提取器。到3D卷积层激活图内的特定点的激活向量被用作其特征描述符，其具有取决于核的高维度网络，我们考虑建立一个类似的模型方法，内尔 hyper 深入 的 区域 感兴趣 有 通常 一FIXed在原始文件中提到。这里唯一的区别是，原始模型在其卷积层中只有64个特征映射，而我们提出的模型有256个特征。因此，拟议模型的各层可归纳如下：将MRI图像作为输入，从512 512下采样到64 64，以减少参数并减少训练所需的时间。第二层是由32个卷积通道组成的主胶囊层，其中每个胶囊由9个9内核组成，步幅值为2。这也与希尔顿提出的原始论文相同[6]。● 最后一层包括三个胶囊，也称为对于为AD定义的每个类别类型，这包括AD，MCI和NC，因为它们是我们正在使用的三种阿尔茨海默氏症。这些胶囊的尺寸是16。解码器段包含由神经元512、1024和4096组成的3个互连层。注意，输入层中的神经元与输出层中的图像像素的数量相同，从而最小化重构损失。我们可以在不同的测试实验中看到，我们的网络使用ADNI的大型数据集表现良好，但由于过度拟合和欠拟合的风险，我们必须使用一种称为早期停止的算法[37]。根据这一点，培训过程继续进行 在模型训练期间，验证的准确性在每个时期结束时开始下降3.5.2.实验装置为了测试我们提出的方法，我们使用了第3.1节中提到的数据集。图6示出了在对样本进行计算时的均方误差（MSE）。从AD数据到胶囊特征的映射对于下一次重建很重要。测试样本的均方误差接近于训练样本的均方误差。这表明，我们提出的方法，避免过拟合，因为降维操作和胶囊包含的特征信息的等方差。当获得更多的AD分类数据时，性能将得到改善使用我们自己的胶囊架构，我们改变了参考文献[6]，其中我们使用具有64个特征的卷积网络。 这使得网络更强大，因为图像重建鼓励网络在每个MRI图像中重新生成和编码之前将胶囊的向量视为真实实体。除了原始论文之外，我们还实现了具有平移不变性的ADNI数据集，这意味着即使图像不在正确的相对位置，我们的模型也能够检测到图像这不太可能是CNN，因此我们分析了带有CNN的CapsNet用于AD分类。图7展示了CapsNet和CNN比较的结果。此外，在这些结果的基础上，可以观察到胶囊网络比CNN表现得更好，因为胶囊的损失对于当前数据来说更低如前所述，胶囊倾向于获取输入图像中的每一个细节，甚至从正方形的大小和它们的中心点均匀排列，在MRI图像上形成网格。这项工作的重点是利用这些好处的实现能力，并采用提出的模型进行阿尔茨海默氏症的检测。与此同时，我们还建立了一个基于查询的CBIR，提出了一个查询图像，使用两个模型的分类，并检索五个相似的图像，以帮助预诊断和测量AD的进展。显然，在基于CNN和基于Capsule的图像检索系统中，方法、创建、索引和检索可以保持相同。多个任务被组合在具有各种方法的流程管道中，这些方法来自机器学习、数据挖掘和信息检索领域。这些可以通过以下步骤的工作流程来描述：1. 深度神经网络（DNN）的监督训练，通常是CNN或CapsNet。这是在具有诸如阿尔茨海默病检测（NC、MCI等）的类别标签的注释的图像集合上执行的。网络的学习参数将集成特征提取功能，其层将充当特征提取器。2. 通过预先训练的模型调用图像。所选层的输出激活是图像区域的特征描述符。不同的层对应于图像分辨率的不同尺度。3. 用于阿尔茨海默病检测的特征描述符被量化以创建特定于阿尔茨海默病检测的视觉特征库（VFL）。a) DNN架构的训练状态b) 用于训练的ADNI图像数据集，c) 选择的神经网络层（3D CNN和胶囊网络）。4. 图像区域由VFL的视觉词描述。每个词都代表了一个地区5. 可视化文档可以通过搜索引擎索引，并通过查询检索AD的图像分类任务可以移植为VFL表示的图像检索任务。检索在最高等级中的相同类别的图像可以等同于分类。在CBIR系统中，图像区域可以被分割和索引为不同的字段。使用对象的图像进行现场搜索可以检测到它并将其定位在返回的相关图像集内。3.6.1.检索性能提出了基于内容的图像检索的框架，并将查准率和查全率的方法引入到基于内容的图像检索的性能分析中。精度计算为检索到的相关图像总数与检索到的图像总数的比值。另一方面，召回率R由检索到的相关图像总数与数据库中相关图像总数的比率表示。因此，数学表达式中的F1分数为��K.R. Kruthika等人医学信息学解锁16（2019）1002278¼图八、CapsNet架构的示意图。P公司简介TP（十四）为了实验我们的3D-CapsNet实验设置利用实例化参数。Adam用于优化和训练，反之亦然。R¼TP双列直插式（15）ReLu位于内层，Softmax具有完全连接的最顶层输出层，用于检测输入大脑结构磁�P于我��（十六）共振成像（sMRI）对AD、MCI或NC子集中的任何一个进行1名TP对于查询集的基于内容的图像检索实验，三个类别（NC、MCI、AD）各使用1个图像。尽管模型（CNN和CapsNet）学习的状态不能充分概括，但这些类具有公平的F1分数，并且接近每个类50个样本的限制。这种选择确保了在ADNI数据集等不平衡的图像集合中很好地表示相关主题。对于检索实验，三个随机图像从ADNI数据集组成的随机查询图像。然而，当用完全未知的MCI图像查询图像集合时，对检索结果进行了有趣的观察。胶囊网络对手工挑选的图像的表现要比从CNN随机选择的图像好。这可能是基于权重对类别的全局视觉特征更具区分性的事实，或者仅仅是由视觉词的不同频率分布引起的4. 实验装置和结果4.1. 实验装置作为配置，我们有一台戴尔笔记本电脑，配备16 GB RAM，Ubuntu16.04LTS操作系统和Nvidia GeForce Graphics/GPU，安装了Python 2.7和Keras软件。在ADNI数据库（见表3）上访问了AD/MCI/NC MRI图像检测的重要分类和准确性（作为目标域）。分类检测精度估计的交叉验证方法的测试。考虑到时间限制，时代被设置为100。大约25%的数据用于测试，75%用于训练。将其他图像添加到数据中作为非病变图像，以便更好地检测和分类AD、MCI、NC。 图 8给出了CapsNet架构的示意图表2CNN和CapsNet的比较4.2. 结果已经发现CNN最适合图像转换的层-像素-像素池化模式，以多个阵列的形式访问数据。该中继从层到层作为输入接收的数据信息，也称为路由。尽管如此，CNN通常需要相当大量的数据集来处理训练，但无法正确管理输入数据转换，有时会忽略重要的细节。CapsNet [6]是机器学习过程结构设计中的一个新的介绍，它超越了卷积CNN的缺点，并被提议彻底改变深度学习过程。与CNN相比，CapsNet需要更少的数据集进行训练。CapsNet处理医学MRI图像数据集，并通过与特定字符（大小，位置，方向等）相关的强大动态路由来更有效地处理它们。和轮调，涉及医疗细节。该研究采用了3D-CapsNet，并发现它具有更强大的（94.06%）的准确率，用于在CNN和本文中讨论的其他架构上进行AD检测。我们对我们提出的架构进行了100个epoch的训练，并计算了结果，观察到在初始阶段，训练速度更快，总变量损失取决于CapsNet损失。此外，CapsNet模型可以帮助医学研究人员获得准确和有效的输出。此外，CapsNet能够以低训练轮数和小样本量处理大型数据集，这是其成功的原因5. 讨论计算机视觉和学习技术正在获得显着的，创新的方法和改进与先进的示意性架构。卷积神经网络（CNN）已被研究人员和工程师广泛用于解决图像分类中的一般问题，并在不同的图像类型上取得了令人满意的结果[39]。虽然CNN在识别图像特征方面是成功的S.号条件卷积（CNN）CapsNet（CapsNet）使用卷积层，它们也有许多限制。CNN使用深度学习，并在广泛的应用领域取得了成功的影响。1训练数据大型数据集小型数据集与形状、边缘检测和图像分类相关的应用，2路由最大池动态路由-数据集[40]。3投入产出子采样协议ConvNets（CNN）缺乏方向视角或未能重新设置4空间探测标量值矢量值空间信息之间的关系，如方向，大小，位置，否是信息5准确度较低准确度较高准确度这是由于CNN使用最大池化子采样来6仿射变换处理否是方法[41]。CNN需要大量的数据集进行训练，这需要时间和资源。K.R. Kruthika等人医学信息学解锁16（2019）1002279表3225名受试者的统计数据（资料来源：ADNI）。AD MCI NC受试者总数性别（男/女）40/35 52/24 39/35年龄（平均值）a 75.5� 8.0 76.9� 7.575.6�6.2一 STD¼标准差。表5使用3D- 自动编码器。类别准确度ROCAD vsNC 93.21 0.98AD与MCI 94.06 0.91AD vsNC 88.37 0.86表4比较（准确率%）的相关作品在文献中提出的人工神经网络。表6阿尔茨海默 分类精度对的基础的各种CapsNet架构。CapsNet架构预测精度原始模式82.30%两个卷积层，每个卷积层有64个特征映射82.01%64个特征映射，每个卷积层有94.6%64个特征图和16个主胶囊，1个卷积层64个特征图和32个4维主胶囊，1个卷积层83.61%百分之九十二点零七它们容易受到其他各种对抗性攻击的影响[42]。为了消除CNN的局限性并克服其缺点，最近引入了一种新的算法方法CapsNet [43]。CapsNet采用胶囊之间的动态路由[44]。这些使用向量输入/输出值，与使用标量输入/输出值并且需要小数据进行训练的CNN形成对比。最大池化子采样被新的协议路由方法所取代。表2显示了CNN和CapsNet的相对架构比较。简而言之，CapsNet在提供图像特征之间的空间关系以及通过用于图像分类的仿射变换的鲁棒路由和处理来理解形状、大小、位置、方向、亮度、视角等的变化方面是有效的。CapsNet比CNN覆盖更多的图像特征和区域。因此，CapsNet在许多图像分类以及数据的准确性和低训练方面都优于CNN，并且在供应数据集参数的微调方面表现更好。自动编码器、卷积CNN和CapsNet等不同技术的组合可以提高准确性和效率。当前工作和早期实验的比较准确性在表4中突出显示。通过本实验研究可以看出，CapsNet在AD的分类和检测方面优于卷积神经网络（ConvNet）。为了准确检测AD/ MCI/NC，进行了具有类似数据和设置的其他架构方法的比较。据观察，CapsNet明显优于不同的ANN方法，具有更好的性能和分类。5.1. 不同模式5.1.1. 三维自动编码器具有浅层神经网络的3D自动编码器表现良好，正如预期的那样。该分类器实现了86%的训练准确率，但AD与NC的验证准确率为93%。回想一下，3D自动编码器是在来自训练数据集的大约2000个3D图像块上预训练的，3D自动编码器不仅可以提取AD特定的特征，而且可以提取许多图像特定的字符，这使得后续神经网络能够容易地记住训练数据集。为了进一步改进，可以在补丁中添加一些增强功能类别精度MCI vs AD百分之九十四点六NC vs AD百分之九十二点九八NC vs MCI百分之九十四点零四用于自动编码器训练的图像。此外，合并不属于脑部MRI扫描的图像块也可以帮助提高自动编码器的通用性，以避免过拟合。我们在验证集上获得的AD与NC的准确度为92%表5显示了使用3D CNN的3向分类的ROC值5.1.2. 3D-CapsNetCapsNet 在 所 有 情 况 下 都 表 现 最 好 ， AD 与 NC 的 验 证 准 确 率 为94.06%。继续我们的架构，交叉验证的结果是非常有前途的.在不久的将来，可以设想一种有助于更快和更准确地诊断AD的CAD系统，其通过重新路由矢量如何工作、计算出相关性的程度和改变传播的相互作用。表6概述了基于不同胶囊网络架构的阿尔茨海默病分类准确性的所得结果。我们选择了最好的架构来进行分类。表7显示了三个类别的分类准确度。通过观察这些改变网络的结果，我们可以注意到，将256个特征图从256个特征图减少到64个特征图（原始模式），产生了更高的准确性。我们评估了网络中的总损失，包括两部分：CapsNet损失和解码器损失。我们现在可以认为CNN的结果不如CapsNet准确;这通常是因为使用向量的相对路由算法（协议路由）。由于传播的相关性和不断变化的相互作用，我们设法为我们的AD分类堆叠了更多的子切片层。我们选择了最好的架构（CapsNet）来推进分类过程。5.1.3. CBIR通过F1得分，我们可以看到两个模型都表现良好，尽管Capsule网络表现更好。现在，我们可以在基于查询的检索系统中检查测试图像如何产生该类中最相似的图像然而，许多其他检索系统可以方法方式AD/MCI/NCAD/NCAD/MCIMCI/NCSuk等人[45]Zhu等人[46]Zu et al.[47]Suk et al.[48个]Liu等人[10个国家]PET脑 MRI脑 CSF*PET脑MRI脑 CSFPET磁共振PET磁共振PET脑MRI脑 CSF不适用#不适用95.91.1不适用不适用95.45.291.45.6n/an/an/an/an/a85.01.2不适用不适用85.75.282.14.9HosseiniMRIn/a91.41.870.12.377.41.7三个完全连接的层，分别有1024、2048和4096个神经元83.93%等人[49个]Liu等人[9]第一章MRIn/a不适用n/a不适用Zhang等人[50]PETMRIn/a83.11.4不适用n/a表73D-CapsNetPETMRI89.11.797.61.0951.890.81.1胶囊网络对阿尔茨海默病不同阶段的分类准确性K.R. Kruthika等人医学信息学解锁16（2019）10022710表8结果显示了CBIR中使用的CNN和胶囊模型的不同F1分数。方法F1测量整个训练集上的3D CNN 97.85整个训练集上的CapsNets 99.76经过测试，检索准确率更高。而不是手工挑选的图像从集群，图像检索的CAD系统使用新的模型是很有前途的。有了这个，医学研究人员可以得到有效和准确的帮助。我们对所提出的架构进行了100-250个epoch的训练，并计算了每个epoch结束时的三次损失。CapsNet模型可以帮助医学调查人员获得准确和有效的输出。此外，CapsNet能够以较小的训练会话和样本量处理大型数据集，这是其成功的原因。表8显示了我们在CBIR研究中使用的不同模型的F1评分。6. 结论这项工作已经解决了发现性能良好的基于胶囊的功能，以提高CBIR性能的问题。实验结果表明，该模型具有良好的性能.该算法速度快，简单的阿尔茨海默病分类，并适合于低计算资源。然而，用于实验的评估系统可以被认为是CBIR研究的系统方法。此外，还充分探讨了CBIR的复杂性，包括影响CBIR的因素。由于两个模型的F1得分都令人满意，我们可以肯定它可以以有效的方式实现。我们的研究结果表明，迁移学习是一种潜在的合适方法，可以基于结构性脑MRI扫描，在小规模训练数据集上训练CNN分类器进行AD预测。此外，通过这项工作，我们探索了CapsNets识别AD的效率和实用性。胶囊的输出是矢量值，使用高效的动态路由方法确保CapsNet在所有其他架构上具
我的内容管理
展开
