多路径残留注意力 UNet3D 架构用于脑肿瘤分割的研究

沙特国王大学学报基于多路径剩余注意块的单层UNet3D脑肿瘤分割Agus Subhan Akbara，b，Chastine Bachaha，Bachah，Nanik Suciatiaa信息学系，智能电气和信息技术学院，Institut Teknologi Sepuluh Nopalgia，Jl. Raya ITS，Surabaya 60111，Jawa Timur，印度尼西亚b伊斯兰大学科技学院信息系统系。Taman Siswa（Pekeng）Tahunan Jepara，Jepara 59427，Jawa Tengah，印度尼西亚阿提奇莱因福奥文章历史记录：2021年11月1日收到2022年3月22日修订2022年3月23日接受2022年4月20日在线提供保留字：注意单位多路径残留注意阻滞脑肿瘤分割单级UNet 3DA B S T R A C TAtrous卷积和注意力提高了段的UNet架构的性能，站的目的。然而，一个完美的结合atrous卷积和注意力，以提高脑肿瘤分割性能仍然是一个有趣的挑战。在本文中，我们提出了UNet架构，在跳跃连接中添加了注意力，并将处理块替换为连接到注意力单元的两个atrous卷积序列，并结合一个称为多路径剩余注意力块（MRAB）的剩余路径。该架构使用脑肿瘤分割（BraTS）2018，2019，2020和2021挑战数据集进行训练。 在线验证了集成模型，并获得了BrTS2018的77.71%，79.77%，89.59%，BrTS2019的74.91%，80.98%，88.48%，BrTS2020的72.91%，80.19%，88.57%，以及BrTS2020的77.73%，82.19%，89.33%。分别针对增强肿瘤（ET）、肿瘤核心（TC）和全肿瘤（WT）区域的BraTS 2021验证数据集这些骰子评分性能优于最先进的脑肿瘤分割架构，并有望开发用于临床应用。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍人工分割脑肿瘤需要专家，耗时长，容易出错。为了标记图像中的脑肿瘤区域，专家通常花费很长时间，以及必须检查的图像的数量该过程可能导致疲劳并降低标记肿瘤区域的准确性为此，需要一种具有计算机计算辅助的自动脑肿瘤分割方法，该方法可以帮助加速标记过程，并具有准确和一致的分割结果水平深度学习架构已成为分割脑肿瘤最常用的方法之一。通常用于脑肿瘤分割的架构之一是UNet。具有形成字母U的处理块的布置的架构加上将左部分（收缩）连接到右部分（扩展）的链接，其被称为跳过连接（Ronneberger等人，2015年）。这种体系结构的分段性能随着发展而不断提高*通讯作者。电 子 邮 件地 址 ：agussa@unisnu.ac.id（ A.S.Akbar ） ，chastine@if.its.ac.id（C.nanik@if.its.ac.id（N. Suciati）。在其组成部分。最关键的因素是一种能够分割脑肿瘤的深度学习架构是用于训练架构的数据集的可用性。已经发布了几个与脑肿瘤分割相关的数据集，这些数据集是架构培训所需的。例如通过2012年至2021年举行的脑肿瘤分割（BraTS）竞赛发布的那些。该竞赛的目标之一是肿瘤核心（TC）、增强肿瘤（ET）和全肿瘤（WT）区域的分割。2021年发布的数据集包含大量数据，共有1251个患者数据，每个数据集由四种模态组成，并配有手动注释（Baid例如，2021年）。在过去的几年里，这一竞争也是由少量的数据集完成的。UNet架构的发展提高了分段性能。Wang et al.（2019）通过使用3D卷积采用了UNet架构。BraTS数据集是一个3D图像，因此它是通过使用3D卷积来近似的。为了提高模型的性能，在推理时执行增强。Baid等人（2020）使用2D方法编译了两个UNet架构，以创建两阶段分割。第一个模型检测整个肿瘤，第二个模型检测核心和增强的肿瘤成分。冈萨雷斯等人（2020）通过对每个模态应用卷积来修改输入https://doi.org/10.1016/j.jksuci.2022.03.0221319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comAgus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3248××通道，将其输入所使用的UNet3D架构，并将跳过连接上的合并功能替换为剩余连接。使用心房卷积（Zhou等人，2020a）和注意门（Schlemper等人，2019）在分割中提高了对象分割的性能。Zhang等人（2020）开发了UNet架构，同时保留了2D图像处理方法，但用残差块取代了UNet处理块，并在跳过连接部分添加了注意门。Guo等人（2020）在UNet架构中添加了两种类型的注意力模块，空间注意力和通道注意力。另一方面，Zhou等人（2020 c）通过堆叠多个卷积层开发了一种深度卷积神经网络架构，通过应用atrous卷积来利用金字塔特征来提高模型在语义分割中使用atrous和attention卷积确实提高了性能，但增加的值不同。然而，在atrous卷积和注意力放置之间的完美组合仍然是一个挑战，以提供更好的seg。心理状态性能结果。在这项研究中，我们提出了一个浅UNet架构，只包含一个层次与修改的块和跳过连接。UNet块通过添加来自具有注意力和残余路径的一些连续的atrous卷积的多个路径来修改。在此UNet块中，通过弱化对更次要的相关特征的关注来关注相关另一方面，应用残差连接以防止发生梯度来自UNet的跳过连接也被修改为只关注相关功能。此注意力块将较低级别的特征与收缩部分的特征连接起来，以形成同一级别的扩展特征。概括起来，本文的贡献如下：1. 我们设计了单级UNet 3D架构，利用atrous和attention卷积进行块修改，并通过增加对它们的关注来跳过连接修改2. 我们提出了一个MRAB块，它修改了UNet3D中的卷积块，使其具有三条路径，包括两条带有1，2，4和2，4，1伸缩序列的无环卷积序列路径和一条残差路径，这两条无环卷积序列扩大了接收区域，并捕获了以前无环卷积无法捕获的特征同时，利用剩余路径避免了训练过程中梯度的降低3. 我们在跳过连接部分和每个atrous卷积块中添加了注意门。注意门用于增加模型第3节包含本研究中使用的材料和拟定方法。第4节介绍了所取得的结果，他们的分析和性能比较与四个当前的方法。第5节是结论和未来的工作。2. 相关作品UNet是一种深度学习架构，其已经快速发展用于基于计算机计算的医学图像分割（Ronneberger等人，2015年）。UNet架构的优点之一是跳过连接，将收缩部分中的功能信息连接到同一级别的扩展部分。 几项研究已经开发出了UNet架构，并对其组件进行了修改。这些修改包括修改收缩部分或扩张部分中的每个块（Aghalari等人，2021），modi-fying 输入（ González 等人， 2020 ），增加多输入（ Ge 等人，2021），修改跳过连接（Schlemper等人，2019），并通过金字塔特征的形成来修改最终分割结果的形成（Moradi等人，2019年）的报告。这些修改利用了卷积中的残差，增加了具有atrous卷积的感受野，并实施注意力集中在相关特征上，削弱了卷积中不相关特征的影响。在UNet体系结构中，块的内部处理序列通常只包含一个序列。然而，Aghalari et al. （2021）通过添加处理分支来构建架构。从而在收缩部分和扩展部分中的一个处理块中，存在两个路径。添加此路径可提高性能。最近的UNet修改涉及使用注意力门和atrous卷积。Atten-tion Gate用于将学习集中在与目标架构相关的功能上，同时削弱不相关的功能。注意力功能类似于输出掩蔽，但掩蔽值根据训练期间的学习结果而变化（Schlemper等人，2019年）的报告。在另一方面，atrous卷积是用来增加的面积的感受野，而不增加的建筑参数的数量。使用atrous 卷 积 提 高 了 建 筑 性 能 ， 如 在 Ge 等 人 。 （ 2021 ） 和Sathananthavathi和Indumathi（2021）。深度学习模型的正则化是防止模型过度拟合的关键因素。正则化步骤之一是在架构中添加dropout（Srivastava等人，2014年）。根据指定的速率值，此丢弃将从一层的若干节点到下一层的节点移除连接权重。确定dropout中的速率值是一个微不足道的步骤。Yang等人（2019）使用的比率值为0.1，而Akbar等人（2021）使用的比率值为0.2，Chang等人（2019）和Xie等人（2019）使用的值为0.5。Anaraki等人（2019）使用的脱落值为0. 1、0. 2、0. 3、0. 4和0. 5。Liu等人（2019）检查了在0.1-0.5区间内脱落率值的使用堆叠网络层可以提高模型的性能（Benson等人，2019），以及级联模型也提高了性能，如Baid等人（2020）。因此，更多特征处理层的积累将每隔一段时间增加（Delalleau和Bengio，2011）。然而，模型中的更多处理层增加了训练的复杂性和训练期间梯度突发/消失的可能性。但是，He等人（2016 a）提出了一种剩余路径来处理这种梯度收缩。在处理脑肿瘤分割与数据集从BraTS，Tuan等人。（2019）通过实现两种内核大小（3 3和5 5）采用2D UNet架构方法。Benson等人（2019）还通过堆叠几个卷积层并利用比特处理进行2D图像管理来使用2D方法。Baid等人（2020）使用2D方法，级联两个UNet模型，用于肿瘤边界和内部肿瘤结构的分割 Ma等人（2021）使用残差块作为UNet中的处理块，采用2D方法。这种用于3D图像的2D处理方法具有使用最小GPU存储器但消除3D空间中的体素连接信息的优点3D 处 理 的 采 用 是 由 Wang 等 人 进 行 的 。 （ 2019 ） 通 过 将Ronneberger等人（2015）的UNet 2D架构修改为3D架构。González等人（2020）采用了3D方法，在将卷积输入图像插入UNet 3D架构之前对其进行修改。Soltaninejad等人（2021）使用了两个肿瘤处理路径的合并，第一个路径使用UNet 3D标准进行局部特征处理，第二个路径使用修改的UNet 3D模型进行全局特征处理。Rezaei等人（2018）修改了UNet 3D，并将其用作GAN架构中的生成器Agus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3249×××××××用于肿瘤分割。此外，Rezaei等人（2019）使用两个3D UNet架构作为生成器，开发用于肿瘤分割的GAN架构。UNet 3D与几个层次的下采样的应用程序已经给出了更好的结果。然而，几个级别的下采样降低了来自肿瘤的空间/位置信息的精度Atrous卷积增加了感受野面积和注意机制，在肿瘤分割中取得了很好的效果。 Awasthi等人（2021）在UNet 2D中应用注意力门以跳过连接，并对每个肿瘤分割目标使用一个独立模型。 Zhang等人（2020）将UNet 2D处理块替换为残差块，并将注意力机制应用于跳过连接部分。 Savadikar等人（2021）使用具有2D处理方法的概率UNet和在跳过连接部分上应用注意机制。Guo等人（2020）在UNet3D上应用了两种补丁大小和两种类型的注意力（空间注意力和注意力通道）的组合，以形成四个独立的肿瘤分割模型。Zhou et al.（2020 b）在其完全卷积神经网络主干上应用atrous卷积，以避免空间信息的丢失，并使用atrous卷积形成金字塔特征，用于多尺度图像处理。 Zhou等人（2020 c）在进入使用atrous卷积创建的金字塔特征形成部分之前，使用atrous卷积将密集连接添加到其网络骨干。分别使用非卷积和注意力机制提高了肿瘤分割模型的性能。在一个体系结构中使用atrous卷积和注意力机制的组合有望进一步提高模型分割性能。更进一步说，如何将两者完美结合以提高分割性能仍然是一个令人兴奋的挑战.除了分割性能外，应当考虑分段模型。影响分割速度的一些因素包括选择最终的分割层类型，使用的图像修补的大小和后处理。Pereira等人（2016）使用2D处理，图像裁剪尺寸为33 33，并在最后三层中使用全连接层。Havaei 等 人 （2017 年 ） 提 出 了 InputCascadeCNN ， 它 是 两个TwoPathCNN的组合，并使用图像裁剪大小为33 33和65 65. Hu等人（2019）开发了InputCascadeCNN，并将其应用于轴向、矢状和冠状三个轴，使用连续随机场（CRF）来提高分割性能，并使用投票策略将三个轴的结果Zhao等人（2018）开发了一种完全卷积神经网络（FCNN）架构，类似于Havaei等人。（2017），但与CRF连接，并应用于四种MRI图像模式中的三种。该FCNN应用于三个轴，通过将每个轴的分割输出与投票策略相结合来获得最终结果Chen等人（2019）使用了一种3D方法，图像裁剪尺寸为25 25 25，并在修改后的DeepMedic架构中添加了一个多层感知器层作为后处理。在（Pereira等人，2016）与卷积层相比将增加模型参数的数量。Pereira等人（2016、2017、2018、2019）使用的小图像裁剪尺寸将增加分割过程中的迭代次数。此外，添加复杂的后处理，如（Hu et al.，2019年; Chen等人，2019年）将增加分割所需的时间。3. 该方法3.1. 数据集本研究中使用的数据集来自BraTS 2018、BraTS2019、BraTS2020（Bakas等人，2017 a; Bakas等人，2017年b;Menze等人，2015; Bakas等人，2017 c）和RSNA-ASNR- MICCAIBraTS 2021挑战数据集（Baid等人，2021年）。每个数据集包含四种模态（T1、T1 Gd、T2、T2-Flair）的3D MRI图像，这些图像是通过不同的临床方案、使用不同的MRI扫描仪获得的，并由几个不同的机构提供。这些数据集被用作根据挑战举行年份的肿瘤分割挑战。例如，BraTS 2018数据集是2018年的肿瘤分割挑战数据，而BraTS 2021数据集是2021年的肿瘤分割挑战数据。BraTS 2018数据集由三种类型的数据组组成：训练、验证和测试数据集。BraTS 2018训练数据集包含285个患者数据，具有四种模式，并附有其中包含的肿瘤区域的标记。同时，验证数据集由66例患者数据组成，具有四种模式，无需手动标记肿瘤区域。只能使用提供的在线验证工具来验证BraTS 2018数据集的分割准确性。测试数据集用于测试已通过验证阶段的模型，并且仅在比赛期间验证一次BraTS 2019和BraTS 2020数据集由两种类型的数据集组成，例如BraTS 2018数据集。BraTS 2019训练数据集配备了肿瘤标签，由336名患者数据组成，具有四种模式。相比之下，BraTS 2019验证数据集由125个患者数据组成，具有四种模态，并且没有手动分割肿瘤区域。另一方面，BraTS 2020训练数据集由369个患者数据组成，具有四种模式，配备了肿瘤区域的手动分割相比之下，BraTS 2020验证数据集包含125个患者数据，具有四种模态，无需手动分割。BraTS 2021数据集包含与BraTS 2018数据集相同的内容，包括训练、验证和测试数据集。其中包含的数据量超过了BraTS 2018数据集。BraTS 2021训练数据集包含1251个数据，每个数据集包含四种模态和一个手动注释。与此同时，BraTS 2021验证数据集包含219个数据，具有四种模态，没有注释。需要将针对BraTS 2021验证数据集的模型注释结果发送到在线验证工具以获得其性能。与其他测试数据集一样，BraTS 2021测试数据集仅在比赛期间可用，并且仅验证一次。数据集的每个3D图像测量240、240、155，而大脑对象本身位于由具有零值的标签文件中给出的注释包含四个不同的值，其中值1表示肿瘤的坏死成分，2表示水肿成分，4表示增强的肿瘤部分，0表示非成分。根据所提供的在线验证，目标分割包括增强肿瘤（ET）、肿瘤核心（TC-坏死和增强肿瘤成分的组合）和全肿瘤（WT-三种肿瘤成分的组合）区域。出于训练目的，每个训练数据集将分为两部分：训练数据占80%，第二部分作为本地验证数据占20%。此外，使用5倍交叉验证策略来最小化结果中的变化的训练模式。因此，每个训练数据集将被分成五个部分，每个部分将在训练期间进行一次局部验证数据。3.2. 数据预处理数据集中的体素强度值处于不同的间隔，因为它们是从几个机构的不同MRI扫描仪获得的。为了训练和推断，这些体素值需要被归一化。这些体素值的归一化是Agus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3250××××××使用Eq. 1，如Akbar et al. （2020年）。其中，Xnorm表示归一化图像，Xorig表示初始图像，l和r表示该区域中的体素的平均体素值和标准Xorig-1处理块修改如图2所示进行。在两个地方进行了修改，即该架构的第一级和第二级在第一级中，块处理仅完成一次，而在第二级中，在进入扩展段之前，通过以下方式重复执行6次块处理：Xnorm¼r1使用转置卷积进行上采样。这个修改后的块被称为多路径残余注意块（MRAB）。数量针对每种模态执行该归一化，并且该归一化仅适用于具有非零值的体素。等式1，则该区域中的体素值将被移位，使得其具有零的平均值和一的标准偏差。3.3. 建议的体系结构所提出的架构用于脑肿瘤分割开发的UNet架构与一些修改。修改包括将收缩和扩展级别修剪为仅一个下采样级别，处理块修改，以及通过在其中添加注意模块来所提出的体系结构的详细可视化可以在图中看到。1.一、来自架构的输入是具有四种模态的3D MRI图像的形式每种模式都被组织成通道，并切割为仅包含大脑图像的区域。相同尺寸240240 155的原始输入图像根据最外面的非零体素被裁剪成不同的尺寸在训练过程中，四通道3D图像被随机裁剪为72 72 72以最小化GPU RAM使用并给出模型输入变化。然而，在推断中，四通道3D图像被裁剪为大小72 72 72，并且被移位到每个轴，直到所有图像区域都被处理。然后将裁剪的四通道3D图像传递到以下处理块。在训练期间，四通道Citra3D输入以0.2的速率丢失。因此，只有80%的四通道Citra3D体素被转发到卷积部分。dropout块旨在作为训练期间模型的正则化，如Yang et al.（2019）; Akbar et al.（2021）;Changet al.（2019）; Xie et al.（2019）; Anaraki et al.（2019）;Liu et al. （2019年）。在dropout块之后是卷积，滤波器的数量为8，并且使用的内核大小为1× 1× 1，然后进入下一个处理块。在MRAB块下，表示块中使用的滤波器数量。MRAB块由产生三个特征的三条路径组成，并在最终卷积之前连接。三条MRAB形成路径由一条剩余连接路径和两条无卷积序列路径组成。除了级联部分中的输出之外，该残差路径仅将块输入特征转发到两个卷积序列路径的每个最终输出。该残差路径有助于加速收敛，避免消失梯度在反向传播过程中，如在他等人。（2016a）中所描述的。该序列的atrous卷积由三组，群归一化，Relu和卷积，具有不同的膨胀。第一条路径的伸缩序列为1、2和4。同时，第二条路径具有2，4，1的伸缩序列。这种卷积中扩张顺序的不同是为了完成每条路径都没有捕获的重要信息。使用扩张/atrous旨在扩大接受区域，而不增加卷积参数的数量（Sathananthavathi和Indumathi，2021）。这些路径中的每一个的最后部分与块注意力连接以获得相关特征，然后转发到与其他两个路径的特征合并。组合的特征最终被卷积以传递到下一个块。跳过连接部分，它只通过功能从收缩部分的扩展部分，通过添加一个注意机制进行修改。如前所述，这种关注用于削弱与分割目标不太相关的特征，同时仍然增加对相关特征的关注（Schlemper等人，2019年）的报告。这种跳过连接修改的细节如图所示。3.第三章。关注块的特征G由前一级中的扩展部分产生，其使用转置卷积在尺寸上被扩展以使得与来自收缩部分的特征X相同的图1.一、建议的架构：Unet3D与多路径剩余注意力块。Agus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3251TTatt;i21X我G我图二. 多路径剩余注意块。图三. 注意跳过连接。在每个卷积块中，使用GroupNormalization层执行归一化过程。正如Wu和He（2020）所报告的那样，组归一化比其他归一化层具有优势。此外，在卷积处理之前，使用Relu激活函数激活归一化结果。这种具有归一化，ReLU和卷积序列的卷积块设计遵循比其他策略更具优势的预激活策略，如He et al.（2016 b）所报告的那样。这种架构中使用的注意力机制就像为特征图创建动态掩码。作为Sigmoid层的输出的Masking将具有范围[0，1]中的值，其用作适当位置处的特征图的权重该位置将进一步削弱适当位置处的特征图。该掩蔽值在训练期间改变。因此，该模型将具有动态掩蔽，并在训练过程中进行训练。从理论上讲，这种关注可以用Eq. 2，方程3、Eq。四、其中M表示所获得的动态掩蔽，Wx和Wg表示线性变换，bx g表示偏置项，r1表示归一化函数，r2表示将每个z值映射到max（z，0）的ReLU非线性变换函数，r3表示将所有值映射到范围[0，1]中Fout是一个特征图，动态掩码和特征输入之间的元素乘法。而H是在训练期间学习的参数。第遮罩值越高，该位置的作用得到加强。相反地，ql<$rrWXWGbÞÞ ð2ÞXGAgus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3252ð Þ（c） Þ¼ðÞ××M½r3µqlI'm sorry.I'm sorry.I'msorry.使用Eq. 8和9（Havaei等人，2017年）。F输出¼M ×X×4mmM中每个元素的值都在[0，1]范围内，因为M是非线性变换函数r2输出的S形结果灵敏度测试jP1×Y1j8jY1j此外，特征图F_out的输出将是强度。取决于M的值而增强或减弱特异性P YjP0×Y0jjY0jð9Þ3.4. 损失函数在训练期间使用的损失函数是双损失，如在（Zhou等人，2020c），通过修改分割目标成分的权重。分割目标由三个区域组成：ET，WT和TC，因此为了得到三个对象的总损失，每个对象计算每个物体的损失的公式在等式中陈述5，而总损失计算与每个对象的权重是在方程中规定的。六、其中，P1表示预测为肿瘤的体素子集，Y1表示为肿瘤的体素子集的真实值。同样地，P0和Y0表示相同的事情，但是针对非肿瘤体素的子集。Hausdorff距离是从一个体素集合到另一个体素集合中的最近点的最大距离。在肿瘤分割中，预测的P和目标分割Y之间的最大豪斯多夫距离由等式2表示。10（Zhang等人，2020年）。P Y12×P×Y轴5dHP;Y maxsupinf dp;y;supinf dp;y10Lobj;- -PakistaneP是的是的PePjP jjYjs总 升 数 1/4 0 ： 34×LET 100 ：33×LTC 100 ：33×LWT106× L其中Lobj是每个对象的损耗，Ltotal是总损耗，P和Y分别是每个体素的预测结果和分割目标。s用小值（1 e-8）填充以避免除以零。3.5. 业绩计量用于评估建筑分割性能的测量是骰子得分（Carass等人，2020）、灵敏度、特异性和Hausdorff 95距离。Dice score是一种性能度量，用于计算预测结果与给定注释的重叠程度。值为0表示没有重叠，这意味着预测的注释总数不正确，值为100%表示预测结果与注释之间的完全重叠。该骰子得分的计算是使用等式进行的。7 .第一次会议。其中sup是上确界，inf表示下确界，p和y表示曲面P和Y中的点，d p;y是点p和y之间的欧几里得距离。而hausdorff 95是通过取所有计算距离的第95个百分位数来计算Hausdorff距离，以消除一小部分离群值的影响3.6. 实验设置本研究中使用的硬件是一台配备Core I7处理器、64 GB CPU RAM和Nvidia GPU RTX 2080i 11 GB的计算机。该模型使用adam优化器进行训练，学习率为1 e-4。所使用的增强技术包括随机裁剪的大小为72- 72 - 72，镜像，随机轴，并随机替换一个高斯分布的四个通道。使用的批处理大小为2，以最大限度地减少GPU RAM的使用。用于BraTS2018、BraTS 2019和BraTS 2020数据集的训练历元数量各为900个历元，而用于BraTS 2021数据集的训练历元数量为300个历元。为BraTS2018、BraTS 2019和BraTS 2020选择值为900的时期数骰子P Y2× jP×Yjs100是基于试验，并显示收敛从时代开始7（c） Þ¼jPjjYjs×占总产量的百分比700.至于BraTS 2021数据集，由于数据量是其他三个数据集的三倍以上，其中P表示预测结果，Y表示分割目标，两者都包含离散值0和1，并且s是一个小数字以避免除以零。灵敏度和特异性是分割准确性水平的量度肿瘤分割中的灵敏度用于测量预测为肿瘤的体素与应被分类为肿瘤的所有体素相比的分类准确度。而特异性是预测为非肿瘤的体素与应分类为非肿瘤的所有体素两使用的是300个epoch。模型的权重是随机初始化的，没有使用预先训练的。BraTS 2018模型使用BraTS 2018训练数据集进行训练，该数据集分为两部分，如第3.1节所述。对于BraTS 2019、BraTS 2020和BraTS 2021数据集，还制作了一个单独的模型，以使用相同的分布模式进行该模型采用5重交叉验证策略进行训练对于推理过程，每个折叠表1BraTS 2018、BraTS 2019和BraTS 2020数据集的训练和推理时间。倍BraTS 2018BraTS 2019BraTS 2020培训推理培训推理培训推理285例66例336例125例369例125例（个）（个）（个）（个）（个）（个）折叠1589334436826382275140803Fold 2582254296832481275260804折片3586154346822880875209801折4585704336829581175413806折叠部5583674276862880975237804平均58542433.268347.6812.475251.8803.6外壳（5种型号）-2067-3878-3872attAgus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3253并将5个模型进行组合，进行形态分割。最终的分割结果是使用平均方法的每个模型的输出的组合。表2BraTS 2021数据集的训练和推理时间。折叠BraTS 2021训练推理1251例219例(s)（个）4. 结果和讨论使用表1和表2所示的每个数据集进行架构训练所花费的时间。从表中可知，训练900 epoch BraTS 2018数据集所需的平均时间为58542s，或者每个epoch平均花费66.05 s。虽然66个案例所需的推理时间平均为433.2 s，即每种情况需要6.56 s。同时，如果使用五个集成模型进行推理过程，则每个案例的平均推理时间为31.32 s。对于BraTS 2019、BraTS 2020和BraTS 2 021数据集，每个案例所需的平均推理时间同时，当使用五个集成处理时，折叠5 82918 1412平均值83160.4 1425.8外壳（5种型号）-6824表3一个患者数据的分割时间。方法分割时间（秒）#paramsPereira等人（2016）4802，118 KHavaei等人（2017年）180小行星802KZhao等人（2018年）120–240-Hu等人（2019年）90–180-Chen等人（2019年）186.93100 K拟议（附件5型号）30.98-31.32400 K因为它在不到1分钟的时间内对一个患者数据进行分段。一个病人的数据与其他方法的分割时间的比较所提出的方法的推理速度优于其他方法，如表3所示。Chen et al.（2019）中的模型具有比所提出的架构更少的参数，但推理速度仍然优于所提出的方法。这可能是由于两个因素，包括后处理和使用的图像补丁的大小。Chen等人（2019）以多层感知器架构的形式使用额外的后处理，从而增加了分割完成时间。除此之外，Chen等人使用的图像块的大小。（2019）也比所提出的方法中使用的小（25 × 25 × 25图四、5倍交叉验证的平均训练和验证损失：（a）BraTS 2018训练数据集，（b）BraTS 2019训练数据集，（c）BraTS 2020训练数据集，以及(d)BraTS2021训练数据集。折叠1Fold 2835348330414391436BraTS 2019、BraTS 2020和BraTS的型号分别为31.02、30.98和31.16s2021年，分别。一般来说，一个人的平均推理时间折片3832751430分割一个患者数据的模型是6.50 s，而如果一个整体折4827711412在5种模型中，所需时间为31.12s。该模型是可靠的-Agus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3254××（72 72 72），使得其将增加为处理完整3D图像而执行的迭代。较小的裁切尺寸也用于（Pereira等人，2016; Havaei等人，2017年;Zhao等人，2018年; Hu等人，2019年）的报告。在Pereira等人中使用完全连接层。（2016），这增加了Zhao et al. （2018）导致这些模型的推理速度比所提出的模型更长。每个折叠和每个模型在训练期间的平均损失值如图所示。 四、从图中可以看出，对于每个数据集，每个模型都已成功训练，并正在走向收敛。该模型不会经历过拟合条件，其中验证损失的损失值总是接近训练损失值并收敛到零值。如果没有这种过拟合事件，即使将模型应用于其他未被过图五、BrTS 2018训练数据集5倍交叉验证的平均训练和验证骰子评分：（a）ET面积，（b）TC面积，（c）WT面积。见图6。第125个切片上手动和预测分割结果的重叠：（i）具有相应边界手动标记的切片，（ii）具有相应边界预测分割的切片，（iii）手动标记区域与边界预测分割区域的重叠，（iv）（iii）中绿色方框区域指示的特定区域的包围Agus Subhan Akbar，C. Chaichah和N. 苏恰蒂沙特国王大学学报3255看到（在这种情况下，验证数据没有附带标签）。与模型训练相关的进一步研究可以从开发每个区域的得分骰子得分的实现中在5倍交叉验证训练期间，BraTS 2018数据集中ET、TC和WT区域的平均骰子得分的发展图，如图5所示。验证期间ET区域的骰子得分往往高于训练得分。至于TC区，得分骰子往往是相同的。只有在epoch结束时，验证值才趋于更高。与ET和TC区域相比，训练期间WT区域验证但是，此验证值往往遵循训练数据的模式。在第125个切片上，对一个数据的折叠1模型的分割结果进行可视化，具有高骰子相似性（ ET 、 TC 和 WT 区域分别为 87.32% 、94.83%和93.29%），如图所示。 六、该图像还显示了与相关切片上的标记/地面实况的比较第一、第二和第三行分别是WT、TC和ET区域的标记和分割。从第一行到第三行的第一列描述手动注释的边缘。第二列是模型分割的结果。第三列是手动注释和分割结果之间的差异，蓝线表示模型覆盖区域的边界。完全分割。第四列是第三列绿色方框所示的小区域的放大图。相反，手动注释以红色（WT）、黄色（TC）和粉色（ET）表示。从重叠的可视化，模型设法分割该地区很好。仍然没有很好分割的领域在对象和小对象的边界处（然而，这些小区域可能是3D对象的体积的边界，但在2D中可视化），如第四列所示。在WT区域中，该区域外围的一些体素本应被分类为WT，但未成功分类。另一方面，一些体素不应被分类为WT但被预测为WT。TC和ET分类在该区域的边缘也发生错误分类。褶皱分割结果的进一步可视化1个模型基于具有最低骰子相似性的数据（ET、TC和WT区域分别为35.80%、74.69%和82.39%），在第150个切片处的情况如图7所示。该图仅显示了具有最低骰子相似性值35.80%的ET区域。 该图表明，所提出的模型仍然成功地分割了ET区域，即使骰子性能很低，ET区域也很小。该模型的弱点是看到当分割的边缘区域的对象和小区域。克服这些弱点的一种方法是执行5倍训练结果的集成。图7.第一次会议。在第150个切片处的ET区域上的最低骰子相似性结果数据上的手动和预测分割结果的重叠：（i）具有相应边界手动标注的切片，（ii）具有相应边界预测分割的切片，（iii）手动标注区域与边界预测分割区域的重叠，（iv）（iii）的包围。表4在线验证BraTS 2018验证数据集。倍骰子得分（%）灵敏度（%）特异性（%）Hausdorff 95ET TC重量ETTC重量ET TC重量ET TC重量折叠176.37 74.2787.8780.2383.1891.91九十九点七五99.094.91 11.8312.56Fold 275.56 78.5788.9580.2377.9191.3699.78 99.7799.274.14 8.579.49折片373.87 77.7688.0180.6381.0791.32九十九点七四九十九点六99.169.09 17.2020.81折473.85 74.5685.1377.8575.0992.5499.80 99.7898.808.72 13.6928.88折叠部579.6088.8383.0284.8892.58九十九点七三九十九点五七99.198.10 12.6010.30合奏77.71 79.7789.5981.3780.4592.57九十九点七六99.273.90 8.679.13表5在线验证BraTS 2019验证数据集倍骰子得分（%）灵敏度（%）特异性（%）Hausdorff 95ET TC重量ETTC重量ET TC重量ET TC重量折叠170.71 78.0087.1176.2881.4890.46九十九点八二九十九点五三99.19六点三七十六点九七14.86Fold 269.71 75.5686.1575.8481.9091.4099.78 99.3698.979.21 14.7615.23折片370.85 78.2785.8774.8477.6290.33九十九点七二99.148.42 11.9625.40折473.21 79.2287.1776.2084.7093.03九十九点三八98.876.81 14.5013.18折叠部572.46 78.4186.9278.6082.5892.3499.71 99.5198.9912.97 17.5915.25合奏74.20 80.9888.4877.