医学信息学解锁19（2020）100357MSS U-Net：使用多尺度监督U-Net赵文帅a，*，姜迪宏a，JorgePen~aQueraltab，TomiWesterlundba中国复旦大学信息科学与技术学院b芬兰图尔库大学图尔库智能嵌入式和机器人系统实验室A R T I C L EI N FO保留字：肾脏分割肾脏肿瘤分割多尺度监督EX概率对数损失3DU-NetA B S T R A C T肾脏和肾脏肿瘤的精确分割是放射组学分析以及开发先进手术计划技术的重要步骤。在临床分析中，分割目前由临床医生根据通过计算机断层扫描（CT）扫描收集的图像的视觉检查来执行。这一过程是艰苦的，其成功在很大程度上取决于以前的经验。本文提出了一种多尺度超三维U-Net（MSS U-Net）算法，用于从CT图像中分割肾脏和肾脏肿瘤。我们的架构将深度监督与指数对数损失相结合，以提高3D U-Net的训练效率。此外，我们引入了一个连接组件为基础的后处理方法，以提高整个过程的性能与现有技术相比，该结构显示出优越的性能，肾脏和肿瘤的Dice系数分别高达0.969和0.805。我们在KiTS 19挑战中使用其相应的数据集测试了MSS U-Net。1. 介绍肾细胞癌是最常见的泌尿生殖系统癌症之一，死亡率最高[3]。基于医学图像（诸如来自计算机断层摄影（CT）扫描的图像）的肾脏和肿瘤的准确分割在计算机辅助治疗中，这一步的成功是任何其他过程的必要先决条件因此，分割过程是探索肿瘤及其相应手术结果之间关系的关键，并有助于医生制定更准确的治疗计划[8]。尽管如此，器官或病变的手动分割可能非常耗时，因为放射科医生可能需要为一名患者标记出数百个切片中的目标区域因此，显然需要更准确的自动分割工具近年来，大量的研究工作已经投入到CT图像中肾脏及肾脏肿瘤的自动分割。特别是，新的深度学习技术发挥了关键作用。以前的工作主要集中在利用无监督训练方法，包括基于阈值的方法，基于区域的方法（例如，区域生长），基于聚类的方法（例如，模糊c均值或马尔可夫随机场），边缘检测方法或可变形模型方法[7]。最近，用于医学图像分割的深度人工神经网络的应用已经获得了增长的势头，特别是3D卷积神经网络[4]。提供端到端分析（从原始图像到分割图像）的神经网络更通用，因此不会遇到以前方法中的一些挑战。例如，当感兴趣区域相对于背景具有显著的强度差异时，基于阈值的技术产生最佳结果，但是在更均匀的图像中存在问题，显著降低了它们的性能并限制了它们的适用性。图 1显示了来自三个不同患者的腹部CT图像。由于肾脏和肿瘤的位置、大小和形状在患者之间变化很大，因此肾脏和肾脏肿瘤的分割具有挑战性。主要挑战可归因于以下考虑。首先，肿瘤的位置可能因患者而异。肿瘤可以出现在器官内部的任何地方或附着在肾脏上。试图根据经验和先前的知识来预测位置，无论是从人的角度还是从计算机的角度来看都是不可行的。其次，肿瘤的形状和大小呈现巨大的多样性。一些患者的肿瘤在肾脏上可能非常小，而另一些患者的肿瘤几乎可以侵蚀整个肾脏。此外，它们的形状可能是规则的，扭曲的或分散的。第三，肿瘤的组织是* 通讯作者。电子邮件地址：wezhao@utu.fi（W.Zhao）.https://doi.org/10.1016/j.imu.2020.100357接收日期：2020年4月9日;接收日期：2020年5月20日;接受日期：2020年5月2020年6月2日在线提供2352-9148/©2020的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuW. Zhao等人医学信息学解锁19（2020）1003572Fig. 1. KiTS19数据集中三名患者的样本分割图像图示[13]。第一行是横向平面，第二行是3D重建。红色VOXELS表示肾脏，而绿色VOXELS表示肾脏肿瘤。(For对本图中颜色图例的解释，读者可参考本文的网络版也是异质的：肾细胞癌的大量不同亚型，加上它们的异质性，可以在CT图像中产生不同的强度属性。最后，由于多个标签和大背景尺寸的共存，从原始全尺寸CT图像中同时分割肾脏和肾脏肿瘤可能会导致额外的困难。1.1. 背景近年来，深度学习方法已成为医学成像中分割的一种有前途的解决方案。在这些方法中，卷积神经网络（CNN）架构在计算机视觉任务中的表现已经超过了传统算法[16]，特别是在CT图像分割中[4]。全卷积网络（FCN）架构是一种非常强大的端到端训练分割解决方案[19]。这种类型的架构能够在图像上产生原始规模的piX el级别的标签，并且它是跨多个领域的当前最先进技术。其他最近的工作已经将FCN作为更深入和更复杂的分割架构的起点，例如SegNet [2]引入解码器部分以增强分割性能，主要用于对象检测的特征金字塔网络（FPN）[17]，金字塔场景解析网络（PSPNet），用于场景理解[30]，Mark虽然有各种各样的深度学习方法用于图像分割，医学图像呈现出与自然图像的显著差异。一些最明显的特征如下：首先，与自然图像中广泛的语义模式、颜色和强度相比，医学图像相对简单。这种跨个体图像的增加的均匀性阻碍了图案和感兴趣区域的识别;其次，器官、病变或其他感兴趣区域之间的边界是模糊的，并且图像不是通过对受试者的被动观察而是通过主动刺激获得的。因此，在其他类型的图像分割中采用的方法和神经网络架构不能直接外推到医学领域。当考虑到这些图像的获得方式时，差异变得更加显著。医学图像通常通过对受试者身体的体积采样来获得。这种特性和关键的差异方面可以作为一个优势，对集成的三维神经网络架构。其中，迄今为止最流行的架构之一是2016年提出的3D U-Net[5]。3D U-Net是最知名的方法之一，并被广泛使用医学图像分割的三维架构[21]，受到FCNs和编码器-解码器模型的启发。3D U-Net架构得到了进一步发展，并在其上构建了新的解决方案，例如：Nabila等人提出使用Tversky损失来增强U-Net中注意力机制的性能[1]，而Zhe等人提出了一种改进的U-Net架构，其中作者通过最小化图切割能量函数来执行CT图像中的肝脏分割[18]。少数研究集中在肾脏或肾脏肿瘤的分割上。一个理想的架构应该进一步扩展现有的端到端网络，以实现piX el分段。此外，三维数据的性质可以提供更高水平的相关性。在这个方向上，Yang等人在2018年结合了基本的3D FCN和金字塔池化模块，以增强特征提取能力，网络能够同时分割肾脏和肾脏肿瘤[28]。然而，实验仅在感兴趣区域（ROI）上进行，而不是在原始CT图像上进行。这显著降低了分割任务的复杂性以及临床实用性。Yu等人在2019年提出了一种新的网络架构，该架构结合了基于垂直补丁和水平补丁的子模型，以进行肾脏肿瘤的中心像素预测[29]。然而，由于数据被分割的性质，其训练和推理过程变得越来越具有挑战性，这种类型的解决方案通过更简单的输出最大限度地减少了问题。在一般情况下，我们已经发现，大多数算法在该领域的医疗-标准图像分割将U-Net架构作为进一步发展的起点。Fabian等人实施了一种经过良好调整的3D U- Net（nnU-Net），并证明了其适用性和潜力，在多个医学图像分割挑战中排名靠前[15]。 在本文中，我们从他们的工作中获得灵感，建立了一个端到端的框架，可以同时从CT图像中分割肾脏和肾脏肿瘤。所提出的网络架构也是从原始的3D U-Net架构[5]发展而来的。由于多个患者的CT图像具有明显的相似性，我们假设原始的3DU-Net能够提取足够的特征进行识别。因此，我们不考虑在主要的3D U-Net主干后面使用额外的模块或分支，例如剩余模块[20]，FPN [17]或注意门[24]等。相反，我们专注于优化训练和增强原始3D U-Net架构的性能。1.2. 捐款和结构在这项工作中，我们通过深度监督和指数的W. Zhao等人医学信息学解锁19（2020）1003573���图二. 在我们的方法中使用的数据增强技术的效果。第一行是原始图像;第二行显示对比度增强和镜像的效果;第三行显示弹性变形、缩放、伽马校正和旋转。值得注意的是，为了简单起见，我们显示2D图像而不是实际的3D图像对数损失随着超参数数量的增加，我们可以更好地训练网络，并利用我们的结果作为基线来分析3D U-Net的性能。因此，这项工作的主要贡献如下：1. 为3D U-Net引入多尺度监督方案，调整网络，从深层进行准确预测;2. 利用指数对数损失[27]来缓解前景（肾脏和肿瘤体积）和背景之间的类别不平衡问题。通过整合这两种方法，我们已经提高了性能的原始三维U-Net架构。此外，我们还设计了一种基于连通分量的后处理方法来去除被检测为明显误报的断开的卷。本文的其余部分组织如下。第2节介绍了神经网络的结构，以及实验中采用的不同方法，之后第3节介绍了实验结果和网络性能分析。在第4节中，我们讨论了对医学图像分割采取的不同策略。最后，第5节总结了工作，并概述了未来研究方向。2. 方法目前使用深度学习进行医学图像分割的方法大致可以分为两种趋势。首先，神经网络的输入数据不是原始数据，而是感兴趣区域（ROI）。这自然允许跨多个指标的更高准确性和性能。尽管如此，总体性能可能会受到ROI检测和提取中的不确定性的显著影响。其次，在最近的趋势中，已经引入了端到端分段架构。在这些中，原始图像被馈送到网络，并且网络的输出是具有与输入相同大小的图像的pixel-wise分割。我们遵循这种端到端的架构，从原始体积CT图像中同时分割肾脏和肾脏肿瘤。这允许我们的方法在临床环境中的直接应用。馈送到CNN的CT数据由腹部CT图像组成有几百片每个三维区域称为一个体积。 典型输入为512 512200 voXels，其中200是切片，512 512表示每个图像的分辨率，单位为PIXELS。由于输入大小很大，因此不可能立即将数据馈送到网络中，特别是当图形处理单元（GPU）用于加速CNN时。在GPU中，挑战来自有限的内存量和一般所需的计算能力。因此，我们遵循最近的趋势，在基于补丁的训练和推理我们的网络架构。本节的其余部分描述了培训W. Zhao等人医学信息学解锁19（2020）1003574图三. 我们提出的多尺度监督3D U-Net的架构。为了简单起见，我们使用2D图标而不是实际的3D图标，并且最好用彩色查看。 (For对本图中颜色图例的解释，读者可参考本文的网络版网络和处理数据。2.1. 数据预处理在将原始CT图像馈送到网络之前对其进行预处理是实现有效训练的重要步骤。首先要考虑的是病人体内可能出现的意外物质的存在特别地，众所周知的事实是，金属伪影对CT图像的质量具有显著的负面影响。 伪影的主要问题是当这些在图像中产生具有异常强度值的区域时，这些异常强度值比对应于有机组织的像素中的强度值高得多或低得多。由于深度学习算法所建立的数据驱动模型，学习过程可能会受到与非有机伪影相对应的离群值体积的显著影响。为了减少非有机伪影的影响，我们对完整的数据集进行统一的预处理，包括训练和测试数据。在所有图像中，我们只考虑第0.5和第99.5个像素之间的强度范围，并相应地裁剪离群值。在预处理之后，使用正态前景均值和标准差对数据进行归一化，以改善三维网络的训练。另一种适当训练KiTS 19数据集的三维网络是跨不同图像集的体积空间的统一。这是必要的，因为即使横向平面总是由恒定数量的像素形成，对应的体积大小也可能改变。因此，不能统一卷空间将导致不同的数据输入表示不同的卷。3D数据的这种各向异性可能会削弱使用3D卷积的优势，最终导致比2D网络更差的性能。因此，我们选择将原始CT图像重新采样到相同的体积空间中，如果它们不是，即使重新采样的图像通常最终具有不同的大小。2.2. 数据增强注释医学图像数据集通常是一项漫长且具有挑战性的任务。到目前为止，这限制了由于额外维度带来的参数的固有增加，三维网络变得更加关键。训练数据不足会导致过度拟合，贬低深度学习的优势。为了解决这个问题，一个典型的步骤是利用不同的增强技术来增加可用数据的数量，同时尽可能避免过度拟合。我们对有限的训练数据进行了各种数据增强技术，以获得经训练的网络的增强性能。这些技术是基于批处理生成器框架1实现的，包括随机旋转，随机缩放，随机弹性变形地层、伽马校正增强和镜像。其效果的可视化如图所示。 二、2.3. 网络架构本文定义的网络架构是以nnU-Net神经网络框架为起点设计的[15]。与最近发布的其他方法不同，nnU-Net框架没有添加复杂的子模块，而是主要基于原始的U-Net架构。除了默认框架外，我们还利用多尺度监督来增强网络的分割性能。我们提出的网络的架构如图3所示，其中二维图像用于说明目的，即使网络的层是三维的。 遵循3D U-Net的主要结构，网络实现了解码器（左侧）和编码器（右侧）元素。编码器层用于从输入数据中学习特征表示。然后，解码器用于检索体素的位置，并确定其类别的基础上提取的语义信息的编码器路径。我们采用了跨越式卷积来代替普通池化操作实现下采样，避免了对位置信息融合的显著负面影响。此外，我们用转置卷积代替三线性插值，以实现自适应上采样。在多个先前的工作中，归一化通常部署在任何两个层之间以获得固定的输入分布。然而，由于我们使用的批处理大小受到GPU内存的标签数据集。 与此同时，更复杂的深度学习方法变得越复杂，训练网络所需的数据就越多 这1https://github.com/MIC-DKFZ/batchgenerators/。W. Zhao等人医学信息学解锁19（2020）1003575� �XXJ J见图4。指数对数损失原理。与线性损失相比，指数对数损失表现出特定的非线性，为学习过程提供了更好的指示。容量，在这项工作中，我们采用实例规范化，而不是批量规范化。批量规格化自然适合更大的批量。网络的深度通常决定为语义特征的量和分割的空间准确性之间的权衡。层越深，可以提取的语义信息越多。同时，由于特征图分辨率的不断降低，较深层往往会丢失位置信息。因此，我们将我们网络的架构设置为只有6层，包括瓶颈，这样最深的特征图不小于8 8 8。同时，为了减小模型体积，我们将基本核数设置为30。此外，在U-Net中构建了编码器和解码器层之间的短连接，以使解码器能够利用嵌入在编码器部分中的更精确的位置信息。与原始的3D U-Net架构相比，我们构造了多尺度监督，以鼓励解码器路径中的每一层N损失t¼Losslwl（ 1）l¼1其中Losst表示通过多尺度监督实现的总损耗，而Loss1指的是在第1层计算的损耗。网络中不包括瓶颈层的总层数，N。最后，每个单独层的损失的权重2.5. 损失函数交叉熵（CE）是一种广泛使用的piX el损失，因为它基于每个piX el计算预测概率和地面真实的熵。然而，这种性质可能会导致严重的样本不平衡，因为背景占据了大部分的CT图像。它的定义由（2）给出：实现精确的位置以及语义信息。我们提出的多尺度监管背后的动机将在下一小节中全面描述。CE¼-c2类wcytrue log.（2）2.4. 多尺度监管在传统的基于深度学习的分割中，模型从顶层输出概率图，这并没有充分利用更深的特征图，即使它们可能包含更多的语义信息。由于顶层是从深层上采样的，因此提前保证深层具有正确的预测是合理的。预计这将为增加层提供更好的基础，其中，ytrue表示基础事实，ypred表示预测概率。每个类别的权重wc用于调整全局交叉熵值。另一个关键损失函数是Dice系数（Dice）。Dice与交叉熵的不同之处在于，它对微小目标分割特别有用，因为它计算预测结果和地面真实值的相似性，而不管目标的相对大小。它对类的定义由（3）给出：2�Upred\Utrue�依次因此，我们将具有相应分辨率的标签添加到解码器路径中的每一层，并将它们与来自骰子¼�Upred��jUtruej（三）深层通过计算不同层的损失，可以获得更有效的梯度反向传播，从而提高学习效率。来自多尺度监督的每次迭代的损失函数由（1）给出：其中，Upred和Utrue分别表示分割结果集（预测）和地面实况集，并且Ui表示集合Ui的基数。骰子与两个集合的交集成比例，因此受到假阳性和假阴性的影响。Dice的值越高，分割效果越好。另外我们W. Zhao等人医学信息学解锁19（2020）1003576PPPy波伊Py波伊-Py波伊-图五. 我们的后处理方法的效果。上面一行是网络的原始输出，中间一行是后处理后的输出，下面一行是地面实况利用软骰子（SD）系数，因为直接利用预测概率，而不是softmax层生成。这使得我们有一个成本函数，2肾ypredytrue像素SD¼2例肿瘤y预测y真实像素对学习过程敏感，并在学习过程中更有效地调整网络权重。为了有一个功能，肾脏¼2pred肾脏像素2 ;真肾脏像素肿瘤2pred肿瘤像素2真肿瘤像素（六）最小化，1骰子通常被用作成本函数。因此，在实践中，(3)对于每个类掩码，都变成（4）当样本很难识别时，这种非线性操作可以使网络实现更高的损耗，即，的标清成本为1-2P像素ypredytrue（四）预测结果很差，只有当预测结果好的时候，2pred像素2真像素一定的阈值会使损失急剧下降如此则具有指数对数损失的网络可能会获得更多nnU-Net实现利用交叉熵和1Dice进行训练。然而，在肾脏和肾脏肿瘤分割中，出现了额外的挑战，导致我们选择不同的成本函数。 首先，CT图像中肿瘤样本的数量显著小于背景和肾脏样本的数量。第二，肿瘤体积的形态异质性明显大于肾脏体积。这种样本和难度的不平衡是医学图像分割中的普遍问题，并且会导致网络对肿瘤体积进行错误分类的趋势因此，在本文中，我们修改了nnU-Net，对我们的Soft Dice损失执行指数对数损失，以缓解这种不平衡。对数损失随目标值的增大表现出特定的非线性特性，如图所示。四、在初始训练阶段，损失具有戏剧性的变化，这可以更好地指示正确的学习方向。在中间阶段，它表现为稳定的线性函数下降。随着学习的进行，指数对数保持比线性损失更高的损失直到目标值相当接近1，它才显示出快速下降。修改的细节出现在公共GitHub存储库中，我们已经上传了本文中使用的代码。在训练期间用于最小化的成本函数由（5）给出：SD ell¼.- log SD 肾细 胞 0 ： 3�0 ： 4 细 胞 -log SD 肿 瘤 细 胞 0 ： 3�0 ： 6（5）其中SDell表示通过指数对数损失修改的软骰子。SD肾脏和SD肿瘤分别表示基于肾脏和肿瘤计算的原始软骰子比使用线性损失函数时更有效的梯度更新。此外，为了进一步诱导网络在训练过程中增加肿瘤样本的重要性，我们将不同的乘数0.4和0.6分别作为肾脏和肿瘤的权重最后，我们将软骰子与指数对数损失和CE结合起来作为每层的损失函数，如（7）所示：损耗层1/4SD电池（ 7）其中Loss层表示我们从每个层获得的损失。在多尺度监督的情况下，我们进一步在不同的层上分配不同的权重。结果，从上到下，除去瓶颈的总共5层分别为0.4，0.2，0.2，0.1，0.1，我们属性为0.28，0.28背景、肾脏和肿瘤的CE权重分别为0.44，以进一步强调肿瘤样品。我们的方法将多尺度监督与指数对数损失相结合，带来了这样的超参数，可以进一步优化，以从3D U-Net中提取更多的潜力。虽然这些参数有很大的优化空间，但我们的实验已经显示了这些优点和增强的分割性能。2.6. 推理和后处理由于网络的训练和推理都是逐块进行的，因此与块中心相比，块边界的精度有所下降。因此，我们采用重叠预测，并在跨补丁聚合预测时更多地考虑中心值。选择面片，使其重叠面片大小的一半。此外，我们采用测试时的数据增强镜像测试补丁沿所有有效的轴聚合更多的预测，以及添加高斯噪声。因此，对于每个voX el，有多个预测聚合到W. Zhao等人医学信息学解锁19（2020）10035770B-1C0 01B@-CA表1KiTS19数据集的属性。属性值患者人数模态CT（动脉晚期）训练数据集大小134验证数据集大小34测试数据集大小42后处理有效地匹配了地面实况样本。应该考虑到，如果只有一个肾脏，患者可能以前接受过肾切除术。3. 实验结果为了评估所提出的三维网络架构，并验证其可用性与真实数据，我们进行了实验，最小患者尺寸（单位：VoXels）最大患者人数（单位：VoXels）中位数患者人数（单位：VoX els）[434，434，69][639，639，182][523，523，116]公共KiTS19数据集上的数据。我们将KiTS19数据集分为训练，验证和测试数据集，我们利用这些数据集进行训练和测试。仿射00：7816000：781600-030 0 0使用可视化指标和量化指标来评估我们模型3.1. KiTS19数据集见图6。网络训练过程中的损失和骰子演变。红线和蓝线分别表示验证和训练损失。绿线代表肾脏和肾脏肿瘤的平均Dice。总训练时间约为5天。(For对本图中颜色图例的解释，读者可参考本文的网络版确定其最佳值。在患者数据的中心，来自多个重叠和镜像的多达64个预测被聚合起来。在网络推理后，我们利用基本知识进一步提高性能：大多数人有两个肾脏，肾脏肿瘤应该附着在肾脏上或嵌入肾脏。尽管这是非常基本的信息，但它可以在后处理中用于去除被检测为假阳性的断开的体积。在发现一个或两个肾脏成分后，从输出中去除假阳性肾脏体积。因此，所有附着在肾脏上的肿瘤成分都被保持为有效分割结果，而其他成分也从输出中去除。3D Con-按照类似的过程检测连接的组件 与参比[22]，并利用connected-components-3d2Python库[9]。图5显示了我们的后处理方法如何提高分割的质量。在最上面的图中，我们有两个肾脏和一个分离的肿瘤。分割保留了如图中间所示的前两个最大的之后的结果2https://github.com/seung-lab/connected-components-3d。KiTS19数据集包含来自210名患者的体积CT扫描。这些扫描都是在晚期动脉期的术前腹部CT成像，在地面实况图像中具有肾肿瘤体积的明确定义。图像以神经影像学信息技术倡议（Nifti）格式提供。不同患者的扫描具有不同的特性。因此，原始数据中存在异质性，包括沿三个平面的体积大小及其仿射。由于不同的体元间距可能对深度神经网络的学习过程产生显著的负面影响，因此我们使用KiTS19中的插值数据集，该数据集对原始数据集进行插值，以实现对每个患者的相同仿射。数据集的统计特性如表1所示。我们随机选择20%的患者作为独立的测试数据集。在其余的数据中，我们将记录划分为验证数据集（20%的扫描）和训练数据集（80%的扫描）。3.2. 实现细节我们利用Adam作为网络此外，我们还进行了自适应W. Zhao等人医学信息学解锁19（2020）1003578��见图7。分割结果的示例。每一列表示一名患者，从上到下，分别是横断面、矢状面、冠状面的扫描图像、我们预测的3D重建和地面实况。红色掩模代表肾脏区域，而绿色掩模代表肿瘤区域。(For在这个图例中，颜色的参考解释，读者可以参考本文的Web版本训练过程中学习率的调整策略。这导致学习率下降0.2倍，每当训练损失在30个时期内没有改善时。类似地，我们认为只要在50个时期内没有识别出损失的改善，训练就结束了。完整的过程是利用PyTorch框架在Py-thon中实现的。在实验中，使用两个Nvidia Tesla 32 GB GPU进行训练。由于GPU内存有限，我们采用补丁大小为192 192 48，并将批大小设置为8。由于训练是基于补丁的，补丁是从数据加载器中随机采样的，我们每个epoch都设置为250次迭代。这意味着每个epoch有效地从训练数据中选择250- 8个补丁3.3. 实验结果我们的网络见图8。 量化指标。W. Zhao等人医学信息学解锁19（2020）1003579��表2在KiTS 19数据集上，比较所提出的MSS U-Net和我们实现的度量MSS U-Net经典3D U-Net骰子0.9690.962Jaccard0.9410.930精度0.9990.999精度0.9710.961召回0.9680.965Hausdorff（mm）19.18838.945表3提出的MSS U-Net与经典3D U-Net（肿瘤）之间的比较度量MSS U-Net经典3D U-Net骰子0.8050.781Jaccard0.7160.699精度0.9990.999精度0.8630.841召回0.8020.810Hausdorff（mm）33.46950.808表4建议的MSS U-Net和参考文献[28]中的最新方法（PSPNET、3D U-NET和FCN-PPM）的Dice系数比较。参考文献2000中使用的数据集[28]和我们的论文（MSS U-NET）是不同的。方法肾肿瘤2D PSPNET（RoI）0.9020.6383D U-NET（RoI）0.9270.7513D FCN_PPM（RoI）0.9310.802MSS U-NET（原始图像）0.9690.805五天后，建筑学被认可了。损失变化如图6所示，从中我们可以观察到，随着训练时期数量的增加，损失稳定下降。在模型经过训练并达到收敛后，我们使用包含42个患者扫描的独立测试数据集对其进行测试。 图7中示出了输出分割结果的几个选定样本。尽管肾脏和肾脏肿瘤的位置、强度和纹理可能显著不同，但预测的区域与地面实况非常一致。我们使用六个定量指标评估所有42个测试患者扫描，以客观和全面地评估我们的方法;计算肾脏和肾脏肿瘤分割的Dice、Jaccard、准确度、精度、召回率和Hausdorff。为了清楚地观察所有测试患者的分布，Dice、Jaccard、准确度、精确度和召回率的指标被收集到两个方框图中，分别在图8a和图8b中针对肾脏和肾脏肿瘤分割示出。我们的方法是从基本的3D U-Net进一步阐述。我们不考虑也不将我们的方法与其他复杂的架构修改进行比较，因为它们通常只对特定的情况或指标有效。因此，为了研究我们的策略的有效性，我们比较了基本3D U-Net与我们的多尺度监督3D U-Net的性能。除了本文定义的三种策略外，3D U-网的实现与我们的多尺度监督U-网相同。比较结果列于表2和表3中。这两个表给出了六个指标的平均值，并证明了使用我们的三重增强策略后的改进。最显著的差异在于肿瘤分割方面。在与基本的U-Net体系结构进行比较之后，我们比较了我们的表4中列出了三种最新的方法。在这个比较中，应该注意的是，我们提出的方法处理原始大小的CT图像，这增加了语义模型的显着复杂性表5骰子的方法和其他算法在KiTS19的挑战。这些结果是从竞争的测试数据集获得的。此测试数据集是公开的，但地面实况标签未公开。方法肾肿瘤Fabian等人[14]，第一名0.9740.851小帅等人[12]第二名0.9670.845广瑞等[22]，第3名0.9730.832Andriy等人[23]，第9位0.9740.810MSS U-Net，第7名0.9740.818与其他三个基于更小ROI的相比。尽管如此，我们的方法在肾脏和肾脏肿瘤分割的多个指标上仍然优于它们。此外，为了将我们的方法与其他当前最先进的架构和方法进行比较，我们参加了KiTS19挑战。在挑战过程中，我们能够使用其他最先进的方法进行更广泛的评估。提出的网络架构MSS U-Net在106个团队中排名第7 [13]，使用90名测试患者的数据测量，肾脏和肾脏肿瘤Dice分别为0.974和0.818。这证明了本文所描述的方法对于真实数据的适用性，以及与仅依赖于3D-UNet架构的医学图像分割的先前方法相比其改进的性能。我们在表5中列出了KiTS19挑战赛的几位顶级获奖者。Fabian等人[14]，第一个排名的解决方案，提出了一个残余的3D U-Net，以提高分割性能。在这种情况下，作者修改了部分训练数据，以获得独特的优势。Xiaoshuai等人。[12]和Guangrui等人。[22]分别使用3阶段和2阶段分割构建了他们的方法，与我们使用端到端方法的动机相比，这遵循了不同的策略。最后，Andriy等人[23]采用了与我们更相似的策略，因为他们也专注于如何更好地训练基本的3D U-Net，并采用了流行的边界感知损失[10]。然而，他们使用了更大的输入（176 176 176）。 总的来说，我们相信我们的方法可以通过进行更多的自适应实验来进一步优化，因为有更多的超参数可以更有效地训练3D U-Net。值得注意的是，由于数据集的大小有限，如果只有一个肿瘤没有被检测到，则结果可能会有很大的不同。这对于特别小的肿瘤尤其明显，这些肿瘤可能仅仅因为采样或数据处理问题而未被检测到。然而，这是一个必须考虑的重要方面，因为检测小肿瘤或病变可能是早期疾病检测的关键。因此，我们认为需要提出正式的解决方案来解决小肿瘤分割的具体问题4. 讨论近年来，基于深度学习的方法在医学图像分割领域的研究论文中占据了最大的比例。已经提出了具有许多新架构的各种各样的网络，与更传统的方法相比，这些网络具有创新的特性并且在多个方面具有显著的优越性。尽管如此，在所有这些中，据我们所知，原始U-Net架构仍然能够实现与最先进技术相当的结果，甚至在与医学图像分割相关的某些方面优于最近的架构[15]。这在本文中得到了进一步的例证，因为我们已经证明了如果引入更有效的训练技术，原始架构的能力，正如我们的实验结果所证明的那样。基于3D U-Net架构，我们设计并训练了一个SIX层网络，并提出了三种有效的策略，W. Zhao等人医学信息学解锁19（2020）10035710见图9。拟议网络中最差情况分割的图示。顶行示出了预测的分割，而底行示出了地面实况。绿色的肿瘤不能被我们的网络识别，我们的网络只能分割肾脏组织，红色的。在这种情况下，肿瘤的小尺寸可能在分割失败中发挥了重要作用 。(For有 关 此图 例 中 颜 色的 参 考 说明，请读者参考本文的Web版本。）培训技术和数据扩充。首先，我们采用了多尺度监督来提高网络从更深层正确预测低分辨率标签的概率。这个概念可以用人类行为的类比来更好地理解：首先缩小图像以标记或识别粗糙轮廓，然后放大以在更精细的水平上精确地标记图像的动作。其次，为了缓解样本固有的不平衡和器官间的分割困难，我们引入了指数对数损失的使用，以诱导网络更多地关注肿瘤样本和更困难的样本。第三，我们设计了一种基于连接组件的后处理方法，以消除网络识别出的明显错误的VOXEL我们已经进行的实验和与现有方法的比较表明，所提出的架构的优点和增强策略的有效性，在原始的三维U-网。然而，有几个方面仍然具有挑战性，需要进一步调查。特别地，从测试患者的分割统计，我们已经发现两个患者具有低肿瘤Dice，其中一个低至零。后一患者的数据如图9所示。在图中，我们可以看到预测掩模没有映射肿瘤，这与Dice系数一致这种低Dice的原因可能是CT图像中肿瘤的尺寸特别小。我们将这一现象归因于经典卷积的固定感受野。因此，我们将在未来的工作中考虑采用可变形对流作为该问题的潜在解决方案[6]。尽管我们在这方面取得了相当好的成绩对于肾脏分割，应该注意的是，所有实验都是在相同的数据集上执行的，其中训练数据被随机分割并且将具有与测试数据相同的分布。然而，当应用于实际临床环境时，训练的模型必须适应来自不同供应商和设置的CT图像。这有可能带来不同的分布，从而降低其性能。这是机器学习中的一个普遍问题，我们希望在未来使用来自多个供应商和中心的数据来提高其泛化能力[26]。总之，本文提出的架构和选择的方法是基于这样的假设，即基本的3D U-Net架构能够提取足够的分割特征。因此，我们已经将我们的努力导向训练过程，而放弃了复杂的架构修改与边际效益。在完成本文中报告的实验时，Seo等人提出了一种修改的U-Net（mU-Net）。[25]。 在他们的论文中，作者提出了利用剩余路径来跳过U网的连接，以分割肝脏和肝脏肿瘤。本文与我们有着相似的动机，旨在从低分辨率特征中挖掘更有效的信息，以实现医学图像的准确分割。 从架构的角度来看，主要的区别是Seo et al.引入额外的模块，而我们专注于有效但更简单的策略来实现同一目标。5. 结论在本文中，我们提出了一个端到端的多尺度监督三维U-网络，同时分割肾脏和肾脏肿瘤的原始规模的计算机断层扫描图像。在原有的3D U-Net结构的基础上，我们结合了多尺度监督和指数对数损失的方法。这使得U-Net架构能够进一步优化，扩展其可能性，从而获得更好的性能。与目前具有复杂架构和多个不同子模块的深度神经网络的趋势相比，我们采取了一种更通用的方法，但获得的结果与最先进的水平相当。与潜在的高度膨胀的模型和更复杂架构的再现性差相比，更简单的架构具有更高的再现性和更广泛的结果概括性的优势。总的来说，我们已致力于提高效率，通过结合多尺度监督和指数对数损失来训练原始3D U-Net架构。我们已经通过实验和与最先进技术的比较证明了这种方法的优势。虽然我们的架构在KiTS19数据集的特定指标上可以优于其他人，但我们认为，拥有更简单的架构仍然有进一步优化的空间，并从适用性和可扩展性的角度讨论了优势。最后，导致这项工作的代码已经通过GitHub存储库公开，3与KiTS上使用的代码19数据集。在未来的工作中，我们希望将我们的架构的应用扩展到其他器官和模式的分割，如磁共振成像（MRI）或正电子发射断层扫描（PET）。伦理声明我们特此证明，这篇手稿是原创的，尚未发表，在被《医学信息学解锁》考虑期间，不会在其他地方发表。 所有分析均基于公共数据集和先前发表的研究，因此无需额外的伦理批准和患者同意竞合利益作者声明与本文的研究，作者身份和/或出版3https://github.com/LINGYUNFDU/MSSU-Net。W. Zhao等人医学信息学解锁19（2020）10035711确认这项研究没有从公共、商业或非营利部门的资助机构获得任何具体的引用[1] Abraham N，Khan NM.一种新的病灶tversky损失函数和改进的注意力u-net用于病灶分割。2019年IEEE第16届生物医学成像国际研讨会（ISBI 2019）。IEEE;2019.p. 683- 7[2] 放大图片作者：Kendall A. Segnet：一种用于图像分割的深度卷积编码器-解码器架构。IEEE Trans Pattern Anal Mach Intell2017;39（12）：2481-95.[3] 凯恩斯山口肾细胞癌 癌症生物标志物2011;9（1-6）：461-73。[4] Christ PF，Ettlinger F，Grün F，Elshaera MEA，LipkovaJ，Schlecht S，Ahmaddy F，Tatavarty S，Bickel M，Bilic P，et al. Automatic liver and tumorsegmentation of ctand mri volumes using cascaded fully convolutional neuralnetworks. 2017. arXiv预印本arXiv：1702.05970。[5] 1999年10月20日，J.M.，J.M.，J.M.，J.M. 3du-net：学习从稀疏注释进行密集体积分割。在：医学图像计算和计算机辅助干预国际会议。Springer; 2016. p. 424- 32[6] 戴军，齐宏，熊毅，李毅，张刚，胡宏，魏毅。可变形卷积网络。在：IEEE计算机视觉国际会议论文集;2017年。p. 764比73。[7] Masihi MS，Mikhael WB.生物医学图像分割方法综述。2016年计算科学与计算智能国际会议（CSCI）。IEEE; 2016.p. 803- 8[8] 放大图片作者：Gillies RJ，Kinahan PE，Hricak H.放射
我的内容管理
展开
