肝脏深度学习分割的计算机断层扫描优化及标准架构改进

医学信息学解锁24（2021）100585计算机断层扫描肝脏深度学习分割的损失、后处理和标准架构改进，磁共振佩德罗·富尔塔多DEI/CISUC，科英布拉大学，葡萄牙A R T I C L EI N FO保留字：肝脏计算机断层扫描深度学习分割A B S T R A C T随着深度学习越来越多地应用于计算机断层扫描（CT）和磁共振成像（MRI）序列中的器官分割，我们应该了解某些操作的重要性，这些操作可以提高结果的质量。为了从这些序列中分割肝脏，我们量化了分割网络，损失函数和后处理步骤所取得的改进。我们在公开数据集上的结果显示，使用DeepLabV3而不是UNet或FCN，通过应用后处理操作和使用性能最佳的损失函数，提高了11%点（pp），提高了4pp。本文的研究结论对研究人员和实际工作者选择网络和损失函数以及实施有效的后处理操作具有一定的指导意义。1. 介绍为了丰富复杂医疗程序之前或期间的理解水平，医师使用诸如三维可视化和打印的高级工具，其需要从图像中提取感兴趣对象。腹部器官（如肝脏）的精确分割在这些手术中非常有用，这促使正在进行的研究取得更好的分割结果，并克服源自腹部高度灵活的解剖特性和图像特征中反映的模态限制的挑战。在这种情况下，图像分割是将数字图像分割成多个片段的过程，其中片段是像素的连续集合。它必须识别每个感兴趣对象的位置和精确边界，为每个像素像素分配标签，使得具有相同标签的像素属于相同的分割对象。典型的分割算法搜索在颜色，强度和纹理的共同性，以分离成区域的图像。当与相邻区域缺乏对比度以及应该被分割成不同对象的区域之间缺乏相似性时，它们面临困难。例如，在从腹部CT或MRI序列分割肝脏时，肝脏和相邻区域之间通常缺乏对比度，并且存在具有相似颜色的其他器官和质地。一些预处理操作也可以应用于在分割之前增强对比度或均衡直方图。CT是医学诊断中经常使用的成像技术。非侵入性程序使用从不同角度获取的许多X射线测量的计算机处理组合来产生身体部位的特定区域的横截面（断层摄影）图像（虚拟“切片”）。CT输出经过后处理，以根据身体吸收X射线束的能力显示身体结构。在采集之后，通过CT获得的切片图像可以通过自动计算机程序进一步处理以显示、测量和分析特定细节。早在70年代，Stephens等人[1]就报告了使用CT分析肝脏的经验，描述了正常肝脏和各种肝脏异常的外观、检查本身的实施以及降低检查技术质量的一些问题。此外，大约在同一时间，Alfidi等人[2]正在检查CT在检测肝脏肿瘤、囊肿、囊肿和实质疾病方面的范围和准确性。快进到最近，Chang等人[3]分析了CT图像上肝脏肿瘤的计算机辅助诊断，Fuller等人[4]使用二维CT扫描研究了转移性肾上腺皮质癌的肿瘤生长率。传统上，基于图谱的分割将器官与基于形状、边缘和纹理的背景。深度学习（DL）彻底改变了分割过程。代替手工编码和固定的器官提取代码，DL分割网络学习如何直接从一组图像中提取器官和其他感兴趣的对象。电子邮件地址：pnf@dei.uc.pt。https://doi.org/10.1016/j.imu.2021.100585接收日期：2020年12月27日;接收日期：2021年4月22日;接受日期：2021年4月22日2021年5月4日网上发售2352-9148/© 2021作者。出版社：Elsevier Ltd这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuP. Furtado医学信息学解锁24（2021）1005852=图像和相应的分割基础事实。网络基于沿着大量改进迭代（反向传播学习）的误差（损失）量迭代地修改其自身的内部系数，直到其优化分割的质量。通常，表现最好的分割网络非常准确，在分割肝脏的0.85-0.95Jaccard指数（JI）范围内得分。但是错误分类的像素的比例仍然很明显，因为错误大多集中在边界区域附近，有时也有一些不正确的小区域远离主卷。误差的量还取决于诸如采集条件、对比度、形态变化和组织细节等因素。 在CT和MRI扫描中分割肝脏等器官的背景下，使用替代网络、损失函数以及定义适当的后处理步骤，我们可以期望获得多少收益？我们专注于这些主要问题：描述网络，损失和后处理机制，并量化特定选择的改善。为了实现我们的目标，在这项工作中，我们定义和量化每一个的影响。1.1. 反向传播、损失、后处理和网络深度学习使用卷积神经网络（CNN）来对图像进行分类或分割（即对图像的每个像素进行分类）。从本质上讲，CNN是由一系列层组成的，这些层计算特征图。特征映射是系数矩阵，第一个是图像本身，其系数为PIXELS。给定这些矩阵（X），卷积是数学上的平方滤波器（W）的积和运算，在特征图上移动并在每个点计算值r=b0+ w0X0+ w1X1+系数，b0是偏置因子。然后将此输出提交给激活函数（A），并且还有池化层来向下采样特征图。反向传播是权重学习的核心，学习如何表示任何数据。给定CNN通过一批图像的前向传递，通过将最终层的输出与地面实况数据进行比较来计算错误或损失。反向传播将误差从最后一层向后传播到第一层，在每次迭代时稍微调整网络权重和偏差（使用学习率）。这个过程在多个训练图像和多个时期（通过所有图像）重复数千次，以连续减少错误（损失）。在这个过程中，损失函数是计算误差的函数。在每次迭代时，给定一组地面实况分割（GND）和当前分割（SEG），损失是两者之间的差异的度量。此损失用于确定反向传播以递增更改权重的增量更改。交叉熵（crossE）是最常见的，但骰子（a.k.a. DSC）和Inters-over-the-Union（IoU，a. K. A Jaccard指数）及其变体也是流行的选择。两者也是用于评估方法的度量，但准确的评估应该考虑单个器官而不是所有图像像素上的这些度量（因为所有像素中超过90%是背景）。这个细节在损失函数中也很重要，因为它应该适当地平衡类以避免过度表示背景。类平衡是通过将每个像素的影响乘以类频率的倒数来实现的，或者通过计算每个类的损失，然后对每个类具有相等权重的所有类进行平均。后处理实际上是一个非常相关但经常被忽视的工具以提高分割质量。它涉及图像处理算法，应用对象的属性和不变量来改善可能有噪声的分割。给定分割的输出S和关于域的一些知识K，后处理计算改进的输出P f（S，K）。后处理的机制没有得到很好的描述，其对分割质量的贡献在以前的工作中没有得到很好的量化。然而，我们表明，它有助于在器官的情况下，分割的质量的一个明智的改善。在我们的建议中，用于实现后处理的属性包括（1）器官应该是单个体积（3D）或区域（2D）;(2)它应该是最大尺寸的标记区域;（3）可以通过侵蚀操作来隔离边界上或远离主体积的噪声像素并将其去除;（4）器官的边缘/表面是平滑的（平滑算子），并且应该去除器官段内的非解剖学孔。分段网络特性也是一个相关的质量因素。分段网络有两个主要部分，编码器和解码器。编码器是一个CNN，它从图像中提取并连续压缩特征，直到它使用连续的卷积，激活和池化层到达压缩的潜在空间。解码器使用逆操作（反卷积）恢复完整图像大小。 我们关注三种主要架构，U-Net [5]、FCN[6]和DeepLabV3 [7]，因为这些代表了最流行的网络，并允许我们比较不同的架构细节。U-Net是医学成像领域非常流行的一种网络，它由对称的Conv-Decov层块和对称层之间的一些直接转发连接组成。虽然U-Net训练与卷积层对称的反卷积层，但FCN具有类似的编码器，但使用简单的不可训练插值作为解码器。U-Net中使用的编码器是VGG-16，一种密集的CNN，而DeepLabV 3使用Resnet-18。Resnet的优点是它的剩余块允许层馈送到下一层，并直接馈送到大约2-3跳远的层。这种操作有助于避免像这样的深度网络中出现的梯度消失问题（消失意味着，随着更多的层添加到神经网络中，损失函数的梯度趋于零，使得网络难以训练）。DeepLabV3还增加了Atrous Spatial Pyramid Pooling（ASPP），这是一个语义分割模块，用于在卷积之前以多种速率重新分配给定的特征层。这样，如果用具有互补有效视场的多个滤波器探测原始图像，则捕获对象以及多个尺度下的有用图像上下文。我们比较了这三种不同的网络体系结构所实现的性能（U-Net和FCN与VGG-16和DeepLabV3Resenet-18作为编码器），和核磁共振成像为了进行实验，我们采用了公开可用的CT和MRI分割数据集以及肝脏分割数据、集合训练优化和数据增强，以评估应用定义的后处理算法、替代损失函数和替代网络架构的效果。这使我们能够得出结论，后处理将分割质量提高了2-5 pp，取决于CT 或MRI 序列，DeepLabV 3具有Resnet-18 编码器和ASPP 多尺度功能，超过FCN 和UNet 11%点（pp），并且损失函数的最佳选择将分割质量提高了2 pp。1.2. CT和MRI在使用DL之前，分割将基于探索器官和腹部特征的更传统的图像处理方法，例如多图谱方法。例如，Bereciartua等人[ 8 ]提出的方法使用肝脏的3D模型和概率图。Le的建议[ 9 ]是基于直方图分割肝脏，然后是用于细化的活动轮廓，而Huynh等人。[10]将分水岭与活动轮廓一起应用。在大多数这样的方法中使用关于器官的体积和位置的统计数据。随着深度学习（DL）、卷积神经网络（CNN）和分割网络的出现，这些传统技术被基于训练图像和相应的分割基础知识进行学习的分割网络所取代。 Zhou等人。[11]使用全卷积网络（FCN），在从CT序列分割腹部器官的问题上获得了最高分。该方法采用3-D CT图像，并在从不同图像方向拍摄的2D切片的分割输出上应用多数表决方案，再加上器官的定位。其步骤为：（1）定位单个器官，即：确定目标器官的边界框，P. Furtado医学信息学解锁24（2021）1005853滑动窗口和模式匹配的Haar-like和LBP特征;(2)使用Hough投票对器官位置进行校准和校正结果。在这项工作之后，Bobo等人[12]将其应用于MRI序列的腹部分割。与多图谱方法相比，该方法在分割方面有了显著的改进。在另一项工作中，Larsson等人。[13]提出了SeepSeg，它使用3个步骤分割腹部器官：1）使用多图谱技术定位感兴趣区域; 2）使用CNN进行PIXel二进制分类; 3）使用阈值处理进行后处理，然后去除除最大连接区域外的阳性样本。网络架构、集成和投票是最近的一些研究趋势[14]。ALAMO（Auto Deep Learning BasedAbdominal Multi-Organ Segmentation，基于自动深度学习的腹部多器官分割）是一种多层2D神经网络。Groza [15]提出了一种具有投票的DL网络集合，以实现MRI扫描的改进分割分数。在Cai et al.[16]为改进了CT和MRI图像中胰腺的分割。作者使用了“直接“损失函数。他们提 出 了 一 种 用 于 训 练 神 经 网 络 图 像 分 割 模 型 的 Jaccard Loss（JACLoss）。正如作者所解释的那样，“在网络训练中直接优化Jackard指数（JI）（一种主要的分割指标），使学习和推理过程保持一致。在分割小对象（例如CT/MRI图像中的胰腺）时，根据经验，它比交叉熵损失或类平衡交叉熵损失更有效。 Conze等人[17]也用骰子代替交叉熵。最后，Salehi等人。[28]提出了一个广义损失函数，基于对误报和漏报的不同加权。损失是一个度量，并且在分割质量的评估中使用的许多度量存在限制，例如在Zhang等人中提到。[18]：“ 许 多 分 数人 为 地 很 高 ，仅 仅 是 因 为 背景 很 大 ， 因 此术 语TN （真阴性）也很大，使得特异性，ROC 和AUC 作为分数不可用”。尽管在高级架构中的所有工作，文献仍然缺少对损失和后处理的影响的定量评估。在这项工作中，我们采用标准的网络架构，但包括DeepLabv3，并专注于定义和评估网络的贡献，损失和后处理改进对CT图像中肝脏分割质量的影响。表1总结了肝脏和其他腹部器官分割的最新相关工作所获得的分数。这些作品使用了与我们不同的数据集，并探索了先进的技术，如多视图，网络集成和投票。所有这些都使用一些基础网络（最常见的是UNet），然后扩展以整合它们的进步。胡等[23]和王等[24]在这些作品中获得了CT的最佳评分。我们在这项工作中的最好成绩（DeepLabV3，骰子，后处理），我们在这里包括比较，略低，但仍然具有竞争力，即使我们没有使用网络或多视图的集合。表1其他作者的评分总结。JI= IoU肝脾R肾L肾[25日]0.85–[第十一届]0.880.77[23日]0.920.89[24日]0.960.940.960.94[26日]0.9–0.840.80[第十五条]F-net0.860.790.790.80简要0.740.600.600.60U-Net0.890.800.770.78[13个国家]0.900.870.760.84[12个]0.840.870.64[29日]0.90（LiverNet）–––[30] 0.91- 0.871.3. 文档结构其余的工作组织如下：第2节讨论材料和方法。首先，第2.1节描述了我们的方法和我们的设置的数据处理序列。第2.2节介绍了用于我们实验工作的数据集，包括CT和MRI数据。然后，第2.3、2.4和2.5节描述了我们定义和实验的丢失、后处理和架构特征的相关细节，第2.6节描述了我们实验工作的设置。第三节是实验结果和分析，第四节是论文的结论。2. 材料和方法2.1. 方法和数据处理图1显示了我们定义和评估后处理、损失和架构的方法。我们首先定义后处理算法（1），然后定义损失（2）和架构替代方案（3）。 在此之后，我们诉诸实验，以找到这些功能的最佳组合。为此，我们选择CT和MRI数据集分割肝脏，定义实验设置和选项并运行实验。这些实验的结果，基于一组指标进行分析，使我们能够根据定义的选择和替代方案得出关于分割质量改善的结论。图图2和图3显示了我们实现的系统的数据处理视图。图2中的训练设置示出了作为输入的训练图像、训练的网络（具有替代结构和特征）以及在反向传播学习中使用的损失函数（具有定义的替代方案）。图3然后示出了与已经训练的网络一起使用以处理新图像并评估质量的流水线，其中将训练的网络应用于新图像，并且后处理操作在网络已经处理图像之后改进分割输出。2.2. 使用的计算机断层扫描和磁共振数据集本研究中使用了来自40名不同患者的CT上腹部序列（CT数据集）。采用Philips SecuraCT（16个探测器）、Philips M X8000（64个探测器）、Toshiba AquilionOne（320个探测器）（配备螺旋CT）采集图像。受试者均健康（肝脏未出现病变或疾病）。使用对比剂，在肝脏期获得腹部序列，即70-80 s盆腔入射（p.i.）或在推注跟踪后50-60秒。在这个阶段，肝实质通过门静脉的血液供应增强，导致肝 静 脉 的 一些潜在增强。的共2874层，分辨率512× 512，XY间距0.7对于我们的实验，使用5倍交叉验证将采集80/20分成独立的切片是从CT序列中获取的横截面图像。图4示出了肝脏的3D模型（a）以及通过堆叠CT序列的连续切片而图5示出了CT切片及其分割结果。在每一个中，我们可以看到左侧的地面实况，右侧的CT切片和代表肝脏的叠加区域。在这些示例中，第一个切片被很好地分割，实际地面实况和分割结果之间几乎没有差异，而第二个切片与地面实况相比有一些缺陷。虽然我们在这项工作中的主要实验涉及刚刚描述的CT数据集，但为了增加实验变化，我们还包括参考文献[27]中的MRI场景（MRI数据集）。它包括120个MRI序列，捕获使用T1-DUAL脂肪抑制方案获得的腹部器官。该数据集包含图像和器官地面实况，我们从中选择肝脏地面实况数据。序列由1.5T Philips MRI采集，可生成12位DICOM图像P. Furtado医学信息学解锁24（2021）1005854×× ×××Fig. 1. 这项工作所遵循的方法。图二. 培训和测试-数据处理顺序。图3.第三章。 分割新 的图像数据处理序列。见图4。 肝脏的模型和堆叠切片。(a)肝脏的典型模型;（b）组织为堆叠切片的分割输出，导致 与（a）比较的3D模型。256的决议。层间距5.5 ~ 9 mm，平均7.84 mm，x ~ y轴间距1.36 ~ 1.89mm，平均1.89 mm1.61切片数在26 ~ 50之间（平均36）。总共有1594个切片（每个序列532个切片）用于训练和测试，随机选择测试序列以包括所有序列的20%。在这种情况下，应用了相同的数据增强和培训选项。2.3. 后处理算法考虑CT序列ims。序列（ims）是由s个堆叠切片（im）组成的（m ns）体积，其中每个切片是具有（m n）个像素的2D图像（im）。切片的分割创建（m n）标签映射（lmap），其中每个PIXEL包含对应于pixel所属的片段的标签，背景（0）或肝脏（1）。的序列堆叠的labelmaps（m×n×s）创建labelmap序列（lmaps）con-P. Furtado医学信息学解锁24（2021）1005855=使分节的器官静止。给定每个标签图（lmap）和lmap体积，后处理通过图像处理操作去除缺陷、噪声像素和校正。它使用简单的形态学操作（一些关于图像处理和形态学操作的流行参考文献包括[19-22 ]）来消除分割过程中产生的错误。基于简单的不变量来识别错误，例如肝脏是单个大体积并且边界是平滑的。在3D体积中完成以下操作算法1. 后处理改进3D算法1去除除了最大区域之外的所有区域，该最大区域是肝脏本身，但是由于边界区域通常具有显著的错误像素分类（噪声），因此在其之前进行侵蚀以将那些错误像素中的大多数与表示肝脏的主体积断开。图6示出了算法1如何去除分割错误。在（a）中，器官体积最初被一些错误的分类所包围，这些错误的分类在图中由一些额外的区域表示;在（a）至（b）中，imerode隔离那些先前连接的突出区域;在（b）至（c）中，仅保留最大的区域;在（c）至（d）中，imdilate恢复体积，但现在没有错误的部分。2D算法（接下来示出的算法2）也首先应用侵蚀-保持最大-扩张操作，但是这次是在考虑三个主要3D轴中的每一个而获得的2D切片的序列上，并且然后它还应用填充孔的操作和平滑边缘的操作。算法1和2以特定顺序应用这些操作以清除估计并获得单个肝脏区域：（1）首先，它们应用侵蚀算子（imerode [20]）以将小噪声与主体积解耦;（2）识别2D或3D连接的成分（bwlabel函数[20]），并将其大小计算为每个标识符出现在标记掩模中的次数;（3）仅保留最大的剩余区域（通过将除最大区域的标签之外的所有区域找到的区域）;（4）接下来，imdilate [20]应用于扩大先前侵蚀的给定二进制标记的掩模（其中肝脏为1而非肝脏为0的掩模），使用具有统一形式的方形滤波器的2-D卷积来模糊图像。 从模糊图像中，值低于阈值（默认值为0.5）的像素归零，阈值大于或等于0.5的像素为肝脏。这个过程会产生更平滑的表面。算法2. 2D后处理改进P. Furtado医学信息学解锁24（2021）1005856CTP+αFP+βFN我（）=1-=1-与IoU一样，我们使用类的平均值算法3. 平滑边缘（lmapi）表2显示了我们在这些算法的实验工作中使用的参数。2.4. 损失函数除了默认的损失函数（交叉熵），我们还试验了iou，骰子和包含广义损失函数的变体交叉熵（crossE，默认比较）：交叉熵是众所周知的，也是默认的损失函数。给定分割输出的单个pixel的概率p的集合是每个可能的类别，以及真实概率（类别的独热编码），交叉熵度量p和q之间的不相似性。如果ti和si分别是每个类i的每个piX el的地面实况和CNN分数骰子图六、后处理以去除噪声。2TPcrossE= -∑tlogs我（一个）（损失）=1-DSC=1-2TP+FP+FN（四）通过将类频率反权重应用于每个骰子损失1∑C骰子我骰子 1C2个TPi（五）piX el，我们得到类加权交叉熵，这是我们使用并表示为“crossE”。（）=-I=1，i=-2TPi+FPi+FNiIntersect over the Union（IoU）：IoU是分割获得的区域与相应的地面实况区域之间的重叠或匹配程度的方便度量。给定像素分类中的真阳性（TP）、假阳性（FP）和假阴性（FN）的数量，损失为（1-IoU），Tversky损失（Tloss）：Tversky损失是IoU损失的概括，其中通过包括乘数因子，可以为假阳性或假阴性赋予更多权重：T（损失）=1-TP，0≤α，β≤2，α+β=2，（6）IoU丢失IoUTP公司简介（二）不考虑背景的损失（骰子noBK）：因为背景比其他类更容易分割，但是，由于该IoU在所有像素上平均，并且我们发现了该测量的问题，因此使用在类上平均的IoU，巨大，骰子noBK是一个替代方案，从损失公式中删除了背景（即它平均了除背景之外的所有类别的损失）。其目的是试图强调需要细分其他类好. 需要一种实验方法来评估这种改变-IoU损失1∑CIoUiIoU1CTPi（三）native可以改善结果。（）=-I=1，i=-TPi+FPi+FN骰子（dice）：骰子或骰子相似系数（DSC）是一个高度相关的指标，可以直接从IoU获得。骰子的损失公式是：2.5. 分割网络图图7-9示出了分段网络U-Net的框图，我P. Furtado医学信息学解锁24（2021）1005857图五. 肝脏切片的分割。(a)具有较大肝脏区域的良好分割的切片;（b）靠近肝端的较小肝脏区域的分割切片，示出了到相邻区域的显著溢出。P. Furtado医学信息学解锁24（2021）1005858表2使用的后处理参数操作Matlab函数参数侵蚀（2D和3D）J=侵蚀（标签图，SE）SE=strelBwlabel L= bwlabel（labelmap，conn）扩张（2D和3D）J=imdilate（labelmao，SE）SE=strelR= 3conn= 8R= 3填充孔填充（labelmap平滑边缘conv2D和阈值windowSize= 5;kernel= ones（w）/w2;blurryImage= conv 2（single（binaryLabelmap），samebinaryImage= blurryImage> 0.5; % Rethreshold我们构建和实验的FCN和DeepLabV3。无花果的传说图7-9还总结了所示层块的内容。同时，表3、4和5列出了层，分为三个主要区域，分别对应于编码器、解码器和输入/输出层，以及桥接层（UNet）和ASPP层（DeepLabV 3）。在表3、4和5中，U-Net有58层，FCN有51层，DeepLabV 3有100层。U-Net和FCN（图7和8）都使用VGG-16编码器，而DeepLabV 3（图9）使用Resnet-18。 将FCN与UNet进行比较，FCN使用插值层进行解码，而U-Net使用与编码器层对称的去卷积层序列。从表3中我们看到，UNet的层1至22是VGG-16编码器，层23至27是桥接层，并且层28至55是对称解码器层。在表4中，我们看到，在FCN中，层2至31是VGG-16编码器层，层40至45是解码器层，其余层是输入、桥接和输出层。DeepLabV3是见图7。 UNet分割网络。见图8。FCN分段网络。更深，层2至64是Resnet-18编码器层（表5）。 Resnet-18编码器的残差块（也如图9所示）对于避免深度网络的梯度消失问题非常重要。在Resnet-18层之后的DeepLabV 3的下一个层序列，也在图9中描绘并在表5中列出，是ASPP在卷积之前以多个速率对特征层进行重采样，使得原始图像如果用具有复杂有效视场的多个滤波器探测，则以多个尺度捕获对象以及有用的图像上下文。在这种情况下，如图9所示，以4个不同的速率（膨胀因子）1、6、12和18并行地应用4个atrous卷积。在解码器方面，UNet的解码器具有许多层（层28至55），这些层与相应的编码器层对称，而FCN使用表4中所示的一小组插值层（层40至45）。虽然没有详细说明，但所有三个网络都包括从某些编码器到某些解码器层的转发连接。2.6. 数据扩充、培训选项和指标数据增强是一种标准机制，通过添加现有训练图像的随机变换版本来进一步丰富数据集的多样性和数量。我们定义了平移器官、缩放和轻微旋转的变换。这些包括多达10个像素的平移和随机旋转最高可达10μ m，无论是在任何方向，以及剪切高达10像素，也可以放大缩小到10%对于实验，我们使用的PC与英特尔核心i5在3.4GHz，与16 GB RAM，NVIDEA GForceGTX 1070 GPU Pascal架构，1920核，8 GB GDDR5，8 Gbps内存速度，1 TB SSD硬盘。PC运行Windows，Matlab 2018 b用于编码和实验。实验本身涉及训练每个网络（FCN，DeepLabV 3，U-Net），然后使用网络对独立的测试图像进行分类。数据集被分成80%的训练序列和20%的测试序列。训练被配置为500个训练时期。表6总结了训练参数。对于实验，我们报告了第一个训练运行时和训练进化。然后我们比较了分割网络和替代损失P. Furtado医学信息学解锁24（2021）1005859见图9。 DeepLabV3分割网络。表3UNet层（VGG-16编码器; In、Bridge和last层;对称解码器）。功能协调发展的我们的下一个实验定量和直观地比较了有和没有后处理的结果。然后，我们还包括增加变异的MRI数据集结果。我们使用的最重要的指标是肝脏的IoU，但也报告了其他指标，包括全局准确度、平均准确度、加权IoU、平均IoU和meanBFScore，meanBFScore是对分割边界之间匹配程度的和真相关于指标的一个重要细节是，我们包括百分比增加（pp）作为评估某种方法带来的改进的一种方式。给定一个度量， 作为百分比（0-100%），在我们的例子中，我们使用IoU，pp是一个场景/配置中度量所实现的值减去另一个场景/配置中所实现的值之间的差值。一个关于P. Furtado医学信息学解锁24（2021）10058510表4FCN层（VGG-16编码器;输入、桥接层;解码器;输出层）。表5DeepLabV 3层（Resnet 18编码器; ASPP层;解码器;输入/输出层）。表6实验配置。配置参数值数据增强平移范围0到10像素旋转范围0表7时间和记忆建筑培训时间（分钟）epoch（迭代）最终验证准确度分割时间（一个切片，以秒为单位）Train/test数据集剪切rand 0 to 10PIX els缩放范围0分段学习速率表LearnRateDropPeriod 10LearnRateDropFactor 0.8动量0.9初始学习率0.0005MiniBatchSize 8Shuffle验证患者信息课程背景+肝脏DeepLabV31595（2600）99.25%0.093（±0. 005）FCN86430（16260）93.92%0.093（±0. 004）优网78930（16260）92.81%0.081（±0. 007）后处理时间8.7（±0.87）GPU内存使用（DeepLabV3）8014 MB表8全球指标。方法诊断符合率平均准确度加权IoU平均IoU简单0.840.900.790.56DeeplabV30.980.980.960.88FCN0.950.970.920.77UNet0.860.910.890.75P. Furtado医学信息学解锁24（2021）10058510+表9全球指标与损失（CT数据）。0%意味着IoU= 0，对应于零分割质量，而100%的IoU意味着IoU= 1（IoU在0和1之间变化），总体平均值加权平均值平均IoU对应于分割输出之间的完美匹配，准确度准确度IoUBF评分IOU肝对应的地面实况。 例如，如果IoU从86%到92%，则pp为6，意味着分割质量提高6%点。3. 结果和分析本节显示了实验结果，下一节将对其进行详细分析。3.1. 定时和内存消耗表7显示了DeepLabV3、FCN表10后处理改进总结（CT数据，pp=百分点）。和UNet收敛到CT数据集上的最终验证精度（~ 2%）。它还显示了相应的纪元数，步骤IoUIoU SeqIoU SeqIoU SeqIoU Seq验证精度和分割新图像所需的时间（也包括标准偏差）。此外，表7显示了使用的GPU内存和后处理时间。根据表7，使用训练图像和地面实况的分割训练对于最快的方法（DeepLabV3）花费了159分钟。DeepLabV 3的GPU内存消耗（使用Asus™GPU TWEAK II tool™测量）为7604 MB（平均消耗;最大消耗为8014 MB，最小为810 MB）。训练后，将新的见图10。 供试肝脏1后处理。见图11。 供试肝脏2后处理。见图12。 供试肝脏3后处理。图十三. 供试肝脏4后处理。交叉E 0.99 0.97 0.970.880.90 0.82IOU0.980.960.970.890.890.80特洛斯0.970.950.970.870.880.78（α 1.五，β 0。第五章）特洛斯0.970.970.970.880.870.76（α 0.五，β 1。第五章）肝1234分割0.880.9150.8020.8870.860输出三维后处理0.910.9280.8450.8980.895二维后处理0.920.9300.8480.9020.896总改善4 pp1.5页4.6页1.5页3.6页P. Furtado医学信息学解锁24（2021）10058511±表11CT与MRI数据的丢失和后处理改善（pp =百分点）。损失CT IoU肝脏MRI IoU肝脏克罗斯0.880.86IOU0.90.88骰子0.910.88步骤CT IoU肝脏MRI IoU肝脏分割输出0.880.86三维后处理0.910.89二维后处理总改善0.924 pp0.915页使用DeepLabV3的图像为0.093（0.005）秒。单个肝脏的后处理时间为8.7（±0.9）秒，其中包括运行本工作中描述的3.2. 比较网络表8显示了不同网络使用准确性和基于IoU的指标实现的CT分数。DeepLabV3的收敛速度比其他网络快得多，如表7所示的收敛时间所示，并且得分也高于其他网络架构，如表8所示。 在表8中，对所有像素（全局准确性和加权IoU）进行平均的指标对于所有网络都具有非常高的分数，图3所示的DeepLabV3的ROC和AUC也是如此。这是因为所有像素中超过90%是背景，并且大部分背景总是被很好地分割，因为它包括图像中相当恒定的所有部分。结论是应避免使用全局指标，而应分析仅量化肝脏评分的指标。此外，我们不应该使用准确度，也如表8所示，因为它没有考虑经常发生的假阳性（背景像素归类为肝脏）。关注表8中的平均IoU，我们可以看到DeepLabV3是表现最好的细分网络（IoU得分88%）。它比Simple高出28%，这意味着使用DeepLabV3而不是非常基本的（Simple）的优势很大。最重要的是，FCN和UNet的得分低于DeepLabV3（77%和75%），但仍比Simple高出17个百分点。DeepLabV 3更好的原因很可能与它使用Resnet-18作为编码器而不是我们使用的其他两个网络中的VGG-16有关，以及我们之前在这项工作中讨论的ASPP和CRF的创新。作为未来工作的一部分，我们目前正在调查导致这种差异的细节。3.3. 损失函数表9显示了考虑四种不同损失函数的DeepLabV3对CT数据的评分。将全局度量（所有像素上的度量）与平均度量（肝脏和背景两个类别上的平均值）以及肝脏的IoU一起报告。表9显示了通过不同损失函数获得的分数。我们可以再次看到，全局（piX el平均）和准确性度量通常得分非常高，但正如我们所解释的，这些主要反映了背景分割的质量。相反，我们必须关注肝脏的碘。我们从肝脏的IoU得出结论，与默认交叉熵函数（82%）相比，将损失函数修改为骰子将肝脏评分（84%）提高了2pp。剩余的损失函数IoU、dicenoBK和Tross与交叉熵相比没有改善（分别为79%和80%）。3.4. 后处理表10显示了通过每个后处理步骤实现的肝脏IoU。 它还显示了四种不同测试序列的改进（完整的患者扫描）。表10示出了通过运行后处理步骤获得的改进，以及 10-13想象这些改进。从图中可以很清楚地看到后处理的作用以及为什么它对提高分割质量的贡献约为4%。3D模型的新边界存在许多缺陷，后处理步骤通过有效隔离主体积以及平滑和填充孔洞来消除许多缺陷表10显示，所有患者序列的总改善平均为4%点（pp），第一个3D后处理改善了3pp，2D后处理额外改善了1pp。由于大多数错误和改进都在边界附近，因此这些改进在图像中非常明显表10中的四个测试肝脏扫描的结果和图12中的相应图像。图10- 13还表明，某些序列的分割效果比其他序列好得多（评分在80%和91.5%之间变化），因此，某些扫描（4.6 pp和3.6pp）中的后处理操作也比其他扫描（其他两个肝脏扫描中的1.5 pp）中的校正效果好得多。图 图10-13示出了通过后处理实现的校正算法的相同的四个测试序列的视觉，其中的改进是相当明显的。表11显示了我们对MRI数据集应用相同损失和后处理步骤的结果。我们对这些数据得出了类似的结论。3.5. 实验结论之前的实验已经测试了网络架构和修改，以提高肝脏CT扫描的分割质量。改进是使用DeepLabV3分割网络，然后测试不同的损失函数和后处理操作以去除噪声。这些措施使IoU评分平均分别提高了11个百分点、2个百分点和4个百分点。DeepLabV3也能够更快地收敛到一个好的解决方案。4. 结论在这项工作中，我们定义和评估了不同的后处理，损失和网络架构的分割肝脏在CT和MRI。我们定义了精确的后处理操作，以提高器官分割的质量。我们还定义了替代损失函数和网络架构。通过实验工作，我们能够表明，通过使用DeepLabV3代替更常见的UNet和FCN，网络架构实现了11 pp的改进，骰子损失函数的选择提高了2 pp，后处理提高了4pp。许多关于高级分段网络架构的工作，包括集成，都使用UNet或其他基于VGG的网络作为其基本构建块。我们的结论是，DeepLabV3及其基于残差的编码器和ASPP功能应该作为未来改进的基础架构。骰子应该被用作损失函数（2 pp改进），我们在这项工作中定义的后处理算法应该在器官分割后应用，以实现进一步的（4 pp）改进。未来的工作挑战包括整合后处理步骤作为最终反卷积阶段的一部分，使用DeepLabV3作为更高级的基于集成的解决方案的基础架构，并使用DeepLabV3作为基础网络，骰子作为损失函数和我们在这项工作中定义的后处理操作来竞合利益作者声明，他们没有已知的可能影响本文所报告工作P. Furtado医学信息学解锁24（2021）10058512确认在这项工作中，我们使用了混沌挑战数据集[27]。因此，我们要感谢CHAOS挑战赛的组织者分享数据集。我也承认我的雇主，科英布拉大学。引用[1] StephensDH，Sheedy PF，Hattery R，MacCarty R. 肝脏计算机断层扫描。AmJRoentgenol 1977;128（4）：579-90. 一九七七年[2] Alfidi RJ，Haaga JR，Havrilla TR，Pepe RG，Cook SA.肝脏计算机断层扫描。美国放射学杂志1976;127（1）：69-74。 一九七