数字牙科：基于深度卷积神经网络的CBCT图像牙齿实例自动准确分割与识别方法

1ToothNet：锥束CT图像Zhiming崔昌健LiWenpingWang香港大学{zmcui，cjli，wenping}@ cs.hku.hk摘要提出了一种基于深度卷积神经网络的数字牙科CBCT（cone beam CT）图像牙齿实例自动准确分割与识别方法。我们的方法的核心是一个两阶段的网络。在第一阶段，从输入CBCT图像中提取边缘图，以增强沿形状边界的图像对比度。然后将该边缘图和输入图像传递到第二阶段。在第二阶段，我们在3D区域建议网络（RPN）上构建网络，并使用一个新的学习相似性矩阵来帮助有效地去除冗余的pro-probing，加快训练速度并节省GPU内存。为了解决识别任务中的模糊性，我们将牙齿空间关系编码为识别任务中的附加特征输入，这有助于显著提高识别准确率。我们的评估，比较和综合性消融研究表明，我们的方法自动产生准确的实例分割和据我们所知，我们的方法是第一个使用神经网络来实现自动牙齿分割和识别CBCT图像。1. 介绍数字牙科在过去十年中发展迅速。数字牙科的关键是完整三维牙齿模型的获取和分割;例如需要它们来指定用于正牙诊断和治疗计划的单个牙齿的目标设置和移动。然而，获取完整的三维输入牙齿模型是一项具有挑战性的任务。目前，用于获取3D牙齿模型的主流技术有两种：（1）口内或桌面扫描;（2）锥形束计算机断层扫描（CBCT）[25]。口内扫描或桌面扫描是获取牙冠表面几何形状的一种方便方法，但它不能提供牙齿的任何信息图1.牙齿分割和牙齿识别的一个例子。第一列显示轴视图中的CBCT扫描，第二列显示其分割结果，最后一列分别显示不同牙齿的不同颜色的3D分割结果。根，这是需要准确的诊断和治疗，在许多情况下。相比之下，CBCT提供了包括牙齿在内的所有口腔组织的更全面的3D体积信息。CBCT因其空间分辨率高，适合于三维图像重建，在口腔外科和数字口腔医学中得到了广泛的应用。本文主要研究CBCT图像数据中牙齿的三维实体分割与识别，这是数字牙颌学应用中的一个关键问题1.一、由于以下原因，从CBCT图像分割牙齿是一个困难的(1)当在自然遮挡条件下获取CBCT时（即，下牙和上牙在正常咬合条件下接触），由于缺乏灰度值的变化，很难沿着它们的咬合面将下牙与其相对的上牙分开[18，22];（2）同样，由于牙齿与周围牙槽骨的密度高度相似，很难将牙齿与周围牙槽骨分离;（3）具有相似形状外观的相邻牙齿可能会混淆识别不同牙齿实例的努力（例如，参见图2中的两个上颌中切牙）。①的人。因此，如许多实验所示，仅依靠CT图像的强度变化很难实现63686369我们尝试了牙齿分割方法。为了解决上述问题，一些先前的工作利用水平集方法[11，18，13，22]或基于模板的拟合方法[2]进行牙齿分割。前一种方法受限于它们需要一个可行的初始化，这需要繁琐的用户注释，并且当牙齿处于自然咬合状态时，它们当不同患者的形状变化较大时，后一种方法在实践中缺乏必要的鲁棒性。最近，许多用于医学图像分析的深度学习方法[41，42，40]虽然尚未应用于牙齿分割，但在各种任务中表现出优于传统方法的性能。所有这些先前的工作促使我们通过使用数据驱动的方法来解决CBCT中的牙齿分割问题，该方法同时学习形状和数据先验。具体来说，我们提出了一种新的基于学习的方法自动牙齿实例分割和识别。也就是说，我们的目标是从周围的问题中分割出所有的牙齿，将牙齿彼此分开，并通过为其分配正确的标签来识别每个牙齿。我们的方法的核心是一个两阶段的深度监督神经网络。在第一阶段，为了增强模糊和低对比度信号的边界，我们训练了一个边缘提取子网络。在第二阶段，我们设计了一个3D区域建议网络[33]，该网络具有一个新的学习相似性矩阵，可以有效地去除重复的建议，加速和稳定训练过程，并显着减少GPU内存使用。然后将与提取的边缘图组合的输入CBCT图像发送到3D RPN，然后发送四个单独的分支，用于分割、分类、3D边界框回归和识别任务。为了解决识别的模糊性，我们考虑到牙齿的空间位置，通过添加一个空间关系组件来编码的位置特征，以提高识别精度。据我们所知，我们的方法是第一个将深度神经网络应用于CBCT图像的自动牙齿实例分割和识别。我们在我们团队中的放射科医生收集的CBCT图像的专有数据集上训练我们的神经网络，并通过广泛的实验验证我们的方法，并与最先进的方法以及综合消融研究进行比较。实验和比较表明，我们的方法产生优越的结果，显着优于其他现有的方法。2. 相关工作目标检测和分割。在深度学习的有效性的驱动下，对象检测[33，15，28，17]和实例分割[27，7，6，32，31，21]取得了可喜的成果。在部分-ular，R-CNN [[16]]介绍了一种对象建议方案，并建立了2D对象检测的基线更快的R-CNN [33]通过提出区域提议网络（RPN）来推进流。Mask R-CNN [17]通过添加一个额外的分支来扩展FasterR-CNN，该分支输出对象掩码用于实例分割。在一组代表性的基于2D R-CNN的工作之后，已经提出了3D CNN来检测对象并估计在3D体素化数据上响应3D边界框检测[34，36，37，8，5，14]的姿态。Girdhar等人[14]通过创建用于关键点跟踪的3D RPN，将Mask R-CNN扩展到3D域。受基于区域的对象检测和分割方法的成功启发，我们利用3DMask R-CNN作为基础网络。用于医学图像分割的CNN。用于医学图像分析的基于CNN的方法在许多具有挑战性的任务上表现出出色的性能，包括分类[35]，检测[38]和分割[9，40]。注意，医学图像通常以体积形式出现，例如，3D CT扫描和MR图像，许多作品采用2D CNN，从3D体积中输入相邻的2D切片[4]。虽然处理2D数据不会占用太多的GPU资源，但体数据中的3D空间信息没有得到充分利用。为了在3D数据上直接应用卷积层，提出了更多基于3DCNN的算法[9，3，23]。然而，目前的实验方法只针对语义层次的分割或分类，而缺乏正畸诊断中所必需的实例层次CBCT图像的牙齿分割CBCT的精确牙齿分割是个体3D牙齿模型重建的基础步骤，可以帮助医生进行正畸诊断和治疗计划[11，43]。许多传统的算法被提出用于牙齿分割，反映了这一应用的重要性。在CBCT图像中的强度分布的驱动下，先前的方法采用区域生长[1，24]和水平集提升变体[39，22，12]。通过进一步考虑牙齿的先验知识，统计形状模型[30，2]成为最强大和有效的选择。然而，这些方法总是遭受许多工件或失败，即使有很好的手动初始化。3. 方法我们的方法的核心是一个两阶段的深度神经网络。在第一阶段中，我们提取CBCT图像的边缘图在第二阶段，我们将学习到的边缘图特征与原始图像特征结合起来，并将它们发送到3D RPN。然后，我们提出了一个学习的相似性矩阵来过滤3D RPN模块中的大量冗余建议，并提出了一个空间关系组件来进一步解决歧义6370我图2.我们的两阶段网络架构用于牙齿实例分割和识别。给定CBCT图像，我们首先将它们传递到第一阶段的边缘图提取网络，在那里使用深度监督方案。然后，检测到的边缘图和原始CBCT图像发送到区域建议网络与一个新的相似性矩阵。四个独立的分支，牙齿分割，分类，3D盒回归和识别。在识别分支中，我们进一步添加了空间关系组件来帮助解决歧义。牙齿识别。图2示出了整个流水线的概览。3.1. 基础网络受基于R-CNN的网络在一般对象分割和分类方面的出色性能的启发，我们将Mask R-CNN [17]的管道扩展到3D版本作为我们的基础网络。在主干特征提取模块中，我们首先将五个3D卷积层应用于CBCT图像。然后，将编码的特征馈送到3DRPN模块中，在该模块中，我们使用与[14]中相同的结构，除了数字的锚。由于牙齿大小相对相似，变化很小，我们在每个滑动位置将锚定器的数量调整为1。此外，我们还增加了一个分支用于识别，如图所示。二、最后，基础网络的多任务损失定义为：根据Y将牙齿边界上的体素设置为1，其他设置为0，可以产生相同大小的E B。最后，具有标准偏差σ=0的高斯滤波器G。1应用于二进制边缘图E B以生成真实边缘图E。为了获得快速收敛和更准确的预测，我们采用深度监督学习[26，9]来训练边缘图检测网络，并从三个不同的特征级别执行地面真实边缘图的学习，如图所示。2.具体地说，该网络由一个具有九个卷积层的编码器和三个解码器分支组成，这些解码器分支与来自编码器的低级、中级和高级特征相连接然后，使用均方误差（MSE）的损失函数被定义为：Σ′2LEM=Ei−E2，（2）i=0，1， 2其中，E表示地面实况边缘图，并且E'是Lb=Lcls+Lbox+Lseg+Lid，（1）其中，分类损失Lcls、3D边界框回归损失Lbox和分割损失Lseg如[17]中所定义的是相同的。Lid是一个log-softmax函数用于牙齿识别。3.2. 我们网络3.2.1边缘图预测和表示CBCT图像中的信号模糊，很难找到清晰的牙齿边界。此外，接触牙齿的低对比度值为了解决这些问题，我们提出从CBCT图像中提取边缘图，以增强清晰的边界信息。给定CBCT体积数据，其用多标签真实分割Y注释，其中yi=k指示第i个牙齿具有标签k。然后一个二进制边缘图通过不同层次的特征预测边缘图。有了边缘图，我们首先将三个单独的conv层（不共享）应用于来自最深解码器的边缘图和原始CBCT图像。然后我们将它们与另外五个conv层连接在一起，作为区域建议模块的输入。3.2.2相似度矩阵在基础网络中，3D RPN模块生成一组区域提议，并在发送到3D ROIAlign模块之前使用非最大抑制（NMS）去除重复的区域提议这里的挑战是双重的：1）GPU内存在3D体数据上的巨大消耗阻止我们设置大的ROI数（32（3D）与第512（2D）号决议）;2）NMS方法依赖于回归的包围盒位置来去除冗余建议，这是不准确的。为了克服这些挑战，我们提出了一个Conv层相似度矩阵分割CBCT边缘贴图分类器解码器1解码器2ConcatROI三维盒回归器FC区域提案CBCT关系组件识别深度监督6371IOUIJIJIOUIOUIJIOUIJIJ自然相似性矩阵组件，其直接利用形状特征来有效地去除重复的建议。与NMS方法利用回归的候选边界框和分数的简单关系相比，我们训练了一个相似性矩阵S，该矩阵采用不同的属性的特征。为了训练相似度矩阵，我们首先获得由3D生成的排名前k（k=256）的提案RPN ，表示为P={P0 ， P1 ，... ，P k}。S 的维数为k×k，元素Sij表示方案Pi和Pj包含相同牙齿的可能性在训练中阶段，对于P中的任何一对建议Pi和Pj，我们首先在骨干卷积层中提取它们的对应特征FPi和FPj，然后我们将它们连接在一起并将它们发送到全连接层以输出二进制分类概率，该二进制分类概率由下面介绍的地面真值相似性矩阵监督。地面实况相似性矩阵SG的准备分为两个步骤。假设我们在当前补丁中有m个真实边界框， 表示为B=B0，B1，...，B m，给定候选提案Pi ∈P，我们首先计算以下两项之间的交集得分：Pi的边界框和B中的每个边界框。如果最高IoU得分Pi是在Pi和Bc之间导出的，则Pi得到表示Pi包含与Bc中相同的牙齿的对象索引c。然后在第二步中，我们按照以下三个规则填充SG的值：1）如果提案对{Pi，Pj}具有相同的对象索引，并且它们的IoU2）如果提议对{Pi，Pj}具有不同的对象索引，则SG=0，以及他们的IOU得分P i 和Pj均大于η; 3）上齿下齿图3.齿号系统及相应的颜色编码。嘴巴被分成四个象限分别为右上、左上、右下和左下。每个象限有七个不同类型的牙齿。由于样本量有限，未将智齿纳入本研究。在整个文件中，我们使用图中所示的颜色编码。3、牙齿的标签。然而，我们观察到，如果两个相邻的牙齿具有相似的形状，例如，磨牙和中切牙，不考虑空间关系。IOUGIOUJ为了解决这个问题，我们建议对neigh进行编码-Sij=−1，如果其中一个IoU得分Pi或Piou 一对镗齿空间盒和形状特征作为附加建议{P i，P j}的值不高于η，其中η= 0。2在我们所有的实验中。有了地面实况矩阵，网络-工作可以通过定义为以下的损失函数来学习相似性矩阵S识别任务的特征具体地说，给定一个可确定的方案Pi（Pi ∈{P1，P2，... ， Pn}，n等于ROI的数目），在ROIAlign模块之后，我们首先获得紧凑的形状特征。去附近的温泉浴场-LSMΣ=（i，j）∈εSGlogSij +（1−SG）log（1−Sij）、（3）考虑到关系，我们将关系特征构建关系权重表示来自其他亲的影响其中（i，j）∈ε表示满足Gij/=−1的元素集合（i，j）。在测试阶段，对学习到的相似度矩阵S进行处理作为查找表。这是针对任何一对求婚{P i，P j}，如果元素S ij>0。5，我们丢弃具有较低分类分数的重复建议。最后，冗余的建议被有效地删除，并在所选择的建议被发送到用于牙齿检测、分割和识别的以下步骤。3.2.3牙齿识别为了用不同的标签来识别每颗牙齿，我们遵循ISO标准牙齿编号系统，如图所示3、可以通过遵循该思想的几何盒特征来计算。在对空间关系进行编码后，识别分支将形状特征和关系特征作为输入，其由使用软最大值函数的地面真值标签监督。最终损失函数。最后，使用所有这些提出的新组件，我们的网络使用结合基础网络损失和相似矩阵损失的整体损失函数进行训练，定义为：L=Lb+λLSM，（4）其中λ = 0。5、所有实验63723.3. 数据集和网络训练为了训练我们的网络，我们收集了一些患者在化疗前后该数据集包含20个3D CT扫描，分辨率从0.25 mm到0.35 mm不等（12个用于训练，8个用于测试）。然后，我们将CBCT图像的强度归一化到[0，1]。为了生成训练数据，我们在CT扫描的牙槽骨嵴周围随机裁剪150个大小为128×128×128的斑块，最终获得约1800个斑块作为训练数据。数据集的地面实况用牙齿级别的边界框、遮罩和标签进行注释。在测试阶段，重叠滑动窗口方法被应用到裁剪子体，步长为32×32×32。然后，对于两个重叠的牙齿，如果其牙齿分割结果的IoU大于0.2，则使用具有最大值Pcls×Pid的牙齿作为最终的牙齿预测，其中Pcls和Pid分别表示牙齿分类和识别概率该网络在两步过程中进行训练。我们首先在第一步中训练边缘图提取子网络10个时期，并在第二步中固定它，在第二步中，我们也训练所有网络都在PyTorch中实现并经过训练度量网络DSCDAFABNET89.73%96.39%百分之九十点五四Benet91.98%百分之九十七点七五92.79%表1.bNet和bENet的精度比较NbROI方法度量DSCDAFA32NMS91.98%百分之九十七点七五92.79%SM92.10%百分之九十八点二93.24%16NMS91.08%95.49%百分之九十点五四SM92.07%百分之九十八点二93.24%12NMS86.76%83.33%77.93%SM91.77%百分之九十六点八五百分之九十点九九8NMS77.07%68.92%65.32%SM89.86%88.29%82.91%表2.在不同的投资回报率下，NMS和我们的SM之间的性能比较。标签检测准确度（DA）和鉴别准确度（FA）计算如下：在服务器上使 用Nvidia GeForce 1080Ti GPU，使用Adamsolver，固定学习率为0。001。一般来说，总培训时间约为30小时（第一DA=|D||D∪ G|和FA=L|D·G|.（六）第二阶段为24小时）。4. 结果和讨论为了评估我们的算法，我们将测试数据集中的牙齿CBCT图像馈送到两阶段网络，并使用3D Slicer [10]重建完整的3D牙齿模型，给出来自网络输出的标签 一些有代表性的结果见图。1和7。请注意，不同的颜色表示不同的牙齿类型，如第3.2.3.因此，我们进行消融研究（第4.1)并与最先进的方法（第4.2)定量和定性。错误度量。在本文中，我们报告了三个错误度量，即，牙齿分割、检测和识别的准确性。为了评估牙齿分 割 精 度， 我 们 采用 广 泛使 用 的 Dice 相 似系 数（DSC）度量，公式为：2× |Y Z|6373所有的实验都是在具有Intel（R）Xeon（R）E5-2628 1.90GHz CPU和256 GB RAM的机器上进行的4.1. 消融研究为了验证我们的两阶段网络组件的效果，我们通过增强基础网络进行了额外的实验。3.1)与我们提出的新组件。所有替代网络都是在相同的数据集上训练的，我们在测试数据集上报告准确性以进行比较。边缘贴图。为了验证边缘图输入的效果，我们用边缘图检测阶段来增强基础网络（bNet），并将检测到的边缘图与原始CBCT图像相结合，作为后续任务的输入。在这里，我们使用bENet作为这种变化的符号。然后，我们将两个网络的结果进行比较，如表1所示。图1和图4。从统计上看，我们在所有三个子任务上都获得了更高的准确率，并获得了显着的2。25%的增长在细分准确性方面，虽然bNet已经ob-DSC=、（五）|+的|Z|Z|取得了可喜的成果。在视觉上我们选择了三种典型的情况，其中边缘图具有很大的优势。与其中Y和Z指的是体素化预测结果和地面真实掩模。此外，我们将检测和识别的精度定义如下：假设G是地面真实数据中所有牙齿的集合，并且D是牙齿的集合。受我们的网络保护，在D中，我们有L个右牙边缘图，身体部位的准确边界（图1中的第一行）。4），冠部（图中的第二行。4）与接触的牙齿和均匀的根部（图中的第三排）。4）牙体与牙槽骨的对比度较低，有利于牙体的准确重建。6374(a)（b）（c）图4.网络之间的视觉比较w/wo边缘图提取子网络。我们显示了轴向对齐的CT图像，其中一些细节放大了一些区域和相应的3D重建。（a）来自地面实况数据的结果，（b）来自bNet的结果逐行执行比较。NbROI3216128存储器9.3GB6.3GB5.4GB4.6GBTNMS34.0h28.0h24.5h22.5hTSM25.0h24.0h23.5h22.0h表3. NMS和SM在不同ROI数下的GPU内存使用量和训练时间统计。表4.网络w/wo的空间关系分量的精度比较。相似矩阵（SM）。 3D RPN中的大量建议阻止我们在实践训练中设置更大的ROI，其中更大的ROI数字意味着更多的GPU分类使用，但更高的包含更多对象候选的能力。因此，我们设计的控制实验，应用我们的相似性矩阵，以取代传统的NMS在bENet。我们用不同的ROI数字测试了两个网络，统计结果如表1所示。2.我们粗略估计了训练时间和GPU内存使用情况，统计数据在Tab中报告。3.使用相同的ROI编号-(a)bESNet（b）fullNet图5.空间关系分量（SR）在牙齿识别中的定性比较不同的牙齿类型由不同的颜色表示，如第3.2.3红色代表错误的标签。因此，SM在所有三个准确性指标上都比NMS具有更高的准确性即使使用ROI=12，SM产生的结果与使用ROI= 32的NMS相当（91。77%对91。98%）。但SM使用的是44。7%的培训时间和72. 2%的GPU内存（23. 五比三十四。0小时，5. 四对九。3GB），我们认为我们的相似性管理显著加快了训练过程，并在特定的质量控制下节省了GPU内存。一个有趣的观察是，当我们设置ROI=8时，度量网络DSCDAFAbESNet92.07%百分之九十八点二93.24%6375的NMS急剧下降，而我们仍然可以生产89。86%的分割准确度与bNet相当（ROI=32，使用NMS）。这里的原因是，当设置小的ROI数时，NMS接收较少的实例对象，而我们的SM鼓励更多的实例对象有效地使用对象特征。使用SM并设置ROI=16，我们已经删除了大部分冗余建议，因此我们在ROI=32时只获得了分割精度方面的略微提高，如Tab中所示。2.为了利用SM的优势进行有效的网络训练，我们在以下空间关系分量消融测试中使用ROI=16，最后的完整网络。注意，在NMS方法中，IoU阈值Nt将影响性能。我们根据经验设定N t=0。2基于我们的大量实验，以鼓励更好的结果。空间关系组件。为了验证空间关系组件在解决识别歧义方面的有效性，我们进一步使用空间关系组件（这是 我 们 最 终 的 两 阶 段 全 网 络 （ fullNet ） ） 来 增 强bESNet（具有相似性矩阵的bENet），并比较我们三个子任务的准确性性能（参见表1中的统计数据）。4）.使用空间关系网络进行牙齿识别和检测任务的平均效率约为3. 61%，1。增长35%，几乎所有牙齿都被正确检测和标记。我们还在图5中展示了视觉比较。利用空间关系成分，两个相似的中切牙（图1中的第一行），（5）正确识别。此外，尖牙在错误的方向上生长（图5中的第二行），使得侧切牙和尖牙在空间上太靠近第一双尖牙。而不采取空间关系的考虑，识别侧切牙受第一双尖牙标记的影响，第一双尖牙体积较大，易于识别。相反，通过包括空间关系，侧切牙的标签此外，空间关系分量对分割任务具有积极的影响，因为它检测到如在图1中的红框中突出显示的微小牙齿。5，这归因于三个子任务之间的正相关。4.2. 比较我们比较我们的方法与国家的最先进的学习和非学习方法。学习方法。最近，Miki et al.[29]建议使用深度学习进行牙齿类型标记。他们从CBCT图像的一个2D切片中手动裁剪每个牙齿，并将裁剪的2D图像馈送到网络进行牙齿类型分类。与此相反，我们在3D域中将实例分割和识别结合起来，不仅找到了实例标签，而且建立了精确的牙齿形状。(a)（b）第（1）款图6.与最先进的方法进行比较。(a)分离结果来自[11]。(b)我们的细分结果。第一行示出了在闭合咬合位置的结果，而第二行示出了在张开咬合位置的结果。非学习型方法。更多的非学习方法针对牙齿形状分割[11，2，30]，类型分类或两者兼而有之[19]。虽然[30]获得了较高的骰子分数，但它需要额外的模板牙齿网格和繁琐的用户注释，而[2]具有较小的平均表面disctnace误差，但它无法分割臼齿。因此，我们比较了关于牙齿分割任务的最新最先进的方法[11]，其中它们采用基于水平集的方法与手动初始化。图中有一个直观的比较。6显示1）他们不能在紧密咬合条件下找到正确的齿形边界（第一排）; 2）它们可以分割每颗牙齿，但在开咬条件下具有噪声边界（第二行），特别是红框中的根部，因为那里的对比度值较低。相反，我们的方法不限于开放或闭合条件，即使我们在训练数据集中不包括任何开放咬合条件牙齿数据，因为在开放咬合条件下捕获的牙齿CT数据在正畸诊断中通常是无效的为了进一步比较统计分割精度与他们的方法，我们首先捕获两组牙齿数据在开咬条件，然后使用它们进行比较。具体而言，DSC得分为87.12%（他们的）和92.64%（我们的），平均对称表面距离误差分别为0.32mm（他们的）和0.14mm（我们的）。我们在视觉上和统计上都胜过他们。4.3. 讨论失败案例。 有两种故障情况，如图所示。8(a) 及（b）。分割将失败时，有前-CT图像中的灰度值，如金属区域，6376#167/236#38/206#82/225CT扫描右视图正视图左视图图7.牙齿分割和识别的结果图库。在第一列中示出了具有分割结果的不同CT扫描，并且在随后的三列中示出了来自三个不同视图的重建的3D牙齿模型。数字表示扫描索引，不同颜色表示不同的牙齿，如第2.2节所定义。3.2.3.此外，第二个示例包含一颗被移除的臼齿，其位置由红色虚线框标记。下巴我们可以用正确的标签成功地分割所有现有的牙齿。(a)(b)（ c ） 第（1）款图8.失败案例和智齿检测。(a)CT图像上出现极端灰度值，例如，牙科植入物的金属制品（b）牙齿方向错误。（c）正确检测到的智齿标签错误。牙种植体（图）8（a））。如果牙齿的方向错误，识别就会失败（图）。8（b）），因为我们的网络在训练过程中没有看到这种数据。智齿。智齿是人类的一种特殊情况，因为只有少数人有这种牙齿。因此，我们在准备训练数据时从CBCT图像中删除这些牙齿。 但是，当我们将这颗牙齿输入到我们的网络时，它会成功地检测并分割它，如图所示。8（c）。我们从未为这颗牙齿添加额外的标签，因此牙齿标签是错误的，用红色可视化。不完整的牙齿。我们的测试数据集包括不完整牙齿的数据。图2的第二行中示出了一个示例结果。7、一颗牙齿被拔掉5. 结论在本文中，我们提出了第一个深度学习解决方案，用于从CBCT图像中准确分割和识别牙齿实例。我们的方法是全自动的，没有任何用户注释和后处理步骤。它通过利用新的学习边缘图，相似性矩阵和不同牙齿之间的空间关系产生优越的结果。如图所示，所提出的方法在定性和定量方面都显著优于所有其他现有方法。我们新提出的组件使流行的基于RPN的框架适用于具有较低GPU内存和较少训练时间要求的3D应用程序，并且将来可以推广到其他医学图像处理任务。致谢我们感谢审稿人的建议，博士。丹尼尔·李收集牙齿数据，审核委员会由杨雷博士负责校对。简石为宝贵的讨论。这项工作得到香港创新及科技基金（ITS/411/17 FX）的支持。6377引用[1] H Akhoondali，RA Zoroofi和G Shirani。ct扫描数据中牙齿的快速自动分割与可视化应用科学杂志，9（11）：2031[2] 桑德罗·巴隆、亚历山德罗·保利和阿曼多·VI-维亚诺·拉齐奥纳莱。 基于解剖驱动重建成像和b样条建模的牙体Ct分割。International Journal for Numerical Methods inBiomedical Engineering，32（6）：e02747，2016。[3] Hao Chen ， Qi Dou ， Xi Wang ， Jing Qin ， Jack CYCheng，and Pheng-Ann Heng.用于椎间盘定位和分割的3D全卷积网络。在医学成像和虚拟现实国际会议上，第375-382页。施普林格，2016年。[4] 陈昊，余乐泉，齐斗，林诗，莫文生，彭安恒。通过基于深度学习的3d特征表示自动检测脑微出血。生物医学成像（ISBI），2015年IEEE第12届国际研讨会，第764-767页。IEEE，2015年。[5] Xiaozhi Chen，Huimin Ma，Ji Wan，Bo Li，and TianXia.用于自动驾驶的多视角三维物体检测网络。在IEEECVPR，第1卷，第3页，2017年。[6] Jifeng Dai ，Kaiming He ，Yi Li ，Shaoqing Ren ，andJian Sun.实例敏感的全卷积网络。欧洲计算机视觉会议，第534-549页施普林格，2016年。[7] 戴季峰、何开明、孙建。通过多任务网络级联的实例感知语义分割。在IEEE计算机视觉和模式识别会议论文集，第3150-3158页[8] Zhuo Deng和Longin Jan Latecki。3D对象的非模态检测：从rgb深度图像中的2d边界框推断3d边界框。在计算机视觉和模式识别会议（CVPR），第2卷，第2页，2017年。[9] 齐斗、余乐泉、陈昊、金月明、杨欣、秦静、恒平安。用于体积医学图像自动分割的3d深度监督网络。医学图像分析，41：40[10] Andriy Fedorov，Reinhard Beichel，Jayashree Kalpathy-Cramer ， Julien Finet ， Jean-Christophe Fillion-Robin ，Sonia Pujol ， Christian Bauer ， Dominique Jennings ，Fiona Fennessy，Milan Sonka，et al. 3D切片机作为定量成像网络的图像计算平台。磁共振成像，30（9）：1323[11] 甘扬州、夏泽阳、熊静、李广林、赵群飞。从牙科计算机断层扫描图像分割牙齿和牙槽骨。IEEE生物医学和健康信息学杂志，22（1）：196[12] Yangzhou Gan ， Zeyang Xia ， Jing Xiong ， QunfeiZhao，Ying Hu，and Jianwei Zhang.使用混合水平集模型从计算机断层扫描图像中精确分割牙齿医学物理，42（1）：14[13] Hui Gao和Oksam Chae。基于形状和强度先验的水平集方法从ct图像中分割单个牙齿。Pattern Recognition，43（7）：2406[14] Rohit Girdhar、Georgia Gkioxari、Lorenzo Torresani、Manohar Paluri和Du Tran。检测和跟踪：高效视频中的姿态估计。在IEEE计算机视觉和模式识别会议论文集，第350-359页[15] 罗斯·格希克。快速R-CNN。在Proceedings of the IEEEinternational conference on computer vision ， 第 1440-1448页，2015中。[16] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语 义 分 割 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 580[17] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick. 面 具 R-CNN 。 在 计 算 机 视 觉（ICCV），2017年IEEE国际会议上，第2980IEEE，2017年。[18] Mohammad Hosntalab，Reza Aghaeizadeh Zoroofi，AliAb-baspour Tehrani-Fard，and Gholamreza Shirani.基于全景投影和变分水平集的ct体数据集牙齿分割国际计算机辅助放射学和外科杂志，3（3-4）：257[19] Mohammad Hosntalab，Reza Aghaeizadeh Zoroofi，AliAb-baspour Tehrani-Fard，and Gholamreza Shirani.基于小波傅立叶描述子的多层ct图像牙齿分类与编号。国际计算机辅助放射学和外科杂志，5（3）：237[20] Han Hu，Jiayuan Gu，Zheng Zhang，Jifeng Dai，andYichen Wei.用于对象检测的关系网络。在计算机视觉和模式识别（CVPR），第2卷，2018年。[21] RonghangHu，PiotrDolla'r，KaimingHe，TrevorDarrell，andRoss Girshick.学会把每一件事都分割开来。康奈尔大学arXiv机构：Ithaca，NY，USA，2017.[22] Dong Xu Ji，Sim Heng Ong，and Kelvin Weng ChiongFoong. 基于水平集的锥形束CT图像前牙分割方法生物学和医学中的计算机，50：116[23] Konstantinos Kamnitsas 、 Christian Ledig 、 Virginia FJNew- combe 、 Joanna P Simpson 、 Andrew D Kane 、David K Menon、Daniel Rueckert和Ben Glocker。高效的多尺度三维cnn与全连接的crf准确的脑病变分割。医学图像分析，36：61[24] Sh Keyhaninejad ， RA Zoroofi ， SK Setaiddan ， 和 GhShi-rani.多层ct图像中牙齿的自动分割。2006年[25] 劳伦斯·莱丘加和格奥尔格·魏德利希。 锥形束CT与扇形束CT：在两种不同的CT成像模态之间的图像质量和所输送的剂量的比较。Cureus，8（9），2016.[26] Chen-Yu Lee ， Saining Xie ， Patrick Gallagher ，Zhengyou Zhang，and Zhuowen Tu.深度监督网络。人工智能和统计，第562-570页[27] 李毅、齐昊之、戴季风、季向阳、魏一完全卷积的实例感 知 语 义 分 割 。 arXiv 预 印 本 arXiv ： 1611.07709 ，2016。[28] 林宗义、杜拉拉、葛希克、何开明、哈里哈兰、贝隆吉.用于对象检测的特征金字塔网络。在CVPR，第1卷，第4页，2017年。6378[29] 三木由马，村松千佐子，林达郎，周贤荣，原武，胜俣秋利，藤田浩.基于深度卷积神经网络的锥束ct牙齿分类。生物学和医学中的计算机，80：24[30] Yuru Pei，Xingsheng Ai，Hongbin Zha，Tianmin Xu，and Gengyu Ma.用于来自锥形束计算机断层摄影图像的牙齿分割的基于3D样本的随机游走医学物理，43（9）：5040[31] PedroOPinheiro，RonanCollobert，andPiotrDol la'r. 学习分割候选对象。神经信息处理系统进展，第1990-1998页，2015年[32] PedroO Pinheiro，Tsung-Yi Lin，Ronan Collobert，andPiotr Doll a'r. 学习细化对象片段。在欧洲计算机视觉会议上，第75-91页施普林格，2016年。[33] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。神经信息处理系统的进展，第91-99页，2015年[34] Zhile Ren和Erik B Sudderth.使用定向梯度的云的三维对象检测和布局预测在IEEE计算机视觉和模式识别会议论文集，第1525-1533页[35] Korsuk Sirinukunwattana ， Shan E Ahmed Raza ， Yee-Wah Tsang，David RJ Snead，Ian A Cree，and Nasir MRajpoot.局部敏感深度学习用于常规结肠癌组织学图像中 细胞 核 的检 测 和 分类 IEEE transactions on medicalimaging，35（5）：1196[36] 宋舒然和肖健雄。用于深度图像中的3d对象检测的滑动形状 。在欧洲 计算机 视觉会 议上， 第 634-651页。Springer，2014.[37] 宋舒然和肖健雄。rgb-d图像中非模态3d目标检测的深度滑动形状。在Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition中，第808-816页[38] Ke Yan ， 王 晓 松 ， Le Lu ， 和 Ronald M Summers 。Deeplesion：自动挖掘大规模病变注释，并通过深度学习进行通用病变检测医学影像杂志，5（3）：036501，2018。[39] Hong-Tzong Yau，Tsan-Jui Yang，and Yi-Chen Chen.基于数据融合的正畸治疗模拟牙齿模型重建生物学和医学中的计算机，48：8[40] Qihang Yu ， Lingxi Xie ， Yan Wang ， Yuyin Zhou ，Elliot K Fishman，and Alan L Yuille.递归显着性变换网络：为小器官分割提供多阶段视觉线索arXiv预印本arXiv：1709.04518，2017。[41] Zizhao Zhang ， Yuanpu Xie ， Fuyong Xing ， MasonMcGough，and Lin Yang.Mdnet：一个语义和视觉可解释的医学图像诊断网络.在IEEE计算机视觉和模式识别会议论文集，第6428-6436页[42] Zizhao Zhang，Lin