3803CPR-GCN：条件部分残差图卷积网络在冠状动脉自动解剖标记中的应用Han Yang1，Zheng Xianjian Zhen2，Zheng Xiao，Ying Chi1，†，Lei Zhang1，and Xian-Sheng Hua11阿里巴巴集团达摩院2威斯康星大学麦迪逊分校{xiuxian.yh，xinyi.cy，lei.zhang.lz，xiansheng.hxs}@ alibaba-inc.com，xzhen3@wisc.edu摘要自动解剖标记在冠状动脉疾病诊断过程中起着至关重要的作用这个问题的主要挑战是人体解剖学中遗传的巨大个体差异。现有的方法通常依赖于冠状动脉树的位置信息和拓扑结构的先验知识，这可能导致当主分支混淆时性能不令人满意。鉴于图神经网络在结构化数据中的广泛应用，本文提出了一种条件部分剩余图卷积网络（CPR-GCN），它同时考虑了位置和CT图像，因为CT图像包含了分支大小和生成方向等丰富的信息。CPR-GCN包含两个主要部分：部分残差GCN和条件提取器。条件提取器是一个包含3D CNN和LSTM的混合模型，它可以沿着分支提取3D空间图像特征。在技术方面，部分残差GCN以3D空间图像特征为条件，以分支的位置特征来预测每个分支的标签而在数学方面，我们的方法扭转了偏微分方程（PDE）的图形建模。从诊所收集了511名受试者的数据集，并由两位专家进行了注释，两阶段注释过程。根据五重交叉验证，我们的CPR-GCN产生95.8%的平均召回率，95.4%的平均精度和0.955的平均F1，这超过了最先进的方法。1. 介绍心血管疾病是全球死亡的主要原因之一[21]。心脏CT血管造影（CCTA）以其无创、高敏感性、高灵敏度等优点被广泛应用于心血管疾病的诊断。*同等贡献。†通讯作者。图1.不同受试者的冠状动脉示例。每种颜色都代表一个特定的分支。分支的数量、方向和连接都在这两个子分支之间变化。左侧血管树包含10个分支，较为完整，而右侧血管树缺少多个血管分支。（15）。在临床中，医生需要通过一系列的手工劳动来获得诊断报告，这是一项耗时的工作。如果计算机辅助诊断（CAD）系统可以自动生成诊断报告，则可以节省大量时间。而从CCTA图像中提取的冠状动脉树的自动解剖标记是自动CAD系统的先决条件。冠状动脉树由两个部分组成，即，左域（LD）和右域（RD）。两者都起源于主动脉。根据[23]，感兴趣的主要冠状动脉是左主干（LM）、左降支（LAD）、左回旋支（LCX）、左中间支（RI）、钝缘（OM）、对 角 动 脉 （ D ） 、 间 隔 动 脉 （ S ） 、 右 冠 状 动 脉（RCA）、右后外侧支（R-PLB）、右后降支（R-PDA）、右急性边缘动脉（R-PDA）（见图1）。根据现有知识，我们知道LAD、LCX和RI来自LM。R-PLB、R-PDA和AM来自RCA。S和D也这使得整个冠状动脉树成为结构化数据。通常，RCA、LM、LAD和LCX被视为主要分支。其他分支被视为侧枝。已经开发了几种用于冠状动脉[23，3，22]、脑动脉[1]、腹部动脉[18，25]和气道[10]。 然而，在这方面，3804如图1所示，冠状动脉在对象之间变化很大，这是标记系统的主要挑战。树枝的数量、每根树枝的长度和大小以及树枝跨越的方向都因人而异。[23 3]都依赖于配准算法和先验知识。他们首先确定了四个主要分支（即LM，LAD，LCX和RCA），然后标记了侧支（例如，AM、R-PDA、D等）。最后，通过从临床经验中翻译的逻辑规则对结果进行精炼。但是这些常规方法不是数据驱动的，即，无法撬动大数据的优势。最近，在[22]中，作者带来了一种新型的深度神经网络（TreeLab-Net），它可以从冠状动脉中心线提取的位置特征中学习，用于标记片段。尽管该模型是数据驱动的，但它仅利用来自血管中心线的位置信息，而将CCTA图像中的全部信息放在一边。此外，TreeLab-Net的输入由拓扑结构构建。缺少主要分支（例如，LM、RCA等）可能对标记侧枝有很深的因此，需要一个鲁棒的和自适应的模型，这种结构化的数据。在深度学习领域，在欧氏空间中对元素进行平等处理的研究已经相当成熟。然而，对于结构化数据通常有两个视图方面在[5，4]中，作者从流形值的角度看待结构化数据。同样在[14，12，26]中，结构化数据可以被视为图，作者介绍了具有节点和边的图模型，可以用于从结构化图数据中每个节点之间的关系中提取信息很本文提出了一种条件部分剩余图卷积网络（CPR-GCN），它可以充分利用CCTA体中的位置信息和三维图像信息。 将部分残余块应用于位置域特征以增强特征。此外，我们使用3D卷积神经网络（CNN）和双向长短期记忆（BiLSTM）来提取每个分支的特征作为图模型的条件。这两个部分是--提出可以端到端训练的CPR-GCN。我们的主要贡献概括如下：• 我们提出了CPR-GCN，一种条件部分残差图卷积网络，它可以端到端地标记冠状动脉树• 据我们所知，这是第一次在冠状动脉标记领域考虑三维图像特征• 我们的CPR-GCN和混合模型（即，BiLSTM之后的3D CNN）可以联合训练。我们评估-在大型私有收集数据集上使用CPR-GCN。我们的方法优于国家的最先进的结果。2. 相关工作大多数相关工作可以分为两类，即，基于传统和基于深度学习。冠状动脉造影方法的基础是冠状动脉的知识和通常，它们需要注册和更正两个步骤。随着深度学习的发展，也出现了一些基于图的结构化数据的学习方法这些方法提取特征作为节点，并使用它们获取的数据训练模型。此外，这些方法严重依赖于数据集的大小和质量2.1. 传统方法大多数传统方法都是基于注册。在[23]中，作者提出了一种两步法。在配准步骤中，识别主要分支LM、LAD、LCX和然后对其余分支进行后续匹配.在[3]中，他们建立了右优势和左优势的3D模型。将来自子图的3D冠状动脉树与3D模型对齐以获得每个段的标签他们还应用逻辑规则来实现临床经验。然而，传统方法高度依赖于主要分支。如果在自动分割系统中缺少主要分支此外，它们需要关于冠状动脉树如何跨越的先验知识。因此，如果一些子分支丢失，它将影响拓扑结构和性能。最后，所有这些传统的方法都有人工解释，这意味着如果拓扑结构太复杂，自动系统将提出它无法确定的信息2.2. 深度学习方法借助深度学习的强大功能，TreeLab-Net在[22]中被他们结合了多层编码器网络和双向树结构LSTM来构建TreeLab-Net。他们使用了几个从位置中选择的特征，并将子和树LSTM堆叠为组件。左和右冠状动脉是独立训练的。在这种方法中，丢失的分支将导致大量的问题，因为这将改变树内节点的层索引。在树结构模型中，消息只在附近的层之间传递。分支越靠近根节点，它们产生的影响就越大。左和右也被分类与规则和阈值。这种方法有一个很强的假设，即分支只会分叉，使得3805i=1i=1图2.CPR-GCN的框架CPR-GCN模型由条件提取器和部分残差GCN两部分组成我们模型的主干在绿色的边界框中。橙色边界框从图像域提取额外的信息。的x是特征x上的剩余连接块。该方法利用控制点沿中心线的方向从CCTA图像中提取运动立方体。树形结构只能有两个孩子。而冠状动脉在相邻点分叉出多个分支是合理的因此，父分支的节点将返回到具有两个以上的chil-节点，这超出了TreeLab-Net的容量。从广义上讲，TreeLab-Net是图模型的简化在[14]中，作者提出了直接作用于图的图卷积网络（GCN）.通过将图投影到傅里叶域，利用切比雪夫多项式定义了傅里叶域的卷积算子和滤波核在[17]中，他们修改了图神经网络（GNN）[19]以使用门控递归单元。尽管这些图形模型在分子指纹[7]和蛋白质界面预测[8]方面是成功的此外，图模型也遭受浅结构问题。由于堆叠多个GCN层将导致过度平滑[16]。3. 我们的方法在本节中，我们详细介绍了CPR-GCN，它充分利用了CCTA图像和冠状动脉中心线的位置。如图2所示，我们的方法考虑了CCTA图像和[22]中提到使用自动冠状动脉跟踪系统提取中心线然后，我们的CPR-GCN从SCTS2块内的中心线提取特征。在图像域中，我们利用中心线上的控制点进行二次采样，得到沿每个分支具有固定半径γ的移动立方体作为图像域数据。我们的CPR-GCN模型的条件是使用3D CNN和BiLSTM获得的。CPR-GCN模型的详细架构如表1所示。表1.模型中参数的详细信息。框架如图2所示.块细节SCTS2第一点、中间点和最后点切线方向和首尾方向3D CNN内核大小= 3，输入通道= 1，输出通道= 16maxpooling size = 2内核大小= 3，输入通道= 16，输出通道= 32最大池大小= 2内核大小= 3，输入通道= 32，输出通道= 64maxpooling size = 2BiLSTM层= 4，隐藏大小= 128CPR-GCN输出通道= 256输出通道= 256输出通道= 256完全连接输出通道= 128输出通道=类3.1. 职位领域特征在文献[22]中，作者提出了一种球坐标变换2D（SCT 2D ），它将3D 中的位置 Pk=[（ xi ， yi ，zi）]Lengthk变换为方位角和仰角[（xi，θi）]Lengthk。结果表明，这可以归一化默认笛卡尔坐标系中的中心线的方差。然而，值得注意的是，θ和θ具有周期性的2π。因此，通过限制角度为[0，2π），少量的摇动，由于噪声，将返回到角度0附近的2π差。在我们的方法中应用了类似的使用球坐标变换的思想由于每个分支都是单独处理的，为了获得方位角和仰角，我们需要定义每个分支的原点和x，y，z对于每个分支，选择第一个控制点作为原点。从第一点指向第二点的方向被定义为z轴。从中心线的第一个点到最后一个点的向量位于y-z平面内。为了克服由于周期性的不稳定性，我们使用用S2流形表示θ，θ。S2流形是3806k=1图3.图像域中框架的细节。我们使用3D CNN和BiLSTM来学习我们的部分残差块在图像域中的条件我们使用最后一个状态作为条件的最终表示。单位为半径的球面。一种简单的方法是使用图4.我们用来构建CPR-GCN图的规则。每当分支分叉时，在图中添加新节点因此，主要分支（例如，RCA、LAD等）可以由图中的多个节点表示例如，右框中的两个红色节点属于RCA。2 ×2矩阵M=sinθsinθcosθcos.由于周期性图像域数据是具有固定半径的立方体Ikdiusγ，并在Pk的各控制点附近。三层3D在sin（·）和cos（·）中，矩阵M在整个流形S2上是稳定的.这种球坐标变换在本文的其余部分称为SCTS2笛卡尔坐标和S2流形变换在等式中。1.一、CNN和3D maxpooling用于提取Ik. CNN的权重在分段之间共享。 为了以小批量的方式训练模型，这些特征向量被填充到最大n（ 长度k）作为x=r sinθ cosr =√x2+y2+z2多层双向LSTM的输入[9]。最后一隐藏状态被视为表示该分支的图像信息的最终条件Y。我们把这个y=rsinθsinθcosθ=z/r，θ∈[0，π]（1）z=rcosθsinθ=x/（rsinθ），cosθ=y/（rsinθ）我们使用[22]中提到的类似功能：（1）第一点、中心点和最后一点的S2投影和归一化的3D位置。（2）3D和S2中的第一点和最后点之间的方向矢量以及起点处的切线方向。3.2. 图像域条件大多数医学图像，包括磁共振成像（MRI）和我们使用的CCTA，都是3D的。与其他图像不同的是，这些分支具有顺序的去-作为条件信息，重要性高于位置域特征。3.3. GCN的部分剩余块传统GCN的逐层传播规则是等式（Eq.二、 在多层GCN中，节点的特征X是第一层的输入，X ∈ Rn×d0。这里，n是节点数 d0是每个节点的特征的维度。A是图的邻接矩阵Wl是逐层可训练权重，Wl∈ Rdl×dl+1。σ（·）是作用函数。在本文中，我们选择ReLU（·）=max（0，·）作为我们的作用函数，非线性能力。H（l+1）=σ（D< $−1A<$D< $−1l l悬垂性因此，我们使用3D CNN来提取spa-然后使用BiLSTM来总结管状序列特征。处理R-PLB分支的示例如图3所示。 z维度A=A+IN2，Dii2H W）（2）Σ=AijJCCTA图像的最大值是切片，其可能具有与x和y维度不同的间距。因此，我们对所有CCTA图像进行重采样，使其在x，y，z维度上具有相同的间距v。使用自动分割方法，我们可以得到所有分支（P1，P2，...，Pn），其构建成冠状动脉树。我们在中心线结束或分叉处分离分支如果子分支的起点彼此接近，我们认为所有这些子分支都来自父分支上的同一点。使用Catmull-Rom样条[20]平滑中心线的控制点。最后，控制点以相同的长度进行子采样。A是邻接矩阵A加上自环恒等式矩阵IN。第一层的输入是H0=X。我们的条件部分残差块需要位置特征x和CCTA图像域条件y. 两种方法的特点和条件的结合域被用作图模型中的节点的代表。边被定义为父子关系。 如上所述，整个冠状动脉树的拓扑是从（P1，P2，...，Pn）。每当分支分叉时，我们就把这些母树-子分支为三个（或更多）节点。边是从父分支到子分支。这将建立与邻接矩阵的主题图380722A. 如图4所示，RCA首先使AM微分函数l（x，y）dx. 如果我们取H0=x（0）=X，Alkalx dl然后分叉R-PLB和R-PDA。因此，图有4条边和5个节点。在 [11] 中 ， 作 者 认 为 深 度 剩 余 学 习 框 架 （ 图 5（a））可以帮助提高性能。而不是直接学习地图H（x），神经网络-工作学习剩余部分F（x）：=H（x）−x假设-使输入和输出具有相同的尺寸。当改变输出尺寸时，通过快捷连接添加线性投影W s是一种简单的z=F（x，Wi）+Wsx（3）在[2]中，作者将剩余连通的思想推广到剩余门图ConvNets中.最新的传播规则是：H （l+1）=σ（D−1AD−1H lW l）+H l（4）近似dl=1，我们有H1=H1（x，y）dl+H0= GCNA（x，y）+X（9）作为离散的数值估计。在我们的情况下，如图5（b）所示，CPR-GCN的离散部分残差块由于通道大小的变化而采用加权X如果我们把我们的PDE推得更远一点，我们可以有：∫Hk=Hl（x，y）dx+H0克= GCNA（x，y）dl+X（10）0此外，这里的X应该加权以获得以下灵活性：频道。如果我们在Eq. 4作为l的连续函数，并添加足够数量的层。在极限中[6]使用常微分方程（ODE）参数化隐藏单元的连续动态：3.4. 数据流我们的CPR-GCN的算法在Alg. 1. CCTA图像I，中心线P1，P2，...，Pn和参考标记GT1、GT2、. GTn组成训练样本的dH（l） =fADL（H（l），W（l），l）（5）模型我们首先通过以下分支构建图A：P1，P2，...，Pn. 位置域特征x和im-在我们的设置中，我们有两种输入：位置域特征x（1）和CCTA图像域条件y。如果我们将l视为层索引号，并且x是等式中的层l的函数。5，我们有关于x，y的偏微分方程（PDE）：年龄域特征y通过SCTS2和混合网络（即，BiLSTM之后的3D CNN此外，我们将x和y连接起来作为GCN层的输入，x作为剩余连接中的捷径 最后，一个完全连接的层预测最终的标记L1，L2，.，n和n（x（l），y）=l（x，y）xDX+l（x，y）伊中文（简体）我们的目标是最小化这两个离散的交叉熵贡献，即， GT1，GT2，...， GTn和L1，L2，...， Ln.l（x，y）dx=dl（7）算法1：我们的方法的训练过程Alkalx dl= GCNA（x，y）dl（8）当量7是基于这样一个事实，即我们把y当作条件。我们使用可训练的GCNA（x，y）来接近部分图5. CPR-GCN中的部分残差块。它可以加强某些部分的功能，有更多的影响，最终层，而吸收其他作为条件。(a)是传统的残差块，（b）是我们的部分残差。3808数据：CCTA图像（I），中心线（P1，P2，...， Pn）地面实况：GT1，GT2，...，GTnA←构建图（P1，P2，.，Pn）;x1，x2，… xn← SCT S2（P1，P2，.， Pn）;I1，I2，...， In← I n（P1，P2，.， Pn）;y1，y2，... yn← BiLSTM ← 3D CNN（I1，I2，.， In）;H←GCNA（x，y）+x; L1，L2，...，Ln← FC（H）;损失←交叉熵（L，GT）;4. 实验结果4.1. 数据集和评估指标据我们所知，迄今为止还没有一个包含CCTA图像和冠状动脉标记注释的公共数据集。以前的作品[23，3，22]都收集了来自诊所的私人实验数据集。例如，传统方法[23，3]仅使用58和83个受试者记录，而基于深度学习的方法[22]使用3809t+Ft+F精确度+召回率n更大的数据集有436个主题。在这项研究中，我们从临床收集了最大的相关数据集。首先使用[24]提取所有血管中心线该数据集包含511个主题，所有主题都由两名专家进行了两阶段注释过程。这两个专家在第一轮中单独给每个分支一个标签。然后将标注结果合并，专家对不一致的标注进行讨论，得到最终标注。这511个主题和相应的注释组成了我们的实验数据集。平均每名受试者的分支数为9.65，标准差（std）为2.13。最大分支数为15，最小分支数为3。分叉分离后平均节数为13.23。详情见表2。表中的边表示我们为每个主题构建的图表中的关系每个图中的平均边数为11.18。通过预测标签和地面真实标签对所有分支段进行评估。计算每个片段的召回率通过调用=tp|（label=i）. 精度p pPrecision =tp|（label =i）.F1分数为F1 =p n2精密度×回收率|（label = i）. 因为隔离区的数量中的元素是显而易见的，我们也使用所有的均值度量，通过SCTS2从血管树提取的位置域特征与3D CNN模块的输出连接。GCN模块将这些组合特征作为输入，并预测每个片段的标签。此外，需要参考标签来计算与预测标签的交叉熵损失三维图像立方体，位置域特征和参考标签组成的训练样本。我们的CPR-GCN模型是以端到端的方式训练的。该算法使用PyTorch和NVIDIA Tesla P100 GPU实现。我们使用Adam优化器[13]，初始学习率为0.001。每个小批次包含8个冠状动脉树。对于每个训练周期，我们训练CPR-GCN模型多达200个epoch，2.7小时因此，五重交叉验证的总训练时间为13.5小时。测试我们首先在每个折叠中根据整体测试精度选择最佳模型忽略类。然后，我们使用每个模型来评估相应的测试数据。在推理过程中，CPR-GCN模型的平均推理时间为0.045 s/例，这在临床应用中具有重要意义。结果由于该领域没有公开的数据集，传统的方法只能对它们的性能进行评估，各阶层的。 mean Recall=1其他指标也是如此。4.2. 实现细节ni=1 记得了一个小型的私有数据集。我们还复制了传统的方法和基于深度学习的TreeLab-Net。考虑到传统方法[23，3]主要依赖于配准和先验知识，我们只复制[3]超参数选择CCTA图像被缩放到v = 0。5mm体素间距。由于分支的半径通常在（0，3）mm的范围内，即，（0，6）体素。 因此，立方体的半径被选择为γ=12个体素以保持角度、大小和纹理信息。 因此，用于中心线位置的子采样率是10个体素，以具有重叠以及保持沿着分支的顺序信息。训练数据集被随机平均分为五个子集。在训练阶段，我们使用五重交叉验证策略来评估数据集中的所有主题。提出的CPR-GCN模型有两个可训练的组件，即3DCNN跟随LSTM（3D CNN模块），GCN跟随FC层（GCN模块）。从3D CCTA图像沿着血管中心线提取的一系列3D图像立方体是3D CNN模块的输入的表2.我们使用的数据集的基本信息。线段是分叉后的分支。边是线段之间的关系。平均数（std））最大最小分支数4929 9.65（2.13）15 3分段边缘5714 11.18（3.56）20 2[23]这是一个进步表3报告了我们数据集的详细性能。我们的CPR-GCN实现了最高的平均召回率0.958，平均精度0.954和平均F1 0.955，这优于其他方法具有很大的利润。所有模型在主要分支上都表现良好。但是，侧支也是CAD系统中自动解剖标记的至关重要的部分。在我们的方法中，我们平等地对待主分支和侧分支。因此，与其他两步方法相比，我们的方法中的大多数分支，如OM和R-PDA，性能更好。但是由于像LM和RCA的主分支的段的数量相对较大，所以这些主分支的性能更好。对于侧分支，特别是对于D和OM，数据集中的样本数量相对较小。因此，性能比主要分支略差。4.3. 消融研究为了确保CPR-GCN的所有组件性能良好，我们设计了消融研究实验。图像域条件我们的方法与其他方法的主要区别之一是我们使用CCTA图像域的额外信息所示3810表3.传统方法[3]，基于深度学习的TreeLab-Net [22]和我们的数据集上的CPR-GCN的比较。召回率、精确率和F1得分作为评价指标。方法度量RCAR-PDAR-PLB是LMLADLCXRIDOMS平均值（标准品）召回0.9180.8500.8520.8930.9840.9110.8320.8480.7990.7200.8350.859±0.066传统[3]精度0.9250.8350.8600.8710.9910.9290.8100.8030.7810.7390.8650.855±0.069F10.9220.8420.8560.8820.9870.9200.8210.8250.7890.7300.8500.857±0.067召回0.9500.8580.8180.8710.9960.9480.9130.7700.8160.8050.8620.873±0.067[22]第二十二话精度0.9480.8230.8420.8710.9700.9370.9360.7140.8410.8070.8590.868±0.072F10.9490.8400.8300.8710.9830.9420.9240.7410.8290.8070.8600.871±0.069召回0.9940.9300.9440.9910.9940.9900.9820.9210.9360.8960.9540.958±0.033我们的CPR-GCN精度0.9870.9460.9470.9830.9840.9860.9710.8960.8830.9330.9740.954±0.035F10.9900.9380.9450.9870.9890.9880.9760.9090.9090.9140.9640.955±0.032在表5的第二列中，如果我们仅去除图像域条件，则度量，即，meanRecall、mean- Precision和meanF 1将下降到2以上。0%。例如，meanF1得分为0。934，0。955在我们的CPR-GCN。剩余GCN连接另外，我们的方法在图模型中引入了部分剩余连接。在这一部分中，我们只删除了GCN块中的剩余连接，并保持其他设置与CPR-GCN相同表5中的第三列报告F1分数将降至0。九四七这说明，在残差的帮助下，我们的模型可以在保持原始位置域特征的同时，吸收位置域和图像域的特征。无向图在这一部分中，我们构建无向图，这意味着从原始图添加相反的边。详细结果见表5第四列。虽然类之间的平均度量（即，meanRecall，meanPrecision和meanF 1）略差于我们的最佳结果，但几个类（例如，LM，LAD，R-PDA等）对于无向图，其精度高于有向图。值得注意的是，我们选择有向图来实现更高的平均度量。在临床实践中，可根据医生的要求进行选择。图6.重复GCN阻滞的消融研究1个GCN、2个GCN、3个GCN和4个GCN表示堆叠对应数目的GCN块重复的GCN块[16]报告称，堆叠多个GCN层将导致过度平滑。我们还进行了实验来回答GCN块的数量如何影响性能。考虑到冠状树图中连接的复杂性，我们分别用1、2、3、4层GCN对我们的CPR-GCN进行了评价。图6说明了我们可以通过堆叠GCN块来提高性能，特别是从1个GCN块到2个GCN块。然而，与3个GCN块相比，4个GCN块的模型没有明显的改善。因此，我们在CPR-GCN中使用3个GCN块。冠状动脉树的图形深度大多小于4，这可能导致评价结果。4.4. 合成“数据攻击”我们认为，当血管树中的主要分支缺失时，我们的CPR-GCN更稳健。因此，我们首先从原始数据集构建一个合成数据集随机切除20%大多数其他侧支（例如，LCX、LAD、RI、AM等）直接来源于这两个分支。在这个新的合成数据集中，删除了295个RCA和LM分支。6760个血管段中的1123个直接与这295个缺失的分支连接。由于传统的方法[23，3]严格依赖于主要分支。我们仅在该合成数据集上评估训练的CPR-GCN和TreeLab-Net [22]。如表4所示，我们的CPR-GCN下降近2.6%，而TreeLab-Net在三个平均指标中下降近6.7%。这表明我们的方法更加稳健。表4. TreeLab-Net [22]和我们的CPR-GCN在原始数据集和合成数据集上的实验结果。在合成数据集中随机删除20% RCA和LM。方法数据集平均召回平均精度平均F1[22]第二十二话原始0.8730.8680.871合成0.8060.7990.802我们的CPR-GCN原始0.9580.9540.955合成0.9310.9280.9293811表5.我们方法的部分消融研究结果。图像域条件以及部分残差连接都是CPR-GCN的重要组成部分。消融研究无图像域条件精度回忆F1评分无残余连接精度召回F1分数无向图精度召回F1分数我们精度CPR-GCN召回F1分数LM0.9900.9940.9920.9590.9840.9710.9960.9980.9970.9840.9940.989LAD0.9770.9830.9800.9750.9780.9760.9870.9930.9900.9860.9900.988LCX0.9380.9640.9510.9460.9630.9550.9630.9800.9710.9710.9820.977RI0.8800.9040.8920.9170.8710.8930.8750.9040.8900.8960.9210.909RCA0.9820.9890.9860.9800.9810.9800.9890.9940.9920.9870.9940.991D0.8420.8770.8590.8830.9340.9080.8890.9240.9060.8830.9360.909S0.9540.9540.9540.9790.9480.9630.9670.9370.9520.9740.9540.964OM0.8300.8140.8220.9150.9130.9140.9120.9040.9080.9330.8960.914R-PDA0.9380.9270.9330.9520.9500.9510.9600.9390.9490.9470.9440.945R-PLB0.9250.9250.9250.9510.9300.9410.9470.9530.9500.9460.9300.938是0.9770.9770.9770.9680.9710.9690.9880.9970.9930.9830.9940.987Avg.0.9300.9370.9340.9480.9470.9470.9520.9570.9540.9540.9580.955STD.0.0540.0530.0530.0370.0360.0350.0380.0360.0360.0350.0330.0325. 讨论如上所示，我们的方法实现了最先进的结果。CPR-GCN将来自3D CCTA图像的图像域信息作为我们方法的条件。为了突出位置域特征的重要性，我们在位置域特征上引入了部分剩余块图像域信息据我们所知，我们是第一个将图像域信息作为条件包含在内的。上面所示的结果表明，尽管位置域特征是冠状动脉自动解剖标记的重要组成部分，但CCTA图像的权重大于仅用于扫描分割。例如，尺寸和收缩点在可以从图像提取的基于中心线的位置特征中不可见。因此，即使位置本身在该问题中具有相对丰富的信息，但所有其他方法都缺乏从原始3DCCTA图像中吸收信息的能力。部分残差块我们的方法的主要贡献之一是我们带来了部分残差块。在传统的残差块中，输入x的所有维度都被同等对待。但在冠状动脉的标记问题中，位置被证明起着重要的作用。为了强调这一重要性，并利用CCTA图像内部的额外信息，我们使用部分剩余块来处理图像域信息作为模型的额外条件。通过烧蚀研究，我们注意到这种结构可以将度量从0. 947比0 九五五它还可以使模型更加稳定。我们的CPR-GCN完全由数据驱动。因此，CPR-GCN可以利用巨大的数据量。在没有先验知识和硬编码“规则”的情况下，CPR-GCN对噪声具有更强的鲁棒性。我们图中的所有节点，代表不同的段，在CPR-GCN中的权重相同。因此，LM或其他主要分支的错误分类很少有机会传播到所有其他分支。为了证明这一观点，我们进行了一个有趣的合成“数据攻击”实验。结果表明，主分支缺失对CPR-GCN的影响小于其他深度学习方法。缺点和未来的工作还有一些未来的工作要做。由于我们对每个分支机构都一视同仁，因此分支机构之间的不平衡是一个问题。值得注意的是，由于样本数量的不同，主分支的性能优于侧分支。分割后也会有一些微小的分支缺失，这将增加不平衡。同样在这个模型中，我们使用离散近似的偏微分方程。在未来，该模型可以向前推进到连续模型。6. 结论在本文中，我们提出了端到端的条件部分残差图卷积网络（CPR-GCN）模型，用于冠状动脉的自动解剖标记，其中很少有替代方案可用。与传统方法和最近的基于深度学习的方法相比我们表明，与条件部分残差块，在位置域和CCTA图像域的信息可以考虑。在实验方面，我们表明，我们的CPR-GCN是更强大的和灵活的，比别人。结果还表明，CCTA图像域在冠状动脉标记中起重要作用。重要的是，我们表明，我们的算法的贡献facilitate CAD系统。3812引用[1] Hr v ojeBogun o vi c'，Jo se'Ma r'ıaPozo，Rub e' nCa'rdenes，Luis SanRom a' n和Alej a ndroFFrangi。应用最大后验概率估计法对Willis环进行解剖标记IEEE transactions onmedical imaging，32（9）：1587[2] 泽维尔·布列松和托马斯·洛朗。残差门控图卷积网。arXiv预印本arXiv：1711.07553，2017。[3] Qing Cao ， Alexander Broersen ， Pastel A de Graaf ，Pieter H Kitslaar ， Guanyu Yang ， Arthur J Scholte ，Boudewijn PF Lelieveldt，Johan HC Reiber，and JoukeDijkstra.冠状动脉计算机断层造影中冠状动脉树解剖结构的自动识别。国际心血管成像杂志，33（11）：1809[4] Rudrasis Chakraborty，Jose Bouza，Jonathan Manton，and Baba C Vemuri.流形值数据的深度神经网络医学成像信息处理国际会议，第112-124页。Springer，2019年。[5] Rudrasis Chakraborty ， Chun-HaoYang ， XianjianZhen ， Monami Banerjee ， Derek Archer ， DavidVaillancourt，Vikas Singh，and Baba Vemuri.对称正定矩阵流形上的统计递归模型。神经信息处理系统的进展，第8883-8894页，2018年[6] Tian Qi Chen，Yulia Rubanova，Jesse Bettencourt，andDavid K Duvenaud.神经元常微分方程神经信息处理系统的进展，第6571-6583页，2018年[7] DavidKDuvenaud 、 DougalMaclaurin 、 JorgeIparraguirre 、 Raf aelBombarell 、 Timoth yHirzel 、 Ala´nAspuru-Guzik和Ryan P Adams。用于学习分子指纹的图上卷积网络神经信息处理系统的进展，第2224-2232页，2015年[8] Alex Fout，Jonathon Byrd，Basir Shariat，and Asa Ben-Hur.利用图卷积网络预测蛋白质界面。神经信息处理系统的进展，第6530-6539页[9] Al e xGr av es和J ür genSchmidhube r. 用双向lstm和其他神经网络结构进行帧式音素神经网络，18（5-6）：602-610，2005。[10] Suicheng Gu ， Zhimin Wang ， Jill M Siegfried ， DavidWilson，William L Bigbee，and Jiantao Pu.基于肺叶的自动气道标记。生物医学成像杂志，2012：1，2012。[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[12] Mikael Henaff，Joan Bruna，and Yann LeCun.图结构数据 上 的 深 度 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1506.05163，2015。[13] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[14] Thomas N Kipf和Max Welling使用图卷积网络的半监督分类。arXiv预印本arXiv：1609.02907，2016。[15] 约恩·莱普西奇、苏尼·阿巴拉、斯蒂芬·阿肯巴赫、里卡尔多·库里、詹姆斯·P·厄尔斯、GB·约翰·曼奇尼、库恩·尼曼、吉安卢卡·庞托内和吉尔伯特·L·拉夫。冠状动脉ct血管造影的解释和报告指南：心血管计算机断层扫描学会指南委员会报告。心血管计算机断层扫描杂志，8（5）：342[16] Qimai Li，Zhichao Han，and Xiao-Ming Wu.深入了解用于半监督学习的图卷积网络2018年第32届AAAI人工智能会议[17] Yujia Li ， Daniel Tarlow ， Marc Brockschmidt ， andRichard Zemel.门控图序列神经网络arXiv预印本arXiv：1511.05493，2015。[18] Tetsuro Matsuzaki，Masahiro Oda，Takayuki Kitasaka，Yuichiro Hayashi，Kazunari Misawa，and Kensaku Mori.从腹部ct容积中提取的腹部动脉和肝门静脉系统的自动解剖标记。医学图像分析，20（1）：152[19] Franco Scarselli、Marco Gori、Ah Chung Tsoi、MarkusHa-genbuchner 和 Gabriele Monfardini 。 图 神 经 网 络 模型。IEEE Transactions on Neural Networks，20（1）：61[
