因果CAM：基于类激活映射的医学图像分割方法

11676C-CAM：因果CAM在医学图像张晨西安1900938761@qq.com策立田志强*西安中国西安zhiqiangtian@xjtu.edu.cn朱继华西安zhujh@xjtu.edu.cn杜绍义*兰州理工大学xjtulice@gmail.com西安dushaoyi@gmail.com摘要近年来，基于类激活映射（CAM）的弱监督语义分割（WSSS）方法被提出。然而，有很少的作品，考虑到医学图像的特点。在本文中，我们发现WSSS中的医学图像主要存在两个挑战：i）目标前景和背景的边界不清晰; ii）训练阶段的共生现象非常严重。因此，我们提出了一个因果CAM（C-CAM）的方法来克服上述挑战。我们的方法是由两个因果链，包括类别因果链和解剖因果链的动机。类别-因果关系链表示图像内容（原因）影响类别（效果）。解剖-因果关系链表示解剖结构（原因）影响器官分割（效果）。在三个公共医学图像数据集上进行了广泛的实验。与其他CAM类方法相比，我们的C-CAM在ProMRI、ACDC和CHAOS上生成了最好的伪掩模，DSC分别为77.26%、80.34%和78.15%。C-CAM的伪掩模被进一步用于提高器官分割任务的分割性能。我们的C-CAM在ProMRI上实现了83.83%的DSC，在ACDC上实现了87.54%的DSC，优于最 先 进 的 WSSS 方 法 。 我 们 的 代 码 可 在https://github.com/Tian-lab/C-CAM上获得。1. 介绍最近，由于深度学习的发展，语义分割[22]被广泛研究。现有paradig-*通讯作者肝脾右肾左肾第二类：共现边界1：边界模糊医学图像自然图像图1.医学影像的主要挑战。问题1：医学图像的目标边界比自然图像更模糊。挑战2：在训练阶段，不同的器官经常出现在同一医学图像中。语义分割的方法是利用大量的像素级标注数据训练一个模型来对每个像素进行分类。然而，像素级标签的获取是耗时且昂贵的。因此，一种新的范式称为弱监督语义分割（WSSS）。与全监督语义分割（FSSS）不同图像级标签、点、涂鸦和边界框。在这些弱标注中，图像级标注是最容易获得的方式同时，它也是最具挑战性的一个用于分割。在本文中，我们专注于图像级标签的医学图像分割。具有图像级标签的WSSS的主要问题是缺少位置信息。类激活映射（CAM）方法[7，14，24，30，33，44]创造性地提供了卷积神经网络（CNN）仅具有图像级标签的定位能力。然而，CAM只能定位目标中有区别的部分，分割效果很差.许多基于CAM的WSSS方法[2，8，13，18，34，39]相继提出，以缩小WSSS和FSSS之间的差距这些的主要思想11677→→±±方法是解决CAM不能完全覆盖物体的问题。一些方法[2，8，13，18]使用CAM生成种子并细化种子以覆盖整个对象。一些方法[19，34，39，40]直接生成更准确的显著性图。然而，这些基于CAM的方法中的大多数是针对自然图像而设计的，这在医学图像上可能不能很好地工作。与自然图像相比，医学图像主要有以下两个挑战：基于图像级标签的WSSS我们直观地展示了图1中的挑战。i）前景和背景的边界不清晰，使得CAM模型难以对前景和背景的类别边界进行ii）在训练阶段的医学图像中共现非常严重，例如，在腹部磁共振成像（MRI）图像中，不同的器官总是一起出现然而，在自然图像中，共生现象并不那么严重。例如，因此，CAM模型可以通过丰富的图像级标签来识别图像的哪一部分是然而，CAM模型很难仅根据图像级标签激活同一图像中正确的共现器官。因此，提出了因果CAM（C-CAM）方法以克服上述挑战。C-CAM从两条因果链开始。 第一条链是X类因果关系Y，其指示图像内容X（原因）影响分类类别Y（效果）。第二个链是解剖学因果关系Z S，其指示解剖结构Z（原因）影响器官分割S（效果）。在类别因果链中，我们使用因果干预[28]使C-CAM模型专注于预测类别的真正原因在解剖-因果链中，结合解剖约束，使C-CAM聚焦于对象分割的真正原因，能很好地解决同现问题。综上所述，本文的主要贡献有三个方面：我们提出了C-CAM的WSSS医学图像。C-CAM生成具有更清晰边界和更精确形状的伪分割掩模。据我们所知，C-CAM是第一个将因果关系引入医学图像WSSS的方法。我们整合了两个因果链，以应对WSSS医学图像的挑战。类别-因果链的设计是为了缓解模糊边界的问题。设计了解剖-因果链来解决共现问题。我们证明了我们的方法的有效性与广泛的实验三个公共医学图像数据集。我们的C-CAM生成伪掩码类别因果关系解剖因果关系图2.医学图像WSSS因果关系的动机。类别因果关系（第一行）：偏向类别的信息导致模型激活错误的对象类别.解剖学类别（第二行）：模型激活物体不准确形状的偏差形状信息.热图表示CAM的显著性图。红色表示高值，蓝色表示低值。黄色曲线代表地面实况。在ProMRI、ACDC和CHAOS数据集上，DSC分别为77.26%、80.34%和78.15%在ProMRI和ACDC上的分割性能分别达到83.83% ± 5.14%和87.54% ±7.77%的DSC，其优于现有技术的方法。2. 相关工作2.1. 弱监督语义分割WSSS中主要有四种类型的弱标签，包括图像级标签[2，18]、点[3]、涂鸦[20，37]和边界框[10，17，26]。特别地，由于图像级标签最容易获得，因此大多数作品都是针对图像级WSSS设计的。我们的工作还侧重于形象层面的监管。当前的图像级监督WSSS方法大多基于CAM技术[44]，其可以利用分类模型定位区分区域。然而，CAM仅激活与分类类别高度相关的区域。基于CAM方法的通用流水线可分为三个阶段。第一阶段是用CAM方法生成种子区域。第二阶段是细化种子区域以生成伪掩模。最后一个阶段是用伪掩码训练分割模型。许多工作都集中在如何细化种子区域-S. AffinityNet [2]利用来自种子区域的亲和标签并训练亲和模型以细化种子区域。类似地，BES [8]以明确的方式预测对象边界，并使用预测的边界来修改种子区域。D-SRG [13]利用种子区域生长机制来逐渐细化种子区域。最近，一些研究人员设计了直接生成更准确的显着性图的模型FickleNet [19]生成更精确的显着图假阴性偏置形状假阳性有偏范畴···11678全球平均池化完全连接分类负责人+连接.逐元素乘法Argmax&上采样图3.我们提出的C-CAM的架构。首先，全局采样（GS）模块（Sec. 3.2）被设计为生成全局上下文（MGC）和粗略掩码。Successful，a causality module（Sec. 3.4）用于计算类别-因果图Mc和解剖-因果图Ms。然后将Mc与CNN特征FCNN级联。 级联特征[FCNN，Mc]在训练阶段被馈送到分类头中。在推理阶段，通过类激活映射生成表示只有类别因果关系的显著性图的CAMcc。通过将CAM cc和Ms相乘来生成表示具有类别因果关系和解剖因果关系的显著性图的CAM ac。最后，从CAM ac中生成伪掩码，这些伪掩码可以用于在接下来的全监督阶段中训练分割模型。通过随机选择单个图像的隐藏单元。M-CIS [34]利用跨图像语义相关性来提高显着图的质量。SEAM [39]使用等效正则化来约束CAM的显着图，使其在重新缩放时更加一致。Wei等人。[40]简单地利用多尺度扩张卷积来产生密集和可靠的显着性图。然而，这些基于CAM的方法不能很好地工作在医学图像上，因为它们没有考虑模糊边界和共生问题的医学图像。2.2. 解剖学先验将先验知识结合到图像分割中是提高自然图像[12，27，42]和医学图像[11，25，31]性能的有用方法。在F-SSS场景中，目前基于CNN的方法没有考虑输出结构的约束，因为它们通常利用像素级损失函数，例如交叉熵。而一个好的先验设计可以提供更好的结构约束[27]。在WSSS场景中，先验知识更有价值，可以弥补弱标签中包含的信息不足[12]。特别地，医学图像中的先验比自然图像具有更大的影响，因为医学图像中的对象自然地具有更多的解剖信息。解剖信息是固有的，如身体部位和器官的位置 Zotti等人[45]在辅助心脏MRI分割之前使用形状。Mirikharaji等人[23]设计用于皮肤病变分割星形先验Dalca等人。[11]设计了一种用于生物医学分割的生成模型，该模型集成了丰富的概率解剖先验。然而，现有的方法需要专门的知识或复杂的模型来利用解剖先验。相比之下，我们的C-CAM从模型本身提取解剖信息并集成解剖先验与解剖因果链。2.3. 计算机视觉因果关系最近被广泛用于基于学习的计算机视觉任务[29，35，38，41，43]。将因果关系引入机器学习有助于提供更好的学习和可解释的模型，因为传统的CNN模型只考虑了关联关系而不是因果关系。尤其是因果关系在医学影像学中起着更重要的作用。Castro等人[6]强调了医学图像及其注释之间因果关系的重要性。然而，有没有工作已经做了应用因果关系的弱监督医学图像分割，因为我们知道。本文在前人研究的基础上，将因果关系引入到医学图像的弱监督语义分割中.3. 方法3.1. 动机我们观察到因果关系在医学影像学中起着重要的作用医学图像WSSS的因果关系可以通过回答两个问题来分析。问题1：为什么分类模型的精度很高，而CAM的激活区域却不准确？问题2：为什么激活区的形状与物体的真实轮廓相差甚远？第一个问题的答案是，分类模型本质上是一个关联模型，它在分类任务中表现良好然而，它不工作的医学图像分割任务。例如，一些非前列腺区域可能在统计学意义上与前列腺具有高相关性关系。这将导致偏见的分类信息，误导CAM激活与前列腺不具有因果关系的错误区域，映射凸轮ceFCNN医学图像CNN+的Mc类别因果链粗-是的伪面具起来Ms解剖因果链MGCGS模块因果关系模块分类负责人起来11679D嗷NSamplIng1/0指示器XY∈·→Σ∈∈·∈→如图2所示。第二个问题的答案是，目前的基于学习的方法忽略了输出结构的约束，因为它们使用逐像素的损失函数。这一缺陷可以通过大量的像素级标签来弥补，但显然不适用于WSSS场景。为此，本文提出了医学图像WSSS的两条因果链来解决上述问题.设计了类别-因果链来缓解模糊边界问题。解剖-因果链是为了解决共现问题而设计的。图3显示了我们的C-CAM网络结构。3.2. 全局采样模块CAM的显著图对于分割任务不够准确。然而，它可以为医学图像提供与类别和解剖结构高度相关的有价值的信息。因此，我们设计了一个全局采样（GS）模块来利用这些有价值的信息。在本节中，GS模块用于提取包含类别和解剖结构信息的全局上下文。GS模块如 图 4 所 示 。 训 练 图 像 被 直 接 馈 送 到 纯 CAM （ P-CAM）模型中以生成粗糙的伪掩模。P-CAM是一种类似CAM的模型，由CNN主干、分类头、映射操作和上采样操作组成。映射操作参考CAM [44]。在训练阶段，仅使用CNN主干和分类头。在推断阶段中，进行映射操作和上采样操作以生成粗略的伪掩模。映射操作为每个类生成显著性图。这个过程被定义为函数fpcam（）。GS模块最终输出全局上下文映射MGCRC×H×W，其可以公式化为：GS模块粗映射掩码全球上下文∑CNN起来纯CAM模型输出分类负责人图4.全局采样（GS）模块。GS对所有训练数据进行采样，并将其馈送到纯CAM模型（P-CAM）中。P-CAM为每个训练图像生成粗掩模。此外，GS模块输出一个全局上下文，并对所有粗掩码进行汇总图5.医学图像WSSS的因果图。X表示医学图像，Y表示分类类别，C表示CP上下文混杂因素。Z表示解剖结构，S表示节段形状，ZS而P表示伪掩码。链是解剖学因果关系ZS，这表明解剖结构Z（原因）影响节段S（效果）的形状。因此，伪掩模由类别Y和形状S两者确定。3.4.因果关系模块在该部分中，因果关系模块被设计为如图1所示。6，以提高我们的P-CAM的准确性的因果方式。如第3.1、因果关系模块设计基于两个因果关系链：类别-因果关系链和解剖-因果关系链。类别因果链。在范畴-因果关系1MGC=N向上Argmax（fk∈Np凸轮 （Ik））、（1）链中，粗分割掩码CoarseR1×H×W和全局上下文映射MGCRC×H×W被馈送到整形层。两个卷积层用于投影其中，N表示训练图像的数量，IRH×W×3表示输入图像，Up Argmax（）表示在argmax之后执行上采样的操作，C表示类别的数量，H、W表示原始图像大小的高度和宽度，H′、W′表示下采样的大小。具体地，每个输入图像的粗分割掩模Coarsek=UPArgmax（fpcam（Ik））也被保留。3.3.医学图像中的因果关系WSSS的关键任务是生成具有准确类别和形状的伪掩模。我们的C-CAM从两个因果链开始，如图5所示。第一条链是范畴因果关系XY。这表明图像内容X（原因）在上下文混杂因素C的干扰下影响分类类别Y（结果）。第二图6.因果模块的网络结构因果模块将粗分割掩码和全局上下文映射MGC作为输入。最后，分别为两条因果链生成类别因果图Mc和解剖因果图Ms，粗掩码的值为[0，1，. - 是的- 是的，C-1]，C是类别的数量。1dadHdadW1爸爸HW1爸爸C粗1爸爸C◊Acategory1DadHW 1爸爸C ◊SoftmaxMc1dadHdad'W'CdadHWCdadCCdadHdadWMGCMsC爸爸H爸爸'W'1/0指示器下采样重塑11680∈.Σ·.粗和MGC分别进入同一空间。然后用以下公式计算类别感知注意向量A类别R1×CA类= softmaxΦ（粗）×Θ（MGC）T，（二）其中Φ和Θ表示两个卷积运算。 Fi-最后，“该”图像特定的类别-因果映射Mc∈ACDC 这是左心室心内膜分割任务的数据集。ACDC包括100例电影MRI，这些病例在2017年自动心脏诊断挑战赛（ACDC）上公开提供[4]。将100例患者随机分为两组。第一部分包括75个案例，用于培训。第二部分包括25个案例用于测试。R1×H×W计算如下：Mc=向下（A类×MGC），（3）混沌这是来自联合健康腹部器官分割（CHAOS）挑战的公共数据集[15]。该数据集包含4个腹部器官，即肝脏、左肾、右肾和脾脏。的其中Down（）是一个降采样操作，输出Mc可以与CNN特征级联。解剖-因果链。目标的形状和边界可以被很好地捕获，而语义含义不能被完全确定，这稍后由解剖结构信息来解决。特别是对于一些多器官场景，如腹部扫描，CAMcc甚至无法区分左肾和右肾，因为它们总是同时出现在图像中为此，设计了一个解剖-因果链来解决这个问题。在解剖-因果链中，设计了1/0指标来表示医学图像的解剖信息。最后，按照以下公式计算解剖-因果关系图Ms，以获得每个类别的可能位置：T2谱预饱和反演恢复（SPIR）的模式被用来评估我们的方法。分割任务提供20个具有标记的掩码的情况用于训练，20个不具有标记的掩码的情况用于测试。4.2. 实现细节我们的工作主要在Python和PyTorch框架中实现。 所有代码都在Ubuntu上运行16.04.1平台，配备2个NVIDIA GTX 1080Ti GPU。在伪掩模生成阶段，我们的P-CAM模型首先使用包括负样本的所有训练图像进行训练。阴性样本表示不含器官的图像。仅使用阳性样本来训练我们的C-CAM模型。这两个模型都采用随机梯度（SGD）调度进行优化，初始学习率不同，P-CAM模型为0.1，如果MGC>0，则MS=10，否则.（四）C-CAM模型采用U-Net模型训练带有伪分割模板的分割模型。的Ms被下采样并与CAMcc相乘以得到最终显著性图CAMac。最后，伪分段掩码S_pseudo被公式化为：分割模型由Adam优化器优化，初始学习率为5e-4。我们为每个数据集训练了100个4.3. C-CAM消融研究S伪=UP Argmax（MS·CAM cc）。（五）生成的伪分割掩码用于在以下全监督阶段训练U-Net[324. 实验4.1. 数据集P-CAM AC CC AffDSC（%）ProMRI ACDC混沌实验中使用了三组用于人体器官分割的医学图像数据集。我们只对每个数据集使用图像级弱监督。ProMRI。该数据集用于前列腺分割，其中包含172个T2加权横向MRI体积。ProMRI是由来自PROMISE12[21]、ISBI2013 [5]和内部数据[36]的三个子集组成的混合数据集使用PROMISE12测试集中的30个体积进行测试。其余142卷用于培训。C C71.88 73.80 70.47C C75.54 75.67 56.18C C C76.10 77.26 75.88C C C C77.26 80.34 78.15表1.C-CAM各部分的消融研究AC：解剖学因果关系。CC：因果关系分类。affinity refine：亲和力优化。DSC：DiceSimilarity Coefficient。选项卡. 1给出了在我们的方法中的每个模块的消融研究。结果表明，类别因果关系和解剖因果关系都能提高伪掩模的准确性C69.4572.0152.17CC73.8076.1064.5011681混乱ProMRI ACDC肝右肾左肾脾Avg.第四十四章69.45 72.0158.5942.4347.2662.3452.66GradCAM [33]46.09 69.8156.5131.0633.2950.6642.88GradCAM++[7]64.68 70.2159.4735.5941.2154.4347.68AblationCAM [30]48.19 64.1456.3819.8340.2951.6642.04EigenCAM [24]63.91 45.8558.787.9141.0853.8340.40LayerCAM [14]63.67 69.8459.2435.5741.3354.2647.60C-CAM（我们的）77.26 80.3472.6884.7581.0074.1678.15表2.用Dice相似系数（DSC：%）评估三个数据集上的不同CAM样定位方法在三个数据集上与P-CAM（没有任何改进的设计）进行比较。解剖因果关系在ProMRI上提高了2.43%，在ACDC上提高了1.79%。特别是对于多标签分割任务，如CHAOS，解剖因果关系带来了18.3%的显着性能原因是如图7所示，对于混沌，共现现象非常严重。传统的CAM模型不能有效地激活图像中没有解剖信息的正确器官区域。相比之下，我们的C-CAM可以准确地区分出现在同一图像中的四个不同的器官。在整合范畴因果关系的基础上，（一）（b）第（1）款（c）第（1）款肝右肾左肾脾对于ProMRI、ACDC和CHAOS数据集，掩模分别进一步实现了4.22%、3.46%和5.41%的DSC相似系数（DSC[36如[2]中所使用的，进一步训练亲和模型以提高最终伪分割掩模的准确性。最后，生成的伪分割掩模实现DSC的77.26%，80.34%和78.15%，分别在三个数据集。4.4. 与其他CAM类方法的将我们的C-CAM与一些CAM类局部化方法进行了比 较 ， 包 括 Grad-CAM [33] 、 Grad-CAM ++ [7] 、Ablation-CAM [30] 、 Eigen-CAM [24] 和 Layer-CAM[14]。在实验中，这些不同的CAM类方法用我们的C-CAM中使用的相同训练基线模型进行评估测试了所有背景阈值给出了不同方法伪掩模的所有最佳DSC结果，而不是比较不同方法的相同阈值评估结果显示在表中。二、从这些结果中，我们发现，我们的C-CAM实现了所有三个医学图像数据集的伪掩模的最佳性能特别是，我们的C-CAM表现良好的所有类混沌。4.5. 参数敏感性选择适当的背景阈值是 从显著图生成伪分割掩模的基本但关键的步骤大量实验11682图7.共现的图示，其示出了我们的P-CAM（第一行）、我们的C-CAM（第二行）和四个类别的地面实况（最后一行）的显著性图。所有结果对应于一个混沌T2-SPIR图像。以评估背景阈值的影响。比较了几种不同的CAM样方法。显著图的准确性用[0.05，0.95]范围内的不同背景阈值进行评估。如图8，大多数当前的CAM类方法对不同的背景阈值敏感。首先，对于相同的CAM方法，显著性图的DSC随阈值的不同而变化很大。其次，DSC的最佳阈值在这些CAM类方法中是不同的。第三，对于不同的数据集，一个阈值的准确性变化很大。相比之下，我们的C-CAM是不太敏感的背景阈值。 C-CAM的显着图的DSC可以稳定在高值，背景阈值范围从0.3到0.9，如图所示。8.一方面，这将使我们更容易选择背景阈值。另一方面，也表明了算法对背景阈值的鲁棒性。4.6. C-CAM中显著性图的可视化图9和图10给出了我们的C-CAM带来的效益的直观说明。通过对范畴因果关系的整合，我们的C-CAM可以很好地解决am-11683凸轮GradCAMGradCAM++AblationCAMEigenCAMLayerCAMC-CAMP-CAM（我国）83.39±5.41 3.80±0.88 3.68±1.21[16]第16话：我的世界IRNet [1]78.68± 5.17 4.16± 1.61 4.48±2.57CVPR（2019）整个先端基地中期77.77± 6.19 4.04±1.02 4.32 ± 1.33[43] NeurlPS（2020）81.94± 5.66 3.82±1.29 5.00 ± 2.09ISSOC [9] PMB（2021）75.80± 5.49 4.72±0.98 5.08 ± 1.2479.02±6.30 3.82±1.51 3.91 ± 2.0183.83±5.14 3.71±0.78 3.36±1.11北京谱仪[8] ECCV（2020）69.70± 10.83 6.14±2.46 6.17 ± 2.73AffinityNet [2] CVPR（2018）69.22± 10.32 6.63±2.84 6.96 ± 4.03大小损失[16] MIA（2019）73.98±6.393.76±1.78 4.47 ± 2.64CONTA [43] NeurlPS（2020）72.47± 14.86 5.25±1.93 5.25 ± 2.48IRNet [1] CVPR（2019）63.73± 14.11 8.21±3.13 8.39 ± 3.23ISSOC [9] PMB（2021）68.40± 10.48 6.300±2.49 6.090 ± 3.23P-CAM（我们的）C-CAM（我们）北京谱仪[8] ECCV（2020）69.10± 11.96 6.70±3.73 7.16 ± 4.94AffinityNet [2] CVPR（2018）77.81± 6.68 4.77±1.90 4.81 ± 2.03大小损失[16] MIA（2019）76.96± 9.14 4.75±2.13 5.29 ± 3.72CONTA [43] NeurlPS（2020）73.89± 9.95 5.78±3.37 5.81 ± 4.99IRNet [1] CVPR（2019）73.73± 9.82 6.05±2.62 6.21 ± 3.07ISSOC [9] PMB（2021）76.82± 7.95 4.62±1.52 4.01 ± 1.77P-CAM（我们的）C-CAM（我们）北京谱仪[8] ECCV（2020）79.62± 7.33 6.49±3.78 6.96 ± 3.94AffinityNet [2] CVPR（2018）85.54± 5.40 4.13±1.71 4.19 ± 1.86大小损失[16] MIA（2019）86.21± 4.43 3.94±1.35 3.92 ± 1.77CONTA [43] NeurlPS（2020）85.17± 5.06 3.93±2.60 3.91 ± 3.07IRNet [1] CVPR（2019）84.05± 4.16 4.94±1.47 5.23 ± 1.64ISSOC [9] PMB（2021）86.01± 5.03 3.93±2.14 3.93 ± 2.17P-CAM（我们）C-CAM（我们的）表3.所提出的方法与ProMRI上最先进的WSSS方法的比较比较了整个腺体和前列腺体积的三个子区域根据前列腺大小划分子区域，包括顶端、中间腺和基底子区域。前列腺大小分三个亚区：顶、底、中。<<0.90.80.70.60.50.40.30.20.10阈值双曲边问题C-CAM的显著图在ProMRI和ACDC数据集上都具有前景和背景之间的清晰边界此外，如图9和图10所示，在解剖学因果关系的帮助下，共现问题得到显著缓解。更多的结构可视化如图所示7 .第一次会议。最后，C-CAM的显著性图具有较少的错误激活区域。图8.不同方法对背景阈值的灵敏度说明折线图显示了不同方法的显著性图的准确性，不同数据集上具有各种背景阈值（左：ProMRI，右：ACDC）。对不相关背景区域的检测，进一步验证了C-CAM的优越性。4.7. 与其他WSSS方法的为了进一步评估我们提出的C-CAM的有效性，使用伪分割模板进行训练，DSC0.90.80.70.60.50.40.30.20.10凸轮GradCAMGradCAM++AblationCAMEigenCAMLayerCAMC-CAM阈值0.050.150.250.350.450.550.650.750.850.95DSC0.050.150.250.350.450.550.650.750.850.95C-CAM（Ours）方法出版年份DSC（%）↑ASD（mm）↓MAD（mm）↓北京谱仪[8]AffinityNet [2]ECCV（2020）CVPR（2018）73.99 ±6.785.16 ±2.095.18±1.5911684CAMGrad-CAMGrad-CAM++LayerCAMC-CAM最高DSC为83.83%，最低标准偏差为5.14%。在两个其他 度 量 平 均 表 面 距 离 （ ASD ） 和 平 均 绝 对 距 离（MAD）[36]方面为了验证在不同对象尺寸上的性能，在整个腺体的三个子区域上明确地比较了前列腺体积。子区域分别表示为顶点、基部和中间，具有增量对象大小。对于三个子区域，我们可以看到，我们的方法在中部腺体和基部子区域执行相当对于顶点子区域，我们的方法实现的性能略低于SizeLoss [16]。原因在于SizeLoss使用地面真实值来生成弱标签，这避免了错误定位，特别是对于小尺寸的对象。然而，我们的C-CAM生成的伪掩模显着地图没有地面真理，这可能会产生很大的定位误差为小ob-bed。在ACDC数据集上的分割性能也进行了评估。我们的C-CAM实现了最佳性能图9. ProMRI的不同方法显着图的可视化。黄色曲线代表地面实况。图10. ACDC的显着性图的可视化（有/无类别因果关系和解剖学因果关系）黄色曲线代表地面实况。DSC（ % ） ↑ASD （ mm ） ↓MAD（mm）↓北京谱仪[8] 77.53± 11.20 2.49±1.41 2.92 ± 2.54AffinityNet [2] 80.17± 8.05 2.281.08±1.97 2.68 ±1.97尺寸损失[16] 80.95± 8.57 2.531.58 ± 3.31 ±3.02IRNet [1] 74.67± 14.91 2.79±1.39 3.02 ± 1.86CONTA [43] 83.51± 8.32 1.981.80 ±0.54ISSOC [9] 81.65± 9.57 2.60±1.66 3.46 ± 3.02P-CAM（我们的） 75.88± 8.70 2.78 ±1.322.89±2.30C-CAM（我们的） 87.54±7.77 1.62 ±0.41 1.17 ±0.24表4.比较所提出的方法与国家的最先进的WSSS方法的ACDC。全面监管的U-Net模式。最后将实验数据的分割结果与其他几种最新的WSSS方法进行了比较。由于其他一些方法是针对自然图像设计的，因此这些方法的代码选项卡. 3给出了定量比较结果。对于整个前列腺，我们的C-CAM得到在所有三个指标方面，如表中所示。4.第一章上述实验结果表明，我们的C-CAM显着提高分割的性能。5. 结论和今后的工作在本文中，我们提出了一种因果CAM方法的WSSS医学图像。在分析医学图像WSSS因果关系的基础上，我们设计了C-CAM集成两个因果链，以生成准确的伪分割掩模。分类因果链的设计是为了缓解模糊边界的问题解剖-因果链是为了解决共现问题而设计的C-CAM生成的显著图不仅前景和背景边界清晰，而且与解剖学知识保持一致。在ProMRI、ACDC和CHAOS数据集上，C-CAM的显著性图优于六种最先进的CAM类方法使用我们的伪掩码训练的分割网络U-Net在ProMRI和ACD-C数据集上实现了最先进的性能然而，所提出的C-CAM难以分割具有复杂形状的物体。在未来的工作中，有可能将少量的强注释和大量的弱注释相结合，以提供更准确的类别和解剖信息。确认这项工作得到了国家自然科学基金的部分支持，62173269和61876148、陕西省自然科学基础研究计划项目（批准号：2022JM-324）、陕西省重点研究发展计划项目（批准号：2020GXLH-Y-008）、陕西省社会科学基金项目（批准号：2020GXLH-Y-008）、陕西省自然科学基础研究计划项目（批准号：2022JM-324）、陕西省自然科学基础研究计划项目（批准号：2020GXLH-Y-008）、陕西省自然科学基础研究计划项目（批准号：2022JM-324）、陕西省自然科学基础研究计划项目（批准号：20222JM-324）、陕西省自然科 学 基 础 研 究 计 划 项 目 （ 批 准 号 ： 2020GXLH-Y-008）、陕西省自然科学基础研究计划项目（批准号：2020GXLH-Y-008）、陕西省自然科学基础研究计划2021K014C-CAM纯CAM11685引用[1] Jiwoon Ahn，Sunghyun Cho，和Suha Kwak.具有像素间关系的实例分割的弱监督学习在IEEE/CVF计算机视觉和模式识别会议论文集，第2209-2218页七、八[2] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。在IEEE计算机视觉和模式识别会议论文集，第4981-4990页一二六七八[3] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。重点是什么：带有点监督的语义分割。欧洲计算机视觉会议，第549-565页。施普林格，2016年。2[4] Olivier Bernard ， Alain Lalande ， Clement Zotti ，Frederick Cervenansky，Xin Yang，Pheng-Ann Heng，Irem Cetin ， Karim Lekadir ， Oscar Camara ， MiguelAngel Gonzalez Ballester，et al. Deep learning techniquesfor automatic mri cardiac multi-structures segmentation anddiagnosis：Is the problem solved？IEEE transactions onmedical imaging，37（11）：2514-2525，2018。5[5] NicholasBloch， AnantMadabhushi， HenkjanHuisman ， John Freymann ， Justin Kirby ， MichaelGrauer ， Andinet En- quobahrie ， Carl Jaffe ， LarryClarke，and Keyvan Farahani. Nci-isbi 2013挑战：前列腺结构的自动分割癌症影像档案，370：6，2015。5[6] 丹尼尔·卡斯特罗伊恩·沃克和本·格洛克 医学成像中的因果关系很重要。Nature Communications，11（1）：1-10，2020。3[7] AdityaChattopadhay ， AnirbanSarkar ， PrantikHowlader ， and Vineeth N Balasubramanian. Grad-cam++：深度卷积网络的一般化基于梯度的视觉解释。2018年IEEE计算机视觉应用冬季会议（WACV），第839-847页。IEEE，2018年。1、6[8] 陈丽怡，吴薇薇，付晨晨，韩晓，张运涛.具有边界探索的弱监督语义分割。欧洲计算机视觉会议，第347-362页Springer，2020年。一、二、七、八[9] 张晨，田志强，郑耀月，司翔宇，秦晓蕾，钟石，郑帅.具有置信度线索的人体器官图像级监督分割。Physics in Medicine Biology，66（6）：065018，2021.七、八[10] 戴季峰、何开明、孙建。Boxsup：利用边界框来监督卷积网络进行语义分割。在Proceedings of the IEEEinternational conference on computer vision ， 第 1635-1643页，2015年。2[11] Adrian V Dalca，John Guttag，and Mert R Sabuncu.用于非监督生物医学分割的卷积网络中的解剖学先验。在IEEE计算机视觉和模式识别会议论文集，第9290-9299页，2018年。3[12] 许正春、许光瑞、蔡中琪、林燕玉、庄永玉弱监督实例分割使用边界框紧密性先验。进展神经信息处理系统，32：6586-6597，2019。3[13] 黄子龙、王兴刚、王佳思、刘文宇和王京东。基于深度种子区域生长的弱监督语义分割网络。在IEEE计算机视觉和模式识别会议论文集，第7014-7023页，2018年。一、二[14] Peng-Tao Jiang，Chang-Bin Zhang，Qibin Hou，Ming-Ming Cheng，and Yunchao Wei.Layercam：探索本地化的分层类激活映射。IEEE传输图像处理。，30：5875-5888，2021. 1、6[15] A Emre Kavur，N Sinem Gezer，Mustafa Barıs，SinemAslan，Pierre-Henri Conze，Vladimir Groza，Duc DuyPham ， SoumickChatter j ee ， PhilippErnst ， S av asOüzkan，etal. 混乱挑战组合（CT-MR）健康腹部器官分割。医学图像分析，69：101950，2021。5[16] Hoel Kervadec，Jose Dolz，Meng Tang，Eric Granger，Yuri Boykov，and Ismail Ben Ayed.弱监督分割的约束cnn损失。医学图像分析，54：88-99，2019。七、八[17] Anna Khoreva 、 Rodrigo Benenson 、 Jan Hosang 、Matthias Hein和Bernt Schiele。很简单：弱监督实例和语义分割。在IEEE计算机视觉和模式识别会议论文集，第876-885页，2017年。2[18] Alexander Kolesnikov和Christoph H Lampert。种子，扩展和约束：弱监督图像分割的三个原则。欧洲计算机视觉会议，第695-711页。施普林格，2016年。一、二[19] Jungbeom Lee、Eunji Kim、Sungmin Lee、Jangho Lee和Sungroh Yoon。Ficklenet：Weakly and semi-supervisedse-mant