半监督结肠息肉分割的集中和分散表示学习模型

3489半监督息肉分割吴慧思1陈桂莲1文振坤1秦静2深圳大学2香港理工大学摘要结肠镜图像中息肉的自动分割是结肠癌计算机辅助诊断的重要步骤近年来报道的大多数息肉分割方法都是基于全监督深度学习的。然而，医师在诊断期间对息肉图像进行注释是耗时且昂贵的。在本文中，我们提出了一种新的半监督息肉分割，通过合作和对抗学习的集中和分散表示学习模型，其中集中和分散提取模块用于处理息肉的位置和形状的多样性。此外，在对抗训练框架中由鉴别器产生的置信图显示了利用未标记数据和提高分割网络性能的有效性。一致性正则化被进一步用于优化分割网络，以增强聚焦和分散提取模块的输出的表示。我们还提出了一个辅助对抗学习方法，以更好地利用未标记的例子，以进一步提高语义分割的准确性。我们在两个著名的息肉数据集上进行了广泛的实验：Kvasir-SEG和CVC-Clinic DB。实验结果表明，该模型的有效性，始终优于最先进的基于对抗训练的半监督分割模型，甚至一些先进的全监督模型。1. 介绍息肉的自动分割在结直肠癌（CRC）的计算机辅助诊断中起着关键作用，结直肠癌是世界上最常见的癌症类型之一[26]。 对于息肉，结肠镜检查是一种重要的检测方法，可以帮助切除息肉，并大大防止它们发展为CRC。近年来，卷积神经网络（CNN）在图像分割中表现出了优异的性能站任务。语义分割的目的是为图像中的每个像素分配一个标签，以便使用具有相同标签的像素来推断想要的目标。对于语义分割任务，基于深度学习方法的大多数方法可以用于不同的医疗任务[6，29，33，34，36]，如血管、皮肤病变、肺结节和细胞核的分割。相对于医生在诊断过程中手工分割的耗时性和主观性，医学自动分割在计算机辅助诊断（CAD）中有着巨大的优势和发展潜力。然而，缺乏大量的用于训练的像素级注释是自动医学分割任务的巨大挑战对诸如息肉的形状、纹理和外观位置不同的医学数据进行注释总是需要大量的时间和精力，这导致息肉分割的挑战性任务通常在一些医学图像分割任务中，为模糊图像中的每个像素分配正确的标签是非常困难的。然而，获取模糊图像的全局信息可以有效地解决分割任务中目标与背景的区分问题。为此目的，提出了非局部网络[31]，以使用自注意机制[28]对长程依赖性进行建模。此外，Cao et al.[3]提出了一种新的通用网络的实例化，称为全局上下文（GC）块，其通过在每一步结合非局部（NL）块和挤压和激励（SE）块的最佳实现[11]。此外，卷积块注意模块（CBAM）为前馈CNN提供了一种简单而有效的注意机制[32]。但这些区分目标和背景的方法都是针对成对的医学图像及其真实图像的。近年来，针对标注数据的不足，提出了各种半监督方法。Hung等人。[13]通过使用分割网络和鉴别器网络来采用对抗学习，以基于未标记图像的分割预测生成置信度图作为监督信号。3490nals来训练分段网络。另一种对抗训练方法可以通过使用虚拟对抗正则化在[22]中找到。此外，一致性方法广泛用于分类任务和分割任务的半监督训练[15，24，27]。图像扰动的增强方法也证明了它们用于评估半监督正则化器的有效性[9]。在本文中，考虑到息肉的特点和像素级标注的限制，我们提出了一种新的半监督息肉分割方法，该方法使用具有两个不同特征提取模块的协作分割网络来捕获息肉的位置和边缘信息，并使用类似于[13]的对抗学习方法和另一种辅助对抗学习方法来微调息肉的位置和边缘信息。使用未标记的图像分割网络。我们在Kvasir数据集[14]和CVC-Clinic DB[2]上进行了广泛的实验来评估我们的方法，实验结果表明了我们方法的有效性。我们的贡献总结如下：• 我们提出了一种新的半监督息肉分割方法我们提出了两个提取模块，FEM和DEM，分别在两个分割网络的编码路径。FEM允许我们的网络捕获输入特征图的集中信息，如位置信息和空间信息，而DEM试图聚集输入的分散边界信息• 我们通过对抗训练方法同时训练两个分割网络和一个带有标记图像的鉴别器网络。在一致性约束的帮助下，我们可以利用FEM和DEM的两个特征图的优势，通过训练的鉴别器网络产生具有高可信度的置信度图。在半监督训练阶段中基于未标记图像生成的置信度图可以用作监督信号以微调分割网络。• 提出了另一种对抗性训练方法，称为辅助对抗性学习（AAL），以提高半监督训练阶段未标记图像的分割预测质量我们采用了一种新的鉴别器，为标记图像的分割结果分配真标签，为未标记图像的预测分配使用AAL，我们可以获得具有更高可信度的置信图，这些置信图可以更好地用于分割网络。2. 相关工作2.1. 基于CNN的息肉分割息肉的分割和识别对于防止患者因结直肠癌而死亡至关重要。Alexander等人[21]提出了基于二进制分类和预选择来识别视频序列中的息肉，这需要预定义的图像特征。在过去几年中，U-Net[25]已成功应用于许多医学语义分割任务和应用，其基于众所周知的编码器-解码器架构，以从输入数据中获得位置和上下文信息并推断相对预测。类似地，提出了许多基于U-Net结构的修改和改进以增强分割性能[1，10，18，30，39]。对于自动息肉分割任务，还开发了几种代表性网络，以从不同方面改善息肉分割性能，包括ResU-Net[14，37]，U-Net++[40]，PraNet [7]和HardDNet-MSEG[12]。 ResU-Net应用残差块来补充息肉的位置信息，而HarDNet-MSEG由HarDNet 68的编码器[4]和级联部分解码器的解码器[35]与感受野块[20]组成，以提高准确性和推理速度。此外，PraNet采用了三个反向注意力模块与并行的部分解码器连接，以加强息肉分割的区域边界然而，这些方法是基于完全监督的训练策略。全监督方法通常需要足够的标记医学样本用于训练，但是注释诸如息肉图像的医学数据通常是昂贵且耗时的。因此，半监督分割方法是一个更好的方向，以达到令人满意的精度从有限的标记图像的息肉分割2.2. 半监督训练由于缺乏可用于训练的标记图像，半监督方法转向利用未标记的数据来获得有用的信息。例如，Li etal.[17]提出了一种用于皮肤病变分割任务的半监督网络，它只使用了几种完全监督方法的类似性能。类似地，几种伪标记方法[16，38]也成功地从未标记的数据中提取有用的信息以增强模型训练。对于半监督分割任务，还提出了几种代表性的对抗性学习方法[13，23]，Hung3491图1. 我们提出的合作和对抗学习框架。在监督训练阶段，应用配备有聚焦提取模块（FEM）和分散提取模块（DEM）的两个协作分割网络来生成第一鉴别器网络的预测在半监督训练阶段，还采用辅助鉴别器网络，通过最小化由于数据不平衡而导致的第一鉴别器的偏差来微调协作分割网络。ing.生成对抗网络（GAN）方法[23]也产生了真实的假例子，以防止过度拟合分割3D多模态图像。然而，传统的半监督对抗学习方法通常只包含一个分割网络来实现生成器，这可能会因为过于强调目标方面而导致偏差。结果，从分割准确性差的模型获得的信息可能从未标记的数据生成错误的引导。在本文中，我们采用两个协作分割网络来克服这一弱点。另一方面，传统的对抗训练框架通常也只使用一个鉴别器来训练有限的标记数据，这也容易遭受标记和未标记数据之间的不平衡，导致来自未标记数据的有效信息较少为了克服这一局限性，我们进一步应用一个其他的训练模块作为辅助训练模块，以提高未标记数据的利用率。3. 方法我们提出的协作和对抗学习方法的框架如图1所示，其中在两个对抗学习阶段下训练两个协作分割网络。3.1. 协作细分网络与传统的完全监督网络不同，传统的完全监督网络通常使用足够的标记图像进行训练，一般-我们的用于息肉分割的半监督框架中的TOR仅利用有限的标记图像。我们观察到单一分割网络在设计网络时，特别是在有限的标记图像的不足条件由于在半监督训练阶段没有像地面真值这样的参考，单段网络方法无论正确与否都必须接受来自未标记数据的信息显然，基于偏差或错误预测的未标记数据的不准确置信度图可能在接下来的半监督训练阶段具有误导性指导。为了实现更准确和稳定的生成器，我们在我们的半监督框架中使用两个协作分割网络，它们在相互一致性约束损失下进行优化如图1所示，我们应用两个协作分割网络来分割息肉图像，并且应用一个鉴别器来根据分割结果或地面实况创建置信度图聚焦提取模块（FEM）。准确识别息肉的定位和位置特征是息肉分割任务中的一个重要方面。给出了U-Net中原始编码器各层提取的特征图，我们引入了FEM来进一步从结肠镜图像中提取息肉的聚焦位置特征。如图2所示，我们的FEM首先基于平均池[19]和全局注意力池（GAP）[3]聚合空间和全局上下文特征。基于在-3492×图2. 集中提取模块。通过基于平均池化和全局注意力池化的空间和全局上下文特征聚合，FEM可以有效地从结肠镜图像中提取息 肉的聚焦位置和形 状特征。此外， 瓶颈变换（BT）也被应用到减少参数的数量，以捕捉通道的依赖关系，我们不仅可以减少过拟合的风险，但也获得了更好的优化效率。注意力权重[32]从平均池化和GAP计算，我们可以进一步执行注意力池化操作以获得全局上下文特征，其主要关注息肉的位置特征。此外，为了最小化过拟合的风险并实现更好的优化效率，我们还在平均池化和GAP之后引入瓶颈变换（BT）以减少用于捕获通道依赖性的参数的数量，其中在ReLU操作之前在瓶颈变换内部应用层归一化。显然，BT块与挤压和激发（SE）块中的激发操作具有类似的效果[11]。最后，我们通过合并两个特征向量并基于广播元素求和和sigmoid激活聚集全局上下文特征来获得聚焦特征。分散提取模块（DEM）。准确捕捉息肉的边界特征是息肉分割任务中的另一个重要方面。与FEM分割息肉时明显掩盖了较为分散的边界特征不同，DEM的实现强调类似地，我们也采用DEM到给定的特征图中提取的每一层的原始编码器中的U-Net。如图3所示，我们的DEM首先应用三个扩张卷积从输入特征图中提取色散信息，其中扩张卷积具有相同的小核大小33，但扩张率不同（r=1，2，5）。在ad-此外，还采用了最大池化操作，以更好地推断三个分散的特征图内的通道式注意力为了对逐通道表示进行编码，我们进一步在每个提取的色散特征图上应用全连接层（FC）最后，我们可以基于广播逐元素乘法获得聚合的分散特征图，其中重要的分散边界特征点在我们的DEM的输出中被加强。协作学习。与大多数前向半监督框架在生成器中通常依赖于单个分割网络，并且在有限的标记图像的指导下容易产生偏差不同，我们的生成器可以减少偏差并增强图3. 分散提取模块。通过提取基于三种不同的扩张卷积，其次是最大池操作和全连接层（FC）的分散特征，DEM更加注重聚合分散的边界特征的息肉分割。通过两个协作分割网络之间的协作学习的分割鲁棒性。具体来说，我们首先应用基于FCN[13]的置信度图，根据两个协作网络的分割结果生成置信度图在监督训练阶段，我们对FEM网络和DEM网络生成的置信度图施加一致性约束，确保目标感兴趣区域相似，这不仅增强了特征表示，而且通过协同学习减少了单一分割网络的偏差。此外，不同置信度图上的骰子损失被用来促使两个协作分割网络的结果等于地面真相。因此，在协作分割网络的帮助下，鉴别器可以产生比在监督训练阶段训练单个分割网络在半监督学习中显然，我们对置信度图的一致性约束仍然提供了加强信号，以根据两个协作分割网络之间的目标感兴趣区域的共享权重来微调分割网络。3.2. 初级和辅助对抗学习初级对抗学习。在监督训练阶段，我们框架中的第一个鉴别器不仅被训练来生成置信图，而且还负责执行初级对抗学习。在这种对抗训练过程中，主判别器认为基于地面实况生成的置信度图是可信的，而从两个协作网络的结果生成的置信度图是不可信的。通过持续训练，协作网络试图通过产生非常接近地面实况的置信度图来欺骗鉴别器。因此3493×××Y·ΣΣ^S（f，d）=D（S（f，d））>T·Yi i1 iisemi2图4. 辅助对抗学习（AAL） 为了提高半监督阶段未标记图像的分割置信度，训练辅助判别器网络，区分标记图像和未标记图像的分割结果。在初级对抗学习之后，基于协作网络生成的置信度图可能更容易被接受，这也通过产生更有效和稳定的分割结果而相反地提高了分割网络的准确性 对于半监督训练阶段的未标记数据，我们还可以根据两个协作网络的分割预测从训练好的鉴别器网络中获得相应的置信度图，如图1所示。然而，如果用于训练鉴别器网络的标记图像非常有限，并且未标记数据的量远大于标记数据的量，则主鉴别器可能为具有不足的置信度的未标记图像生成置信度图。在半监督训练阶段中，训练的初级分割网络和进一步微调的协作分割网络。3.3. 损失函数协作细分损失。给定分辨率为H W的输入图像X i3、我们可以获得分别通过平均池化和全局注意力池化为FEM网络的两个聚焦特征向量Vavg和Vglb通过应用BT操作来捕获通道依赖性，并利用广播元素添加进行特征融合，我们最终可以获得聚焦特征图fi，写为fi=δ（αb2ReLU（LN（αbl（Vavg，Vglb）（1）其中δ表示S形函数;α b1和α b2表示11卷积。类似地，我们可以获得色散映射di，写为3di=F C（Vrj）（2）j=1其中，Vrj表示经由三个不同的扩张卷积和最大池化获得的三个色散特征向量中的一个在监督训练阶段，用于训练协作分割网络的Dice损失可以写为信心，这可能会产生误导性的指导我掷骰子 =.1−2|S（fi）TYi|Σ+。1−2|S（di）TYi|Σ（3）半监督训练阶段。 以最小化|+的|Yi|Yi||+的|Yi|Yi|为了解决标记数据和未标记数据不平衡问题的影响，我们进一步引入了辅助鉴别器，并利用辅助对抗学习（AAL）来弥补由于标记息肉图像有限而导致的主鉴别器训练不足的问题。辅助对抗学习（AAL） 灵感来自其中S（fi）和S（di）分别表示FEM网络和DEM网络的输出Yi表示地面实况图像。对于监督训练阶段中的对抗训练，损失Ladv被公式化为L=−。 Σlo g. D（S（f））（h，w）n+n g. D（S（d））（h，w）Σ基于生成式对抗网络（GAN）的基本原理，提出了一种在半监督训练阶段的AAL算法来提高网络的性能。Adv1我h，wh，w1我（四）证明了未标记数据的分割性能，并缓解了由于有限的标记图像而导致的训练不足的初级鉴别器。如图4所示，AAL充当辅助鉴别器，其被训练以通过分别判断标记图像的分割为真和未标记图像的分割为假来区分分割结果。通过对辅助鉴别器的对抗训练，FEM网络和DEM网络的协同工作有利于优化未标记图像的分割结果的质量和置信度，并产生与标记图像相似的分割结果的质量和置信度。通过促进协作分割网络生成具有高质量的结果，标记和未标记图像的对应置信度图可以更可信。因此，我们最终可以获得一个更好的其中D1（）表示完全卷积鉴别器网络。此外，我们还对D1（S（fi））和D1（S（di））应用一致性约束来训练我们的协作分割网络，并将一致性损失LC公式化为LC=D1（S（fi））−D1（S（di））（5）显然，上述均方误差（MSE）损失可以用作标记图像的监督训练以及未标记图像的半监督训练中的一致性损失。此外，我们还将未标记图像的置信图重塑为具有与分割预测相同的分辨率，并且将信号图S’表示为（h，w）（h，w）我h，w（六）3494（h，w）^ ^您的位置：TΣΣCh，w我我1−|S（f）|+的|S′（f）|Adv2我2我D12我1我2CLD22D2i2i其中，如果当前点的位置与argmaxS（fi，di）（h，w）相同，则Y i是逐元素设置的，其中Y i= 1。在其中，如果分割结果从未标记的图像中提取，则yi=0，而如果分割结果是未标记的图像中提取的，则yi=1。我们的实验，T半= 0。2是用于控制从标记的图像产生什么的阈值。 λ D2和λ′D是两个权值各种观点都可以相信。到目前为止，我们可以将辅助鉴别器网络的交叉熵损失应用于分别在信号图和置信度图上进行离散损失和一致性损失，对FEM网络和DEM网络进行微调，形成半监督损失，工作 λ D2，λ′D机具.分别设定为0.01及0.05. .2|S（f）T S′（f）|Σ4. 实验4.1.数据集和评估指标我我（七）.1− 2|S（di）S′（di）||S（di）|+的|S′（di）|+L取消标记数据集。 我们在两个著名的息肉数据集上评估了所提出的方法，包括Kvasir-SEG [14]和CVC-Clinic DB[2]。Kvasir-SEG包含1000个息肉为了提高半监督训练中未标记数据的置信度图的质量，我们的辅助对抗损失被写为L′=−。Lo g. D（S（f））Σ+10 g. D（S（d））Σ（8）最后，我们得到了训练协同分割网络的总体损失，如下所示具有由有经验的胃肠病学家手动分割的地面实况的图像。CVC-Clinic DB还包含612个带有相应注释的息肉图像。每个图像包含不同数量的息肉，具有不同的大小和形状。在我们的实验中，我们还执行了3种数据增强以避免过拟合，包括水平翻转、垂直翻转和[-30，30]度之间的随机旋转。在我们的消融研究中，我们-L片段=L切割+L标签+λadvLadv+λ′advL′adv+λsemi半（九）domly将数据集分为30% / 50% / 10% / 10%，用于监督训练，半监督训练，验证和其中λadv和λ′adv分别是监督训练阶段和半监督训练阶段两种对抗损失的权重λsemi是半监督损失的权重在我们的实现中，我们设置λ adv=0。01，λ′adv=0.001且λ semi=0。1分别。鉴别器损失 [13]如《我通过最小化空间交叉熵损失来训练所述主鉴别器，所述空间交叉熵损失被写为分别测试指标. 我们采用三个最常用的医学图像分割任务的指 标 来 评 估 我 们 的 方 法 ， 包 括 骰 子 系 数 ， IoU 和MAE。基于平均绝对偏差的MAE能准确反映网络的实际预测误差。Dice coefficient计算输入和目标的相似度，IoU计算交集面积，在一定程度上可以反映分割预测L=−1。Σ（1−y）lo g.1−D（S（f））（h，w）+Σ（1−yi）lo g.1−D1（S（di））（h，w）ΣΣ+yilo g.D1（Yi）（h，w）Σ（十）我 们使 用PyTorch 框 架在 两 个具 有24 GB 内 存的NVDIA GeForce RTX 2080TI上实现了我们提出的模型。我们首先用标记的图像训练我们的模型100个时期，然后执行主要的adver-其中，如果样本是从段a中提取的，则yi=0如果样本来自地面实况标签，则yi=1。此外，D1表示产生置信图的鉴别器.代替产生置信图，辅助判别器D2产生值0（对于假）或1（对于真）。我们可以将其交叉熵损失公式化为使用标记和未标记图像进行sarial训练。在训练200个时期之后，将来自未标记图像的置信图转换为监督信号，并使用辅助对抗学习来训练我们的模型300个时期，以微调协作分割网络。批量大小设置为8，所有输入均为uni-在两次监督训练期间，正式调整为384×384L=−1λ..（1−y）lo g.1−D（S（f））+半监督训练。为了训练分割网络，我们采用了Adam优化器来减少学习率为lr=7e−4的总参数。L半=+h，w4.2.实现细节23495ΣΣ（1−yi）lo g.1−D2（S（di））Σ+同样，为了训练鉴别器网络，我们还采用Adam优化器，学习率lr=3e-4。1′。.Σ。分割网络的学习率和判别2λD2yi日志D2（S（fi））+yilogD2（S（di））（十一）nator网络在多项式衰减后退火，功率为0.9 [5]。3496图5.消融研究中采用不同方法提取的特征图的视觉比较（a）输入图像。（b）基本真相。(c)基线。(d)基线+FEM。(e)基线+DEM。表1. Kvasir-SEG数据集消融研究中不同模型的统计学比较。4.3. 消融研究我们采用Hung通过将FEM和DEM分别添加到基线，我们可以获得两个竞争对手（基线+FEM和基线+DEM），并观察所提出的特征增强模块的影响。通过同时将FEM和DEM网络装备到基线，我们可以获得另一个竞争者（基线+FEM+DEM）以评估协作分割网络的有效性。最后，通过在Baseline+FEM+DEM方法的基础上加入AAL来实现该方法，进一步证明了辅助对抗学习的优势为了可视化FEM和DEM对有限元分析的影响 在实际提取数据的基础上，分别采用基线、基线+FEM和基线+DEM三种方法对验证数据集进行了特征提取，并绘制了特征图。图5显示了不同竞争对手提取的典型特征图。 为了证明AAL在提高分割精度方面的能力，我们还比较了有和没有AAL的模型之间的分割结果。 典型的挑战性案例如图6所示。该方法基于两个协同分割网络，可以同时提取集中和分散特征，并获得更好的分割精度。甚至在不使用AAL的情况下也比基线更活泼。此外，我们还通过收集验证集上的平均Dice，IoU和MAE，对不同竞争对手如表1所示，我们可以看到FEM和DEM分别将具有平均骰子的基线分割的性能提高了1.64%此外，我们的方法获得了很多图6. 消融研究中有和无AAL的分割结果的视觉比较。(a)输入图像。(b)地面真相(c)基线。(d)我们的方法没有AAL。(e)我们的方法与AAL。红色、绿色和黄色区域分别表示地面实况、预测和它们的重叠区域。表2.不同方法在Kvasir- SEG数据集上的统计比较比竞争对手仅使用一个分割网络的准确性更好，这意味着我们的具有一致性约束的协作通过比较表1中底部两行的结果，我们还可以观察到AAL在提高分割准确性方面的优势4.4. 与最先进方法的为了进一步验证我们提出的方法的优越性，我们将其与Kvasir-SEG和CVC-Clinic DB上的七种最先进的方法进行了比较，包括六种全监督网络（ResU-Net[37]，U-Net++[40]，CE-Net [10]，CPF-Net[8]，PraNet[7]和HardDNet-MSEG [12]）和一种半监督网络（Hung方法[13]）。为了确保比较的公平性，我们在两个具有24 GB内 存 的NVDIA GeForce RTX 2080 TI上 使 用 相 同 的PyTorch框架实现了所有竞争者，并进行了相同的增强操作。在我们的实验中，除了六个完全监督的竞争对手，其他两个半监督网络使用15%的标记数据或30%的标记数据进行训练以进行比较。与完全监督的竞争对手相比，我们可以观察到我们的方法优于ResU-Net和U-3497图7.比较Kvasir-SEG和CVC-Clinic DB的不同最新方法（a）输入图像。（b）地面实况。（c）ResU-Net。(d)U-Net++。(e)CE-Net。(f)CPF-Net。(g)PraNet。(h)HardNet-MSEG。(i)我们的了请注意，我们的半监督息肉分割方法仅使用30%的标记数据进行训练，仍然可以与其他六个完全监督网络实现相当的性能红色、绿色和黄色区域分别表示地面实况、预测和它们的重叠区域。图8. 故障案例。红色、绿色和黄色地图分别表示地面实况、我们的预测和重叠区域。我们的模型使用Kvasir-SEG数据集上的30%标记数据进行训练。表3. CVC- Clinic DB上不同方法的统计学比较。Net++只依赖30%的标记数据。根据三种标准对不同竞争对手进行的统计比较如表2和表3所示。在典型的挑战性案例中，与不同的完全监督竞争对手进行的视觉比较如图7所示。与在生成器中仅使用单个分割网络的半监督竞争者相比，我们的方法在视觉和统计比较方面通常也优于Hung另一方面，我们的方法也有一定的局限性。如图8所示，我们的方法仍然不能很好地处理息肉非常大并且息肉周围的颜色对比度非常低的极端挑战性情况。一个潜在的未来方向是扩大我们的合作和对抗性学习框架来解决具有类似的有限标记数据的视频5. 结论在这项工作中，我们提出了一种新的半监督对抗学习方法息肉分割。具体来说，我们引入了基于对抗训练架构的具有聚焦提取模块（FEM）和分散提取模块（DEM）的协作分割网络。此外，我们提出了一种辅助对抗学习方法，以消除标记和未标记数据量不平衡的影响。同时采用协作学习和对抗学习两种在Kvasir-SEG和CVC-Clinic DB上的实验结果表明了该模型的有效性。在未来，将探索更多的协作和对抗学习机制，以更好地利用未标记的数据。3498引用[1] Bhakti Baheti、 Shubham Innani、 Suhas Gajre 和SanjayTalbar。Eff-unet：非结构化环境中语义分割的新架构。在IEEE/CVF计算机视觉和模式识别研讨会会议论文集，第358-359页[2] 乔·格·伯纳尔，FJa vierSa'nchez，GloriaFer na´ ndez-Esparrach ， Debora Gil ， Cristina Rodr´ıguez ， andFernando Vilar in´ o. Wm-d ova p用于结肠镜检查中准确的息肉突出显示：验证与来自医生的显著性图。计算机化医学成像和图形，43：99[3] 曹岳、徐佳瑞、林斯蒂芬、魏方云和韩虎。Gcnet：非局部网络满足挤压激励网络及其他网络。在IEEE计算机视觉研讨会国际会议论文集，第0[4] 赵平、高朝阳、阮玉山、黄建祥、林永隆。Hardnet：低内存流量网络。在IEEE/CVF计算机视觉国际会议论文集，第3552-3561页[5] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834[6] Rahul Duggal 、 Anubha Gupta 、 Ritu Gupta 、 ManyaWadhwa和Chirag Ahuja。使用深度信念网络分割显微图像 在 Proceedings of the Tenth Indian Conference onComputer Vision，Graphics and Image Processing中，第1-8页[7] 范登平，季戈鹏，周涛，陈耿，傅华柱，沈建兵，邵凌。Pranet：用于息肉分割的并行反向注意力网络。医学图像计算和计算机辅助干预国际会议，第263-273页。Springer，2020年。[8] Shuanglang Feng ， Heming Zhao ， Fei Shi ， XuenaCheng ， Meng Wang ， Yuhui Ma ， Dehui Xiang ，Weifang Zhu，and Xinjian Chen. Cpfnet：上下文金字塔融合网络用于医学图像分割。IEEE Transactions onMedical Imaging，2020。[9] Geoffrey French 、 Samuli Laine 、 Timo Aila 、 MichalMackiewicz和Graham Finlayson。半监督语义分割需要强的、变化的扰动。在英国机器视觉会议，第31号，2020年。[10] Zaiwang Gu ， Jun Cheng ， Huaju Fu ， Kang Zhou ，Huaying Hao，Yitian Zhao，Tianyang Zhang，ShenghuaGao，and Jiang Liu. CE-net：用于2D医学图像分割的上下 文 编 码 器 网 络 。 IEEE Transactions on MedicalImaging，38（10）：2281[11] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集，第7132-7141页[12] 黄建祥，吴鸿宇，林永龙。硬件网络-mseg：一个简单的编码器-解码器息肉分割神经网络，实现了超过0.9平均 骰子 和 86 fps 。 ArXiv预 印本 ArXiv： 2101.07172 ，2021。[13] Wei Chih Hung，Yi Hsuan Tsai，Yan Ting Liou，Yen-Yu Lin，and Ming Hsuan Yang.半监督语义分割的对抗学习。参加第29届英国机器视觉大会，BMVC 2018，2018。[14] DebeshJha ， PiaHSmedsrud ， MichaelARie gler ， Pa˚ lHalvorsen ， ThomasdeLange ， DagJohansen ， andHa˚vardDJohansen.Kvasir-seg：分割的息肉数据集。在国际多媒体建模会议上，第451- 455462. Springer，2020年。[15] Samuli Laine和Timo Aila用于半监督学习的时间集成ArXiv预印本ArXiv：1610.02242，2016。[16] 李东贤伪标签：简单高效的深度神经网络半监督学习方法。在表征学习的挑战研讨会，ICML，第3卷，2013年。[17] Xiaomeng Li，Lequan Yu，Hao Chen，Chi-Wing Fu，and Pheng-Ann Heng.通过变换一致自集成模型的半监督皮肤病变分割。参加第29届英国机器视觉大会，BMVC2018，2018。[18] Zhuoying Li，Junquan Pan，Huisi Wu，Zhenkun Wen，and Jing Qin.基于非局部上下文引导的三维u网的高效记忆自动肾脏和肿瘤医学图像计算和计算机辅助干预，第197-206页。Springer，2020年。[19] Min Lin，Qiang Chen，and Shuicheng Yan.网络中的网络。ArXiv预印本ArXiv：1312.4400，2013。[20] 刘松涛，黄迪，等.接收域块网，用于准确和快速的目标检测。在欧洲计算机视觉会议（ECCV）的会议记录中，第385[21] Alexander V Mamonov ，Isabel N Figueiredo，Pedro NFigueiredo，and Yen-Hsi Richard Tsai.结肠胶囊内镜中的自动息肉IEEE医学成像学报，33（7）：1488[22] Takeru Miyato、Shin-ichi Maeda、Masanori Koyama和Shin Ishii。虚拟对抗训练：用于监督和半监督学习的正则化 方法 。IEEE Transactions on Pattern Analysis andMachine Intelligence，41（8）：1979[23] Arnab Kumar Mondal ， Jose Dolz ， and ChristianDesrosiers.使用生成对抗学习的少镜头3d多模态医学图像分割。arXiv预印本arXiv：1810.12241，2018。[24] Yas sineOuali，C e'lineHudelot，andMyriamTami. 具有交叉一致性训练的半在IEEE/CVF计算机视觉和模式识别会议论文集，第12674- 12684页[25] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[26] Juan Silva、Aymeric Histace、Olivier Romain、XavierDray和Bertrand Granado。的嵌入式检测3499WCE图像中息肉对大肠癌早期诊断的价值InternationalJournal of Computer Assisted Radiology and Surgery，9（2）：283[27] 安蒂·塔尔瓦宁和哈里·瓦尔波拉。教师是更好的榜样：加权平均一致性目标改善了半监督深度学习结果。神经信息处理系统进展，第1195-1204页，2017年[28] Ashish Vaswani， Noam Shazeer ， Niki Parmar ， JakobUszko-reit ， Llion Jones ， Aidan N Gomez ， ukaszKaiser，and Illia Polosukhin.注意力是你所需要的神经信息处理系统进展，第5998-6008页，2017年[29] Shuo Wang ， Mu Zhou ， Zaiyi Liu ， Zhenyu Liu ，Dongsheng Gu，Yali Zang，Di Dong，Olivier Gevaert，and Jie Tian.中心聚焦卷积神经网络：开发用于肺结节分割的数据驱动模型。医学图像分析，40：172[30] Wei Wang，Jiafu Zhong，Huisi Wu，Zhenkun Wen，and Jing Qin. Rvseg-net：一种用于视网膜血管分割的高效特征金字塔级联网络。医学图像计算和计算机辅助干预国际会议，第796-805页。Springer，2020年。[31] 王晓龙，Ross Girshick，Abhinav Gupta，和Kaiming He.非局部神经网络。2018年IEEE/CVF计算机视觉和模式识别会议（CVPR），2018年。[32] Sanghyun Woo，Jongchan Park，Joon-Young Lee，andIn So Kweon. Cbam：卷积块注意模块。在欧洲计算机视觉会议（ECCV）的会议记录中，第3-19页[33] Huisi Wu，Junquan Pan，Zhuoying Li，Zhenkun Wen，and Jing Qin.通过自适应双重注意力模块的自动皮肤病变 分 割 。 IEEE Transactions on Medical Imaging ， 40（1）：357[34] Huisi Wu ， Wei Wang ， Jiafu Zhong ， Baiying Lei ，Zhenkun Wen ， and Jing Qin. Scs-net ： A scale andcontext sensitive network for retinal vessel segmentation.医学图像分析，第102025页，2021年。[35] 吴哲、李肃、黄清明。用于快速准确的显著对象检测的级联部分解码器。在IEEE/CVF计算机视觉和模式识别会议的论文集，第3907-3916页[36] Yading Yuan，Ming Chao，and Yeh-Chi Lo.使用具有jaccard距离的深度全卷积网络进行自动皮肤病变分割IEEE Transactions on Medical Imaging，36（9）：1876[37] Zhengxin Zhang，Qingjie Liu，and Yunhong Wang.利用深度残差u网提取道路。IEEE Geoscience and RemoteSensing Letters，15（5）：749[38] 郑哲东和杨毅。通过不确定性估计校正伪标签国际计算机视觉，129（4）：1106[39] 钟家福、王伟、吴慧思、文振坤、秦静。Polypseg：一个高效的上下文感知网络，用于结肠镜视频中的息肉分割。医学图像计算和计算机辅助干预国际会议，第285-294页。Springer，2020年。[40] Zhongwei Zhou，Md Mahfuzur Rahman Siddiquee，NimaTajbakhsh，and Jianming Liang. Unet++：用于医学图像分割的嵌套u-net架构。医学图像分析中的深度学习和临床决策支持的多模式学习，第3-11页。Springer，2018.