没有合适的资源?快使用搜索试试~ 我知道了~
2079医学图像半监督分割与分类的协同学习Yi Zhou,Xiaodong He,Lei Huang,Li Liu,Fan Zhu,Shanshan Cui andLing Shao Inception Institute of Artificial Intelligence(IIAI),阿布扎比,阿联酋{周毅,何晓东,黄磊,刘丽,朱帆,珊珊,崔玲,邵}@ inceptioniai.org摘要医学图像分析有两个重要的研究领域:疾病分级和细粒度病变分割。虽然前一个问题往往依赖于后者,但两者通常是分开研究的。疾病严重程度等级-~×101图像像素级注释数据逐像素监督病变分割逐像素监督伪病变掩模鉴别器病变注意分类对抗性学习疾病分级可以将其视为一个分类问题,只需要图像级别的注释,而病变段tation需要更强的像素级注释。然而,在这方面,约×104张图像图像级注释数据用于半监督学习的注意力地图用于医学图像的逐像素数据注释非常耗时并且需要领域专家。在本文中,我们提出了一种协作学习方法,通过具有注意力机制的半监督学习来共同提高疾病分级和病变分割的性能给定一小组像素级注释数据,多病变掩模生成模型首先执行图像语义分割任务。然后,基于大量图像级注释数据的初始预测病变图,设计了病变关注的疾病分级模型,以提高严重程度分类的准确性。同时,病变注意力模型可以使用类别特定信息来细化病变图,以半监督的方式微调分割模型。还集成了对抗架构用于训练。通过对一个称为糖尿病视网膜病变(DR)的代表性医学问题的广泛实验,我们验证了我们的方法的有效性,并在三个公共数据集上实现了与最先进方法的一致改进。1. 介绍在医学影像领域,疾病自动诊断已被广泛地研究和应用于各种实用的计算机辅助医疗系统。疾病分级[28,6,50,40]和逐像素病变分割[12,10,29]是该领域中的两个主要基本问题疾病分级的目标是预测疾病严重程度的分类标签,而分割的目标是解决更细粒度的像素级病变检测。图1.拟议的协作学习的说明半监督多病灶分割和疾病严重程度分类方法。本文对糖尿病视网膜病变的眼底图像进行了研究。这两项任务通常是独立研究的。然而,准确的病变检测可以对疾病等级分类做出巨大贡献,而类特定信息也可以有益于分割性能。标记医学图像是昂贵的,因为它需要领域专家非常耗时的奉献精神,特别是对于像素级注释。与具有大量可用注释训练数据的一般对象分割任务[23,16,45,51,8]相比,采用完全监督架构[26,9,20]来训练医学模型是不切实际的。然而,纯无监督学习方法[39,12,55]也是不可接受的,因为它们的准确性有限。因此,我们的目标是开发一种半监督方法[34,35],该方法可以使用有限数量的像素级注释图像以及大量更广泛的图像级注释,以同时增强分割和分类模型的性能在本文中,我们提出了一种协作学习方法的疾病分级和病变分割,并选择一种常见的疾病称为糖尿病视网膜病变(DR)的评估。DR是一种由糖尿病引起的眼病,并且可以导致失明。DR的严重程度可分为五个阶段:根据国际方案,正常、轻度、中度、重度非增殖性和增殖性[19,3]。严重程度分级与不同的病变症状有很强的相关性,如心肌梗死,2080L˜G˜LL眼底图像上出现动脉瘤、出血、硬渗出物和软渗出物。因此,多病变分割对于分析DR分级非常有益。然而,由于获取大量的像素级病变注释是困难的,提出了一种半监督分割方法与图像级严重程度分类联合优化。图1图示了我们提出的方法的思想。对于具有像素级病变注释的图像,我们以完全监督的方式预训练分割模型。然后,可以使大量仅具有疾病等级标签的图像通过预训练的分割模型以生成弱病变图。我们将预测的掩模与原始图像作为学习病变注意分类模型的输入。该模型既提高了疾病分级性能,又输出病变注意力图作为可用于微调分割模型的细化伪掩模。我们的方法的主要贡献突出如下:(1) 提出了一种多病变掩模生成器的像素级分割。由于训练数据极其有限,我们精心设计了一个基于Xception模块的U-形状网络和联合目标函数,该联合目标函数包括用于训练的监督分割损失和无监督对抗损失。(2) 对于图像级注释数据,我们设计了一个病变注意力模型,该模型可以自动预测病变图,仅采用类特定信息的弱监督。第预测图可以用于以半监督学习方式与完全注释的数据一起微调(3) 病变分割和疾病分级任务在端到端模型中进行了优化海量的类注释数据可以有利于分割性能,水平注释数据,半监督分割方法[23,47,31]已经被探索。在[22]中使用了对抗学习机制,其中网络的判别器输出预测的概率图作为半监督学习的置信度图。Hong等人 [21]提出了一种解耦的深度神经网络来分离分类和分割网络,并使用桥接层来传递特定于类别的信息。注意机制。视觉注意解决了从图像中提取特定任务的显著区域,而忽略不相关部分的问题。已经研究了许多视觉任务的注意力机制,例如图像分类[38,27,53,52],细粒度识别[54,48]和图像字幕[4,7]。这些机制可以被分类为软注意力模型和硬注意力模型,其中前者对于学习注意力图是完全可微的,而后者是不可微的,并且涉及到一个随机过程,该过程以概率对隐藏状态进行采样。3. 提出方法3.1. 问题公式化给定像素级注释图像XP和图像级注释图像XI,我们的方法的最终目的是共同优化病变分割模型G(·)和疾病分级模型C(·),它们将一起工作以提高彼此的精度去训练隔离区-心理状态模型,我们的目标是通过以下函数最小化预测的病变图和真实m_i_n∈LS_g(G(X_P),G(X_I),s_P,s_I),(1)l=1其中sP表示像素级注释曼斯。同时,增强的像素级病变节段a-lI可以提高分级精度。对DR数据进行的大量消融研究和对比实验表明了该方法的有效性和优越性2. 相关工作疾病分级和病变检测。医学成像中最新的疾病分级和病变检测方法倾向于采用一般的深度学习模型,是图像级注释的伪掩模通过病变注意分级模型学习的图像。 L是与特定疾病相关的病变种类的总数。疾病分级模型的优化函数定义为:minLCls(C(XI)·att(G(XI)),yI),(2)C,att其中,tt(·)指示病变注意力模型,并且yi是用于图像级的疾病严重性分类标签,并且我我埃尔斯 CNN架构[33,15,19]已经被提出来通过对其严重程度进行分类来诊断DR。已经引入了从所确定的特征[17]中进行特征选择以用于对乳腺癌恶性肿瘤进行分类。此外,为了识别详细的病变,还研究了边界框级检测[41,49]和像素级分割[13,36然而,只有少数作品[50,46,5]将病变检测与疾病严重程度分类相关联。半监督语义分割。对于语义分割任务,由于像素的不足记录的数据。注意,在Eq.1等于att(G(X))。LSeg和LCls的详细定义在第2.2节中解释。3.2分别为3.3。因此,为了合作学习这两个任务时,最重要的考虑因素是如何设计和优化G(·),C(·)和tt(·)。建议的网络架构概述它由两部分组成,如图所示二、 对于第一部分,我们将几个XP作为输入,以完全监督的方式训练多病变掩模生成器。一旦它被预先训练好了,剩下的大规模XI也都通过了2081生成的多病变掩模像素级注释数据关于 CNOP的数据扩充(例如:翻转和旋转)eS���P+������������20*512L真实分支:预测由像素级注释数据监督四十 *四十 *80*80*160*160*40*256128160*64n m320*32640*640*Po40*20 *20*51280*80*160*ℒÆdv320*���I+������������I图像级注释数据L假分支:预测图像级监督注释数据���⌃���������ILLesio nattent io nmapsasaps eud���������������orsemi-soulvi s e dlear ning.疾病_分级多病灶注意模型特征提取多病变掩膜发生器多病灶掩模鉴别器图2.建议方法的管道输入数据由像素级注释的病变图像的非常小的集合XP和仅具有示出疾病严重性的图像级标签的图像的大的集合XI组成提出了一种多病变掩模生成器,用于以半监督的方式学习病变分割任务,其中XP具有真实的地面真实掩模,XI使用从病变关注疾病分级模型学习的伪掩模。还提出了一个对抗性的架构,以利于训练。此外,分割的病变掩模被采用来生成关注的特征,以提高最终的疾病分级性能。这两个任务在端到端网络中联合优化。通过发电机。 通过对抗性训练损失优化的训练器被设计用于区分这两种类型的数据。对于第二部分,采用XI及其初始预测的病变图来学习病变注意力模型,该模型仅采用疾病分级标签。 损伤注意分级模型提高了分类准确率。此外,所生成的病变注意力图可以用作伪掩模,以半监督的方式针对大的未注释数据来细化病变掩模3.2. 对抗性多病变掩码生成器训练语义分割模型通常需要大量的像素级注释数据。然而,对于注释成本极高的医学成像,我们必须找到一种使用有限的可用注释数据在我们的方法中,我们提出了一个多病变掩模生成器,它来自U形网络,并嵌入了Xception模块[11]。U形网络[36]首先被引入用于电子显微镜堆栈中神经元结构的分割它部署了一个用完全卷积网络构建的编码器-解码器结构。跳跃连接连接相同空间大小的收缩和膨胀部分的特征图。这种设计可以在解码过程中最好地保留输入图像的边缘和纹理细节,加快收敛速度。我们首先使用内置的Xception模块扩展U形网络,并将其修改为多病变掩模生成器. Xception模块基本上继承了Inception模块[42]的思想,不同之处在于可分离卷积在每个通道上执行空间卷积,而1×1卷积独立地投影新通道。我们将XCEP-由于特征图的每个通道上的空间相关性和跨通道相关性具有较少的内部关系,并且不期望共同学习映射,因此可以使用用于病变分割的空间相关性模块。分割模型的示意图如图中黄色部分所示二、总之,编码器和解码器包括一个tal的9个特征映射元组。除了编码器的第一每个元组由两个可分离的卷积组成然后是批量归一化,ReLU激活,最大池化和1×1卷积的快捷方式空间卷积核大小为3×3,填充设置为相同。 在解码器部分,上采样和跳跃控制,在每个元组之前使用连接最后,我们使用Sigmoid激活添加L个卷积层,以生成L个不同的病变掩模。其他超参数设置基于[36]。为了优化病变掩模生成器,我们使用像素级注释数据和图像级注释数据。利用像素级注释的病变掩模,使用二进制交叉熵损失LCE来最小化预测与地面实况之间的距离。基于共享权2082˜l=1l=1第二节介绍的病变注意力模型。3.3,我们还获得了伪掩模地面实况的图像级注释数据,以优化LCE。此外,为了通过利用没有像素级注释的数据来生成更好的病变掩模,我们添加了多病变掩模,通过生成对抗网络(GAN [18])架构对培训表示敬意传统的GAN由一个生成网络和一个判别网络组成来自均匀或高斯分布的潜在随机向量z通常用作生成器的输入以合成样本。然后,该方法旨在将真实数据X与生成的样本区分开。基本目标是将pz(z)收敛到目标真实数据分布pdata(x)。在本文中,而不是从随机噪声中生成样本,我们将生成器从像素级注释数据预测的病变图作为真实数据分支,而从图像级注释数据预测的病变图作为假样本分支。用于优化病变分割任务的总损失可以被定义为:LSeg=LAdv+λLCE(3)=E[log ( D ( XP , G ( XP ) ) ]+E[log ( 1−D(XI,G(XI))]+ λE[−s·logG(X(P,I)−(1−s)·log(1 −G(X(P,I)],图3.病变的细节注意疾病分级。蓝色部分是疾病分级的分类模型,橙色部分是学习细化病变图的注意力模型具有高分辨率以指导注意力模型的学习。此外,对于那些仅具有图像级疾病等级注释的图像,我们的病变关注模型可以P I生成像素级的注意力地图,然后将其用作其中s是s l的简短表达式 而SL 为大地,像素级和图像级注释数据的真实性,活泼地λ是两个目标函数的平衡权。预测的多病变掩模与输入图像连接,然后作为具有五个卷积映射元组的识别器D的输入。每个元组由两个卷积层组成,内核大小为3,一个最大池化层的步幅为2,以渐进地编码上下文信息,以增加感受野。对于每个元组,我们还采用了ReLU激活和批量规范化。在D 结束 时采用 全局 平均池 化,然 后是 密集连 接和Sigmoid激活,其输出预测的病变图是否由真实或伪掩模地面实况监督。3.3. 病变注意疾病分级为了对疾病的严重程度进行分级,人类专家通常通过观察疾病的详细病变体征特征来进行诊断。采用经典的深度分类模型可以实现基本性能,但精度有限。视觉注意力模型以类似人类的方式处理识别任务,自动提取-用于病变分割模型中的半监督学习的伪掩模病变关注疾病分级模型,如图所示。3)由用于输入疾病图像的特征提取和分类的主分支和用于学习L个疾病的注意模型的L个分支组成。我们不使用由分割模型最初预测的病变掩模来直接参加分类模型,因为像素级注释的医学图像的数量通常非常小,因此最初预测的掩模太弱而不能使用。此外,可以利用图像级分级标签来递送有区别的局部化信息以细化病变注意力图。该方法将疾病分级模型C(·)和病变衰减模型Att(·)紧密结合在一起。我们首先采用一个疾病分类模型,传统的神经网络学习分级只使用输入图像。一旦它被预训练,就可以提取分别表示低级和高级特征表示的flow和fhigh作为此外,我们还对初始预测的病变图进行编码,表示为忽略特定任务区域,忽略无关信息,以改善他们的表现。然而,大多数的conven-Ll=1作为注意力模型的输入。 整体前-压力由以下等式定义:提出了一般对象的注意模型,年龄,只需要预测粗略的注意力地图。 的Ll=1 =att(f低,f高,mL)、(4)注意力机制通常使用高级其中输出αL是注意力地图,功能.对于医学图像,病变区域非常小,并且期望以像素方式进行处理,在我们的模型中,我们还采用低级别特征图对表征疾病的不同病变区域的反应。所提出的注意机制包括两个步骤。第一步是利用逐像素病变特征多病灶注意特征埃洛640*640*3布里最低att尔逐元素积1×1Sigmoid������������Concat3×3������������高1*1*1024全局平均池化1*1*4096Concat1×1������������1*1*1024疾病_分级640*640*1全局上下文向量1*1*32低层指导高级指导注意力地图模板(伪病变掩模)1×1������������由mα2083L通过融合来自输入图像和初始预测的病变掩模的编码的低级嵌入。对于第l个损伤,我们可以通过以下等式获得注意特征的中间状态:f_low_att=ReLU(W_low_ concat(m_l,f_low)+b_low),(5)4. 实验结果4.1. 数据集和评估指标IDRID数据集[32]是唯一提供像素级多病变注释的DR数据集,尽我们所能l l l其中conca t(·)指示逐通道级联。对于第二步,我们使用全局上下文向量与低级别注意特征相关,并进一步生成将病变标测图评价为:α=Sigmoid(W高[f低attf高]+ b高),(6)知识 它包含81个彩色眼底图像,DR的图像,并分为54个图像用于训练和27个图像用于测试。病变,包括微动脉瘤、出血、硬渗出物和软渗出物,由医学专家用二元掩模注释。IDRID还llll有一个包含413个训练的图像级注释集其中,n表示逐元素乘法。全局上下文向量fhigh具有与flowatt相同的通道维度,其通过对来自基本预训练类的顶层特征进行1×1卷积来计算化模型该高级指南包含丰富的类别信息,可对低级特征进行加权并细化精确的病变细节。 注意,W低、W高和图像和103个测试图像,其中只有严重度分级标签。我们使用病变分割集以完全监督的方式训练多病变掩模生成器。然后,使用分级集来学习用于分类和半监督分割的病变attentive模型EyePACS数据集[2]由35,126张训练图像和53,576张测试图像组成。分级协议是L l偏置项是第L个损伤的可学习参数。基于L病变注意图,我们分别与低级别图像特征流进行逐元素乘法,并使用这些注意特征来微调预训练的疾病分类模型。所有损伤关注特征共享与分级模型相同的权重,并且输出特征向量被连接以用于学习最终的表达。目标函数LCls[24]因病致贫,因病返贫。平衡数据问题。同时,细化的多病灶注意力图被用作伪掩模,以半监督的方式共同训练3.4.实现细节我们模型的训练计划包括两个阶段。在第一步中,我们使用像素级注释数据预训练多病变分割模型,LCE,和基本的疾病严重程度分类模型使用图像级注释的数据由LCls。两者都是在完全监督的情况下训练的。ADAM优化器采用的学习率为0.0002,动量为0.5。 迷你批量大小设置为32,用于在60个时期内预训练分割模型,而分级模型在30个时期内预训练,批量大小为128。一旦预训练完成,就可以获得初始预测的病变掩模以及输入图像的低级和高级特征表示,以同时训练用于半监督分割的病变注意力模型,并进一步改进分级性能在这个阶段中,我们添加了用于半监督学习的LAdv和用于dis-supervised学习的病变注意模块轻松分级。整个模型以端到端的方式进行微调。式中的λ3设置为10,这将产生最佳性能。批量大小设置为16,用于在50个epoch上进行微调所有实验均在NvidiaDGX-1上进行。与IDRID数据集相同,有五个DR类别。怎么-然而,从该数据集收集的图像由不同类型的相机在各种光照条件和弱注释质量下捕获。由于数据集只有图像级的分级标签,我们主要采用它来训练病变关注的疾病分级模型。 Messidor数据集[14]包含1200个眼底图像,但其分级量表与前两个数据集不同,只有4个水平。0级和1级被标记为不可识别,而2级和3级被认为是可识别的。除0级外的所有等级均表示DR异常。根据[ 46 ]中使用的评估协议,我们仅采用该数据集来测试在EyePACS上训练的模型。数据预处理和增强。由于来自不同数据集的眼底图像具有不同的亮度,国家和分辨率,我们提出了一种数据预处理方法(在补充文件中阐明)的基础上[43],以统一图像质量和锐化纹理细节。此外,为了增加数据,进行水平翻转,垂直翻转和旋转,这也可以减轻不同类别之间样本的不平衡。评估指标。为了定量评估病变分割任务的性能,我们计算接收操作特征(ROC)曲线和精确度和召回率(PR)曲线的曲线下面积(AUC)值此外,为了评估DR分级模型的精度,除了正常的分类精度之外,还引入了二次加权kappa度量[2]。4.2. 消融研究4.2.1定性多病变分割结果在评估定量病变分割精度和DR分级准确性之前,我们首先定性地证明了IDRID数据集上用于半监督分割2084微动脉瘤预培训 半监督地面实况出血预训练半监督地面实况硬性渗出预训练半监督地面实况软渗出液预训练半监督地面实况图4.定性多病变分割结果。我们粗略地标记一些区域,以比较在有限数据上预训练的具有像素级病变注释的初始模型和使用大规模图像级注释数据训练的半监督模型。绿色方框表示地面实况。蓝色框显示了我们的半监督方法的性能,而黄色和红色框分别突出显示了未检测和误报。(Best查看放大。)其具有分割地面实况。图4比较了仅采用有限像素级注释数据的预训练模型和用大规模图像级注释数据半监督训练的最终模型的四个不同病变的分割结果对于预先训练的模型,失败的情况通常是对病变模式的误检(假阴性)。在一些小区域也会出现误报(误报在图像级注释数据的帮助下进行半监督分割,结果在所有病变上都有明显改善。通过第节中的消融研究评价了病变分割对改善DR分级的有效性第4.2.2条。4.2.2病变注意疾病分级的影响评价病变分割用于DR分级的有效性和半监督学习通过注意力模型,我们比较了三个基线与我们最终提出的模型。Ori:我们首先研究病变分割模型是否可以提高DR分级的准确性。在该基线中,我们不使用病变关注特征,而是直接在预处理的眼底图像上训练分级模型。病变(预训练):还测试了仅在有限的像素级病变注释数据上预训练的基线模型。在图像特征图上对初始生成的多病变病变(半):我们还探索了通过损伤注意力模型改进半监督学习,使用大规模图像级分级注释数据。在这个基线中,我们只采用交叉熵损失来学习病变分割模型。病变(半侧+晚期):对抗性训练架构被集成到病变分割对象中,2085函数作为我们的最终方法。表1.在IDRID和EyePACS数据集上评估病变注意力疾病分级的有效性数据集IDRIDEyePACS方法Acc.KappaAcc.KappaOri0.84580.79260.85410.8351病变(预训练)0.87250.83060.85980.8445病变(半)0.90160.88920.87920.8617病变(半侧+晚期)0.91340.90470.89120.8720表1显示了不同方法的分类准确度和kappa评分。在IDRID数据集上,与不使用病变掩模信息的基本分类模型相比利用使用图像级注释数据的半监督学习,可以实现甚至更显著的特别是,在5.86%的kappa分数的巨大增益证明了所提出的病变注意力模型可以有效地细化病变地图,从而改善分级结果。此外,对抗性训练架构也可以使最终结果受益,分类准确率进一步提高 1.18% , Kappa 评 分 进 一 步 提 高 1.55% 。 由 于EyePACS数据集仅具有图像级注释,因此我们采用在IDRID数据集上预训练的全监督模型可以对EyePACS数据集上获得的性能结果和IDRID数据集上产生的性能结果进行类似的比较,与其他方法相比,我们模型的每个组件对分级任务都有积极的贡献。表2. Messidor数据集上两个二进制分类任务的性能比较。设置转诊正常方法AUCAcc.AUCAcc.Ori0.9340.9020.8890.878病变(预训练)0.9530.9090.9190.901病变(半)0.9710.9300.9370.918病变(半侧+晚期)0.9760.9390.9430.922为了进一步评估我们的模型,我们还在Messidor数据集上进行了实验。按照[46]中的评估方法和方案,表2中比较了正常和转诊分类的ROC AUC和准确性。对于这两种实验设置,所提出的方法与病变注意力模型,半监督分割和对抗训练架构实现了最高的性能。由于Messidor数据集的图像质量接近IDRID的图像质量,因此与基本整体分类模型相比,即使是预训练的基于病变的模型也可以获得实质性增益。4.2.3半监督病变分割除了提高疾病分级精度外,我们还研究了基于病变伪掩模的半监督分割的有效性。我们使用像素级地面实况评估了IDRID数据集上的分割性能。通过ROC曲线、PR曲线和AUC值对微小动脉瘤、出血、硬渗出物和软渗出物这四种DR的主要征象进行评估。我们用三个基线来探索最终模型的每个拟议组件:使用正常卷积元组的预训练分割模型、基于Xception-module的模型和半监督学习组件,而没有对抗性训练架构。ROC和PR曲线如图所示。5,详细AUC值列于表3中。如表的上半部分所示,基于Xception模块的病变分割模型在四个不同病变上的表现始终优于基于正常卷积的版本。ROC和PR曲线的AUC平均分别增加了1.02%和1.92%,证明了可分离的空间和通道卷积确实可以使分割结果受益。利用病变注意力模型设计,其利用更多的图像级注释数据来生成用于半监督分割的伪掩模,观察到明显的改善,PR曲线的AUC的平均增益为2.16%。此外,用于半监督学习的对抗性训练架构可以略微进一步提高分割精度。表3的底部显示了挑战中不同病变PR曲线的AUC评分的前三位[1],以及从其他视觉任务转移的两种半监督分割方法AdvSeg [22]和ASDNet [30尽管我们的方法在微动脉瘤检测方面的性能略低于(0.57%)当前的顶级模型,但其他三处病变的性能得到了中度改善。对于软渗出病变,实现了4.12%的特别大的改善此外,我们的模型优于AdvSeg和ASDNet,PR的AUC分别平均增加6.89%和5.22%4.3. 与最先进型号的比较为了使我们的方法更有说服力,我们将其与最先进的DR分级模型进行比较。具有多个损失的组合内核网络 ( CKML ) [44] 和 具 有 额 外 内 核 的 VGGNet(VNXK)[44]旨在采用多种过滤器大小来学习细粒度的判别特征。Zoom-in-Net [46]采用门控注意力模型提出,并结合三个子网络对整体图像、高分辨率作物和门控区域进行注意力融合网络(AFN)[25]有类似的想法,2086动脉瘤出血硬性渗出软渗出物图5. DR四个病变分割的ROC和PR曲线。四种方法进行了比较,以探讨基于Xception-module的架构,病变注意模型的半监督分割和对抗性训练损失的有效性。表3. IDRID数据集上多病变分割的性能比较。CE1和CE2分别表示采用普通卷积和Xception模块的分割模型。病变动脉瘤出血硬 分泌物软渗出物方法AUC ROCAUC PRAUC ROCAUC PRAUC ROCAUC PRAUC ROCAUC PRCE1(Conv)0.95030.46250.94380.64560.96150.82630.94430.6817CE2(Xception)0.96530.47330.95400.65790.96750.84550.95370.7161CE2+半导体0.97760.48860.96990.68120.98860.87570.97130.7337CE2+半+高级0.98280.49600.97790.69360.99350.88720.99360.7407VRT-0.4951(2)-0.6804(1)-0.7127(11)-0.6995(1)帕蒂奇-0.474(3)-0.649(2)-0.885(1)--科大讯飞-0.5017(1)-0.5588(3)-0.8741(2)-0.6588(3)[22]第二十二话0.96120.47060.92560.59230.94560.80320.93180.6756ASDNet [30]0.96920.47820.93240.62850.95020.80950.94890.6924表4.EyePACS和Messidor数据集上DR分级的性能比较EyePACS测试集设置梅西多尔转诊正常方法Kappa方法AUCAcc.AUCAcc.最小合并0.849VNXK [44]0.8870.8930.8700.871o O0.845CKML [44]0.8910.8970.8620.858RG0.839专家[37]0.94-0.922-[46]第四十六话0.854[46]第四十六话0.9570.9110.9210.905[25]第二十五话0.859[25]第二十五话0.968-0.935-我们0.872我们0.9760.9390.9430.922统一病变检测和DR分级。然而,所使用的注意力模型仅是类驱动的,并且不能学习精确的语义病变图。此外,人类专家[37]也被邀请对Messidor数据集进行评分。表4比较了不同方法的结果上EyePACS 数 据 集 , 显 示 了 Kaggle 竞 赛 [2] 前 三 名 的Kappa值,其中前一名可以达到84.9%。Zoom-in-Net和AFN通过引入用于学习类别驱动的病变图的注意力机制略微提高了性能。 我们的方法建议合作的语义病变掩模指导和类驱动的注意力指导,以提高最终模型,获得1.3%的增益AFN。此外,对于可测量/不可测量和正常/异常的Messidor设置,与其他方法相比,我们的方法可以获得最高的ROC AUC评分和分级准确性值得一提的是,我们的方法在推荐和正常设置的AUC 上分别比人类专家高出3.6%和2.1%。5. 结论本文提出了一种协同学习的医学影像半监督病变分割和疾病分级使用病变掩模来关注分类模型并提高分级准确性,而利用类别特定标签的病变关注模型也有利于分割结果。大量的实验表明,我们的方法实现了DR问题的改善。2087引用[1] Idrid糖尿病视网膜病变分割挑战。https://idrid.grand-challenge.org/网站。7[2] Kaggle糖尿病视网膜病变检测compe-提申。https://www.kaggle.com/c/糖尿病视网膜病变检测五、八[3] 国际临床糖尿病视网膜病变严重程度量表。美国眼科学会,2012年。1[4] P. Anderson,X.他,C.Buehler、D.Teney,M.约翰逊先生,S. Gould和L.张某自下而上和自上而下的图像字幕和视觉问答注意。在CVPR,2018年6月。2[5] B. Antal,A. Hajdu等人用于微动脉瘤检测和糖尿病视网膜 病 变 分 级 的 集 成 系 统 。 IEEE transactions onbiomedical engineering,59(6):1720,2012。2[6] A. M.布尔斯河S.巴罗斯岛G.詹森角H. Slump,D. W.Dippel,A.van der Lugt,W.H. van Zwam,Y.B. 鲁斯河J.van Oostenbrugge,C.B. Majoie等人急性缺血性脑卒中患 者 ct 血 管 造 影 定 量 在 MICCAI , 第 176-184 页 。Springer,2017. 1[7] L. Chen,H. Zhang,J. Xiao,L. Nie,J. Shao,W. Liu和T.- S.蔡Sca-cnn:图像字幕卷积网络中的在CVPR,2017年7月。2[8] L- C.陈先生,A.赫尔曼斯G.帕潘德里欧F. 施罗夫,P. Wang和H. Adam. Masklab:通过语义和方向特征细化对象检测进行在CVPR,2018年6月。1[9] L- C. Chen,G.帕潘德里欧岛科基诺斯角墨菲和A. L.尤尔。Deeplab:使用深度卷积网络、atrous卷积和完全连接的crfs进行语义图像分割。TPAMI,40(4):834-848,2018。1[10] X. 陈,J.Hao Liew,W.熊角K. Chui和S.-H. 昂聚焦、分段和擦除:一种用于多标记脑肿瘤分割的高效网络。在ECCV,2018年9月。1[11] F.胆Xception:使用深度可分离卷积的深度学习。arXiv预印本,第1610-02357页,2017年。3[12] A. V. Dalca,J. Guttag和M. R.萨班库用于无监督生物医学分割的卷积网络中的解剖学原理。在CVPR,2018年6月。1[13] T. de Moor,A.罗德里格斯-鲁伊斯河Mann和J.托文使用u-net深度学习网络在数字乳腺摄影中自动检测和分割软组织病变。arXiv预印本arXiv:1802.06865,2018。2[14] E. 冷静点,X。Zhang,G. 卡祖埃湾 拉伊湾科奇纳角Trone,P. Gain,R. Ordonez,P. Massin,A. Erginay等人公开发布的图像数据库反馈:梅西多数据库。图像分析体视学,33(3):2315[15] D. Doshi,A. Shenoy,D. Sidhpura和P.加普尔使用深度卷积神经网络进行糖尿病视网膜病变检测。在计算,分析和安全趋势(CAST),国际会议上,第261IEEE,2016. 2[16] R.范角,澳-地Hou,M.- M. Cheng,G.于河,巴西-地R.马丁和S.-M.胡关联图像间显著实例以用于弱监督语义分割。在ECCV,2018年9月。1[17] P. 菲利普丘克Kowal和A.马西尼亚克乳腺癌恶性分类问题的特征Journal of Medical Informatics Technologies,15:193-199,2010. 2[18] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利,S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。NIPS进展,第2672- 2680页,2014年。4[19]诉古尔尚湖彭,M.Coram,M.C. 施通普湾吴先生,A. Narayanaswamy、S.Venugopalan湾Widner,T.女士们,J. Cuadros等人在视网膜眼底照片中检测糖尿病视网膜病 变 的 深 度 学 习 算 法 的 开 发 和 验 证 。 Jama , 316(22):2402-2410,2016. 一、二[20] K. 他,G. Gkioxari,P. Doll a'r和R. 娘娘腔。 面具r-cnn。ICCV,第2980-2988页。IEEE,2017年。1[21] S. Hong,H. Noh和B.韩用于半监督语义分割的解耦深度神经网络。在NIPS,第1495-1503页,2015年。2[22] W.- C.洪,Y H. Tsai,Y.- T.刘,Y.- Y. Lin和M.- H.杨半监 督 语 义 分 割 的 对 抗 学 习 。 arXiv 预 印 本 arXiv :1802.07934,2018。 二七八[23] Q. Li,长穗条锈菌A.Arnab和P.H. 乇弱监督和半监督全景分割。在ECCV,2018年9月。一、二[24] T.- Y. Lin,P. 戈亚尔河格希克角He和P. 娃娃。密集目标检测的焦面损失。TPAMI,2018年。5[25] Z. 林河,巴西-地 Guo,Y. 王湾,澳-地 Wu,T. 陈威小王,D. Z. Chen和J.吴基于抗噪声检测和注意力融合的糖尿病视网膜病变识别在MICCAI,第74-82页。Springer,2018. 七、八[26] J.朗,E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在CVPR,第34311[27] X.隆角,澳-地Gan,G. de Melo,J. Wu,X. Liu和S.文注意群组:基于注意力的局部特征融合视频分类。在CVPR,2018年6月。2[28] E. Miranda,M.Aryuni和E.Irwansya。医学图像分类技术综述在信息管理和技术(ICIMTech),国际会议上,第56-61页。IEEE,2016. 1[29] T. Nair,D. Precup,D. L. Arnold和T.阿贝尔探索深度网络中用于多发性硬化病变检测和分割的不确定性度量在MICCAI,第655- 663页。Springer,2018. 1[30] D. Nie,Y.高湖,加-地Wang和D.沈Asdnet:基于注意力 的 半 监 督 深 度 网 络 , 用 于 医 学 图 像 分 割 。 在MICCAI,第370-378页。Springer,2018. 七、八[31] G. 帕潘德里欧湖C. Chen,K.P. Murphy和A.L. 尤尔。用于语义图像分割的深度卷积网络的弱监督和半监督学习。InICCV,December 2015. 22088[32] P. Porwal,S.帕沙德河Kamble,M. Kokare,G.代什-穆克河谷Sahasrabuddhe和F.梅里奥多印度糖尿病视网膜病变图像数据集(idrid):糖尿病视网膜病变筛查研究数据库。Data,3(3):25,2018. 5[33] H.普拉特F. Coenen,D. M. Broadbent,S. P. Harding和Y.郑糖尿病视网膜病变的卷积神经网络。ProcediaComputer Science,90:2002[34] S.乔,W.沈,Z.张湾,澳-地Wang和A.尤尔。用于半监督图像识别的深度协同训练在ECCV中,2018年9月。1[35] T. Robert,N.Thome和M.线. Hybridnet:半监督学习的分类和重建合作在ECCV,2018年9月。1[36] O.龙内贝格山口Fischer和T.布洛克斯U-net:用于生物医学图像分割的卷积网络在MIC-CAI,第234-241页。施普林格,2015年。二、三[37] C. I. 是的,M。 Niemeije r、A. V. 杜米特雷斯库湾S.Suttorp-Schulten,M. D. Abramoff和B.
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)