没有合适的资源?快使用搜索试试~ 我知道了~
3234WSNet:一种有效的伤口图像分割Subba Reddy Oota1,Vijay Rowtula1,2,Shahid Mohammed1,Minghsun Liu1,Manish Gupta2*1Woundtech Innovative Healthcare Solutions,2IIIT-海得拉巴,印度{soota,vrowtula,shmohammed,mliu} @ woundtech.net,manish. iiit.ac.in摘要医学图像分割对于有效的计算机辅助诊断和疾病定位从患者图像中自动分割伤口区域可以帮助临床医生测量和管理慢性伤口并监测伤口愈合轨迹。虽然在一般医学图像分割方面存在过多的工作,但几乎没有任何关于伤口图像分析和分割的工作现有的方法仅限于分割较小的溃疡子集,例如足部溃疡,而没有对伤口图像进行特殊处理。在本文中,我们建立了八种不同类型的伤口图像的分割模型。伤口图像分析是一个具有挑战性的问题,由于缺乏广泛的数据(标记或未标记)的可用性,注释也是具有挑战性的,由于缺乏训练有素的伤口护理临床医生。为了应对这些挑战,我们贡献了W OUND S EG 1,这是一个大型且多样化的分割伤口图像数据集。由于类似伤口类型的图像中伤口区域的异质外观,通用伤口图像分割是复杂的我们提出了一种新的图像分割框架,WSN ET,它利用(a)在大型未标记伤口图像集合上进行伤口域自适应预训练,以及(b)利用完整图像及其补丁来学习异质伤口的细粒度细节的全局-局部架构。在W OUND S EG上,我们获得了0.847的不错的Dice得分。在现有的AZHWoundcare和Medetec数据集上,我们建立了一个新的最新技术水平。此外,我们还展示了使用分割来提高下游任务(如伤口面积和体积预测)的准确性的影响。1. 介绍在医疗保健行业,伤口护理成本的幅度正在上升。2018年,约有800万人受伤,医疗保险费用估计*作者也是微软的首席应用科学家。1 链 路到代 码和数 据 :https://github.com/subbareddy 248/WSNET从281亿美元到968亿美元不等[28]。时间是至关重要的,因为伤口溃烂的时间越长,就越难治疗,快速反应是降低伤口护理成本的最佳方法。伤口图像分割是快速标记感兴趣区域(伤口区域)的关键,在有效的计算机辅助诊断和疾病定位中起着重要作用准确的伤口图像分割可以有助于自动识别伤口属性,如伤口面积、伤口体积和伤口阶段。这些属性反过来可以帮助评估和管理慢性伤口,监测伤口愈合轨迹,确定未来的干预措施,预测患者尽管迫切需要自动伤口图像分割方法,但之前的工作主要集中在更广泛的医学图像分割[6,20],伤口图像分割文献相对较少[33,35]。广义上,医学图像分割旨在使图像中的解剖或病理结构变化更加清晰。常见的医学图像分割任务包括肝脏和肝脏肿瘤分割[18]、大脑和大脑肿瘤分割[23]、视盘分割[2]、细胞分割 [27] 、 肺 分 割 和 肺 结 节 [37] 。 Lei et al.[17] andHesamian et al.[9]提供该领域流行方法的良好概述。在这项工作中,我们专注于伤口图像的分割。我们的目标是建立一个模型,突出显示伤口区域从一个给定的图像。开发这样的系统可以帮助临床医生通过自动测量其面积和体积来减少诊断伤口所花费的时间问题是难以解决的,因为伤口分割可能取决于多个因素,如伤口/溃疡类型、伤口位置、伤口大小、照明条件方面的图像变化以及皮肤颜色变化。缺乏大量公开可用的标记(甚至未标记)数据是另一个挑战。现有数据集(如AZH Wound- care[35]和Medetec[33])较小或仅包含足部溃疡图像。3235∼静脉溃疡创伤伤口糖尿病溃疡其他手术伤口动脉溃疡蜂窝织炎压力性溃疡图1. 来自我们的WOUND SEG数据集的八种不同伤口类型的示例。顶行显示实际伤口图像,而底行显示分割掩模。伤口类型糖尿病压力创伤静脉手术动脉组织炎其他所有图像数量44163636869026899113712686伤口面积(%)9.012.510.713.312.58.713.018.912.3表1. WOUND SEG数据集的基本统计数据。数据集伤口类型大小WOUND SEG(我们的)8种类型(糖尿病、压力、创伤、静脉、手术、动脉、蜂窝织炎和其他)2686AZH1型(足部溃疡)1109Medetec1型(足部溃疡)607表2.与现有数据集相比,拟议的WOUNDSEG我们的第一个目标是创建一个具有良好多样性的伤口图像分割数据集三名合格的伤口专科医生使用Django-labeller 2为2015年6月至2019年3月的3000张图像提供了注释作为注释的一部分,我们要求专家包括伤口周围皮肤区域,即,伤口周围的组织。经过两次完整性检查,我们获得了2686张大小为384x384的掩码图像我们的数据集是高度多样化的,有八种类型的伤口溃疡(糖尿病、压力、创伤、静脉、手术、动脉、蜂窝 织炎和 其他) 的图像 。 我们 在表1中提供 了WOUND-SEG数据集的统计数据。图1显示了我们数据集中每种伤口类型的伤口图像样本及其分割掩模。我们还在表2中详细记录了WOUND S EG与现有数据集的对比。我们使我们的WOUND SEG数据集公开1.为了建立准确的伤口图像分割模型,我们首先使用四种流行的图像分割架构和17种不同的主干进行了大量的实验。为了改进这些基线模型,我们提出了一种新的框架,称为WSNET。该框架基于卷积神经网络(CNN)。WSNET具有以下主要特点:2https://github.com/Britefury/django-labeller• 使用流行的分割模型与众所周知的CNN骨干,• 在大的未标记集合上进行专门的伤口图像特定预训练,• 数据增强策略,以及• 一种新颖的全局-局部体系结构,以有效地利用多级异构信息。总的来说,本文主要做了以下几点贡献。• 据我们所知,WOUND SEG是最大的伤口分割数据集,涵盖八种类型的伤口溃疡(糖尿病、压力、创伤、静脉、手术、动脉、蜂窝织炎和其他),这与以前的工作不同,以前的工作仅关注糖尿病足溃疡图像。• 我们实验了四种不同的图像分割架构和17种不同的骨干和一个多层次的异构集成模型。我们通过伤口域自适应预训练,数据集增强和一种新的全局-局部分割架构来改进基线模型• 大量的实验表明,我们提出的框架,WSNET,方法优于现有的AZH伤口护理和Medetec数据集,以及我们贡献的WOUNDSEG数据集的基线。我们高度精确的伤口图像分割模型还帮助我们在伤口面积和体积预测下游任务中实现最先进的结果。2. 相关工作在本节中,我们讨论了伤口图像分析和伤口图像分割领域的相关工作。32362.1. 伤口图像分析慢性伤口诊断、监测和测量伤口的面积和体积是医学图像分析中正在进行的研究领域。虽然文献中已经提出了几种方法来分类伤口组织或分割相关皮肤病变,但这些实验未能提供用于过程自动化的稳健工具[36,39,40]。在[15,16,22,26,34,38]中,经典图像处理技术(如颜色描述符和纹理检测器)已用于从伤口图像中提取特征,将皮肤斑块分类为正常或异常,并自动监测愈合过程。最近,Oota et al.[24]和[25]分别利用诸如面积和体积的伤口属性用于诸如再入院风险预测和住院概率的任务。虽然Oota et al.[24]从临床医生那里手动获得伤口面积和体积,[25]直接从伤口图像中预测它们。我们利用伤口分割模型来获得伤口面积和体积预测的更好估计。在这项工作中,我们通过贡献具有八种伤口类型的大型数据集来严格研究伤口分割问题,并提出了一种新的基于深度学习的分割方法。2.2. 伤口图像分割以往的伤口图像分割工作都是基于特征工程的传统机器学习和图像处理方法。Song等人[30]描述了使用K均值聚类、边缘检测、阈值处理和灰度和RGB区域生长从伤口图像中提取的49个特征。其他此类方法包括(1)生成红-黄-黑-白概率图,然后进行最佳阈值处理或区域生长[4],(2)对使用能量最小化离散动态轮廓算法获得的轮廓进行泛洪填充[10],(3)对预处理RGB图像的独立分量分析(ICA)输出进行K均值聚类[7,41]。这样的特征工程方法在设计特征时需要人工努力,不能处理图像中的异质性,并且与最近提出的深度学习方法相比导致相对较低的准确性。此外,性能进行了评估的一个小的偏见数据集。一些研究人员已经使用深度学习模型对各种溃疡图像进行分割和分类[3,5,14]。然而,在所有这样的作品中,语料库大小是最小的(例如,Medetec伤口图像数据集[33]只有607张图像),导致系统相对脆弱。Liu等人[21]提出了一种全卷积神经网络(FCN)架构,用于半自动注释数据集上的任务。最近,Wang etal.[35]提出了一个新的伤口图像数据集,称为AZHWoundcare,由1109个足部溃疡图像组成。他们提出了一个基于MobileNetV2的卷积框架,将伤口区域从自然状态中分割出来乌拉尔图像然而,这样的方法对整个图像起作用,并且不能捕获细微的局部信号。我们比较了这些方法,并在第5节中显示了改进的结果。在[25]中,作者提出了一种自动伤口图像愈合分类,以预测伤口的住院风险以及伤口面积和体积。然而,面积和体积预测的功效相对较在本文中,我们改进了他们的结果,导致新的最先进的伤口面积和体积预测任务。3. WSNET方法本节讨论我们使用CNN主干的大量图像分割模型的实验此外,我们还讨论了伤口数据特定的预训练,我们的数据增强策略和我们的全局-局部分割架构。3.1. 伤口分割模型首先,我们使用以下四种流行的分割架构进行实验:[27][28][29] 此外,我们用17个主干进行实验,以探索每个分割模型的准确性与模型大小的权衡。这些骨干属于八个流行的建筑群:[29]第29话,我是你的朋友。[13],[14],[15],[16],[17],[18],[19]。对于其中的每一个,我们使用ImageNet预训练的权重。在17个主 干 中 , 我 们 选 择 了 三 个 主 干 ( DenseNet121 ,DenseNet169和MobileNet)进行进一步的实验。结果报告于表4中。我们选择了两个DenseNet主干,因为它们在所有四种架构中的平均性能最好之所以选择MobileNet,是因为它是最小的骨干网,通常用于多个基线系统。3.2. 伤口域自适应预训练(WDAP)具有四种分割模型的17个骨架的结果报告于表4中。为了进一步提高伤口图像分割模型的性能,我们专门在伤口图像数据集上创建预训练模型,而不是使用Imagenet预训练权重。我 们 选 择 了 三 个 骨 干 网 ( DenseNet121 ,DenseNet169和MobileNet)进行这种特殊的预训练。为了在伤口图像数据集上创建预训练模型,我们将伤口类型分类为五种不同的溃疡类型:糖尿病、压力、外科、创伤和静脉,使用三个脊柱。每个模型的输入是伤口图像,五个伤口类型类作为我们的目标输出。我们使用Adam优化器,学习率为0.001。我们使用分类交叉熵损失,批量大小为32,模型在数据集上训练20个epoch,3237××× ×××× ××× ×× ××××图2.我们的双流全局-局部图像分割方法的架构125711图片来自[25]。类别分布如下:糖尿病性溃疡(19773)、压疮(47541)、外科创伤(12238)、创伤(13667)、静脉性溃疡(32492)。我们使用Adam优化器,学习率为0.001,批量大小为32,20个epoch。为了克服过拟合问题,我们检查了如果验证损失在连续五个时期内没有减少,则提前停止3.3. 微调和数据扩充预训练模型在标记的图像分割数据上进行微调。请注意,此数据与用于预训练的数据不相交。虽然我们的预训练是在标记为伤口类型分类的数据上完成的,但我们的微调是在标记为伤口分割任务的单独数据冻结对应于每个脊骨的编码器模型权重,并且在四个分割模型的伤口图像数据集上微调解码器权重我们验证了几种变换方法,并最终选择水平翻转,随机旋转,光学失真,网格失真,模糊,随机亮度对比度和转置来执行数据增强。我们对图像及其相应的掩码应用了相同的增强。增强转换是在仅在训练集上,而不在测试集上。3.4. 全球-本地架构伤口图像具有较少的语义上的独特信息。它们通常只包含皮肤和伤口;因此,需要更多的颗粒分析来准确地将伤口与正常皮肤分割开。因此,为了有效分割,必须从整个图像获得(全局)信号,并且从提取的各个补丁获得(局部)信号,以捕获伤口图像中的复杂细节。局部上下文信息对于包含具有相似特征的不同块的伤口图像的语义分割是必不可少的。局部块上的卷积操作一次处理一个局部邻域,这可能导致大伤口块的不完整分割所示图2,全局-局部架构可以帮助我们提取高层次的多尺度语义信息。它由两个子网络组成-顶部子网络是处理完整图像的全局分割网络,而底部子网络,即,局部分割网络处理图像的块。我们提供一个192 192 3大小的图像作为输入。全局子网络使用以下四种流行分段架构之一:[27][28][29]对于局部子网络,图像被分成16个不同的不重叠的4848 3块,堆叠以获得48 48(3 16)体积。我们实验了不同的补丁大小; 48 48 3得到了最好的结果。补丁被并行分派到16个具有共享权重的本地模型,以获得更好的吞吐量和效率,如图所示二、 在本地网络的末端使用另一层以将补丁缝合回全尺寸掩模图像(192 192 1)。来自全球和本地网络的输出被堆叠以获得192 192 2输出。然后应用11卷积以得到1921921预测掩模。将预测的掩码与真实掩码进行比较,并且反向传播损失以训练端到端网络。4. 实验4.1. 基线除了第3.1节中讨论的模型外,我们还使用以下传统机器学习模型进行了实验:线性(岭分类器)和基于树的模型(额外树分类器)。由于目标掩码包含多个输出,因此我们在模型训练期间遵循多输出分类3。 通过调整验证数据,我们选择了以下超参数:岭分类器(正则化强度= 1.0,CV为留一交叉验证),额外树分类器(估计数=500,crite-3https://scikit-learn.org/stable/modules/multiclass.html3238| ∪|rion=gini,最大深度=3)。我们还尝试了其他方法,如梯度提升决策树,随机森林和基于KNN的多输出回归方法。然而,它们并没有带来更好的结果,所以我们在这里不介绍它们。作为另一个基线,我们考虑如下基于补丁的方法。我们将伤口图像分割成不同的不重叠的块作为输入,并将相应的掩模块作为目标来训练模型。我们构建了一个简单的CNN模型(基于补丁的CNN),由两个常规卷积层组成,分别具有32和64个滤波器,然后是可分离的卷积层来预测掩码补丁。4.2. 评估指标为了验证我们的模型的图像分割性能,我们使用了以下流行的评价指标:IoU分数和Dice分数。IoU分数:交集大于并集(IoU)是一种标准度量,允许我们评估预测的分段掩码与地面真值掩码的相似程度为了测量IoU分数,我们比较两个掩码重叠的面积与两个掩码的总组合面积的比率。给定预测伤口像素的集合A和地面像素的集合B,真实情况围绕像素,IoU计算为|A∩B|.模型IOUDice评分RidgeClassifierCV0.2500.500ExtraTreesClassifier0.2780.530基于补丁的CNN0.2800.540表3.基线方法的比较。我们观察到,全图像和补丁为基础的基线方法给出了类似的结果。DenseNet121和DenseNet169主干在三个细分模型中显示 出 更 好 的 IoU 和 Dice 得 分 : LinkNet 、 PSPNet 和FPN。另一方面,EfficientNetB 1骨干在U-Net细分模型中显示出更高的Dice得分。总的来说,在17个主干中,DenseNet 121和DenseNet 169主干在四个分割模型中产生更高的Dice分数我们还考虑了MobileNet骨干网,因为它的最小训练参数和更好的便携性,在手持设备中的模型。我们还在表5(A部分)中显示了DenseNet121,DenseNet169和MobileNet的结果。5.2. 关于WOUNDSEG的WSNETWSNET结合了全局-本地模型WDAP和骰子分数:A B骰子得分捕捉了数据扩充 表5示出了使用WSNET的结果。分割的和地面真实掩模。更具体地,Dice评分范围为0至1,其中Dice评分1表示完美和完全重叠。给定预测伤口像素的集合A和真实伤口像素的集合Bpi x els,Dice系数计算为2|A∩B|.|+| B |B|4.3.实验设置我们进行5倍交叉验证,以评估我们的模型4倍用于训练,1倍用于测试。为了训练/微调所有分割模型,我们使用Dice损失作为损失函数来测量地面实况和预测掩模之间的误差注意,骰子损失=1-(骰子得分)。我们将epoch的数量设置为100,批量大小为32,优化器为Adam,学习率为0.001。我们将增强样本的数量设置为8000。实验在一台V100 16GB RAM GPU机器上进行。5. 结果5.1. WOUNDSEG的基线结果使用基线模型对WOUND S EG的伤口分割结果如表3所示。基线IoU和Dice评分较差。我们观察到基于补丁的CNN比传统的机器学习方法表现得更好。表4比较了四种流行的分割模型的性能,其中17个主干,每个主干都加载了ImageNet预训练的权重。我们观察在微调期间冻结骨干网权重的FF(F部分)和具有端到端微调的WSNET(G部分)。端到端的微调帮助全局-本地模型实现了最佳效果。总的来说,我们的最佳组合(G部分)导致IoU=0.713和Dice=0.847。表9列出了我们数据集中不同伤口类型的单个模型我们观察到,最佳模型性能在所有伤口类型中是一致的。5.3. WOUNDSEG上的消融结果我 们 尝 试 不 同 的 变 化 : 预 训 练(ImageNet/WDAP),数据增强(是/否),架构(本地/全局/全局-本地)。表5(B部分)报告了通过使用对应于每个主干的专用伤口图像预训练权重的与ImageNet预训练(A部分)相比,WDAP(B部分)显示所有模型的IoU和Dice得分我们在B部分使用LinkNet和DenseNet121实现了最高此外,C部分报告了数据扩充结果以及WDAP和仅全球模型。我们观察到,数据增强将每个细分模型的每个指标性能提高了约2-3%(B部分与C部分)。我们还想检查仅本地模型的有效性我们从D部分观察到,仅局部模型的结果甚至比A部分更差,这意味着仅捕获局部信号是不够的。最后,如果我们使用全局-局部模型,预训练类型重要3239表4. 使用17种不同的Imagenet预训练骨干模型对WOUND S EG数据集的四种图像分割模型的性能结果。EN=EfficientNet,DN=DenseNet,MN=MobileNet,SERN=SEResNet,IV2=InceptionV2U-NetLinkNetPSPNetFPNIOU骰子IOU骰子IOU骰子IOU骰子(A)ImageNet预训练模型DenseNet1210.6170.7610.6170.7620.5850.7360.6230.766DenseNet1690.6130.7580.6240.7680.5960.7450.6140.760MobileNet0.5930.7420.5710.7240.5610.7170.5940.743(B)伤口域自适应预训练(WDAP)DenseNet1210.6480.7830.6570.8000.6250.7650.6520.793DenseNet1690.6470.7810.6510.7880.6360.7730.6370.773MobileNet0.6150.7600.6110.7550.5630.7180.6160.758(C)具有WDAP和数据扩充的DenseNet1210.6800.8180.6870.8200.6530.7970.6800.817DenseNet1690.6720.8100.6750.8120.6560.8010.6640.807MobileNet0.6360.7780.6470.7800.5980.7440.6340.775(D)使用WDAP的本地(基于补丁)DenseNet1210.5270.6890.5370.6980.5200.6820.5320.694DenseNet1690.5340.6960.5300.6910.5190.6810.5330.696MobileNet0.5120.6730.5140.6770.4930.6600.5100.670(E)全局-局部模型,ImageNet预训练和数据增强DenseNet1210.6480.7840.6490.7860.6210.7630.6510.792DenseNet1690.6490.7870.6500.7900.6240.7670.6480.785MobileNet0.6200.7610.6210.7630.5650.7220.6180.760(F)无线传感器网络ET-FF:全局-局部具有WDAP和数据扩充的DenseNet1210.6850.8230.7060.8400.6630.8050.7000.834DenseNet1690.6840.8210.6940.8300.6750.8150.6800.818MobileNet0.6500.7900.6510.7920.5900.7400.6510.792(G)WSNET:全局-局部具有WDAP的模型、数据增强、端到端微调DenseNet1210.6950.8310.7130.8470.6830.8200.7070.840DenseNet1690.7010.8340.7070.8410.6860.8230.6970.832MobileNet0.6610.8000.6620.8000.6010.7480.6610.798表5. 图像分割模型在WOUND SEG数据集上的性能结果。因此,我们用ImageNet预训练训练全局-局部模型(E部分),发现它们比WDAP训练的模型(F和G部分)差得多。无线传感器网络ET(F和G部分)的Dice分数改进表明,WDAP数据增强有助于模型的改进,这是由于在更广泛的域内示例集上进行了训练。型号→U-NetLinkNetPSPNetFPN骨干IOU骰子IOU骰子IOU骰子IOU骰子VGG160.5740.7260.5680.7220.5220.6840.5410.701VGG190.5810.7330.5970.7460.5440.7020.5750.729ResNet180.5880.7380.6030.7510.5590.7140.6010.750ResNet340.5960.7440.5690.7240.5420.7020.5770.731ResNext500.5990.7460.5880.7390.5670.7220.6100.755DN1210.6170.7610.6170.7620.5850.7360.6230.766产品编号:DN1690.6130.7580.6240.7680.5960.7450.6140.760SERN 180.5810.7320.5960.7450.5460.7040.5680.722SERN 340.6000.7470.5710.7240.5690.7250.6140.760ENB 00.6100.7550.5880.7380.5510.7080.6070.754ENB10.6210.7640.5940.7430.5610.7160.6050.750ENB20.6060.7530.5970.7470.5880.7390.5880.739ENB30.5970.7440.5850.7360.5410.7000.6050.752ENB40.6020.7500.6020.7500.5670.7210.5960.745MN0.5930.7420.5710.7240.5610.7170.5940.743MNV20.5060.6670.4880.6510.3910.5560.5250.687IV20.6060.7530.5330.6920.5540.7110.6130.7593240表6.基线方法AZH和Medetec数据集的Dice评分比较AZH的WSeg结果不可用。5.4. 模型大小、延迟和准确性权衡对于我们的最佳组合(使用WDAP的全局-本地,数据增强和端到端微调),我们在图中分析了模型大小,延迟(一批50张图像的秒)和Dice评分权衡3跨三种 不 同 的 骨 干 网 和 四 种 不 同 的 架 构 。 在 U-Net 、LinkNet、PSP-Net和FPN中,通常PSPNet模型的参数较少此外,正如预期的那样,骰子得分更高的大尺寸模型.我们使用16.7M参数的DenseNet 121-LinkNet模型获得了最佳Dice得分0.847,延迟为0.146 s。但是,对于 资 源 受 限 的 部 署 , 我 们 建 议 使 用 DenseNet 169-PSPNet模型,该模型具有6.3M参数的小尺寸,0.112s延迟和0.823的体面Dice分数。图3. 在WOUND SEG上比较模型大小(百万)、Dice评分和延迟(一批50张图像的秒),用于全局-局部模型,并进行数据增强、专门的预训练和端到端微调。5.5. WOUND SEG案例研究我们在图中展示了一些困难的例子4.第一章上面的插图显示了多个伤口,中间的例子显示了两个伤口(一个很小,另一个更大),而下面的例子显示了低光照条件下的图像。我们观察到,在所有情况下,我们的模型中的至少一个获得比地面真实掩模更精细的伤口图像边界。一般来说,在这些情况下,FPN比其他模型表现得更好。表7. 我们提出的WSTECH方法在AZH和Medetec数据集上的Dice评分比较。DN=DenseNet,MN=MobileNet。方法面积MAEMAE体积[25]第二十五话1.141.28带U-Net的WSNET0.660.78带LinkNet的WSNET0.650.78带有PSPNet的WSNET0.710.82带FPN的W SNET0.660.78表8.伤口面积和体积预测结果。更低的MAE更好。伤口面积和体积以cm2和cm3为单位。MAE是根据取对数后的数量计算的。5.6. 现有基准数据集我们还对两个现有的基准数据集进行了实验:AZH[35]和Medetec [33],如第2节所述。表6和表7显示了先前提出的方法和我们的WSNET方法的骰子分数比较结果。在这两个基准测试中,WSNET的表现都明显优于现有的基准。在95%置信度下,改善具有统计学显著性。对于我们的无线传感器网络ET方法,我们显示的结果,只有WDAP和WDAP与全球本地架构相结合。结果表明,WDAP+globallocal比WDAP更好,并且在两个基准测试中,两者的表现都明显优于现有的基线在局部网络中使用补丁有助于更精确地检测伤口边界。5.7. 伤口面积和体积预测结果我们分析了预训练伤口图像分割模型对下游任务的影响,例如通过微调特定任务的标记数据进行面积和体积预测伤口面积数据具有122417个图像,而伤口体积数据集具有99719个图像。我们将数据分为70:10:20,用于训练、验证和测试。我们使用Mean方法AZHMedetecWSeg[21]NA0.919VGG 16[35]0.8100.790SegNet[35]0.8510.730M-RCNN[35]0.9020.932MNV2[35]0.9030.938MNV2+CCL[35]0.9050.940模型方法WDAPWDAP+GloLocalAZH Medetec AZHMedetecU-NetDN1210.9200.9480.9230.951产品编号:DN1690.9230.9560.9240.956MN0.9150.9460.9200.948LinkNetDN1210.9270.9320.9270.940产品编号:DN1690.9130.9450.9210.948MN0.9130.9330.9150.938PSPNetDN1210.9080.9300.9120.932产品编号:DN1690.9100.9320.9110.9353241伤口图像地面实况U-Net LinkNet PSPNet FPN图4. 使用四种全球-本地架构(i)U-Net,(ii)LinkNet,(iii)PSPNet和(iv)FPN进行WSNET模型方法伤口类型糖尿病压力手术静脉创伤动脉组织炎其他U-NetDN1210.7440.7920.7860.7610.7490.7470.7450.825产品编号:DN1690.7420.7890.7710.7610.7570.7520.7520.826MN0.7190.7490.7450.7550.7370.7680.7360.786LinkNetDN1210.7330.7740.7670.7480.7480.7450.7610.815产品编号:DN1690.7630.8030.8000.7740.7690.7600.7940.811MN0.7190.7440.7400.7380.7200.7290.7340.772PSPNetDN1210.6300.6620.6540.6740.6400.6430.6620.642产品编号:DN1690.6160.6400.6430.6600.6330.6210.6270.653MN0.5800.5910.5870.5840.5940.5900.5720.613FPNDN1210.7470.7790.7680.7640.7600.7420.7830.806产品编号:DN1690.7470.7940.7960.7700.7690.7560.7870.839MN0.7220.7710.7600.7700.7530.7510.7820.803表9.我们提出的WSNET方法在WoundSeg数据集上的骰子分数比较。DN=DenseNet,MN=MobileNet。绝对误差(MAE)作为度量,具有Adam优化器和0.001的学习率。由于面积和体积值的变化很大,我们将对数缩放应用于目标值。平均面积为7.74,伤口的最大面积为14.25(对数标度)。类似地,在对数标度上,平均体积为8.95,最大伤口体积为16.86。Oota等人[25]直接使用伤口图像进行伤口面积和体积预测。我们使用在伤口分割上预训练的模型进行微调,以预测伤口面积和体积。 从表8中,我们观察到,与HealTech基线相比,我们的LinkNet模型导致更低的面积和体积MAE [25]。结果表明,与早期模型不同,分割训练有助于模型关注核心伤口区域。我们认为,在更大的数据集上进行预训练和微调伤口分割模型有助于开发体积预测所需的深度32426. 结论我们提供了一个不同的数据集,WOUND SEG,包含8种伤口类型的2686张图像,用于伤口图像分割任务。我们对四个CNN模型架构和17个主干进行了广泛的实验。我们提出了一种新的WSNET框架,包括伤口域自适应预训练,数据增强,全局-局部架构,和端到端的微调。所提出的方法在现有基准数据集上优于基线,在WOUND SEG数据集上显示出有益的结果,甚至在伤口面积和体积预测任务上建立了新的最新技术水平。本文综合研究了目前最好的图像分割模型,并通过引入一种新的方法来提高分割性能我们还提供了一个更好、更大的伤口图像数据集,这可以帮助研究界进一步推进伤口图像分析。3243引用[1] AbhishekChaurasia 和 EugenioCulurciello 。Linknet:利用编码器表示进行有效的语义分割。在VCIP。IEEE,2017年。[2] Jun Cheng , Jiang Liu , Yanwu Xu , FengshouYin , Da- mon Wing Kee Wong , Ngan-MengTan , Dacheng Tao , Ching-Yu Cheng , TinAung,and Tien Yin Wong.基于超像素分类的视盘和视杯分割用于青光眼筛查。IEEE T-MI,2013年。[3] MohammedElmogy , Be gon aGarc' ıa-Zapirain ,Con-nor Burns,Adel Elmaghraby,and Ayman Ei-Baz.基于 3D CNN的压 疮图像 分类。在 ICIP。IEEE,2018年。[4] MohammadFaizalAhmadFauzi,IbrahimKhansa , Karen Catignani , Gayle Gordillo ,Chandan K Sen,and Metin N Gurcan.慢性伤口图像的计算机分割和测量。生物学和医学中的计算机,2015年。[5] Be gonalenaGarc'ıa-Zapirain,MohammedElmogy,AymanEl-Baz,and Adel S Elmaghraby.压疮组织的三维CNN分类。医学生物工程计算,2018。[6] Hayit Greenspan,Bram Van Ginneken,Ronald MSummers.深度学习在医学成像:一项令人兴奋的新技术的概述和未来前景。IEEE T-MI,2016年。[7] Ahmad Fadzil M Hani , Leena Arshad , AamirSaeed Malik , Adawiyah Jamil , and Felix YapBoon Bin.溃疡愈合评估中的血红蛋白分布In 4thIntl. 2012年,智能与先进系统会议。[8] Kaiming He,Xiangyu Zhang,Shaoying Ren,andJian Sun. 用 于 图 像 识 别 的 深 度 残 差 学 习 。 在CVPR,2016年。[9] Mohammad Hesam Hesamian , Wenjing Jia ,Xiangjian He,and Paul Kennedy.用于医学图像分割 的 深 度 学 习 技 术 : 成 就 与 挑 战 。 J. DigitalImaging,2019。[10] NDJ Hettiarachchi 、 RBH Mahindaratne 、 GDCMendis、HTNanayakkara和NuwanDNanayakkara 。 基 于 移 动 的 伤 口 测 量 。 在 IEEEPHT,2013年。[11] Andrew G Howard , Menglong Zhu ,Bo Chen ,Dmitry Kalenichenko , Weijun Wang , TobiasWeyand , Marco Andreetto , and Hartwig Adam.Mo- bilenets:用于移动视觉应用的高效CNN。arXiv:1704.04861,2017。[12] 杰虎,李申,孙刚。压缩-激励网络。在CVPR中,第7132-7141页[13] Gao Huang , Zhuang Liu , Laurens Van DerMaaten,and Kilian Q Weinberger.密集连接的卷积网络。在CVPR,2017年。[14] Ashraf Khalil 、 Mohammed Elmogy 、 MohammedGhazal、Connor Burns和Ayman El-Baz。基于不同特征模态和非负矩阵因子特征约简的慢性伤口愈合评估系统。IEEE Access,2019。[15] 玛丽娜·科列斯尼克和阿莱斯·费克萨多维彩色直方图在创伤图像分割中的应用在国际图像分析与识别。Springer,2005年。[16] 玛丽娜·科列斯尼克和阿莱斯·费克萨支持向量机伤口分割的鲁棒性如何?在NORSIG,2006年
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![application/x-zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)