没有合适的资源?快使用搜索试试~ 我知道了~
深度学习点和小球分割评估黑色素瘤图像特征
智能系统与应用16(2022)200126短通信基于深度学习的点和小球分割,使用piX el和基于斑点的指标进行评估☆阿南德·KNambisana,Norsang Lama a,Thanh Phan a,Samantha Swinfard a,BinitaLama a, Colin Smithb,Ahmad Rajeh c,Gehana Patel d,Jason Haghane,William V.Stoecker e,RonaldJ. Stanley f,*密苏里科技大学,罗拉,MO 65209,美国bA.T. Still University Medical School,Kirksville,MO 63501,USA密苏里大学医学院,哥伦比亚,MO 65212美国密苏里大学哥伦比亚分校University of Missouri - Columbia,Columbia,MO 65211 USAeS A Technologies,Rolla,MO 65401,USAf127艾默生电气公司大厅,密苏里科技大学,罗拉,MO 65209,美国A R T I C L EI N FO关键词:机器学习深度学习数据处理黑色素瘤小球特征分割A B S T R A C T应用于整个皮肤镜图像的深度学习(DL)在区分皮肤镜图像方面表现出前所未有的准确性。良性病变的黑色素瘤图像。我们假设整体图像深度学习的准确性受到影响,因为整体病变分析缺乏对皮肤镜结构的评估。 DL还遭受“黑盒“表征,因为它仅向医生提供概率而没有可见结构。我们建议检测称为点和小球的结构作为提高黑色素瘤检测精度的一种手段。我们比较了两种编码器-解码器架构来检测点和小球:UNET与。UNET++。为每个这些架构,我们比较了三个管道:测试时增强(TTA),没有TTA,没有TTA,但与检查点合奏。我们使用SE-RESNEXT编码器和对称解码器。发现基于UNET++和具有检查点集合的UNET技术的小球和点检测的基于piX el的F1分数基于斑点的UNET++和UNET F1-评分(50%交叉)分别为0.696和0.685。这一一致性得分是专家之间测量的统计相关性得分的两倍多。我们提出UNET++小球和斑点检测作为一种技术,提供了两个潜在的优势:提高诊断准确性和可见结构检测,以更好地解释DL结果并减轻深度学习的黑盒问题。 我们提出了一个公共的球和点数据库,以帮助这些结构的自动检测的进展。1. 介绍侵袭性黑色素瘤是皮肤癌的一种形式,2022年在美国估计有99,780例新发病例(Siegel et al.,2022年)。如Noone et al. (2018年)。尽管如此,Rahib等人(2021)的预测显示,到2040年,黑色素瘤病例数量将增加一倍以上,成为第二大最常见的癌症。这强调了从事研究以提高对皮肤病变的认识和早期诊断的重要性。在本节中,将概述使用机器学习技术。在用于数字皮肤镜检查的计算机辅助诊断(CAD)领域中,研究人员已经专注于分析皮肤病变以用于诊断的一组任务。这些任务可以大致分类为图像增强或预处理、病变分割、特征,最后是病变诊断或分类(Madooei Drew,2016&;Ade-gun Viriri,2021&)。用于基于机器学习的皮肤病变研究的最大和最常用的公共数据集是ISIC数据集,其由国际皮肤成像协作组织(ISIC)在2016年国际生物医学成像研讨会(ISBI)上首次发布(Gutman et al., 2016年)。与此同时,☆ 预印本提交给智能系统与应用:2022年8月24日* 通讯作者。电子邮件地址:stanleyj@mst.edu(R.J.Stanley)。https://doi.org/10.1016/j.iswa.2022.200126接收日期:2022年6月18日;接收日期:2022年8月25日;接受日期:2022年9月11日2022年9月17日网上发售2667-3053/© 2022作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页:www.journals.elsevier.com/intelligent-systems-with-applicationsA.K. Nambisan等人智能系统与应用16(2022)2001262涉及一系列任务,以进一步推动基于CAD的皮肤研究。从那时起,又有四 次 挑 战 的 迭 代 , 每 次 都 有 一 组 皮肤 病 变 相 关 的 任 务 和 数 据 集(Tschandl等人,2018; Codella等人, 2019,2018; Combalia等人,2019年)。许多其他数据集也被用于CAD研究。 一些如PH2(Mendon Reynca等人,2013)是小的并且只有200个皮肤镜图像,具有三种诊断类别:普通痣、非典型痣和黑色素瘤。其他数据集包括皮肤镜检查的交互式图谱(Interactive atlas of dermoscopy)(Mexoziano等人,2002),其具有超过1000个临床病例,具有临床图像、皮肤镜图像、组织病理学结果和难度水平,其被创建作为培训医务人员的手段。Kassem等人(2021)使用各种数据集对当前的机器学习和深度学习方法进行了简要回顾,以突 出 基 于CAD 的 皮 肤 病 变 研 究 中 的 一 些 普 遍 挑 战 。 Adegun Viriri(2021)&在他们对CAD中深度学习技术的调查中,重点关注了ISIC2018和ISIC 2019数据集。他们得出结论,模型集成,图像预处理和病变分割改善了皮肤病变分类的结果。皮肤病学特征的分割一再被高度-被认为是一项更困难的损伤任务。Codella等人(2018)在ISIC 2017()和ISIC 2018挑战的挑战后审查中提到了这一点。Barata 等人(2019)对皮肤病变图像分析中的特征提取进行了全面调查,包括临床启发特征,如阴性网络、点、小球等。他们发现注释所消耗的时间是缺乏对图像分析中这些特征的探索的主要原因。这也阻碍了将临床特征纳入基于深度学习的特征分割。Cassidy等人(2022)最近的工作使用了多个ISIC数据集的精心组合以及深入的数据清理策略,并提供了多个测试集的基准。这样做是为了突出由于病变诊断分类任务评估中的噪声和其他伪影而发生的偏倚。也已经做了工作,以减轻在医疗保健领域的任务创建注释的困难。Calisto等人(2017)提出了基于触摸的医学注释界面,旨在为放射科医生在患者随访期间提供帮助。Calisto等人(2021,2022)表明,人工智能技术的集成提高了工作流程效率,减少了与工作相关的认知疲劳。这样的接口可以被引入到临床中,以进行跨医学学科的注释和数据收集过程这这样就可以更容易地标准化和收集数据,下游机器学习任务和统计分析。1.1. 点和小球分割在本节中,我们将重点关注感兴趣的临床特征:斑点和小球。我们提供的信息和背景,以支持其在皮肤病变诊断的重要性。黑色素瘤的早期诊断,特别是在原位阶段,产生最佳预后(MocellinNitti,2011&)。然而,领域专家错过了许多黑素瘤病例,特别是早期原位黑素瘤(Esteva et al.,2017; Ferris等人,2015; Marchetti等人,2018年)。结合深度学习(DL)的机器视觉技术已经显示出比皮肤科医生可以实现的更高的诊断准确性(Haenssle等人, 2018; Tschandl等人, 2019年)。然而,DL方法的准确性尚未被证明适用于小直径的黑色素瘤。(Pehamberger等人,1993年)。但是这些结构在良性和恶性病变中都有发现,因此需要精确地表征点和球,以便将它们用于黑色素瘤区分。这些结构可能是最有用的区分微小的黑色素瘤良性模仿。Pereira等人(2022)在76.5%的小黑色素瘤中发现了不规则的斑点和小球;这些特征是这些黑色素瘤最具鉴别力的特征。如果点和小球可以被精确地描绘出来,它们的特征就可以用来预测黑素瘤Xu et al.(2009)发现大小球和不同大小和形状的小球对黑色素瘤的优势比最高。Maglogiannis和Delibasis(2015)报告了使用多分辨率反向非线性扩散方法进行自动斑点和小球检测,并发现检测结构的特征将诊断准确性提高了6%,主要是通过提高特异性(真阴性率)。该研究显示了球状体的潜力,但是来自该研究和其他研究的结论,例如(Barata等人,2019)是有限的,因为它们分析了来自非公开数据库的有限数量的病变,并且缺乏用于评估检测到的结构的特定度量。2017年和2018年ISIC挑战(Codella等人,2018年,2019年)提供了一个球数据库,使用基于Superpi X el的地面实况注释,其中包括除了球之外的无关区域。这些面具包括皮肤特征,但不能精确地描绘它们。不精确的掩模不允许确定特征特异性信息,如病变内特征的实例数量,形状、结构和病变上特征实例之间的颜色变化。一旦提取,这些特征可以用于其他下游任务(解释或分类)。ISIC小球注释的一个例子显示,(图。①的人。这项研究开发了精确的点和小球掩模,并提出了一个DL技术自动检测这些面具。我们还提出了一个基于斑点的度量,以最好地确定模型检测精度。其余部分包括2方法,3培训,4数据集可用性,5硬件和软件配置,6结果,7 discussion,8结论和未来的工作。2. 方法在下面的小节中,我们分解了数据集管理中涉及的不同步骤,以准备模型训练,使用的DL模型以及评估模型性能的评估指标。2.1. 数据收集和处理为了创建数据集,我们选择了539张图像,其中501张来自ISIC2019数据集(Codella等人, 2018; Combalia等人, 2019; Tschandl等人, 2018年)和38个来自NIH资助SBIR R43 CA 153927 -01和CA101639 - 02 A2支持的多诊所研究。我们选择使用ISIC 2019数据集,因为该数据集也有元数据信息,我们相信这可以在未来的工作中开发多模态方法。在皮肤科医生(W.V.S.)的监督下,标记图像中包含点或小球的所有区域,如由共识会议定义的那样(Reziano等人, 2003年)。我们使用了点和小球的广泛定义,以便模型可以在诊断过程中提取点和小球是深棕色、黑色或灰色的结构,具有相当清晰的边界,通常大致呈圆形,但有时不规则。我们将数据集分为65%的训练集和35%的测试集。这给US 381个图像,其中358个是唯一的图像,其余的是具有多于一个注释掩模的相同图像(这发生在图像集中的重复图像中)或具有相同病变但在稍微不同的条件下采集的图像。这意味着保持测试集有158个图像,并且所有图像都是唯一的。然后,训练/验证数据集被分成五组训练和验证集,以进行5重交叉验证。在分割成折叠的过程中,我们确保在一对训练验证集上没有重复(相同的图像或相同的病变)。所有重复项都被移到训练集中;只留下唯一的im。验证数据集中的年龄。为了显示模型我们还在一组160个小黑色素瘤上进行了测试。我们这样做是为了确定模型是否在各个类中检测到相似的结构。由于点和球在区分黑色素瘤和良性痣中很重要,我们希望我们的模型能够检测到黑色素瘤中的类似结构。A.K. Nambisan等人智能系统与应用16(2022)2001263关于我们×2.2. 模型图1.一、 痣(左)与点和小球标记(右)在2018 ISIC数据集。对于小球分割,我们使用UNET的两种变体(Ron-neberger等人,2015)架构,两者都具有相同的编码器网络,但具有不同的解码器和跳过连接结构。这两个体系结构是通常的UNET体系结构,如Ronneberger等人。(2015)和UNET架构(Zhou et al.,2018年)。UNET架构是对UNET架构的修改,其中每个编码器级经由嵌套密集卷积连接到对应的解码器级。该架构还具有多个分段分支,每个分支源自编码器网络的不同级别UNET++架构存在两种变体-基于如何处理来自分段分支的输出-快速模式,其中选择最终解码器分段输出,以及精确模式。模式,其中所有分割掩码被平均以生成最终掩码。我们在工作中使用快速模式。编码器是SE-R-esNext 50 -32 4d网络(Hu等人,2018),它结合了挤压和激励模块,以学习跨卷积特征通道的关系。该模型基于ResNext50(Xie等人, 2017)模型,该模型扩展并修改了Resnet模型(He等人, 2016)沿着新的“基数“维度,其在该特定情况下可以使用分组卷积的符号来简化。解码器是基于编码器、输出掩码要求和使用(Yakubovskiy,2022)中的实现所2.3. 评估指标在相关任务中,例如ISIC 2018和2017挑战中的特征分割任务,用于评估预测特征的指标口罩是基于piXel的IOU(贾卡德)(Codella et 例如,二〇一九年,2018年)。Jaccard度量在基于超圆周率的地面上运行良好图二. 图像中模型定位良好,但斑点太多。基于piX el的IOU、精确度、召回率和F1分数分别为0.0947、0.994、0.0947和0.173。基于斑点的精确度,召回率和F1分数与25%的交叉阈值分别为0.25,1.0和0.4,表明良好的定位。在分割任务中,单个预测的斑点可以与多个地面实况球重叠。这可能是由于注释者选择合并或分离看起来很接近的小球的主观变化程度。整个测试集的基于斑点的精确度和召回率可以使用真阳性的数量来计算(等式10)。(1))、假阳性(Eq. (2)、假阴性(Eq. (3))图像中的斑点,并累积(等式(Eq. (4)对整个数据集进行处理。TP=∑∑f。j.j.,iGi真相掩盖,但不会表明我们的精确性能数据集。在图2中可以看到基于pi x el的IOU对于点和小球分割是差的度量的情况的示例。 二、我i=1INij=1Ni对于PASCAL VOC挑战(Everingham等人, 2015年),FP=∑∑f。j.j.,i (2)预测边界框与真实boxes是用于判定预测boxes是否i=1j=1伊咪都是真阳性基于置信度的方法用于构造FN=∑∑f。(3)Pi≤T2×Pi≤T2 ×P i ≤T2×Pi≤一个插值的精确度-召回率曲线来计算平均精确度。我们开发了一种基于blob的度量方法,i=1j=1球状体边界的主观性质。标记小球边界f是指示函数,皮肤科医生和皮肤镜专家之间的差异显着,f语句{1,if语句为true(四)即使是在不同时间由同一专家标记的小球之间((请参阅讨论)。因此,物体的检测应该是)=0,否则如果在检测到的(预测的)掩模和真实掩模之间存在显著的重叠(掩模交叉),则认为是成功的。我们将斑点定义为遮罩中任何不相交的轮廓。对于小球来说哪里|B|表示斑点b中像素的数量,I是测试集中图像的总数,N i是第i个图像的预测掩模(P i)中斑点的总数,M i是斑点的总数A.K. Nambisan等人智能系统与应用16(2022)2001264==×××××在第i个图像的地面真实掩模(Gi)中。 bj,i 是Pi中的第j个gk,i是Gi中的第k个斑点。 这里T1和T2指定交点用于分别将斑点视为真阳性(或假阳性)和假阴性的百分比阈值(相交阈值)落在实线上的开区间(0,1)中。阈值T1和T2可以也被分别解释为预测的BLOB的精确度和基本事实BLOB的查全率的阈值。在我们的计算中,为了简单起见,我们设T1=T2T 我们可以使用TP,FP和FN来计算精度,回忆和F1分数。Xu等人(2020)使用了一种类似的方法,该方法依赖于斑点之间的质心距离而不是重叠。这样做是为了说明地面实况是以斑点质心坐标的形式而不是斑点遮罩的形式。我们用三个不同百分比的交叉阈值计算了这些基于斑点的度量。分别为25%、50%和75%(T 0。25,0。五比零75)。我们的分析表明,F1-分数是相对恒定的25%的交集,然后单调下降所需的重叠百分比增加。结果示于表1中和2.我们还在测试数据集上计算了基于piXel的指标,以评估分割质量。基于pi X el的分数是通过基于等式2在整个数据集上累积真阳性、假阳性、真阴性和假阴性pi X el来计算的。(1-4),并使用精确度、召回率和F1分数的通常定义来计算度量,如在上面的blob情况中所做的那样。3. 培训在本节中,我们将描述我们的训练过程,使用的增强以及不同的测试管道。为了训练这两种架构,我们使用ADAM(Kingma Ba,2022)优化器和Dice loss以1 e-4的恒定学习率训练了完整模型&,这对医学图像分割显示出了很大的希望(Zhao等人,2020年)。所有模型都训练了200个epoch,在验证丢失时有10个epoch的提前停止耐心。所有的模型都被配置为具有维度448的输入448,有三个频道。在训练过程中,我们首先从图像中裁剪出一个448 × 448的补丁(如果需要的话,可以进行零填充),随机裁剪的概率为0.30,裁剪掩模区域的概率为0.70。进一步的颜色和空间增强,表1UNET和UNET++的基于 PiXel和基于斑点的分数,具有不同的测试时间方法。这些模型是在全痣数据集上训练的。测试流水线为:P1(无测试时间增加(TTA)或检查点集成方法(CE))、P2(仅TTA)和P3(仅CE)。结果是测试痣图像。IT代表交叉口阈值。每个体系结构的最高值UNET UNET++测试管线P1 P2 P3 P1 P2 P3基于像素2009 - 2009两年期精密度0.6760.667 0.6590.6410.634 0.640召回F1-得分0.614 0.6200.6280.623 0.6290.632基于区块IT=25%表2UNET和UNET++的基于 PiXel和基于斑点的分数,具有不同的测试时间方法。这些模型是在全痣数据集上训练的。测试流水线为:P1(无测试时间增加(TTA)或检查点集成方法(CE))、P2(仅TTA)和P3(仅CE)。结果用于对黑色素瘤图像进行测试。IT代表交叉口阈值。每种体系结构的最高值用粗体表示,两种体系结构的最高值用下划线表示。UNET UNET++精度最后将其输入模型。我们还对数据集进行了过采样,使得训练样本的数量是训练数据集中图像数量的1.5倍。该模型的输出是一个448 448的概率掩码,它被进一步处理,以获得最终的预测掩码。当在训练过程中进行验证时,我们采用了与作物生成训练类似的方案,但没有应用进一步的增强。我们还在每个25个epoch窗口中保存了最佳模型检查点。由于所有模型都经过了200个epoch的训练,因此我们有 在一个折叠上训练8个模型,在五个折叠上总共给我们32个保存的模型。这些保存的模型然后在测试时与最佳模型集成,类似于Chen等人所做的工作。(2022年)。在保持测试集上测试单个训练权重集涉及从 图像,每个片在高度和宽度维度上具有50像素的重叠。这些作物然后被传递到模型,该模型输出每个作物的维度448、448的概率掩模。我们还实现了另一个测试管道,其中对每个裁剪的补丁执行测试时间增强(TTA)。使用的增强都是无翻转和水平翻转的可能组合,以及0°、90°、180°和270°的旋转,给我们8个增强,因此8个增强的裁剪。测试期间未进行其他空间或基于颜色的增强。然后将这些增强的作物集传递给模型,为图像中的每个作物提供8个概率掩码。概率掩码被去增广并一起平均以得到结果概率掩码。然后,这些概率掩模通过在重叠区域上的适当加权被修补回一起,以获得具有与输入图像相同维度的全概率掩模。然后我们有五个概率掩码,每个模型一个,在五个折叠中的一个上训练。这些被平均以得到图像的最终概率掩模。将0.5的阈值应用于概率掩模,给出最终预测掩模。最后,我们创建了一个测试管道,通过平均每个保存的模型和最佳整体模型的概率掩码来集成检查点模型。在这第三条管道中,没有进行TTA,并且使用相同的上述基于作物的方法处理集合中每个模型的输入。这使我们能够将初始窗口的慷慨预测与最终窗口的更精确预测融合在一起。与以前的管道一样,检测管线P1P2P3P1P2P3基于像素借据0.3930.4010.3970.3850.3920.392精密度0.5510.5440.5390.5040.5000.507召回0.5780.6050.6020.6190.6450.634F1-评分0.564基于区块IT=25%精度0.6600.5740.6900.5680.7010.5560.6940.5630.7130.5640.724召回0.5900.5830.5660.5630.5500.554F1-评分0.6230.6320.6260.5440.6210.628IT=50%精密度0.5580.5880.6000.6040.6350.633召回0.5100.5050.4920.4960.4900.487F1-评分0.5330.5440.5400.5440.5530.551IT=75%0.4110.4080.4250.4680.443召回0.3530.3670.3470.3630.3700.356F1-评分0.3600.3880.3750.3920.4130.395精度0.5370.5550.5770.5690.5830.595召回0.8560.8510.8440.8490.8410.838F1得分0.6600.6720.6850.6820.6890.696IT=50%精度0.5020.5250.5440.5380.5550.565召回0.7930.7830.7790.7910.7810.776F1得分0.6150.6290.6410.6410.6490.654IT=75%精度0.3490.3810.3890.3900.4210.414召回0.5820.5880.5760.5970.5970.585F1得分0.4360.4620.4650.4720.4940.485A.K. Nambisan等人智能系统与应用16(2022)2001265++0.5以得到最终的预测掩码。4. 数据集可用性所使用的非公开和公开数据集的球掩模和图像是公开的,可以通过https://crossmine访问。mst.edu/research_data/10/网站。5. 硬件和软件配置我们的模型在具有64 GB RAM的Intel(R)Xeon(R)Silver 4110CPU(2.10 GHz)以及具有8 GB RAM的NVIDIA Quadro P4000 GPU上进行训练。 使用Pytorch(Paszke等人,Yakubovskiy(2022)中实现的图书馆。6. 结果下面给出了在使用不同管道进行训练和测试之后获得的结果的讨论。我们比较和列表的结果,从不同的架构。对于基于斑点的评估,使用第2.3节中描述的三个不同的相交阈值来提取真阳性、假阳性和假阴性斑点。交叉百分比分别为25%、50%和75%。一旦这些计算完成,我们就会找到基于blob的精确度,召回率和F1分数。表1示出了具有第3节中提到的不同测试流水线的两种架构的痣的基于斑点和基于piXel的分数。图3显示了在我们的最佳管道上具有高基于像素的IOU分数(0.73和0.70)的两个案例:具有检查点集合的UNET,显示了正确的球检测。图4示出了最差的小球检测结果。图5示出了不存在小球并且未发现小球的图像。由于该模型不是在黑色素瘤图像上训练的,因此我们不会如果我们将测试数据集(痣和黑色素瘤)作为单个实体处理,则能够分析结果中的差异,因此我们将它们分开呈现。小黑素瘤的测试结果见表。二、将这些分数与表中的分数进行比较。1我们看到痣的基于斑点的召回率高于黑色素瘤和斑点。图三. 显示具有最高基于pi X el的IOU分数的两个病例的图像。右侧的图像显示了与预测掩模和真实掩模重叠的病变。蓝色区域是假阳性像素,绿色是假阴性,并且蓝绿色区域是真阳性。 三比五见图4。基于像素的IOU评分最低的4个病例的图像叠加左上角图像显示微弱的假阴性斑点(DL未能检测到)。其他3张图像显示了注释者未标记模糊斑点的图像的假阳性。图五、 没有发 现 点或小球的 图像 ,等于地面实况。黑色素瘤的基础精确度高于痣。这可以归因于这样一个事实,即模型从未在黑色素瘤图像上进行过训练,但当它们确实预测小球时,它们通常是正确的(更高的精度),但未能获得在地面真实中标记的所有斑点(较低的召回率)。 一个例子可以在图中看到。 二、7. 讨论这项研究表明,尽管点和小球评估具有主观性,但精确注释的地面实况地图可以实现深度学习的高准确性。这种分割精度可以用相对较少数量(539)的地面真实掩模来实现。我们用两个指标证明了这种准确性:基于piXel和基于blob。所有皮肤镜结构都存在专家之间的分歧。我们提出了基于斑点的度量作为一个模型,以更好地评估结构是否已被正确识别和APPROXirons定位。点和小球的观察者间一致性的kappa统计量为0.33(95%置信区间为0.32-0.34)(Kazziano等人,2003年)。我们的50%A.K. Nambisan等人智能系统与应用16(2022)2001266基于交叉斑点的点-球F1分数为0.654,是点-球观察者间一致性分数的两倍多,这表明我们的点和球检测深度学习模型与地面实况显示出中等一致性。通过忽略由微小形状差异导致的像素计数差异,我们可以更好地对小结构进行建模,这些小结构的检测在分层病变分类管道中至关重要。我们的基于斑点的度量只是一种可能的生物启发度量(SabbaghiMahmouei等人,2019),并展示了这些任务如何激发主 观 建 模 性 能评估的新指标任务构建特定于任务的指标(点和小球组成了一个没有精确界限区分的连续体结构。因此,它们被作为一个类处理。色素性病变分类具有高的类内变异性和低的类间变异性。因此,本研究集中在一个单一的类,良性痣,检测这些结构。这项研究可以被整合到一个拟议的深度学习管道中,该管道利用了皮肤科医生使用的临床特征。这种方法可以克服深度学习的黑盒性质,并可用于在临床环境中为诊断和训练提供更有说服力的深度学习模型。基于结构的模型利用临床医生使用的算法来提高黑色素瘤筛查的准确性。这些管线可以使用分析方法如Grad-Cam(Selvaraju等人,2017)和显着图(Simonyan等人,2014年)。这些临床特征也可以用在深度学习可解释性范例中,例如TCAV(Lucieri等人,2022)或由机器学习从业者用于可解释的分类管道。8. 结论和今后的工作在本节中,我们将讨论我们打算开展的未来工作的某些方面,并就继续开展当前工作提出一些想法。在用于医学计算机视觉的深度学习模型出现之前,研究人员构建了高度专业化的特征检测/提取算法来寻找临床相关特征,然后将其用于病变诊断。然后,这些任务可以合并到一个管道中,用于完全自动化的病变诊断。将其用于皮肤病变诊断的基于特征的方法依赖于全局特征,其包括来自整个皮肤镜图像或仅病变区域的颜色、形状、纹理和其他(通常手工制作的)信息(Sheha等人,2012; Saba等人,2019; Nasir等人,2018年)。一些像Benyahia等人(2022)已经提取了用于分类的深度学习模型(深度学习特征)中中间层的活动。Hageland等人(2019)通过融合深度学习和手工制作的功能提高了诊断准确性。Yap等人(2018)使用了年龄、性别和病变位置等元数据信息,并在与深度学习模型一起使用时显示出改善。Calisto等人(2020,2021)将类似的多模式方案用于乳腺癌筛查。的 整体图像 深 学习 诊断 模型 缺乏解释-能力在涉及是否对病变进行活检的关键决策的医学应用中,尤其需要弹性。检测和显示不规则小球,这是一种与熔化相关的可见结构,anoma提供了可解释性,而无需诉诸可解释的模型(BurkartHuber,2021&;Molnar,2022)。许多研究人员已经注意到在医学领域使用可解释模型的困难。目前的研究,在提供自动小球检测,提供了一个步骤,以提高结构检测的可解释性。我们精确的注释掩码也可用于训练深度学习模型。为了解决这些挑战,我们提出了一个带注释的数据库和一种深度学习方法,可以高精度地检测点和小球。拟议工作的另一个目标是将注释临床特征的繁琐工作卸载到深度学习模型中。我们还打算继续研究生物启发的度量,如这里提出的基于斑点的度量,这可以提高对主观数据库上的模型性能的理解。我们将探索基于模糊逻辑的指标和其他指标,如Taha Hanbury,2015&),这些指标可用于处理多个或主观的地面实况数据库。黑色素瘤的地面实况开发将继续进行,这与我们目前的数据库一起可以潜在地提高黑色素瘤检测的准确性,特别是对于小黑色素瘤(Eqs. (1)-((4))。CRediT作者声明阿南德 ·K 南比山 :0000-0003-4565-4609。诺桑喇 嘛:0000-0002-3580-5736。杰森·哈格里夫斯:不。史密斯:不。AhmadRajeh : NA. Thanh Phan : NA. Samantha Swinfard : NA. BinitaLama:NA. Gehana Patel:NA. 威廉·V·斯托克:0000-0003-4863-3483。罗纳德·J·斯坦利:0000-0003-0477-3388竞争利益作者声明,他们没有已知的可能影响本文所报告工作确认这项工作部分得到了美国国立卫生研究院(NIH)的资助SBIR R43CA 153927 -01和CA 101639 - 02 A2的支持。其内容仅由作者负责,不一定代表NIH的官方观点。引用A.阿德贡河Viriri,用于皮肤病变分析和黑色素瘤癌症检测的深度学习技术:最新技术水平调查,第54卷(2),Springer Netherlands,2021年。doi:10.1007/s10462-020-09865-y。Gulziano,G.,Soyer,H.P.,Chimenti,S.,塔拉米尼河,科罗纳河Sera,F.,宾德,M.,塞罗尼湖Rosa,G. D、Ferrara,G.,霍夫曼-韦伦霍夫河,Landthaler,M.,Menzies,S. W.,Pehamberger,H.,Piccolo,D.,Rabinovitz,H.美国,希夫纳河,Staibano,S.,Stolz,W.,巴尔捷涅夫岛,Blum,A.,布劳恩河,Cabo,H.,Carli,P.,Giorgi,V.D.,Fleming,M. G.,Grichnik,J. M.,格林角M.,Halpern,A. C.的方法,约翰河,Katz,B.,凯内特河O.,Kittler,H.,Kreusch,J.,Malvehy,J.,Mazzocchetti,G.,Oliviero,M.,Ozdemir,F.,Peris,K.,佩罗蒂河Perusquia,A.,皮齐凯塔湾一、Puig,S.,Rao,B.,Rubegni,P.,Saida,T.,Scalvenzi,M.,Seidenari,S.,斯坦加内利岛,Tanaka,M.,Westerhoff,K.,沃尔夫岛H、Braun-Falco,O.,Kerl,H.,Nishikawa,T.,Wolff,K.,Kopf,A.W. (2003年)的报告。色素性皮肤病损的皮肤镜检查:互联网共识会议的结果。 美国皮肤病学会杂志,48(5),679阿利齐亚诺湾S. H. P.,Soyer,H. P.,De Giorgi,V.,Piccolo,D.,Carli,P.,&德尔菲诺,M。(2002年)的报告。Dermoscopy:a tutorial(p. 16)。 新媒体:Escort,医学出版社&。巴拉塔角切莱比湾E、&马克斯,J.S.(2019年)。皮肤癌皮肤镜图像分析中特征提取的研究进展IEEE生物医学与健康杂志Informatics,23(3),1096- 1109. https://doi.org/10.1109/JBHI。2018.2845939Benyahia,S.,Meftah,B.,莱佐雷岛(2022年)。基于深度的多特征提取学习皮肤病变分类。组织和细胞,74,文章101701。网址://doi.org/10.1016/j.tice.2021.101701。网址https://www.sciencedirect.com/science/article/pii/S 0040816621002172。Burkart,N.,Huber,M.F. (2021年)。有监督机器的可解释性研究综述学习 人工智能研究杂志,70,245- 317。Calisto,F. M.,Ferreira,A.,Nascimento,J.C.,&Gon algincalves,D.(2017年)。基于触摸的医学图像诊断标注。在2017年ACM会议记录中互动表面和空间国际会议,ISS390美国纽约州纽约市:计算机协会。https://doi.org/10.1145/3132272.3134111.Calisto,F. M.,Nunes,N.,&Nascimento,J.C.(2020年)。乳腺癌筛查:多模态医学影像诊断的应用。在先进的视觉界面国际会议上,AVI美国纽约州纽约市:计算机协会。https://doi.org/10.1145/3399715.3399744网站。Calisto,F. M.,圣地亚哥角Nunes,N.,&Nascimento,J.C.(2021年)。引入以人为中心的AI助手,以帮助放射科医生进行多模态乳腺图像分类。国际人机研究杂志,150,文章102607。https://doi.org/10.1016/j.ijhcs.2021.102607网站。网址https://www.sciencedirect.com/science/article/pii/S1071581921000252。Calisto,F. M.,圣地亚哥角Nunes,N.,&Nascimento,J.C.(2022年)。人工智能乳房检查:评估人类与人工智能交互的医学智能代理。人工智能A.K. Nambisan等人智能系统与应用16(2022)2001267医学,127,第102285条。https://doi.org/10.1016/j.artmed.2022.102285网站。网址https://www.sciencedirect.com/science/article/pii/S0933365722000501。卡西迪,B.,肯德里克,C.,Brodzicki,A.,Jaworek-Korjakowska,J.,叶&,M。H. (2022年)。isic图像数据集分析:使用、基准和建议。医学图像分析,75,文章102305。https://doi.org/10.1016/j的网站。media.2021.102305.网址https://www.sciencedirect.com/science/article/pii/S1361841521003509。H. Chen,S. Lundberg,S.I. Lee,Checkpoint ensembles:Ensemble methods from asingle training process,arXiv preprintarXiv:1710.03282。(2022年)。N. Codella,V. Rotemberg,P. Tschandl,M. E.切莱比湾Dusza,D.古特曼湾Helba,A.Kalloo,K. Liopyris,M. Marchetti,H. Kittler,A. Halpern,皮肤病变分析对黑色素瘤检测2018:由国际皮肤成像合作组织(ISIC)主办的挑战(2019)。arXiv:1902.03368。Codella,N. C.的方法,Gutman,D.,切莱比湾E、 Helba,B., Marchetti,M. 一、Dusza,S. W.,Kalloo
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功