没有合适的资源?快使用搜索试试~ 我知道了~
10702基于语义分割的多阶段病理图像分类高滨秀介1黑濑雄介1、2向田雄介1、2阿部博之1、3鸠山正志1、3吉泽明彦3、4北川昌信3、5原田达也1、2、61东京大学2理研3日本病理4京都大学5东京医科齿科大学6国立信息学{takahama,kurose,mukuta,harada}@ mi.t.u-tokyo.ac.jp摘要组织学图像分析是发现癌症等疾病的重要过程。然而,考虑到可用的内存容量,在千兆像素分辨率的整张幻灯片图像(WSIs)上训练CNN是具有挑战性的。以往的工作大多将高分辨率的WSI分割成小块图像,分别输入模型中,将其分类为肿瘤或正常组织。然而,基于块的分类仅使用块尺度的局部信息,而忽略了相邻块之间的关系。如果我们考虑到相邻块和全局特征的关系,我们可以提高分类性能。为了提高自动病理诊断的预测性能,本文提出了一种将基于块的分类模型和全切片尺度分割模型相结合的我们从分类模型中提取斑块特征并将其输入到分割模型中以获得整个载玻片肿瘤概率热图。分类模型考虑斑块尺度的局部特征,分割模型可以考虑全局信息。我们还提出了一种新的优化方法,该方法保留了梯度信息,并在GPU内存容量有限的情况下部分训练模型进行端到端学习。我们将我们的方法应用于WSIs上的肿瘤/正常预测,与传统的基于块的方法相比,1. 介绍病理诊断是用显微镜观察组织切片,以确定是否存在癌症等疾病。近年来,一种被称为数字病理学的技术被开发出来;它用扫描仪捕获整个幻灯片图像并将其存储为数字图像(整个图1.胃活检数据集中的千兆像素WSI示例。病理学家需要仔细检查WSI的细节,如细胞组织,以进行诊断。因此,WSI必须具有高分辨率和大尺寸。当对WSI进行图像分析时,会剪切出称为斑块(右)的小图像。请注意,根据WSI上的位置,组织大小、颜色和形状表现出显著的多样性。幻灯片图像,WSI)。随着数字病理学的普及,大量WSI数据已被验证,许多研究旨在通过将使用机器学习的图像分析技术应用于WSI来辅助病理学家WSI最具特色的方面是大图像尺寸和其异常高的分辨率。它的大小可以超过105×105像素。为了诊断疾病的存在,有必要研究在高分辨率图像中观察到的局部结构几乎考虑到GPU内存消耗,将WSI直接输入机器学习模型是不可行的此外,如果为了将WSI输入到模型中而降低分辨率,则会丢失局部特征,导致性能下降。因此,以往的研究多采用将大面积的水景观分割成小块10703图像并使用补丁训练分类模型近年来,CNN在图像识别领域取得了重大成就,许多病理图像分析的研究也使用CNN作为补丁分类器[12,19]。然而,这种基于块的方法独立地评估每个块,使得不考虑相邻块之间的关系或更多的全局信息。病理学家首先检查整个WSI并放大到疑似患病的区域,以仔细检查细节。因此,分类性能有可能通过考虑局部和全局特征来改善。语义分割是利用更广泛区域的特征进行局部(如典型的语义分割网络具有用于在考虑全局特征的同时估计每个像素的类别的结构[20,23]。该模型考虑了全局特征和局部信息,可以提高病理图像分析的性能。然而,由于WSI非常大并且具有非常高的分辨率,因此GPU的可用存储器容量不足以将WSI直接输入到分割模型中。本文提出了一种将考虑局部特征的特征提取器模型和考虑全局信息的分割模型相结合的模型,以提高病理分析的分类性能,同时调节内存消耗。首先,我们将从WSI中切出的补丁输入到特征提取器模型中并提取补丁特征。接下来,我们从每个WSI收集特征,将它们输入到分割模型中,并获得整个载玻片肿瘤概率热图。我们还提出了一种保留梯度信息并部分训练特征提取器模型的方法,以便通过有限的内存消耗优化我们的网络端到端。使用所提出的学习方法,我们使用WSI以其原始分辨率进行训练,内存消耗低。我们在本文中的主要贡献:(1)提出了一种兼顾高分辨率局部信息和整体切片尺度全局信息的病理分类模型。(2)我们提出了一种使用较低内存消耗来训练所提出的模型的方法,该方法通过保留两个模型之间的特征和梯度,并分别训练分类模型。(3)实验表明,与传统的基于块的方法相比,我们的模型实现了更高的分类精度。2. 相关工作病理分类:在先前的病理图像分析中,提取手动设计的特征以分类肿瘤/正常组织,例如分形特征[13]、形态测量特征[5]和纹理特征[24]。然而,由于最近的突破CNN在图像识别中,许多研究使用CNN作为分类器[1,12,19,32,31]。大多数研究采用将超大型WSIs划分为小块并使用小块训练分类模型的方法。特别是 , 在 Camelyon Grand Challenge [3] 中 提 出 了 使 用CNN的各种方法,这是一项淋巴结易位分类的竞赛。Lee等人[18],得分最高的人并采用了其他一些技术来提高图像分类的性能。当训练数据数量有限时,微调是数据扩充对于提高泛化性能也很重要[19,12]。然而,基于块的方法没有考虑相邻块之间的关系或更多的全局特征。为了考虑外围信息,Lee et al.[18]建议对预测图应用诸如平滑的处理。它有助于相邻块的预测分数在空间上连续。Liu等人。[19]将多分辨率的补丁输入到模型中,以考虑空间信息。Tokunaga等人[30]针对不同分辨率的补丁训练多个分类器,并自适应地聚合改变每个CNN权重的输出。然而,这些方法仅利用了面片周围有限区域的信息此外,在预测图上进行简单的平滑等处理,可能会导致遗漏小的病害区域。语义分割:语义分割是局部区域的分类(例如,像素)类别。以前的工作使用随机森林或条件随机场(CRF)作为分类器[11,17]。然而,最近,大多数研究都使用基于CNN的分类器。使用CNN的早期分割模型是全卷积网络(FCN)[20]。FCN从上采样层输出平面分数图,而不是CNN的最终全连接层。SegNet [2]和U-net [23]具有编码器/解码器结构,以更敏感地保留位置SegNet通过记录编码器的池化索引来保留位置信息;同时,U-Net将编码器的中间特征图通过跳跃连接方式连接到解码器。这些结构能够输出考虑全局和局部特征的高分辨率预测图。另一种保留位置信息的结构是扩张卷积[33];它可以保持局部信息而不是池化层。PSPNet [35]提出了一个金字塔池化模块,将不同尺度下采样的特征组合在一起;与此同时,DeepLabv 3 + [7]通过将扩张卷积合并到PSPNet中并添加解码器结构来实现尖端性能。10704基于语义分割模型的成功,研究人员还将其应用于病理图像分析[26,6,34,32]。在MICCAI 2015腺体分割挑战赛[26]中,参与者根据病理图像中腺体语义分割的准确性进行竞争Chen等人[6]赢得了挑战,提出了一种基于FCN的多任务分割模型。它检测腺体的边界以及执行正常的像素分割。然而,该任务检测小块内的局部组织结构由于内存限制,将正常分割策略应用于千兆像素WSI具有挑战性Xu等人[32]通过切出具有小步幅的块并根据周围块的预测得分为每个像素投票来执行整个幻灯片图像的分割。然而,这只是斑块分类到邻近区域的扩展。本文将分类模型和分割模型相结合,提出了一种兼顾局部和全局信息的低内存消耗的分类3. 方法在本节中,我们提出了一种新的病理图像分类模型。节中3.1,提出了两种模型相结合的模型节中3.2、提出了模型的两种优化方法:分速率学习和端到端学习。独立学习相对容易优化和稳定,而端到端学习更优化地固定模型的权重。3.1. 模型结构在病理图像分析中,来自分类器的每个块的预测分数被排列以获得整个切片预测图。然后,我们将预测图上的每个补丁视为图像的一个像素。如果我们用特征向量代替图像的像素对于每个补丁,我们可以以与一般分割任务类似的方式以斑块作为最小分量,我们可以获得整个幻灯片预测得分图。然后,代表斑块信息的特征向量应该是有区别的,以便模型可以分类肿瘤/正常。因此,我们从补丁分类器的中间层获得有区别的特征向量。具体来说,首先,我们从WSI的补丁输入补丁分类器,并获得中间层的输出作为补丁的特征向量。接下来,我们安排补丁功能的基础上,他们的位置在WSI和开发一个完整的幻灯片功能地图。最后,我们将特征图输入到分割模型中,得到一个完整的幻灯片预测图。所提出的模型的流水线如图2所示。在块分类器中考虑了局部信息,在seg中获得全局特征图2.拟定方法概述。首先,我们从特征提取器模型中提取斑块的特征向量。接下来,将特征向量布置为整个载玻片特征图。最后,将特征图输入到分割模型中,得到肿瘤预测图.通过将特征与编码器结构相结合来实现心理状态模型。本文中的“全球”一词指的是比斑块尺度更广泛的区域。此外,我们可以通过两步模型学习来减少内存消耗。我们称模型的前半部分为一半是特征提取器型号:采用特征提取器模型提取斑块的特征向量。 输入是来自WSI的斑块,其具有基于病理学家的注释的肿瘤/正常标签。最后一层的输出是块的肿瘤/正常预测分数。 当模型的层定义为f1,f2,...f n从输入端开始,f n的输出是一个二维(肿瘤/正常)向量,我们提取f n−1层的输出作为斑块的特征向量。特征图构造:所提取的特征向量被布置为基于其中块被切出的位置信息来获得整个载玻片特征图。特征图大小是来自WSI的裁剪面片的数量。地图的深度是特征向量的长度。当我们将特征图输入到分割模型时,它们应该是固定大小的。但是,WSI的大小不同。因此,我们首先准备一个足够大的白色地图,里面填满了零。然后,我们安排每个特征图,使他们来到中心的白色地图。我们使用这个固定的特征图。同时,我们创建地面实况标签地图,其中的标签信息的补丁安排。分割模型:分割模型将图像块的特征与编码器结构相结合,并考虑全局特征进行分类。输入是固定大小的特征图,输出是图,10705R图3.端到端学习方法概述。为了调节内存消耗,我们一部分一部分地训练模型。首先,向前计算特征提取器模型最后一层的特征向量被保留,其他层的输出被丢弃。接下来,使用这些向量向前和向后计算分割模型保持两个模型之间的梯度信息最后利用梯度信息训练特征提取器模型。模型再次向前计算,然后用面片的子集进行反向支撑。WSI的mor预测得分图。误差函数是预测图和地面实况标记图之间的softmax交叉熵。3.2. 优化方法3.2.1方法一:分开学习作为方法1,我们提出了分离学习。在该方法中,我们分别训练特征提取器模型和分割模型。我们首先使用来自WSI的标记补丁优化特征提取器模型,直到它收敛。接下来,我们固定特征提取器模型的权重,并将所有补丁输入特征提取器模型。通过这个过程,提取中间特征向量,并开发每个WSI的特征图。然后,使用特征图训练分割模型。最后,我们得到整个幻灯片预测图作为输出。在这种方法中,每个模型都可以用有限的内存消耗来训练。我们实现了一个非常大的WSI分割的两步模型分别学习。3.2.2方法2:端到端学习作为方法2,我们提出了端到端学习,它优化了特征提取器模型和分割模型。我们估计了内存消耗,并解释了如何使用异常大的WSI作为输入来训练模型。当N是切割的面片数从一个WSI,N103104。为了向分割模型输入一个特征图,我们必须提供N补丁到特征提取器模型。当具有一个补丁当使用VGG 16 [25]等图像分类模型时,输入为M,M=103如果您尝试一次性输入一个WSI,则特征提取器模型将消耗大约103GiB;从记忆容量的角度。有几项研究将大型CNN模型拆分Chen等人[8]将模型分成几个块。只有每个块的输出被保留,其他的被丢弃,然后模型在获得梯度时再次在块内执行在我们的方法中,我们考虑的特征提取器模型和分割模型作为两个模块。在前向传递中,仅保留来自特征提取器模型的特征向量,并且丢弃中间层在反向传播过程中,再次执行额外的正向传播。此外,为了进一步减少存储器消耗,将构成WSI的N个补丁划分为更小的补丁子集(小批量)并部分地向前计算如果我们将N个补丁分成r个小批,并逐部分执行前向传递,则内存消耗约为NM。 通过选择一个合适的可计算大小的r,我们可以用低内存消耗计算特征向量当获得所有特征向量时,我们获得分割模型的输入对于反向传播通道,来自分割模型的梯度用于计算特征提取器模型的梯度。此时,梯度也在两个模型之间保留一次。此外,针对大小为r的每个小批量计算特征提取器模型的梯度;这减少了存储器消耗。特征提取器模型的梯度计算如下:一般来说,当为模型定义误差L时,10706−∂w∂w∂w∂w模型权重w的更新公式Lwnew=woldη∂w(一)该过程如图3所示。我们对每个WSI重复步骤1至步骤5。我们通过丢弃中间层的输出和划分来特征提取器模型训练。 该方法实现(η是学习率)。如果我们能计算出重量,我们就能更新重量。在所提出的模型中,误差L被定义为分割模型的输出。因此,我们认为,在高分辨率WSI的尺度下进行分割。4. 实验为了计算F (wf是特征的权重在本节中,我们介绍了实验结果。在提取器模型),我们必须保留两个模型。我们将补丁的特征向量定义为x,这是特征提取器模型的输出那么,F使用链接规则表示为L =0.0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000秒4.1,我们解释了数据集细节和实验设置。节中4.2,我们给出了三个实验的结果。首先,我们评估所提出的方法的性能补丁级分类的胃活检数据集。接下来,我们在Camelyon16数据集上进行类似的评估。最后,我们评估患者级分类wfx(二)使用Camelyon17评估指标的性能[3]。因为x也是分割模型的输入,所以我们可以计算cnL。使用BTL,我们定义了新的4.1. 设置数据集:我们对两种类型的模型进行了评估x特征提取器模型L奥什作为数据集:胃活检数据集和Camelyon数据集。L′=<$L·x(3)x我们可以计算出,F′我们准备的胃活检数据集包含996名患者的1,019个WSI。最大分辨率为×20。图像大小约为104×104像素。WSI具有肿瘤/正常像素级注释,用于整体或组织区域的某一部分有各种各样的理由-L=0.0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000wf10707xx=Lwf(四)对于没有注释的组织区域,如制作切片过程中的组织变形或困难总而言之,我们只需要计算并保留分割模型的RNL,并且当优化特征提取器模型时,计算保留值与输出特征向量x之间的内积。值L′可以被认为等同于特征提取器模型的误差,并且我们可以用w f执行正态微分。注意,通过以这种方式定义误差L′,特征提取器模型的最后一层fn被认为是不必要的。因此,fn在端到端学习中被删除端到端学习的优化过程总结如下:步骤1计算特征提取器模型的前向传递,并提取斑块的特征向量。在此期间,中间层步骤2考虑特征向量的位置信息将其排列到特征图。步骤3使用特征图执行分割模型前向和后向传递。步骤4使用分割损失L和特征向量x计算L′=λ L·x。步骤5执行特征提取器模型的正向和反向传递,并使用L′计算梯度。确定肿瘤/正常标记。数据集随机划分:80%用于训练数据,20%用于测试数据。此外,将训练数据划分为:80%用于训练数据,20%用于验证数据。Camelyon16数据集[4]和Camelyon17数据集[3]是用于检测乳腺癌转移的淋巴结组织切片。tases 最大分辨率为×40。 图像大小约为105×105像素。Camelyon16数据集包含400个WSI,其中270个是训练数据,130个是训练数据。是测试数据。为所有转移载玻片的所有组织区域提供肿瘤/正常像素级注释Camelyon17数据集包含200名患者的1,000个WSI:每个患者5张幻灯片,500张幻灯片用于训练数据,500张幻灯片用于测试数据。训练数据中只有50个WSI具有像素级区域注释。训练数据的每个载玻片具有根据肿瘤区域的大小的四个类别(宏观、微观、ITC、阴性)的载玻片水平转移标记此外,基于载玻片标签,定义患者水平转移标签(PN-阶段)。载玻片标签和PN载物台的分配遵循指定规则[3]。预处理:关于从WSI中提取斑块,由于WSI具有广泛的背景(无组织)区域,因此我们使用Otsu阈值将组织区域与背景区域分离[21]。我们切出256 ×256像素的补丁,没有重叠,并选择那些10708图4.从WSI提取贴片的过程。(a)原始WSI(b)使用Otsu阈值提取组织区域[21](c)病理学家注释。黑线包围的区域是正常的,而黑线包围的区域是肿瘤。(d)从(c)生成的注释掩码。白色区域是正常的,灰色区域是肿瘤。超过80%像素的组织区域。接下来,基于医生在非肿瘤斑块中,如果超过80%的像素被注释为正常,则我们标记为所有其他补丁都是预处理如图4所示从Camelyon数据集,我们可以提取104×105来自一个WSI的补丁因为你的工作量少得多更多的块比正常的块(在Camelyon 16中大约是正常的2%),当训练特征提取器模型时,我们对相等数量的肿瘤/正常块进行采样,以便处理类别之间的不平衡。我们可以从一个样本中提取103×104个胃活检数据集的WSI。 在这个数据集中,也没有-mal:tumor约为4:1,因此所有数据均未取样。进行数据扩充以提高泛化性能。在训练数据中,我们添加224×224像素区域的随机裁剪,[0,90,180和270]角度内的随机旋转,以及随机平.此外,为了解决染色条件的变化,增加了颜色增强。具体来说,我们在[0.75,1.25]范围内改变HSV空间中的饱和度、对比度、亮度和锐度实 施 详 情 : 我 们 使 用 由 Imagenet [9] 预 训 练 的GoogLeNet [27]作为特征提取器模型,并使用U-Net[23]作为分割模型。作为要提取的特征向量,我们在GoogLeNet的最后一层之前添加了一个全连接层。 特征向量的大小为16。模型结构分析的细节在补充资料中有详细说明。在分割模型的优化过程中,我们不计算“nolabel”补丁的损失。在测试过程中,肿瘤/正常预测也被分配给在端到端学习中,为了稳定学习,特征提取器模型和分割模型使用权重在单独学习的过程中学习。作为分割模型的输入的特征图需要具有固定大小。我们为胃活检数据集定义了32×32像素的地图大小,为Camelyon数据集定义了512×512像素的地图大小,考虑到载玻片上的组织区域。因为在胃活检数据集的WSI中有一些组织块(见图4),我们为每个组织块开发了一个特征图。如果组织尺寸超过固定标测图尺寸,则组织的边缘区域突出。在该实验中,我们选择了适合几乎所有WSI组织区域的图尺寸,并且增加特征图尺寸或调整组织的特征图尺寸以适合所有组织尺寸也是合理的。我们在Chainer [29]中使用随机梯度下降训练我们的网络,并使用Adam优化方法[14]。在单独学习中,特征提取器模型的学习率为1 e-4,模型训练30个epoch,批量大小为128。分割模型的学习率为1 e-4,模型训练了50个epoch,批量大小为32。在端到端学习中,特征提取器模型的学习率为1 e-9,分割模型的学习率为1 e-7。该模型训练了10个epoch。我们用不同的初始权重对每种方法进行了三次,并用平均值和标准差进行了评价。评估:在该方法中,我们评估了肿瘤/正常二元斑块分类的性能。具体而言,我们评估了分类准确度和精确召回曲线(PR-AUC)的我们将准确性评价的肿瘤/正常阈值设定为0.5。当类别之间存在较大的不平衡时,PR-AUC不太容易受到偏差的影响,并且更准确地反映了性能。“无标签”贴片不用于评价。此外,分类性能的定性评估从模型输出的预测图另一方面,Camelyon 17 Grand Challenge评估了pN-Stage,这是一种患者级评估,而不是贴片级评估。首先,预测图的肿瘤区域的大小接下来,基于每个患者五个载玻片的载玻片水平预测来确定pN阶段。预测结果采用Kappa评分[3]进行评价。在Camelyon17数据集上的实验中,我们使用该评估指标比较了性能。4.2. 结果4.2.1胃活检数据集评价我们比较了胃活检数据集的性能。我们评估了两种建议的方法:分离学习和端到端学习。我们还评估了三种方法进行比较。(1)仅分类:1070988图5.胃活检数据集上的预测评分图输出。从左到右:原始WSI图像,地面实况标注地图,仅分类,仅分割,Imagenet功能,我们的(单独学习),我们的(端到端学习)。红色区域代表肿瘤/正常预测也被分配到非标记区域。所提出的方法比其他方法更精确地分类。与以前的研究类似,我们预测的补丁得分只有分类器 。 我 们 基 于 [18] 方 法 实 现 分 类 器 , 该 方 法 在Camelyon17挑战中表现出最先进的性能,并将其作为比较方法进行评估。(2)仅细分:我们只使用分割模型对WSI分数图进行分类。由于原始WSI过大而无法输入,我们将输入的组织图像减少到1024×1024像素,减少内存消耗,是原来的1倍,解决方案我们使用U-Net作为分割模型。(3)Im- agenet功能:特征提取器模型不是由补丁训练的。我们使用Imagenet预训练的GoogLeNet的权重来提取特征向量并训练分割模型。所有评价均基于准确度和PR-AUC进行。实验结果见表1。此外,从每种方法生成的预测图如图5所示。结果表明,所提出的方法优于基于准确度和PR-AUC的比较方法。在我们的方法中,分类性能的提高,同时使用局部和全局信息。在这两种优化方法中,端到端学习在PR-AUC方面优于单独学习。通过使用分割模型的最终损失来优化特征提取器模型,性能似乎得到了改善。我们认为,这两种方法的性能略有差异的主要原因是分离学习的分类得分很高,这使得改进的空间有限关于内存消耗,表1.胃活检数据集方法准确度(%) PR-AUC(%)仅分类器95.92±0.1196.08±0.10仅分割92.24±0.1487.21±1.85Imagenet特征89.35±0.5978.99±1.59独立学习98.53±0.0399.30±0.02端到端学习98.45±0.0199.34±0.00特征提取器模型消耗大约8,000MiB,批量大小为128,分割模型的训练消耗大约1,000MiB,批量大小为32。另一方面,端到端学习仅消耗约10,000 MiB。我们可以通过使用我们提出的方法减少内存消耗来考虑到将分辨率降低到1的仅分割方法在批大小为1的情况下消耗大约7,000MiB,所提出的方法实现了存储器消耗的显著降低。关于时间消耗,我们使用NVIDIA DGX-1(GPU:Tesla P100 16GB, CPU:英 特尔 至强 E5-2698 v4 ,RAM:512GB)。在仅分类器的方法中,模型训练每个epoch大约需要1.0小时在分离学习中,特征图的生成大约需要6.0小时,并且分割模型训练对于每个时期花费大约2.3分钟。 端到端学习需要大约3.5小时每epoch。因此,在我们的实验设置中,仅分类器需要30小时,单独学习需要38小时,端到端学习需要73小时。我们的方法肯定需要更多的时间相比,其他现有的方法。然而,即使是端到端的学习模型也可以在大约三天内完成训练,在医疗领域,更高的性能比训练时间更重要图5示出了仅分类器方法捕获肿瘤部分并实现高准确度。然而,我们观察到,在图上的在临床上支持医生诊断时同时,本文提出的方法分类准确,没有端到端学习的性能最高,但由于模型规模大,训练时间长,训练过程不稳定。因此,必须在端到端学习的高准确性和单独学习的训练便利性之间进行权衡。10710图6. Camelyon16数据集上的预测得分图输出。从左到右:原始WSI图像,地面实况标注地图,仅分类,我们的(端到端学习)。最后一行是组织区域的放大图。尽管Camelyon16数据集包括具有非常小的肿瘤面积的WSI,但所提出的方法正确地识别了它。来自仅分类方法的预测图表现出许多4.2.2Camelyon16数据集的评价我 们 比 较 了 Camelyon 16 数 据 集 上 的 性 能 , 因 为Camelyon 16中的所有载玻片都具有肿瘤/正常像素级注释。考虑到胃活检数据集上的结果,我们评估和比较了仅分类器方法和我们的端到端学习方法的性能。训练设置基本上类似于胃活检数据集上的实验中的设置。然而,对训练数据进行采样,以使肿瘤/正常斑块的数量相似,并将所有测试数据用于评价。端到端学习执行5个epoch。实验结果见表2。所提出的方法具有更高的性能比仅分类器的方法。无论数据集如何,该方法都是有效的。生成的预测图如图6所示。4.2.3Camelyon17数据集的评价我 们 比 较 了 Camelyon17 数 据 集 的 性 能 。 由 于Camelyon17测试集的标签未打开,因此我们使用验证数据进行评估,如[18]所示。 我们设置了43例患者表2. Camelyon16数据集方法准确度(%)PR-AUC(%)仅分类器96.23±0.2196.39±0.67我们的(端到端)98.14±0.0599.24±0.03表3. Camelyon17数据集方法Kappa评分仅分类器71.9我们的(端到端)76.4Camelyon17训练集中的幻灯片,以及所有Camelyon16数据集作为训练数据。我们将Camelyon17训练集中剩余的57例患者首先,我们用训练数据训练分类模型接下来,我们通过训练[18]中使用的随机森林来预测幻灯片级别标签。最后,我们基于Camelyon 17方法[3]预测患者水平的PN分期,并使用kappa评分进行评估。通过5折交叉验证设置,我们用验证数据验证了每一表3显示了患者水平的Kappa评分。我们提出的方法还提高了患者级别的分类性能。请注意,[18]中描述的评分与我们实现的比较方法之间存在一些差异预计得分将通过用于竞争的附加技术(如[18]中的集成学习和参数调整)5. 结论提出了一种结合特征提取模型和分割模型的病理图像分类模型。我们还提出了端到端的学习优化方法在高分辨率病理图像。它通过保留梯度和用小的补丁子集训练模型来消耗边际内存。 我们- 利用该模型,我们在WSI的肿瘤/正常分类上取得了比其他基于块的方法更高的性能。此外,由模型生成的预测图有助于医生识别和评估肿瘤区域。未来,我们将改进模型结构,以进一步提高性能并加速学习。我们还将其应用于其他数据集。确认这项工作得到了日本医学研究与开发机构AMED( JP 18lk1010028 ) 和 JST CREST Grant NumberJPMJCR 1403的ICT基础设施建设和人工智能临床和医学研究实施补助金的部分支持。这项工作是作为日本病理学会日本病理AI诊断项目(JP-AID)研究小组的工作进行的10711引用[1] 安赫尔·阿方索、克鲁兹·罗亚、约翰·爱迪生·阿雷瓦洛·奥瓦莱、阿南特·马达布希和法比奥·奥古斯托·冈萨雷斯·奥索里奥。用于图像表示、视觉可解释性和自动化基底细胞癌癌症检测的深度学习架构。在MICCAI,2013年。[2] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet:用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on Pattern Anal-ysis and MachineIntelligence,39:2481[3] Pter Bndi、Oscar Geessink、Quirine Manson、Marcoryvan Dijk、Maschenka Ginenhol、Meyke Hermsen、PeterBult、Bram van Ginneken、Jeroen van der Laak和GeertLitjens。从单个转移灶的检测到患者水平的淋巴结状态分类:Camelyon17挑战。IEEE Transactions on MedicalImaging,38:550[4] Babak Ehteshami Bejnordi,Mitko Veta,Paul Johannesvan , Bram van Ginneken , Nico Karssemeijer , GeertLitjens,and Jeroen A. W. M.范德拉克。深度学习算法检测乳腺癌女性淋巴结美国医学会杂志,318:2199[5] Hang Chang,Alexander Borowsky,Paul Spellman,andBahram Parvin.通过形态学背景进行肿瘤组织学分类。CVPR,2013。[6] Hao Chen,Xiaojuan Qi,Lequan Yu,and Pheng-AnnHeng. Dcan:深度轮廓感知网络,用于精确的腺体分割。在CVPR,2016年。[7] Liang-Chieh Chen,Yukun Zhu,George Papandreou,Flo- rian Schroff,and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。arXiv预印本arXiv:1802.02611,2018。[8] Tianqi Chen , Bing Xu , Chiyuan Zhang , and CarlosGuestrin.训练具有次线性内存开销的深度网络。arXiv预印本arXiv:1604.06174,2016。[9] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。CVPR,2009。[10] 奥德鲁纳斯·格鲁斯利斯,雷米·穆诺斯,伊沃·丹尼赫尔卡,马克·兰托和亚历克斯·格雷夫斯.通过时间的内存高效反向传播。InNeurIPS,2016.[11] Xuming He,Richard S.Zemel,and Miguel A.卡雷拉-佩平。用于图像标记的多尺度条件随机场。载于CVPR,2004年。[12] 放大图片创 作者:Lan M. 放大图片创 作者:JamesE.Davis,and Joel H.萨尔兹基于块的卷积神经网络用于完整切片组织图像分类。在CVPR,2016年。[13] 黄宝惠李正雄基于分形分析的前列腺病理图像自动分类。IEEE Transactions on Pattern Analysis and MachineIntelligence,28:1037[14] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。2015年,国际会议[15] Iasonas Kokkinos Ubernet:使用不同的数据集和有限的内存训练通用卷积神经网络,用于低,中,高层次的视觉。在CVPR,2017年。[16] 高村大辅和石川春平。用于组织病理学图像分析的机器学习方法arXiv预印本arXiv:1709.00786,2017。[17] Philipp Krnbhl和Vladlen Koltun。具有高斯边缘势的全连接crfs中的有效推理CVPR,2011。[18] 李秉宰和白京铉。一种稳健有效的方法,用于乳腺癌中准 确 的 转 移 检 测 和 pn 分 期 。 arXiv 预 印 本 arXiv :1805.12067,2018。[19] 作 者 : Yun Liu , Krishna Gadepalli , MohammadNorouzi , George E. 放 大 图 片 创 作 者 : TimoKohlberger , AlekseyBoyko , SubhashiniVenu-gopalan,Aleksei Rumfeev,Philip Q.格雷格·纳尔逊作者:Jason D. Hipp,Lily Peng和Martin C. Stumpe.在十亿像素病理图像上检测癌症转移。arXiv预印本arXiv:1703.02442,2017。[20] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。CVPR,2015。[21] 大津信之一种基于灰度直方图的阈值选取方法。IEEETransactions on Systems,Man,and Cybernetics,9:62[22] Tobias Pohlen,Alexander Hermans,Markus Mathias,and Bastian Leibe.用于街道场景语义分割的全分辨率残差网络。在CVPR,2017年。[23] Olaf Ronneberger,Philipp Fischer,and Thomas Brox.U-网:用于生物医学图像分割的卷积网络在MICCAI,2016.[24] 作者:Olcay Sertel,Jun Kong,Umit V.放大图片作者:John H. Saltz和Metin N.古尔坎使用基于模型的中间表示和颜色纹理的组织学图像分析:滤泡性淋巴瘤分级。Journal of Signal Processing Systems,55:169,2009。[25] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv :1409.1556,2015年。[26] Korsuk Sirinukunwattana,Josien P.W. 陈浩,齐晓娟,衡凤安,郭云波,王立阳,Bogdan J. Matuszewski,Elia Bruni , Urko Sanchez , Anton Bhm , OlafRonneberger , Bassem Ben Cheberg , Daniel Raco-ceanu , Philipp Kainz , Michael Pfeiffer , MartinUrschler,David R.J. Snead和Nasir M.拉杰普特结肠组织学图像中的腺体分割:挑战赛。医学图像分析,2017年。[27] Christian Szegedy , Wei Liu , Yangqing Jia , PierreSermanet , Scott Reed , Dragomir Anguelov , DumitruErhan,Vincent Vanhoucke,and Andrew Rabinovich.更深的回旋。CVPR,2014。[28] Nima Tajbakhsh,Jae Y Shin,Suryakanth R Gurudu,RTodd Hurst , Christopher B Kendall , Michael BGotway,and Jian-ming Liang.用于医学图像分析的卷积神经网络:完全训练还是微调?IEEE Transactions onPattern Analysis and Machine Intelligence,35:129910712[29] S.德井湾Oono,S. Hido和J.克莱顿Chainer:下一代深度学习开源框架。NeurIPS机器学习系统研讨会(Learn-ingSys),2015年。[30] Hiroki Tokunaga、Yuki Teramoto、Akihiko Yoshizawa和Ryoma Bise。自适应加权多视场cnn用于病理学语义分割。CVPR,200
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功