4321HistoSegNet：全切片图像中组织学组织类型的语义分割Lyndon Chan1，Mahdi S. Hosseini1，4，Corwyn Rowsell2，3，Konstantinos N.Plataniotis1和Savvas Damaskinos41爱德华·S。老罗杰斯多伦多大学电气&计算机工程系病理学系。Michaels Hospital，Toronto，ON，M4N 1X3，Canada 3 Department of Laboratory Medicine and Pathobiology，University of Toronto4休伦数字病理学，圣。Jacobs，ON，N0B 2N0，加拿大{lyndon.chan，mahdi.hosseini}@ mail.utoronto.ca摘要在数字病理学中，组织切片被扫描成全切片图像（WSI），并且病理学家在重新查看它们之前首先筛选诊断相关的感兴趣区域（ROI）筛选感兴趣区是一个繁琐和耗时的视觉识别任务，可以是疲惫不堪。认知工作量可以通过开发视觉辅助工具来减少，以通过突出显示（或分割）诊断相关区域来缩小视觉搜索区域，使病理学家能够花费更多时间诊断相关ROI。在本文中，我们提出了HistoSegNet，组织学组织类型（HTT）的语义分割使用HTT注释的Atlas of DigitalPathology（ADP）数据库，我们在补丁注释上训练卷积神经网络，推断加权类激活图，平均重叠预测，并使用全连接条件随机场对分割进行后处理。我们的方法优于更复杂的弱监督语义分割方法，并且可以推广到其他数据集而无需重新训练。1介绍全切片成像（WSI）平台的数字病理学表格允许病理学家方便地导航组织载玻片以进行诊断。通常情况下，病理学家会快速筛选与诊断疾病相关的组织区域（称为感兴趣区域（ROI））的载玻片，然后检查这些区域的异常外观组织[31]。例如，诊断腺癌载玻片的病理学家将首先筛选腺组织区域，并在指定诊断之前重新查看那些出现异常紊乱的区域然而，组织学切片是非常大的图像，并且视觉搜索可能会使人筋疲力尽。当病理部门通常图1. 我们的方法在块级组织学组织类型注释上进行训练，并在像素级预测形态和功能每天诊断数百到数千个载玻片[8]，当病理学家疲劳时，诊断准确性会受到影响[19，26]。作为视觉辅助的用于诊断相关性的高光（分割）区域的计算机辅助诊断（CAD）工具已经在放射学中广泛应用[40]，并且类似的工具可以应用于病理学，其中筛选相关组织的载玻片占用了36%-57%的生产时间[19]。随着未来几年组织病理学病例数量的增加和病理学家的长期短缺，去除CAD工具可以缩短诊断时间并提高患者的诊断准确性[46]。语义分割方法已经被开发用于组织病理学图像，但是仅在用于诊断特定疾病的特定器官的特定组织如果这些方法被用作诊断辅助手段，那么他们就需要为每一个新的诊断病例进行再培训在本文中，我们提出了一种语义分割算法，该算法在从不同器官的健康组织中提取的组织学组织类型（HTT）的注释块级上进行训练，并预测像素级标签（见图1）。1066210663在块和像素级两者中的HTT的化）。我们的目标是开发一种可行的诊断辅助工具，以突出显示WSI扫描中相关组织的区域。1.1问题与贡献我们的目标是解决的问题是分配一个语义标签的WSI是由不同的HTT填充的每个图像像素。像素的HTT可以是非组织相关的（例如，组织相关的）。背景、尘埃斑）或与组织相关，在这种情况下，它可以进一步分类为形态类型（组成细胞的类型），有时也可以分类为功能类型（属于腺结构还是血管结构）。这类似于计算机视觉中的stuff-thing区别[9]，即所有对象都有在本文中，我们（1）提出了第一个公开发布的语义分割工具亮场在来自不同器官的健康组织上训练的各种HTT（>10）的组织病理学图像，（2）在数字病理学图谱（ADP）数据库[11]并与两种最近的语义分割方法进行比较，（3）利用病理学家的反馈评估其在看不见的载玻片上的定性性能，以及（4）分析其对其他病理学数据集的新的分阶段系统设计比用于组织学语义分割的先前方法更复杂[16，3]，并且显示出优于应用于组织病理学图像的更复杂的最先进的弱监督语义分割（WSSS）方法。1.2相关作品弱监督语义分割。全监督语义分割方法由于在像素级进行训练而高度准确[24]。然而，这些注释是耗时且昂贵的，需要弱（或不精确[52]）的监督来从图像级注释中推断像素级标签。这些方法分为四类：（a）基于图形模型的方法，其提取均匀外观的区域并从每个区域的图像级预测潜在变量标签，例如超像素[48]和graphlets[50]，（b）基于多实例学习（MIL）的方法，这些方法将其优化约束为每个图像至少分配一个像素每个图像标签包括STF [42]，MIL-ILP [29]和SPN [20]，（c）基于自监督的方法，其从图像级注释生成临时分割掩模并学习像素级分割。一些方法在精细预测和粗略预测之间切换，例如EM- Adapt [28]和AF-SS [30]。其他方法产生CAM[51]或显着性图[36]作为初始种子并对其进行优化以训练FCN，例如[10]，DCSM [34]，Guided Segmentation[27]和AffinityNet [1]，以及（d）基于判别定位的方法，其使用图像级注释来生成判别对象定位作为初始种子（通常使用CNN和CAM），然后将其imm。迭代地证明这些，如SEC [17]，SRG [12]，AE- PSL[45]和MCOF [44]。历史语义分割。在组织病理学图像中，语义分割旨在用诊断（例如，癌症/非癌症[2]）或组织/细胞类型（例如，腺体[38]，细胞核[14]，有丝分裂/无丝分裂[32，41]）。这些方法包括：（a）基于滑动块的方法，其在滑动块的中心像素处训练和预测以获得更精细的预测例如，CNN通常用于有丝分裂[6，25]，细胞[ 35]，神经元[5]和腺体[21，15]分割，（b）基于超像素的方法，其在超像素水平上训练和预测，例如，应用于组织类型[47]和核[39]分割的缩放超像素的CNN，（c）基于像素的方法，其在像素级训练和预测，并且通常应用具有轮廓分离处理的FCN [4，22]和（d）弱监督方法，其在图像上训练并在像素级预测，例如在[ 49，43 ]中使用基于补丁的MIL。颜色HTT（代码）% GT图像% ADP图片 *% GT像素背景百分百-17.91%单纯鳞状上皮（E.M.S）百分之六十八18.91%0.38%单纯立方上皮（E.M.U）百分之三十四29.66%6.62%单纯柱状上皮（E.M.O）百分之十八百分之十四点三四3.84%分层鳞状上皮（E.T.S）占6%2.01%2.51%分层立方上皮（E.T.U）百分之三十二20.73%4.58%分层柱状上皮（E.T.O）百分之八4.43%百分之一点零二假复层上皮（E.P）占6%0.28%百分之一点一八密集不规则连接百分之五十25.36%17.07%稠密正则连接词占6%0.38%1.61%松连接（C.L）百分之五十四49.63%11.71%红细胞（H.E）百分之七十二42.47%2.28%白细胞（H.K）百分之三十二百分之九点八四0.33%淋巴细胞（H.Y）百分之六十29.61%1.33%密质骨（S.M.C）百分之二1.69%百分之一点九六海绵骨（S.M.S）百分之二百分之一点三二0.63%软骨内骨（S.E）百分之四百分之零点二二百分之零点一四透明软骨（S.C.H）百分之二百分之零点零六百分之一点二一骨髓（S.R）百分之四0.89%1.63%白色脂肪（A.W）百分之十八3.03%2.69%棕色脂肪（A.B）百分之二0.01%0.31%骨髓脂肪（A.M）百分之四0.78%百分之零点二一平滑肌（M.M）百分之五十百分之二十三点八五4.80%骨骼肌（M.K）百分之八4.43%0.68%10664神经毡（N.P）百分之十四12.44%百分之十点二八神经细胞体（N.R.B）百分之十二百分之十点四一1.73%神经轴突（N.R.A）占6%0.33%百分之一点三二小胶质细胞（N.G.M）占6%3.36%0.05%雪旺细胞（N.G.W）百分之二百分之零点一二0.01%-总百分百百分百百分之一百背景百分之七十二-11.03%其他百分百-63.82%外分泌腺百分之三十六39.48%15.44%内分泌腺（G.N）百分之八6.31%4.84%运输容器（T）百分之八十二34.21%4.88%-总百分百百分百百分之一百表1. ADP第三级形态（顶部块）和功能（底部块）HTT：在调谐集合中在图像级、在整个ADP中在图像级、在调谐集合中在像素级的出现频率106651088图2. 所提出的HistoSegNet算法由四个主要阶段组成。最初，将整个载玻片图像划分成重叠的块，然后对于每个块，（1）利用块级分类CNN生成HTT置信度分数，（2）生成像素级类别激活图，以及（3）对激活图进行调整以考虑HTT之间的关系然后，重叠图的激活图被平均，并且（4）在被拼接在一起到整个载玻片图像水平之前被后处理2数据集ADP数据库在[11]中介绍，包含来自同一医疗机构的不同健康组织学组织的数字病理学补丁，这些组织学组织具有不同的染色剂，标记自分层HTT分类。图像被尺 寸 为 1088 × 1088 ， 扫 描 速 度 为 0. 使 用 HuronTissueScope LE1.2扫描仪时为25µm/像素如果la-beler可以找到至少一个非细胞组织的出现或至少五个细胞组织的出现，参见[11]详情在第三级组织中，我们忽略了未分化的类和那些没有任何样本的类。 我们还增加了两个非ADP类别，即“背景”用于非组织区域和“其他”用于非功能性组织区域，即既不是腺体也不是血管。我们进一步将这31个组织分成形态（总共28个，加上颜色编码的形态和功能HTT见表1;在第四列中提供的是它们在ADP中的出现。由于原始ADP数据库在补丁级别进行了注释，因此我们还手动分割了50个补丁子集以定量调整我们的方法。为了确保该调整集包含代表较大ADP数据库的组织，我们确保每个HTT（G.O除外）的图像出现频率不低于其在ADP中的比例（参见表1中的第三和第四列）。 我们找到了那只手-注释每个补丁需要大约18个。7分钟用于形态学类型，2. 6分钟为功能型。3方法幻灯片（具有25%重叠），它被传递到（1）块级HTT分类卷积神经网络（CNN）阶段，以预测可能的组织类别，（2）像素级HTT分割阶段，以预测像素级激活图，以及（3）HTT间调整阶段，以利用附加信息调整激活图。 然后，在重叠区域处对相邻块的激活图进行平均，并在拼接回之前传递到（4）HTT分割后处理阶段，幻灯片水平。请注意，HistoSegNet接受224×224像素的补丁，这些补丁是从扫描分辨率0的情况。25 ×224=1。2143µm/pixel.对于形态和功能分割模式，处理大多独立地进行。我们决定把补丁重叠在-在阶段（3）和（4）之间进行选择以最小化边界伪像。HistoSegNet流水线的概要说明如图2所示，并且可以在补充材料中找到数学符号中的组成操作的详细描述。HistoSegNet的代码和更多文档可以在线找到1.3.1块级分类CNN我们使用HTT分类CNN来预测给定补丁的多个HTT标签。 CNN是预先训练好的 预测ADP数据库第三级中的31个HTT，排除未分化和缺失类型。我们的网络架构（见图3（a））与VGG- 16 [37]（见图3（b））相同，但有几个重要的不同之处：（1）softmax层被sigmoid层代替，(2) 在每次卷积层激活之后添加批量归一化，以及（3）平坦化层被替换为在本节中，我们解释了我们提出的四阶段他-toSegNet算法 从1https://github.com/lyndonchan/hsn_v1中提取修补程序后10666DLB全局最大池化层。此外，在归一化层和卷积层之间使用dropout，在通过ReLU激活之前：卢德·L删除了最后两个卷积块和两个全连接层。我们决定添加批处理规范化Uc←ReLU（dL=1αc，dL（2）第一章：大结局和dropout来正则化我们的网络[13]，我们使用了softmax层来实现多标签预测。我们受到全局平均池化层[23]的启发，它减少了过拟合，使用相关的全局最大池化层，因为组织被标记而不管其空间范围。经过一些实验，我们发现删除两个卷积块和全连接层对于提高分类性能、减少训练时间和提高分割分辨率（对于加权类激活图/ Grad- CAM）是最佳的。因此，我们的网络由三个卷积块组成，后面是一个全局最大池化层，一个全连接层和一个S形层。每个卷积块由单个卷积层、ReLU激活层和批量归一化层组成此外，由于所有图像均使用相同的WSI扫描仪和染色方案，因此未进行颜色归一化。我们在补充材料中提供了CNN性能的额外验证(a) 我们的改良架构(b) VGG16架构图3. 采用VGG16中修改后的CNN。3.2像素级分割为了从CNN的块级预测中推断像素级HTT预测，我们使用了加权类激活图（Grad-CAM），这是一种弱监督语义分割（WSSS）方法[33]，它概括了类激活图（CAM）方法[51]。我们决定在类似的WSSS方法上使用Grad-CAM，因为它的简单性（不需要重新训练）和多功能性（适用于任何CNN架构）。像素级分割阶段的组成操作概述见图4Grad-CAM Grad-CAM方法首先从类置信度得分yc最后，使用双线性插值将Grad-CAM上采样回原始图像大小。通过HTT置信度评分进行缩放。之后，我们通过它们的块级HTT置信度得分yc来缩放Grad-CAM，无论它们在何处通过置信度阈值θc。即Uc←ycUc.这是必要的，因为Grad-CAM值-UEs的范围总是从0到1，因此可以根据它们的斑块级置信度分数确保置信激活相对于非置信激活得到提升，如图4中E.M.U的激活所示。图4. 像素级分割阶段的组成操作：用Grad-CAM获得激活图，并用它们的HTT置信度分数进行缩放。3.3HTT间调整原始ADP数据库没有非组织和非功能标记，其中我们必须人为地产生用于形态和功能模式两者的添加的必须生成这些激活图，以避免在ADP中不存在有效像素类的情况下进行预测。“后台”激活。已知数字病理学图像中的背景像素具有高白色照明值，除了对透明染色的组织（即，白色脂肪和棕色脂肪组织形态模式;功能模式为外分泌腺、首先，通过对平均RGB图像X应用缩放和移位的S形来获得平滑的白色照明图像;然后，我们减去适当的透明染色类激活;最后，我们使用2D高斯模糊Hµ，σ进行滤波，以降低预测分辨率0的情况。75到最终的一致性动作输出A然后UB←ΣΣdL1 +exp-4（X-240）执行2D平均以获得d第L个特征映射到第c个输出类，αc，dL：Umorph←（UB-max（UA . W，U， A。B））0、 2NNUfunc←（UB−max（UG . 哦，你好。N，UT））H0，2.1αc，dL←N2 联系我们汽车旅馆（1）AB“其他”激活。 对于功能模式，非Li=1j =1dL然后，对传入的特征图进行加权和求和属于非功能组织的背景像素，对于背景和10667- -我的Jβ+we所有其他功能组织。首先，我们取以下各项的2D最大值：（1）所有其他功能类型激活，（2）白色和棕色脂肪激活（来自形态学模式），以及（3）背景激活。然后，我们从一中减去这个概率图，并缩放它3.5逐阶段烧蚀分析为了评估我们提出的方法中每个阶段的贡献，我们在图6中分析了每个阶段我们的方法是-安装在50个图像的调音台上，用于测量性能0. 05Σ1 −最大值.{Ufunc}CΣΣ，Ufunc，UA.（ 三）在一张包含3343个补丁程序的典型幻灯片O c c=1B（使用NVIDIA RTX 2070 GPU）。特定类别的Grad-CAM。进行最后的调整以区分在同一块中重叠的梯度CAM;受Shimoda等人 [34]的启发，我们从其他Grad-CAM的2D最大值中减去每个激活图，产生我们称为“类别特异性Grad-CAM”（CSGC）的激活图请注意，在图5中，贴片顶部的功能性背景激活是如何被同一位置的外分泌腺激活所抑制的。图5. HTT间调整阶段的组成操作：“背景”被连接到形态和功能类型的激活图，而“其它”激活仅用于功能类型，然后从其它激活图的最大值中减去每个激活图。3.4分割后处理所得到的CSGCs产生与对象轮廓不一致的斑点预测-这是基于CNN的分割算法的众所周知的问题。因此，我们使用Kraühenbuühl等人提出的全连接条件随机场（CRF）对片段进行后处理，以最大化其组成像素的视觉均匀性。[18]。对于多类分割，CRF使用外观核和平滑核来计算两个像素的特征f = [ p，I ]（位置p =（px，p y）和RGB值I =（IR，IG，IB））之间的成对距离阶段变形func(2)像素级分割0.25490.2059(3)HTT间调整0.20670.5174(4)分割后处理0.22060.5505整体0.22060.5505(a) 定量结果（mIoU）(b) 样品贴片图6. HistoSegNet性能表2. HistoSegNet阶段的运行时间（sec/img）：分割3343个斑块的载玻片阶段变形func(1)块级分类CNN0.00500.0050(2)像素级分割0.30330.0956(3)HTT间调整0.25690.0212平均重叠贴片激活0.75840.1855(4)分割后处理0.26440.2898缝合重叠补片0.00060.0006整体1.58790.59704结果在本节中，我们展示了在贴片和载玻片水平上评估His-toSegNet的结果对于贴片级评估，我们采用（1）在第2节中介绍的调节集，和（2）腺体分割（GlaS）挑战数据库。对于切片级评价，我们获得了病理学家对几个未看到的切片分割的专家意见。对于以下实验，训练和测试都在Keras（TensorFlow后端）中进行−k（f，f）=w（1）e|22θ2|22θ2α|2|2-2θ2（2）|p−p|22θ2NVIDIA GTX 1080 Ti GPUijγ我们应用CRF进行5次迭代，并对两种模式使用不同的设置：对于形态模式，我们使用w（1）=5 0，θα=1 0，θβ=4 0，w（2）=2 0，和θγ=1;对于功能模式，我们使用w（1）=2 5，θα=1 0，θβ=4，w（2）=40，和θ γ = 1。θγ=3。4.1定量评价由于我们在像素级手动分割了ADP数据库中的50张图像每个块被独立地处理，并且对于第c个HTT，得到的像素级预测P。10668C与使用交集-并集度量（或Jaccard指数）的地面实况分割T进行即 IoUc 为|Pc∩Tc|/|PcTc|. 为了获得超过-所有HTT上执行一次，我们利用平均IoU4.2病理学家对不可见WSI的在本节中，由经验丰富的胃肠道病理学家评价了HistoSegNet在不可见WSI扫描上的质量。在图9中，我们直观地展示了mIoU=1Cc=1 IoUc，其对所有HTT进行同等加权，以及产生一个像素级的诊断辅助，而不是在Σ我们的自定义补丁级别。C1IoUc，其对具有较少接地的HTT进行c =1 log |Tc|真相像素更多。图7（a）（形态类型）和7（b）（功能类型），可以看出HistoSegNet在功能类型（mIoU =0. 5505，fIoU =0。5421）比对于形态类型（mIoU =0. 2206，fIoU =0。2057）。对于形态学模式，表现最好的HTT是密质骨（S.M.C）和骨骼肌（M.K），表现最差的HTT是那些几乎没有地面实况示例的HTT（例如，E.P），而功能模式的性能更一致，运输船（T）的性能最差。10.80.60.40.20图9. 像素级分割捕获在贴片级预测中丢失的简单柱状上皮中在图10中，我们示出了与分割的功能和形态图像并行评估的HE染色的结肠组织的WSI特别是，五个和三个不同的ROI被标注在分割的形态和功能图像上。在同一图的标题中列出了对每个ROI的评估的细节总体看(a) 形态(b) Func.功能分割图像被发现是高度一致的，图7. 预测和地面之间的联合交叉点-真值分割在调谐集合中。图8. 与地面实况分割相比，从调谐集合中分割所选择的补丁有关分段颜色键，请参阅表1。在图8中，地面实况分割通过预测的分割来近似，预测的分割偶尔识别地面实况中省略的小的组织一些组织是在细胞水平上标记的地面实况和我们提出的方法或者分割这些单独的单元或者分割它们所占据的一般区域外分泌腺和运输血管的位置与HE WSI一致，并可靠地将这些功能组织类型与周围组织区分开来。发现形态学分割的图像正确地识别和区分包括柱状上皮、淋巴细胞和松散连接组织的粘膜成分，并且非常精确地描绘了粘膜肌层的平滑肌红细胞显示高度一致性。分割的图像也将其他肌肉结构与其他类型的软组织分开，但在区分特定类型的肌肉（光滑与光滑）方面不太可靠。骨骼的），特别是在较厚的结构中，例如大血管或固有肌层。神经组织也不能与其他软组织类型可靠分离。补充材料中提供了更多WSI的进一步目视评价。4.3与最先进的WSSS的为了确定我们提出的方法是否优于在ADP上重新训练的主流WSSS 方法，我们实施了最初为PASCALVOC 2012分割数据集开发的[7] 在线代码：SEC [17]（测试mIoU为51.7）和DSRG[12]（测试mIoU为63.4）。我们通过使用我们提出的方法的CNN部分生成前景线索（大小为41×41像素）并将我们的背景/其他交流转换为ADP数据库来重新配置激活图作为附加线索，并在ADP数据库（调整大小）上重新训练SEC和DSRG的10669图10. 由经验丰富的胃肠道病理学家在不同ROI中评价结肠组织切片上的语义分割结果（形态和功能类型），并显示注释。ADP数据集主要由健康组织组成。由于HistoSegNet接受224×224像素的补丁，扫描分辨率为1。2143µm/pixel，我们首先进行下采样(a) 定量结果（mIoU）(b) 样品贴片图11. 不同WSSS方法321×321像素）。使用逐步学习率衰减策略（从10−4开始每4个epoch衰减0.5），超过16个epoch，动量为0.9，批量大小为12。定量结果（表4.3）表明，该方法优于SEC和DSRG;从视觉上看，SEC和DSRG显然是为了分割较大的物体，但我们提出的方法能够产生更精细的片段（图4.3）。4.4GlaS挑战数据集评价GlaS@MICCAI图像以0的分辨率扫描。620µm/pixel（蔡司MI）-RAX MIDI，然后分成（主要是775×522像素）在像素级别注释的补丁。在本节中，我们将-使用HistoSegNet处理这些GlaS图像，以评估其对日益患病的组织的预测性能，Glas图像1. 9585次，喂食224×224像素作物从GlaS图像到HistoSegNet，上采样前的预测值为1。又是9585次。此外，由于GlaS中只有两个类别可用（即腺体或非腺体），我们应用HistoSegNet仅预测功能模式中的G. 0和“其他”。图12. HistoSegNet在GlaS数据集的选定图像上的定性性能，表明HistoSegNet在给定病变组织时始终产生不太可信的预测在图12中，可以在GlaS数据集的选定图像上看到HistoSegNet的定性性能请注意，HistoSegNet通常可以很好地检测腺体的轮廓，但往往不会在这些轮廓内形成预测还要注意HistoSegNet的块级和像素级预测如何方法变形func美国证券交易委员会0.16280.3225[12]第十二话0.13750.4732HistoSegNet（拟议）0.22060.550510670在表3中，我们给出了HistoSegNet在每个肿瘤等级下分割GlaS图像的性能的更全面的定量评估：“单腺体”和“多腺体”模式的G.O置信度得分和Dice指数以及Hausdorff距离。原始挑战度量将分割的腺体评估为单独的实例（“多腺体”模式），但是HistoSegNet倾向于产生许多断开的我们评估的性能，在补丁级的G.O的置信度得分和像素级的骰子指数（测量掩模重叠）和豪斯多夫距离（测量形状相异性）。总体而言，HistoSegNet仍然能够分割通过不同设置扫描的载玻片中的相关此外，随着肿瘤等级的恶化，其分割变得越来越不可信、重叠越来越少并且形状越来越不正确，这表明它们可以用作组织中疾病水平的预测指标。单压盖多腺体级Avg.G.O评分是说骰子是说豪斯多夫是说骰子是说豪斯多夫健康0.97500.5970130.480.2359466.22腺瘤性0.75420.3705236.790.1468504.25中分化0.75060.4862138.020.1604515.46中差0.76290.4585153.120.1460499.78微分的低分化0.66280.4102170.200.1137584.62表3. GlaS挑战数据集上不同肿瘤等级的分割性能：Avg. G.O得分是该等级中所有图像的G.O置信度得分的平均值，语义分割针对单腺体模式进行评估，实例分割针对多腺体模式进行评估。5结论在本文中，我们提出了一种新的语义分割方法计算病理学注释WSI在像素级相对于不同的HTT。我们的方法比以前的方法更复杂的语义分割的组织学组织，但优于更复杂的国家的最先进的WSSS方法应用于组织病理学图像。 我们通过训练弱监督语义分割方法对来自Atlas of Digital Pathol- ogy数据库的补丁级注释实现了 这 一 点 。 所 提 出 的 分 割 方 法 ， 我 们 称 之 为HistoSegNet，由几个连续的阶段组成。首先，我们使用ADP数据库训练CNN，应用Grad-CAM构建组织激活图，然后进行适当的HTT调整，然后进行完全连接的CRF以增强分割的视觉均匀性。我们调整了我们的方法对手动分割的子集的50个图像从ADP。我们评估了HistoSegNet的定量性能，地面实况调整集及其在看不见的WSI扫描上的定性性能，通过咨询经验丰富的病理学家提供医学诊断，不可知论者的观点我们进一步研究了HistoSegNet在GlaS腺体分割挑战数据集上的可推广性，以在没有重新训练的情况下分割外分泌腺，并观察分割如何随着肿瘤分级的降低而恶化引用[1] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。CoRR，abs/1803.10464，2018。4322[2] Guilherme Aresta等人BACH：乳腺癌组织学图像的巨大挑战。CoRR，abs/1808.04277，2018。4322[3] Claus Bahlmann，Amar Patel，Jeffrey Johnson，Jie Ni，AndreiChekkoury，Parmeshwar Khurd，Ali Kamen，LeoGrady，Elizabeth Krupinski，Anna Graham，et al.染色数字病理切片中诊断相关区域的自动检测&。2012年医学影像：计算机辅助诊断，第8315卷，第831504页.国际光学与光子学会，2012年。4322[4] Hao Chen，Xiaojuan Qi，Lequan Yu，and Pheng-AnnHeng. Dcan：深度轮廓感知网络，用于精确的腺体分割。在IEEE计算机视觉和模式识别会议上，2016年6月。4322[5] 放大图片创作者：Dan Ciresan ，Alessandro Giusti，Gambardella和JürgenSchmidhube r. 深层神经网络在电子显微镜图像中工作于分段神经元膜。神经信息处理系统的进展25，第2843-2851页。Curran Associates，Inc. 2012.4322[6] 丹·C放大图片作者：Cires an，Alessandro Giusti，LucaM. Gambardella和JürgenSchmidhube r. 使用深度神经网络检测乳腺癌组织学图像中的有丝分裂医学图像计算和计算机辅助干预– MICCAI 2013施普林格柏林海德堡。4322[7] Mark Everingham 、 SM Ali Eslami 、 Luc Van Gool 、Christo-pherKIWilliams 、 JohnWinn 和 AndrewZisserman 。 Pascal Visual Object Classes Challenge ： ARetrospective.International Journal of Computer Vision，111（1）：98-136，2015。4326[8] Navid Farahani，Anil V Parwani，and Liron Pantanowitz.病理学中的全切片成像：优势、局限性和新兴观点。Pathol Lab Med Int，7：23-33，2015。4321[9] David A Forsyth、Jitendra Malik、Margaret M Fleck、Hayit Greenspan、Thomas Leung、Serge Belongie、ChadCarson和Chris Bregler。在大量图像集合中查找对象的图片 。计算 机视 觉中 的对 象表 示国际 研讨 会，第335Springer，1996. 4322[10] Seunhoon Hong，Donghun Yeo，Suha Kwak，HonglakLee，and Bohyung Han.使用网络抓取视频的弱监督语义分割。CoRR，abs/1701.00352，2017。4322[11] Mahdi S Hosseini，Lyndon Chan，Gabriel Tse，MichaelTang ， Jun Deng ， Sajad Norouzi ， Corwyn Rowsell ，Konstantinos N10671Plataniotis和Savvas Damaskinos。数字病理学图谱：用于深度学习的广义分层组织学组织类型注释数据库。在IEEE计算机视觉和模式识别会议集，第11747-11756页，2019年。四三二二四三二三[12] 黄子龙、王兴刚、王佳思、刘文宇和王京东。基于深度种 子 区 域 生 长 的 弱 监 督 语 义 分 割 网 络 。 2018 年IEEE/CVF计算机视觉和模式识别会议，第7014-7023页，2018年。四三二二四三二六四三二七[13] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。4324[14] Andrew Janowczyk和Anant Madabhushi。用于数字病理学图像分析的深度学习：一个全面的教程与选定的用例。Journal of pathology informatics，7，2016. 4322[15] Philipp Kainz，Michael Pfeiffer，and Martin Urschler.基于深度卷积神经网络和全变分分割的结肠腺体的语义分割.CoRR，abs/1511.06919，2015年。4322[16] Jakob Nikolas Kather ， Johannes Krisam ， PornpimolCharoentong，Tom Luedde，Esther Herpel，Cleo-AronWeis ， Timo Gaiser ， Alexander Marx ， Nektarios AValous，Dyke Ferber，et al.使用深度学习预测结直肠癌组织 学切 片的生 存率 ：回顾 性多 中心研 究。 PLoSmedicine，16（1）：e1002730，2019。4322[17] Alexander Kolesnikov和Christoph H.蓝伯特种子、展开和 约 束 ： 弱 监 督 图 像 分 割 的 三 个 原 则 。 CoRR ，abs/1603.06098，2016。四三二二四三二六四三二七[18] Phil i ppK raühenbuühlandVladlenKoltun. 具有高斯边势的 全 连 通 crfs 的 有 效 推 理 在 Advances in neuralinformation processing systems，第1094325[19] Elizabeth A Krupinski ， Allison A Tillack ， LynneRichter，JeffreyTHenderson，AchyutKBhattacharyya ， Katherine M Scott，Anna R Graham，Michael R Descour ， John R Davis ， and Ronald SWeinstein.使用远程病理学虚拟幻灯片的眼球运动研究和人类表现。对医学教育的影响以及与经验的差异。胡-曼病理学，37（12）：1543-1556，2006. 4321[20] Suha Kwak，Seunhoon Hong，and Bohyung Han.基于超像素池化网络的弱监督语义分割。2017. 4322[21] W. Li，S.Manivannan、S.Akbar，J.Zhang，E.Trucco，以及S. J·麦肯纳使用手工特征和卷积神经网络进行结肠组织学图像中的腺体分割。2016年IEEE第13届国际生物医学成像研讨会（ISBI），第1405-1408页，2016年4月。4322[22] Huangjing Lin，Hao Chen，Qi Dou，Liansheng Wang，Jing Qin，and Pheng-Ann Heng. Scannet：一个快速、密集的扫描框架，用于从全载玻片图像中检测转移性乳腺癌。CoRR，abs/1707.09597，2017。4322[23] Min Lin，Qiang Chen，and Shuicheng Yan.网络中的网络。arXiv预印本arXiv：1312.4400，2013。4324[24] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页，2015年。4322[25] 克里斯托弗·马龙和埃里克·科萨托。使用卷积神经网络和种子blob特征对mitotic图形进行分类。病理信息学杂志，2013年。4322[26] Sanjay Mukhopadhyay ， Michael D Feldman ， EstherAbels ， Raheela Ashfaq ， Senda Beltaifa ， Nicolas GCacciabeve ， He- len P Cathro ， Liang Cheng ，Kumarasen Cooper，Glenn E Dickey，et al.全载玻片成像与显微镜在外科病理学初步诊断中的比较：一项1992例病例的多中心盲法随机非劣效性研究（pivotal研究）。美国外科病理学杂志，42（1）：39，2018。4321[27] Seong Joon Oh ， Rodrigo Benenson ， Anna Khoreva ，Zeynep Akata，Mario Fritz，and Bernt Schiele.利用显著性 从 图 像 级 标 签 进 行 对 象 分 割 。 CoRR ，abs/1701.08261，2017。4322[28] GeorgePapandreou ， Liang-ChiehChen ， KevinMurphy，and Alan L.尤尔。用于语义图像分割的DCNN的 弱 监 督 和 半 监 督 学 习 。CoRR ， abs/1502.02734 ，2015。4322[29] 佩德罗·奥Pinheiro和Ronan Collobert。使用卷积网络从图像级到像素级标记。在IE
我的内容管理
展开
