["数字病理学图谱：深度学习的组织学数据库"]

4321Atlas of Digital Pathology：A Generalized Hierarchical HistologicalTissue Type-Annotated Database for Deep Learning数字病理学图谱：用于深度学习的广义分层组织学马赫迪·S Hosseini1，4，Lyndon Chan1，Gabriel Tse1，Michael Tang1，Jun Deng1，SajadNorouzi1Corwyn Rowsell2，3，Konstantinos N. Plataniotis1和Savvas Damaskinos41爱德华·S。老罗杰斯多伦多大学电气&计算机工程系病理学系。Michaels Hospital，Toronto，ON，M4N 1X3，Canada 3 Department of Laboratory Medicine and Pathobiology，University of Toronto4休伦数字病理学，圣。Jacobs，ON，N0B 2N0，加拿大mahdi. mail.utoronto.ca摘要近年来，计算机视觉技术在图像识别方面取得了很大的进展，并被应用于辅助放射诊断。计算病理学的目标是开发类似的工具，以帮助病理学家诊断数字化的组织病理学切片，这将提高诊断的准确性和生产力，在不断增加的工作量。然而，缺乏（1）用（2）大范围的组织学组织类型（HTT）标注的局部块级图像的公开可用的数据库。结果，计算病理学研究被限制于诊断特定疾病或对来自特定器官的组织进行分类，并且不能容易地一般化以处理意外的疾病和器官。在本文中，我们提出了一个新的数字病理学数据库，“数字病理学图谱”（或ADP），其中包括17,668块图像从100张幻灯片中提取注释多达57个我们的数据被推广到不同器官的不同组织类型，旨在为数字化全切片图像中的斑块级HTT的监督多标签学习提供训练数据我们通过病理学家咨询和训练三个关于组织类型分类的最先进的神经网络来证明我们的图像标签的质量定量结果支持我们的数据在视觉上的一致性，我们展示了一种基于组织类型的视觉注意力辅助工具，可以从我们的数据库中开发。1介绍计算病理学领域的目标是发展计算机算法，以帮助病理学家从数字病理图像中诊断疾病[21]。利用计算机视觉在解决困难的一般图像识别问题（例如，认识狗和猫）[9，32，16，33，12，38]，计算病理学有望提高病理学家的诊断准确性和生产力，他们面临着越来越重的工作量[27，41，21，15]。事实上，在计算机辅助诊断（CADx）中使用计算机视觉算法已经在放射学的姐妹领域中被广泛接受[29，40，5]。但由于公共数字病理学数据库存在严重缺陷，并且大多数最先进的计算机视觉系统都是通过超学习来训练的，这限制了有用的和可推广的计算病理学工具的发展大多数数据库要么使用文本描述进行注释，要么在幻灯片级别进行注释，并通过绘制轮廓提供最少的本地化信息[21]。 这是有问题的，因为与一般图像分类不同，数字病理学载玻片图像与感兴趣的特征相比非常大，其中局部块级（或甚至像素级）信息是必不可少的。此外，现有的数据库特别地注释有可能的组织状 况 的 不 完 整 集 合 （ 即 ， 健 康 ， 疾 病 #1 ， 疾 病#2，...，疾病#N），因此不能概括为对意外疾病或看不见的器官进行分类。由于只有有限数量的可能组织类型是可观察的，因此注释组织类型更有意义。一些数据库就是这样做的，但只使用少数组织类型，这又限制了它们的应用。这种缺乏（1）用（2）大范围的组织学组织类型（HTT）注释的局部块级图像阻止了计算病理学适当地开发通用的临床有用工具。受公共数字病理学数据库中这一缺陷的启发，我们引入了数字病理学图谱（ADP或Atlas，简称），这是一个数字病理学图像块数据库，源自通过全载玻片成像（WSI）扫描仪获取的各种器官，每个图像块都注释有多个HTT（形态学和病理学）。1174711748分类和功能）。据我们所知，没有其他类似的源自不同器官的数字病理学数据库，并且在补丁级别上用多个分层HTT进行注释，这使得我们的数据库非常适合于训练有用的计算病理学工具。我们的数据库注释由经验丰富的病理学家验证，该病理学家独特地利用HTT之间的层次关系的先验知识。由于它在块级标记有组织类型，因此可以用于开发计算病理学系统，以帮助病理学家对具有块级分辨率的整个载玻片图像进行诊断评估。此外，我们采用了三种现有的CNN架构-VGG 16 [33]，ResNet 18 [12]和Inception-V3 [38] -并通过使用多标签分层分类损失训练它们进行组织类型分类来验证我们的标签质量。这些网络的出色预测性能不仅进一步验证了标记质量，而且还表明了应用数据开发计算病理学工具以解决更困难的相关问题的可能性。数字病理学图谱的一个明显的直接应用是开发用于预测斑块级组织类型的多标记监督学习算法，其可用于定位整个载玻片图像中的组织类型，作为病理学家的自动注意辅助。例如，这种工具可以突出显示腺体组织区域以用于癌症诊断，或者显示肿瘤浸润淋巴细胞区域以用于疾病预后，从而帮助病理学家简化他们的视觉搜索过程。我们的Atlas数据可以可行地扩展到开发：(a)通过弱监督语义分割对WSI进行像素级解释，以获得个体组织结构的实例级轮廓，这可以帮助病理学家在视觉上搜索相关组织，已知这是耗时且不一致的[17，28];（b）组织形态测量分析，以自动测量诊断某些疾病所需的组织结构的形状[11];（c）将疾病预后与组织结构的形状和排列相关联的异常检测[4];以及（d）基于HTT编码的图像检索，其将实现比现有的无监督的基于内容的图像检索（CBIR）方法更语义相关的方法[37，24，23，44，14，25，45，46]。1.1相关工作如上所述，存在许多可公开获得的标记数字病理学图像的数据库，其可以大致分为三种类型：（1）政府或学术知识库，（2）教育网站，（3）重大挑战。第一类由政府机构或学术医学研究部门发布，用于研究诊断结果与组织学图像特征之间的关系，包括人类蛋白质图谱[31]、癌症基因组图谱[42]和斯坦福组织微阵列数据库[26]。这些数据库非常大，并且使用结构化的幻灯片级混合格式注释（例如，患者数据、存活结果、病理学家诊断）。Chang等人在[6]中用TCGA训练三级组织分类器，Sirinukunwat-tana等人在[35]中用STMD训练四级细胞核分类器。第二种类型是由医学教学部门发布的，用于教育他们的学生学习组织学，包含较少的示例，并使用非结构化的幻灯片级文本描述进行注释（例如，指向患病区域的标签）-这些非常难以应用于计算病理学。第三种类型由学术研究部门和教学医院发布，用于评估应用于选定临床相关问题的计算算法，称为Grand Challenges，包括MIC-CAINucleiSegmentation[18] 、 MICCAIGlandSegmentation [34]和CAMELYON [20]竞赛。这些数据库往往是中等规模的，集中在特定的组织或条件，并与补丁级分类或位置注释相关的手头的问题（例如，癌性或非癌性，有丝分裂像的位置）。这些数据库通常用于计算病理学：Chen et al. 凭借DCAN [7]赢得了2015年MICCAI Gland Segmentation，而Lee和Baeng凭借多阶段框架[ 19 ]赢得了CAMELYON 17。1.2缺少什么如上所述，现有的数据库集中于展示特定器官（例如，乳腺组织）或者在载玻片水平上用特定诊断条件（例如，癌症等级）或在具有特定组织结构的局部贴片水平（例如，腺体），以排除其他条件和结构。因此，注释数据库的当前编译格式首先限制了为计算病理学开发组织识别任务的适当手段。事实上，有意义的识别工具应该能够识别宽范围的组织光谱，因此可以缩小到某些组织用于诊断分析。然而，我们提出的数据库包括来自不同器官的组织学组织切片，并在补丁水平上用不同的组织结构进行注释。2地图集数据库建设本节解释了从源自不同器官的不同HTT构建Atlas数据库。首先，我们描述了WSI扫描工作流程，以将载玻片切片并将其分成小块。然后，我们解释了我们提出的层次分类HTT和补丁标记程序。最后，我们通过关联规则学习分析所得多标签分类HTT数据的统计模式，并将标签共现可视化为图形网络，并描述了经验丰富的病理学家对我们的组织类型标签数据的验证117492.1全切片成像（WSI）工作流程通过在Nikon H550L明视野显微镜下使用20 x物镜和0.75数值孔径观察载玻片，从较大尺寸的500个匿名载玻片（每个尺寸为1我们选择了那些载玻片具有（a）由组织样本厚度引起的可接受的很少的焦点变化[13，10]，（b）组织染色剂的颜色变化的不同光谱[3，8]，（c）可接受的很少的制备缺陷，例如气泡和组织折叠/破碎/裂缝，（d）不同的起源器官，例如脑，肾，乳房，肝脏和心脏，以及（e）不同的诊断（即，疾病或非疾病相关）。然后使用Huron TissueScope LE1.2 WSI扫描仪以40X放大率（0. 25μm/像素分辨率，未压缩的TIFF文件），然后将每个数字载玻片分成大小为1088×1088像素的可识别非背景斑块的随机子集，重叠32个像素-总共收集了17，668个斑块。背景补丁-那些在所有三个RGB通道上超过97.5%的像素超过85%的强度由于严重的聚焦问题或非组织物体（例如，灰尘斑点）也被排除在外。平均每个载玻片产生177个斑块（最小值：最多12个贴片：280片）;大多数似乎被苏木精和曙红（HE&）染色。2.2组织学组织学的层次分类给定包含可见可识别组织的数字病理学载玻片块在这里，我们详细阐述了所选择的组织学组织类型的分类及其组织原则。在组织学本身中，有两种实用方法：（1）基础组织学，研究组织结构（或形态学），和（2）系统（或功能）组织学，研究组织功能和组织器官。基本组织学方法很容易适用于载玻片贴片，因为即使是很小的视野也足以识别组织结构。相比之下，系统组织学方法通常不适用于标记载玻片块，因为起源器官通常未知，并且需要更大的视野请注意，这不包括较小的功能结构，如腺体和运输血管的情况。因此，我们参考了标准组织学文本[43，30]，并选择性地将两种组织类型分类方法结合起来，以适应我们提出的三级组织类型分类法中的斑块级分析。顶层包含七种基本组织学（或形态学）组织类型（[43]中 的 五 种 基 本 类 型 和 [44] 中 的 四 种 基 本 类 型 的 超集）。[30]）和两种系统性组织学（或功能性）组织类型（“腺”和“运输血管”）。我们组织了分类法，以进一步将每个顶级组织类型划分为更具体的子类型，每个子类型对应于视觉上可识别的组织类型，而不是例如抽象分组或起源器官，如上皮/内皮/间皮。对于无法识别 更 具 体 的 子 节 点 类 型 的 情 况 ， 我 们 将“Undifferentiated”子节点类型与父节点相关联表1详细说明了完整的分层组织类型分类法、每种类型的相关字母代码，并提供了每种组织类型标签的出现次数。表1.用于建议的Atlas数据库的监督标记的组织学组织类型的分层分类法。组织层次结构由三层组成，从最不具体的顶层到最具体的底层。第一行括号内的数字对应于属于相应级别的非#1级（九）2级（二十三）3级（三十六）#补丁12345678上皮细胞（E）简单上皮细胞（E.M）单纯鳞状上皮（E.M.S）3341单纯立方上皮（E.M.U）5240单纯柱状上皮（E.M.O）2533分 层 上皮（E.T）分层鳞状上皮（E.T.S）355分层立方上皮（E.T.U）3662分层柱状上皮（E.T.O）783分层上皮未分化（E.T.X）22假复层上皮（E.P）509101112连接词本体（C）密集连接词（C.D）密集不规则连接4481稠密正则连接词68松连接（C.L）8768联结固有未分化（C.X）29113141516血液（H）红细胞（H.E）7504白细胞（H.K）1739淋巴细胞（H.Y）5232血液未分化（H.X）126171819202122斯堪的纳维亚（S）成熟骨（S.M）密质骨（S.M.C）298海绵骨（S.M.S）233软骨内骨（S.E）38软骨（S.C）透明软骨（S.C.H）10软骨未分化（S.C.X）35骨髓（S.R）157232425脂肪（A）白色脂肪（A.W）536棕色脂肪（A.B）2骨髓脂肪（上午）1372627肌肉（男）平滑肌（M.M）4213骨骼肌（M.K）7832829303132333435363738紧张（N）神经毡（N.P）2198神经元（N.R）神经细胞体（N.R.B）1840神经轴突（N.R.A）59神经胶质细胞（N.G）小胶质细胞（N.G.M）593星形胶质细胞（N.G.A）N/A少突胶质细胞（N.G.O）N/A室管膜细胞（N.G.E）N/A放射状胶质细胞（N.G.R）N/A雪旺细胞（N.G.W）22卫星细胞（N.G.T）N/A神经胶质细胞 未 分化（N.G.X）1856394041腺体（G）外分泌腺6976内分泌腺（G.N）1115未分化腺体（G.X）6642运输容器（T）6045-总17668117502.3组织类型标签工作流程共分配了5名贴标员对玻片贴片进行组织类型贴标所有标记人员首先接受培训，以使用来源于标准组织学文本（如[43，30]）的注释样本图像识别组织类型（如上所述）此外，为了确保标签的一致性，商定了以下标签标准：（a）非细胞标签（具有单数形式名称的标签，例如当确信组织以任何量存在于贴片中的任何地方时，将其指定为“松散结缔组织”）;（b）细胞标签（具有复数形式名称的那些，例如，当确信地辨别出五个或更多个细胞存在于贴片中的任何地方时，分配红细胞（“红细胞”）;（c）块中的每个像素可以对应于至多一个形态类型，但是也可以对应于附加的功能类型，反之亦然（例如，“单纯柱状上皮”和“外分泌腺”）;（d）尽可能在最具体的级别上指定标签;以及（e）如果贴片不具有可识别的组织结构，则将其从数据库中排除。图1. 样本贴片，标注有箭头，箭头指向显示相应组织类型标签的区域-为了解释组织类型字母代码，请参见表1在图1中，四个示例块被指示为具有覆盖的地面实况标签，其作为指向显示相应组织类型的块区域的黑色箭头（为了清楚，每个块被分配没有局部位置信息的全局标签，并且这里指示的箭头标签仅用于演示目的）。 注意，组织类型倾向于对应于特定的视觉模式和相对空间关系，这表明对空间上下文敏感的一般视觉 模 式 识 别 “Epithelial” appears as linearly-arrangednuclei- dense cells lining a surface, “Connective Proper”appears as long fibrous cells with scant nuclei betweenother tis- sues, “Blood” appears as circular/ovoid blobswhich some- timessels 1，“Skelpose”表现为木质材料，有时包含分层的环，有时出现较轻的区域，“Adipose”表现为簇状环或气泡，“Muscular”表现为平行（纵向切割）或捆扎（横切面）致密纤维细胞，核长圆形，“神经”表现为连接分支圆形斑点的细丝，“腺体”表现为有或没有内部开口的上皮衬里的卵圆形结构，而“运输血管”对应于通常含有血液的弦状环。2.4标签元数据组织类型标记器仅在表1中描述的分层分类的叶节点处分配标记。然而，我们也可以基于它们的后代节点来分配非叶祖先节点组织类型-如果存在至少一个后代节点标签，则这通过分配祖先节点标签来完成。例如如果y=[···，yC. D，yC.D. I，···]是给定块的真实组织类型标签向量，并且yC. D. I=1（存在），则其父标签yC.D也 被设置为1。增强后将叶节点标签与这些原始未标记的祖先节点相关联，我们将每个载玻片块与57维二进制标签向量y∈ {0，1}57（即，所有非我们建议的数据库包括补丁im-年龄文件及其相关的增广二进制标签在一个逗号分隔的文件。有关叶节点类型的类样本计数，请参见表12.5组织类型标签统计在本节中，我们将展示一些理解HTT标签数据统计的方法：（1）共现网络分析，以及（2）关联规则学习。首先，我们将数据建模为图形（其中组织类型标签被建模为节点，并且标签同现被建模为通过其计数加权的边）并且可视化同现网络。图2显示了层次分类法的三个级别上的共现网络，用两个圆形（即定位在圆中的节点）和力导向布局（即，节点是杂乱的，以均衡边缘长度并最小化边缘交叉）。对于力导向布局图2（d）、2（e）和2（f），节点另外由其k均值聚类（k=6）着色，并且聚类区域显示在图2中。背景请注意，绝大多数幻灯片补丁属于由上皮、固有结缔组织、血液、肌肉、腺和运输血管类型组成的大的中心互连簇（尽管对于层次的更深水平存在重要的亚簇），而不太常见的骨骼、脂肪和神经类型倾向于分别出现1亚型11751(a) 圆形-L1（b）圆形-L2（c）圆形-L3(d)Force-dir. - L1（e）Force-dir。- L2(f)Force-dir. - L3图2. 组织类型共现网络，针对分层分类法的所有三个级别（从左到右）显示，并以两种布局显示-圆形（顶部）和力导向（底部），具有k均值聚类。如需解释组织类型字母代码，请参阅表1其次，我们应用Apriori关联规则学习算法[2]（支持度阈值为0.01，置信度阈值为0.5），并为每个唯一的结果标签显示最重要的规则，其中存在这样的规则。根据Agrawal等人在[1]中的观点，我们定义了一个规则，该规则位于前件项集和后件标签之间。从表2中的结果可以看出，36个可能标签中的12个具有置信度超过置信度阈值的关联规则。最符合-凹痕规则为“上皮表2. 将Apriori关联规则学习算法应用于多标签数据的结果，仅显示存在此类规则的每个唯一结果标签的最重要规则。先行项集⇒联系人标签信心{C.D.I， H.E， H.Y，T}⇒E.M.S0.78701{G.N}⇒E.M.U0.93274{H.E， H.K， G.O，T}⇒E.M.O0.50402{M.K，T}⇒C.D.I0.89457{H.Y，E.T.U， E.T.O}⇒C.L0.98404{H.Y， G.O， T， E.M.S，E.T.U}⇒阁下0.96296{E.M.U， E.T.U， H.E，H.K}⇒H.Y0.93299{T， E.M.S， C.D.I}⇒M.M0.68536{N.G.M，T}⇒N.P0.99576{N.G.M}⇒N.R.B0.8769{E.M.U， E.M.O， H.Y}⇒G.O0.98097{E.M.S， E.M.O， H.Y}⇒不0.996432.6病理学家确认为了进一步确保标签的准确性，由经验丰富的委员会认证的病理学家审查了1000个组织贴片的随机集。病理学家随LabelViewer图形用户界面（GUI）提供，在该界面中，可结合原始五名贴标人分配的标签一次查看一个贴片（见第2.3节）。向病理学家提供与原始标签相同的关于组织类型分层分类的说明和信息。在将每个图像块与其分配的标签进行比较后，病理学家能够就每个块提供关于应添加、删除或修改的标签的具体注释在组织类型分层分类的较高水平（1-2），原始标记者和病理学家之间具有极好的一致性，大多数建议的修改与上皮分支的3级相关（例如，单纯立方上皮与单纯柱状上皮），偶尔在2级（分层与简单）。这种不一致性最有可能是由于原始贴标人病理学家验证的进一步详细分析2.7如何访问ADP数据库？关于访问ADP数据库的详细信息可以在网站2中找到。ADP作为早期版本V1发布. 0，并将作为一个持续的研究工作进行更新，为学术研究人员和教育工作者提供有用的计算病理学数据库在世界各地。3实验在本节中，我们解释了我们的实验，以计算评估三种最先进的卷积神经网络架构的载玻片块的标记质量：VGG 16 [33]、ResNet 18 [12]和Inception- V3 [38];我们分别在组织类型分层分类的三个级别的平面分类上训练网络。此外，对于第二和第三级，其中平坦分类假设标签独立性，我们测试了利用关于组织类型之间的分层关系的先验知识与分层二元相关性方法。在本节的其余部分，我们将解释分层二进制相关性方法，训练设置，补丁级和幻灯片级的实验结果，以及性能最佳的神经网络的故障模式。3.1层次二元相关法分层二进制相关性（HBR）是Tsoumakas等人在[39]中提出的一种简单方法，用于在多标签分类器中利用分层标签关系。在我们的例子中，我们通过在训练过程中用它们的祖先类型作为一个平面分类问题来增强每个层次的组织类型来实现HBR在测试时，我们通过ROC分析获得所有节点的最佳阈值θi，2http://www.dsp.utoronto.ca/projects/ADP/11752验证集，然后将测试集中的所有节点得分与任何非置信祖先节点预测（piθi）归零。例如，如果预测得分pC为- lowθC，则其子节点得分pC.D将被归零。以这种方式，HBR在训练期间对预测分层上接近目标组织类型的错误组织类型的惩罚比分层上远离目标组织类型的惩罚更少;它还防止网络在测试时用非置信的祖先节点预测来预测组织类型。表3. 用于培训目的的数据集配置。一般统计数据训练样本数14134确认样本量1767测试样本量1767原始图像大小1088× 1088一级班9二级班31三级班513.2训练设置对于以下实验，在Keras（TensorFlow后端）中使用NVIDIA GTX 1080 Ti GPU进行训练使用了以下网络的Keras实现：VGG 16 3、ResNet 18 4和Inception- V3 5。将图像从原始扫描大小（不使用金字塔图像）调整为每个网络可接受的（范围从224×224到229×229）采用双线性下采样方法;所有网络都训练了80个epoch其中批大小为32，并且在所有卷积层和密集层上的22此外，我们使用了具有循环学习率的随机梯度下降优化器（重置三角策略）[36]，以便为我们提出的数据库采用最佳学习率。初始基础学习率为0.001，3.3补丁级分析图3显示了不同层次水平的多标记分类这里的预测水平2和水平3的ROC曲线在有和没有HBP增强标记的情况下重叠。每个ROC曲线的纵轴对应于真阳性率（TPR），即水平轴对应于假阳性率（FPR），即，1-特异性。在这里，水平轴以对数标度显示，以便更好地在类标签之间进行视觉比较。对于所有训练的网络，ROC的曲线下面积（AUC）都相当高，其中水平1、水平2、水平2+HBP、水平3、水平3+HBP的平均AUC分别为0.992、0.9885、0.9813、0.9867和0.9812。总体而言，由于类别数量的相应增加，较低层级的敏感度降低。值得注意的是，我们观察到使用HBP在级别3上的灵敏度（如图3（c）所示）的显著改善，这表明利用先验分层知识对预测性能是有益的。补充材料中还提供了混淆矩阵。10.80.60.40.20所有网络的初始最大学习率为0.02，步长为4个epoch，每20个epoch学习率减半。训练/验证/测试划分为80-10-10（更多信息参见表3），使用数据扩充（水平/垂直翻转），类权重-ing被应用于二进制交叉熵损失Δ（y，p）=Σk10.80.610-2100假阳性率（FPR）(a) 中华民国一级10.80.6-i=1w i（y ilog（p i）+（1 − y i）log（1 − p i））。这里类权重定义为wi=N/ni，其中N为0.40.4训练 集大 小， ni是类 示例 计数， 目标 标签向 量y∈{0，1}k，以及k个配置特定标签中的预测得分向量p∈Rk的更多信息0.2010-2假阳性率（FPR）1000.2010-2假阳性率（FPR）100训练进度请参阅补充大副-(b) ROC-2级（+HBP）(c) ROC-3级（+HBP）里亚尔 Keras实施培训网络包括所有预先训练的模型可以从6，7中获得。3https://github.com/geifmany/cifar-vgg4https://github.com/keras-team/keras-contrib/blob/master/keras_contrib/applications/resnet.py5https://github.com/keras-team/keras-applications/blob/master/keras_applications/inception_v3.py6http://www.dsp.utoronto.ca/projects/ADP/7https://github.com/mahdihosseini/ADP/图3. 所有三个分层水平的ROC曲线：（左）所有九个不同标签的水平1，（中）选择标签的水平2（有和没有HBP），以及（右）选择标签的水平3（有和没有HBP）。HBP曲线以虚线示出，非HBP曲线以实线示出以用于比较。列出了所有三个神经网络在五种不同配置上训练的定量性能表4.注意，对于网络和标签配置的每种组合，我们都获得了最佳阈值。ECHS一MNG不C.LH.EH.YM.MN.PG.O号政府公告真阳性率（TPR）E.M.UE.M.OE.T. U外星人C.D.I真阳性率（TPR）真阳性率（TPR）11753使 用 相 应 的 ROC 分 析 。 在 所 有 组 合 中 ， 准 确 度（ACC）结果始终较高（高于0.95）。请注意，使用平均精度（F1- score）和缺失率（FNR）作为评估指标，添加HBP可以提高较低级别的预测性能，VGG 16的 性 能 优 于 ResNet 18 和 Inception-V3 。 我 们 假 设VGG16 这 是 至 关 重 要 的 ， 因 为 与 MS-COCO 和ImageNet等通用图像识别数据库相反，通常通过使用更深的层来提高视点和尺度不变性来实现对大型对象的更好预测，我们的Atlas数据库中要识别的组织结构似乎是小的视点和尺度不变纹理，因此使用更深的层将是多余的，甚至可能促进过拟合。表4.VGG16、ResNet 18和Inception- V3的测试集性能应用于申报数据库的组织类型分类，采用三个级别和五种训练配置（括号内的类别数量和每个指标的最佳性能架构以粗体显示）。错误标记错误（即，组织类型不一致地省略）。在图4中，显示了四个特征补丁，展示了选择性故障模式（一个人为错误，三个基本错误）及其不一致性图。在图3.4中，E.M.S（单纯鳞状细胞）被错误标记为E.M.U（单纯立方细胞），而H.E（红细胞）被省略;在图3.4中，胃底腺G.O（外分泌腺）被误标为G.N（内分泌腺）;在图3.4中，切向切割的 腺体G.O（外分泌腺）错误标记为E.T.U（分层立方腺）;在图3.4中，腺性E.M.O（单纯柱状）被误标为E.M.U（单纯立方）。在补充资料中提供了对失效模式的进一步统计分析组织类型配置L1（9）L2（23）L2+HBR（36）L3（31）L3+HBR（51）TPR0的情况。95050. 91430. 90990. 85970. 8948FPR0的情况。02090. 02190. 02050. 01970. 0188TNR0。97910. 97810. 97950. 98030. 9812FNR0的情况。04950. 08570.09010. 14030. 1052ACC0. 96890. 96740. 96440. 96710. 9676F10. 95610. 90370. 91720. 85060. 8968TPR0。94200。8896 0. 89030. 85070. 8723FPR0的情况。02090. 02840. 02790. 0260 00. 0267TNR0。97910. 97160. 97210. 9740 0 0. 9733FNR0. 0580 00. 11040. 10970. 14930. 1277ACC0. 96590. 95790. 95440. 96060. 9574F10. 95160. 87610. 89430. 82450. 8657TPR0。93510. 89690. 89870. 86360. 8800FPR0的情况。01780. 01620. 01700. 01430. 0162TNR0的情况。98220. 98380. 98300. 98570. 9838FNR0. 06490.1031010130. 13640. 1200ACC0. 96540. 96930. 96470. 97250. 9675F10. 95070. 90710.90710. 87220. 89503.4失效模式从上面示出的定量性能结果，清楚的是，组织类型标记的质量足以通过深度神经网络进行一致准确的预测。 但是，对于少数补丁，神经网络无法准确预测吗为了回答这个问题，我们通过未加权的二进制交叉熵损失对测试集补丁进行排序，并检查目标标签和预测分数之间的类别不一致性（使用性能最好的VGG16-level-3+HBR配置）。总的来说，我们观察到几乎所有失效模式补丁都被错误注释，神经网络仍然预测正确的标签，并且这些标签错误与验证病理学家观察到的错误相对应。它们可分为：（1）基本的错误标记错误（即，组织类型总是被误认为另一种）和（2）人类(a) 无E.M.U/添加E.M.S（b）无G.N/添加G.O，E.M.O(c)无E.T.U（d）无E.M.U/添加E.M.O图4. 失效模式：顶部为下采样224 × 224分辨率的选定斑块图像，底部为目标标签和预测评分不一致性。子图标题3.5载玻片水平分析在本节中，我们分析了性能最佳的神经网络（VGG16-level-3+HBR）在全切片图像（WSI）中对组织类型进行块级分辨率预测的预测性能由于WSI的图像尺寸非常大（扫描的1cm × 1cm组织的数字载玻片在40倍分辨率下大约是100 K× 100 K像素大小），这以视觉方式证明了训练的网络-在当前状态下的工作对于病理学家来说已经是一种有用的视觉注意力辅助工具，用于定位与当前诊断相关的组织区域，从而简化了他们的工作并能够更快地进行诊断。我们选择了三个不同的-ResNet18inception-V3VGG1611754(a)幻灯片1：E.T.U(b)幻灯片1：H.Y(c)幻灯片1：C.D.I(d)载玻片1：C.L（e）载玻片1：H.E （f）载玻片1：A.W(g)幻灯片1：M.M(h)幻灯片1：G.O(i)幻灯片2：E.M.S（j）幻灯片2：E.M.O (k)载玻片2：C.D.I（l）载玻片2：C.L（m）载玻片2：H.Y(n)幻灯片2：A.W(o)幻灯片2：M.M(p)幻灯片2：G.O(q)幻灯片3：E.T.U (r)幻灯片3：E.M.S (s)幻灯片3：C.D.I(t)幻灯片3：C.L(u)幻灯片3：H.E(v)幻灯片3：A.W(w)玻片3：M.M（x）玻片3：G.O图5.在三个不同的WSI图像上，从VGG 16-level-3+HBP训练模型预测的置信度分数的热图表示。每个WSI被分成多个图像块，它们对应的分数被预测为所有类别标签，并表示为覆盖在原始WSI图像上的对应透明度的热图。我们收集了已知来源于胃肠道（GI）的胃肠道感染，并将其用于我们的病例研究。请注意，这些幻灯片与建议的Atlas数据库完全分开，并且没有用于训练，验证或测试神经网络。每个WSI被划分为多个补丁1088×1088（不包括背景补丁），下采样到224×224，并输入到前面章节中解释的训练CNN模型（VGG 16-level-3+HBR）的CNN为给定块处的每个预测组织类型输出一个置信度得分，并且块预测被缝合在一起成为载玻片级别类置信度热图，其以对应于置信度级别的透明度覆盖在整个载玻片图像上。在图5中，针对四种不同的WSI显示了24种不同的置信度得分热图例如，在图5（f）、5（n）和5（v）中对所有三个WSI的白色脂肪预测置信度进行了可视化。载玻片水平分析的进一步结果见补充材料。4总结发言在本文中，我们提出了一个新的数字病理学数据库的幻灯片补丁图像注释组织学组织类型安排在一个层次分类。鉴于缺乏公开可用的数据库的补丁级图像注释了大量的组织学组织类型，这限制了当前的计算病理学研究集中在特定的疾病和器官，我们建议，我们的数据库将使研究广义组织类型监督学习。我们通过咨询专家病理学家和训练三个最先进的神经网络来证明我们的补丁注释的质量，这两者都表明数据具有足够好的质量，可以用于开发有用的计算病理学工具。作为概念的证明，我们开发了一个幻灯片级的组织类型为基础的视觉注意力援助，我们假设，所提出的数据库可以很容易地应用在未来解决相关的计算病理学任务。11755引用[1] Ra k eshAgr aw al，TomaszImiel in'ski，andArunS w ami.大型数据库中项目集之间的关联规则挖掘在Acm sigmod记录中，第22卷，第207-216页。ACM，1993年。4325[2] Rakesh Agrawal，Ramakrishnan Srikant，等.关联规则的快速挖掘算法。In Proc. 20th int.非常大的数据库，VLDB，第1215卷，第487-499页，1994。4325[3] Pinky A Bautista，Noriaki Hashimoto，and Yukako Yagi.使用颜色校准载玻片的整个载玻片成像中的颜色标准化。病理信息学杂志，2014年5月。4323[4] Andrew H Beck 、 Ankur R Sangoi 、 Samuel Leung 、Robert J Marinelli、Torsten O Nielsen、Marc J Van DeVijver 、 Robert B West 、 Matt Van De Rijn 和 DaphneKoller。乳腺癌形态学的系统分析揭示了与生存相关的基本特征。Science translational medicine，3（108）：108ra113-108ra113，2011. 4322[5] Matthew Brown ， Patrick Browning ， M Wasil Wahi-Anwar ， Mitchell Murphy ， Jayson Delgado ， HayitGreenspan，Ferei- doun Abtin，Shahnaz Ghahremani，Nazanin Yaghmai，Irene da Costa，et al.胸部ct cad整合到临床工作流程中对放射科医师效率的影响。学术放射学，2018年。4321[6] Hang Chang ， Ju Han ， Cheng Zhong ， Antoine MSnijders，and Jian-Hua Mao.生物医学应用中通过多尺度卷积稀疏编码的无监督迁移学习IEEE transactions onpattern analysis and machine intelligence ， 40 （ 5 ） ：1182-1194，2018。4322[7] Hao Chen，Xiaojuan Qi，Lequan Yu，and Pheng-AnnHeng. Dcan：用于精确腺体分割的深度轮廓感知网络。在IEEE计算机视觉和模式识别会议论文集，第2487-2496页，2016年。4322[8] 艾米丽·L·克拉克和达伦·特雷弗 数字病理学中的颜色：审查. Histology，70（2）：153-163，2017. 4323[9] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的层次图像数据库。在计算机视觉和模式识别，2009年。CVPR2009。 IEEE会议，第248-255页。Ieee，2009年。4321[10] Filippo F