全切片图像分类中基于多实例学习网络的自监督对比学习和金字塔融合

14318双流多实例学习网络基于自监督对比学习的全切片图像分类李斌1，2，尹力3，4 *，凯文W.Eliceiri1，2，5 *1威斯康星大学麦迪逊分校生物医学工程系2Morgridge Institute for Research，Madison，WI美国威斯康星大学麦迪逊分校生物统计学与医学信息学系4威斯康星大学麦迪逊分校计算机科学系5威斯康星大学麦迪逊分校医学物理系{bli346，yin.li，eliceiri}@ wisc.edu摘要我们解决了具有挑战性的问题，整个幻灯片图像（WSI）分类。WSI具有非常高的分辨率，并且通常缺少本地化的注释。当只有幻灯片级别的标签可用时，WSI分类可以转换为多实例学习（MIL）问题我们提出了一种基于MIL的WSI分类和肿瘤检测方法，不需要本地化的注释。我们的方法有三个主要组成部分。首先，我们介绍了一种新的MIL聚合器，该聚合器利用可训练的距离度量来模拟双流体系结构中实例之间的关系其次，由于WSI可以产生大的或不平衡的袋子，阻碍了MIL模型的训练，我们建议使用自监督对比学习来提取MIL的良好第三，对多尺度WSI特征采用金字塔融合机制，进一步提高了分类和定位的准确性我们的模型在两个有代表性的WSI数据集上进行了评估我们的模型的分类准确性与完全监督的方法相比毫不逊色我们的结果也优于所有以前的基于MIL的方法。标准MIL数据集上的其他基准测试结果进一步证明了我们的MIL聚合器在一般MIL问题上的卓越性能1. 介绍全载玻片扫描是一种功能强大且广泛使用的工具，可在疾病诊断、医学教育和病理学研究中可视化组织切片[10，38]。扫描* 共同通讯作者。图1.在MIL中学习的决策边界。左：最大池化根据每个包中得分最高的实例描绘决策边界。右图：DSMIL测量每个实例与最高分实例之间的距离。将 载 玻 片 上 的 组 织 转 换 为 数 字 化 全 载 玻 片 图 像（WSIs），以进行评估、共享和分析。WSI中的自动疾病检测一直是计算机辅助诊断系统的长期挑战。我们已经开始看到计算机视觉和医学图像分析社区最近取得的一些成功[6，44，3，24，27，29]，这得益于深度学习的进步。WSI具有极高的分辨率-典型的病理图像大小为40，000×40，000。因此，WSI分类最广泛使用的范例是基于块的处理-WSI被分成数千个小块，并由分类器进一步检查，卷积神经网络（CNN）[21，53，35，11，33]。在临床上，疾病阳性组织切片可能仅取一小部分（例如，小于整个组织的20%），导致大量的疾病阴性斑。不幸的是，在千兆像素分辨率下，由专家病理学家进行的斑块级标记非常耗时且难以扩展。为了应对这一挑战，最近的几项研究[21，3，18]已经证明了弱监督WSI分类的前景，其中仅使用载玻片级标签来训练基于块的分类器。14319弱监督WSI分类的大多数先前方法[21，53，35，11，18，8]遵循多实例学习（MIL）问题公式[14，34]，其中每个WSI被视为包含许多补丁实例的袋子如果WSI（袋）的任何片（实例）是疾病阳性的（例如，病变）。块级特征或分数由预测幻灯片级标签的分类器执行、汇总和检查。最近基于MIL的方法极大地受益于使用深度神经网络进行特征提取和特征聚合[22，50，37]。在为弱监督WSI分类开发深度MIL模型时存在两个主要挑战。首先，当正图像（包）中的块（实例）高度不平衡时，即，只有一小部分补丁是正面的，当使用简单的聚合操作（如广泛采用的最大池）时，模型可能会错误分类这些正面实例[22]。这是因为，在MIL的假设下，与完全监督训练相比，最大池化可能会导致决策边界的偏移（图1）。此外，由于监督信号较弱，该模型很容易发生过拟合，无法学习丰富的特征表示[12，32，1]。其次，当前模型要么使用CNN提取的固定补丁特征，要么只使用一些高分补丁更新特征提取器，因为特征提取器和聚合器的端到端训练对于大包来说过于昂贵[12，3，32]。这种简化的学习方案可能导致WSI分类的次优补丁特征。为了解决这些挑战，我们提出了一种新的深度MIL模型，称为双流多实例学习网络（DSMIL）。具体来说，DSMIL联合学习补丁（实例）和图像（包）分类器，使用双流架构。第一流部署标准最大池来识别得分最高的实例（称为关键实例），而第二流通过测量每个实例到关键实例的距离来计算每个实例的注意力得分。DSMIL进一步使用注意力分数对实例进行软选择，从而产生一个决策边界，该边界可以更好地描述阳性袋中的实例，如图1所示。重要的是，DSMIL利用自监督对比学习来训练WSI的特征提取器，产生强大的补丁表示。此外，DSMIL结合了多尺度特征融合机制，该机制可以利用从毫米尺度（例如，血管和腺体）到细胞尺度（组织微环境）。我们在两个公共WSI数据集（包括Camelyon16和TCGA肺癌）上评估了DSMIL的弱监督WSI分类。结果表明，DSMIL在分类准确率方面至少比其他最近的MIL模型高出2.3%。更重要的是，我们的分类准确性优于完全监督方法，精度差距小于2%。此外，DSMIL还具有超级定位精度，优于以前的MIL模型的显着保证金。最后，我们展示了国家的最先进的性能DSMIL一般MIL问题超出弱监督WSI分类。2. 相关工作我们的工作是使用深层模型开发用于WSI分析的MIL。MIL本身是一个很好的主题。我们建议读者参考[4]进行调查。在本节中，我们简要回顾了最近在深度MIL模型方面的工作，以及用于WSI分析的MIL模型的相关工作。深度MIL模型。传统上，MIL模型考虑手工制作的聚合器，例如均值池和最大池[16，39]。 最近，它表明，参数化具有神经网络聚合算子仍然是有益的[16，52，37]。Ilse等人[22]提出了一种由神经网络参数化的基于注意力的聚合算子，该算子包括每个实例对包嵌入的贡献。提出了考虑上下文信息的方法来对实例之间的依赖性进行建模，例如基于图神经网络的方法和基于胶囊网络的方法[47，55，8]。我们部署一个非本地操作来对实例进行建模-与实例和实例到包的关系[51]。与基于注意力的MIL（AB-MIL）[22]中的注意力机制我们的方法也不同于图模型和胶囊网络，因为节点之间的权重是两个节点的函数，而不是学习参数[43，42]。测量机制类似于自我注意[48，51]，但不同之处在于测量仅在一个节点（关键实例）与其他节点之间进行。我们的双流非局部操作也不同于非对称非局部操作，因为嵌入是根据在单独分支中学习的置信度得分过滤的，而不是嵌入[56]。此外，深度MIL模型已被考虑用于其他弱监督视觉任务，包括弱监督对象定位[9]和检测[45，49]。在本文中，我们专注于弱监督分类的WSI。用于WSI分析的MIL模型。MIL已成功应用于WSI分析，用于细胞分割和肿瘤检测等任务[54，21，40，23，3，8]。凸轮-Panella等[3]表明，在大型弱标记WSI数据集上训练的MIL分类器比在像素级注释的小型实验室数据集上训练的全监督分类器更好前者很容易从日常诊所大规模获得，而后者需要在研究实验室进行劳动密集型注释。在MIL中训练CNN以获得良好的特征表示对于WSI分析来说是不平凡的，这是由于禁止性的限制。14320图2.我们的DSMIL概览从WSI的每个放大倍数中提取的补丁分别用于自监督对比学习。训练的特征提取器用于计算补丁的嵌入。WSI的不同尺度的嵌入被连接以形成特征金字塔来训练MIL聚合器。该图显示了两种放大倍数（20 ×和5×）的示例。5×特征向量被复制并与该5×补丁内的子图像的20×特征向量中的每一个连接。理论要求和噪声监控信号[32，12]。最近，半监督学习已被用于WSI分类器的训练B的标号由下式给出：.c（B）=0，iff Σyi= 0（一）有限的补丁级标签[26]。相比之下，我们的工作利用自监督对比学习[7]进行MIL中的特征提取自我监督对比学习已证明在学习视觉表征方面取得了成功[36，7，19]，但在WSI分析中尚未探索。病理学家对WSI的评估是在多尺度下进行的[2，17，46]，并且在WSI分析中考虑多尺度特征是常见的。使用简单地包括来自MIL中WSI的不同放大倍数的特征的袋已被证明是有益的[18]。 另一种可能性[33]是在低放大率下选择区域，并进一步放大这些区域以获得高放大率补丁。我们的多尺度特征分析策略受到了以前使用深度模型进行多尺度特征表示的工作的启发[41，28]，但同时有利于我们的DSMIL模型局部约束补丁注意力的能力。3. 方法我们现在提出我们的弱监督WSI分类方法。本节介绍了MIL的公式，并提出了我们的模型-DSMIL。3.1. 背景：MIL制剂在MIL中，一组训练样本被认为是包含多个实例的袋子每个袋子都有一个袋子标签，如果袋子包含至少一个阳性物质，则该标签为阳性，如果袋子不包含这样的阳性物质，则该标签为阴性实例级标签未知。在二元分类的情况下，设B={（x1，y1），.，（xn，yn）}是一个袋子，其中xi∈χ是带有标签yi∈{0，1}的实例，1、否则MIL还使用合适的变换f和置换不变变换g[22，5]来预测B的标记，由下式给出：c（B）= g（f（x 0），.， f（xn））（2）基于f和g的选择，多实例学习可以通过两种方式建模：1）基于实例的方法。f是对每个实例进行评分的实例分类器，g是聚合实例分数以产生包分数的池化运算符。 2)基于嵌入的方法。F是将每个实例映射到嵌入的实例级特征提取器，G是从实例嵌入产生包嵌入并基于包嵌入输出包分数的聚合算子。与基于实例的方法[52]相比，基于嵌入的方法基于由袋标签直接监督的袋嵌入产生袋得分，并且通常产生更好的准确性，但是，通常更难确定触发分类器的关键实例[30]。在弱监督WSI分类的设置中，每个WSI被认为是一个袋子，从它提取的补丁被认为是这个袋子的实例。然后，我们将描述我们的模型，该模型联合学习实例级分类器和嵌入聚合器，并解释这种混合架构如何提供基于实例和基于嵌入的方法的优点。3.2. WSI分类我们的主要创新是设计了一个新的聚集函数g，并学习了特征提取，14321任意实例与临界实例之间的距离测量U为：U（hi，hm）= exp（qi，qm）N−1exp（q，q）（五）k=0k m“·，·”表示两个向量的内积。包嵌入b是所有实例的信息向量vi的加权元素和，使用到关键实例的距离作为权重：N−1b=U（hi，hm）vi（6）我图3.DSMIL的MIL聚合器最大池分支通过池化实例分数来确定关键实例。聚合分支测量每个实例到关键实例之间的距离，并通过使用距离作为权重对实例嵌入求和来产生包嵌入评分然后，袋分数cb由下式给出：c b（B）= g b（f（x i），.，f（xn））N−1=WbU（hi，hm）vi=Wbb我（七）这两个流被平均以产生最终分数。托尔湾具体来说，我们提出了DSMIL，它由一个掩蔽的非局部块和一个用于特征聚合的最大池块组成，输入实例嵌入通过自监督对比学习来学习。此外，DSMIL使用金字塔策略结合多尺度嵌入，从而确保了WSI中补丁的注意力的局部约束。图2展示了我们的DSMIL的概述。我们现在描述DSMIL的每个组件。MIL聚合器与屏蔽非本地操作。与以前大多数学习实例分类器或包分类器的方法相比，DSMIL联合学习实例分类器和包分类器以及双流架构中的包嵌入。令B ={x1，.， xn}表示WSI的贴片袋。给定一个特征提取器f，每个实例xi可以被投影到一个嵌入hi=f（xi）∈RL×1中.第一个流在每个实例嵌入上使用实例分类器，然后在分数上使用最大池c m（B）= g m（f（xi），.， f（x n））（三）=max{W 0 h 0，. . . ，W 0 hN −1}其中Wb是用于二进制分类的权重向量。这这与自我关注类似[48]。但不同之处在于仅在关键节点和其它节点（包括关键节点本身）之间执行查询关键字匹配此外，不是将每个查询与自注意力等自适应关键向量匹配，而是将查询与其他查询匹配，并且不学习关键向量。点积度量两个查询之间的相似性，导致更相似的实例的值更大因此，与关键实例更相似的实例将具有更大的注意力权重。用于信息向量Vi的附加层允许在每个实例内提取贡献信息。等式5中的soft-max操作确保注意力权重的总和为1，而与袋子大小无关。由于临界实例不依赖于实例的顺序，并且测量U是对称的，因此该和项使得包嵌入b不依赖于实例的顺序，因此，第二流是置换不变并且满足等式2。最后的袋子分数是两个流的分数的平均值：1其中W0是权重向量。 max-pooling流c（B）=（g m（f（xi），.， f（x n））+g b（f（x i），.，f（x n））2Σ（八）确定具有最高分数的实例（关键实例）。最大池化是一种置换不变操作，=1（W0hm+Wb2U（hi，hm）vi）我因此该流满足方程2。第二流将上述实例嵌入聚合到袋嵌入中，该袋嵌入由袋分类器进一步评分。 我们得到了关键实例的嵌入hm，并将嵌入hi（包括hm）的每个实例转化为两个向量，查询qi∈ RL×1和信息请注意，DSMIL可以通过最大池化实例得分并分别计算每个类的注意力权重来处理多类MIL问题 结果包嵌入是一个矩阵b∈RL× C，其中C是类的数量，每个条目是实例信息向量v的加权和。最后一个完全连接的vi∈RL×1，分别由下式给出qi= Wq hi， vi=Wv hi，i = 0，. . . ，N − 1（4）其中Wq和Wv各自是权重矩阵。然后我们定义我层的输出通道数为C。信息向量Vi允许实例内特征选择，而距离测量根据与关键14322图4. WSI中多尺度特征的金字塔连接。将来自较低放大率块的特征向量复制并连接到其较高放大率块的特征向量instance.无论袋子大小如何，所得到的袋子嵌入都具有恒定的形状，并且将用于在推理时计算输出袋子分数cb。聚合器的架构如图3所示。WSI特征的自监督对比学习。超越聚合操作，我们建议使用自监督对比学习来学习特征提取器f。具体来说，我们考虑来自[7]的Simplified，这是一种最先进的自监督学习框架，可以在不需要手动标签的情况下学习鲁棒的表示Simplified部署了一种对比学习策略，该策略训练CNN将来自同一图像的子图像关联在一批图像中随机选择子图像，并将其馈送到两个随机图像增强分支中。该模型被训练为使用对比损失来最大化来自同一图像在训练收敛之后，保留特征提取器并用于计算下游任务的训练样本的表示。Simplified使用的数据集由从WSI中提取的补丁组成。这些补丁被密集裁剪，没有重叠，并被视为Simplified训练的单个图像。局部约束多尺度注意力。 最后，我们利用金字塔的拼接策略，从不同的放大倍数的WSI集成功能。一是对于每个低放大率块，我们获得该块的特征向量以及该块内较高放大率的子图像的特征向量。例如，10倍放大率下尺寸为224×224的补片将包含4个20倍放大率下尺寸为224×224的子图像。对于每个10×补丁，我们将10×特征向量与20×特征中的每一个连接起来，并获得4个特征向量。 图4显示了三种放大率（20×-10×-5×）的情况。我们在实验中使用两个放大倍数（20 ×和5×）的特征证明了该方法的有效性，但该想法是通用的，可以扩展到更多的放大倍数。这种拼接方法有两个主要好处：1）得到的特征向量的第一部分是对于属于同一个5×贴片的20×贴片也是如此。因此，在DSMIL中，这些向量的距离测量结果si=qi，qm将趋于相似，并且实例将被分配相似的注意力权重。特征向量的第二部分特定于每个20×补丁，这允许注意力权重在这些补丁之间变化。2)来自不同尺度的信息被保留在特征向量中，允许网络跨不同尺度选择适当的信息4. 实验和结果我们现在介绍我们的实验和结果。首先，我们报告了两个临床WSI数据集（Camelyon 16和TCGA肺癌）的结果，涵盖了不平衡/平衡袋和单/多类MIL问题的病例。此外，我们提出了一个消融研究，演示了我们的MIL聚合器，对比特征学习，和多尺度注意机制的有效性。实验设置和评价 我们报告的准确性和曲线下面积（AUC）得分的DSMIL的WSI分类任务的两个数据集。在Camelyon 16上，我们还通过报告自由响应操作特性曲线（FROC）来评估定位性能[15]。为了预处理WSI数据集，每个WSI都被裁剪成224 × 224个补丁，没有重叠，形成一个袋子，放大倍数为20×和5×。背景补丁（熵5）被丢弃。<在两个数据集的20×图像上获得了不断更好的结果，并报告了使用WSI单尺度的实验。实施细节。我们使用Adam [25]优化器，其恒定学习率为0.0001，以在训练过程中更新模型权重。用于训练MIL模型的小批量大小为1（袋）。从WSI数据集的训练集中提取的补丁用于使用Simplified训练特征提取器 对于Simplified，我们使用初始学习率为0.0001的Adam优化器，用于学习率调度的余弦退火（无热重启）方案[31]，最小批量大小为512。用于MIL模型和Simplified的CNN主干是ResNet18 [20]。4.1. Camelyon16上的结果我们首先介绍我们在Camelyon16上的结果。我们介绍了数据集和基线，并讨论了我们的分类和本地化的结果。数据集。Camelyon16是一个用于乳腺癌转移检测的公共数据集[15]。该数据集由271张训练图像和129张测试图像组成，在20倍放大率下产生约320万个补丁，0.25在5倍放大率下，每袋平均约8，000和625个贴片。在每个载玻片上用像素级注释完全标记我们在训练中忽略像素级别的注释，只考虑幻灯片级别的标签（即。幻灯片被认为是正-14323图5.使用不同的MIL模型在WSI中进行肿瘤定位。（a）Camelyon16测试装置的WSI。（b）-（e）放大（a）的橙色框中的区域。（b）最大公摊。（c）ABMIL。（d）达尔富尔南部和南部-利比里亚特派团。（e）DSMIL-LC注：对于（b），分类器置信度分数用于斑块强度;对于（c）（d）和（e），注意力权重从最小值-最大值重新缩放到[0，1]并用于斑块强度。在相同的设置下对20×使用自我监督对比学习的贡献将在消融研究中介绍。结果表明，尽管DSMIL比传统的池化算子更好，但DSMIL比ABMIL实现了更好的聚合，ABMIL没有对学习到的注意力进行额外的正则化，在单尺度设置下分类性能提高了约2.6%不考虑置换不变特性的递归神经网络模型性能不表1. Camelyon16数据集上的结果。DSMIL/DSMIL-LC表示我们的模型有/没有提出的多尺度注意力机制。实例嵌入由使用Simplified为所有MIL模型训练的特征提取器产生。如果它包含任何注释的肿瘤区域，则为“有效”）。所得袋含有肿瘤和健康贴片的混合物（阳性袋）和所有健康贴片（阴性袋）。该数据集中的阳性袋高度不平衡。阳性载玻片中只有一小部分区域含有肿瘤（约占每个载玻片总组织面积的10%），这导致阳性袋中有大部分阴性斑块。这使得在大多数MIL模型中很难直接学习到好的表示[32，12]。我们表明，我们的方法只依赖于幻灯片级别的标签可以克服这个困难，并实现性能媲美完全监督的方法，使用像素级标签。基线。我们评估和比较DSMIL强大的一组基线，包括（1）使用传统MIL合并算子，如最大合并和均值合并，以及（2）最近的深度MIL模型[18，3，22]，用于WSI分类和肿瘤定位任务。此外，我们通过使用像素级注释来获得上限全监督模型，其中如果块落在肿瘤区域内，则将其标记为阳性，然后通过对所有块的分数进行平均来获得WSI的分数。 测试中的补丁。分类任务的结果可以证明我们的模型在产生良好的包嵌入方面的有效性，而定位任务的结果可以证明DSMIL在阳性包中描绘阳性实例的能力。分类结果。分类结果汇总于表1中。功能是使用self-传统的运营商。通过集成多尺度注意机制，DSMIL实现了与全监督方法相匹配的改进结果，分类精度差距小于2%。本地化结果。像素级注释可用为Camelyon 16，使我们能够测试本地化能力-我们的方法。本地化性能表明了MIL模型描绘积极实例的能力。报告的FROC评分定义为6个预定义假阳性率下的平均结果表明，DSMIL，其中的注意力分数显式计算使用可训练的距离测量，更好地描绘了积极的补丁至少有6%的相对改善相比，ABMIL在检测定位。测试集中代表性样本的检测图如图5所示。4.2. TCGA肺癌数据集的结果我 们 进 一 步 展 示 了 我 们 在 癌 症 基 因 组 图 谱（TCGA）肺癌数据集上的结果。我们再次介绍数据集并讨论我们的结果。数据集。 WSI包括两种肺癌亚型，即肺腺癌和肺鳞状细胞癌，共有1054个诊断数字载玻片，可从国家癌症研究所数据门户网站下载我们将WSI随机分为840个训练载玻片和210个测试载玻片（丢弃4个低质量损坏的载玻片）。数据集在20倍放大率下产生520万个贴片，在5倍放大率下产生36万个贴片，平均每个袋约5000和350个贴片。只有幻灯片级别标签可用于此数据集。所得到的袋子含有两种类型的混合物，模型规模分类准确度AUC定位FROC均值池单个0.7984 0.76200.1162Max-pooling单个0.8295 0.86410.3313MILRNN [3]单个0.8062 0.80640.3048[22]第二十二话单个0.8450 0.86530.4056DSMIL单个0.8682 0.89440.4296全监督单个0.9147 0.93620.5254MS-MILRNN [3]多0.8140 0.83710.2791MS-ABMIL [18]多0.8760 0.88720.4191DSMIL-LC多0.8992 0.91650.437114324相似特征模型规模精度AUC均值池单个0.88570.9369Max-pooling单个0.80880.9014美国陆军[3]单个0.86190.9107[22]第二十二话单个0.90000.9488DSMIL单个0.91900.9633MS-MIL-RNN [3]多0.89050.9213MS-ABMIL [18]多0.90000.9551DSMIL-LC多0.92860.9583基于分块的特征模型规模精度AUC基于补丁程序，不含MIL单个0.88570.9506均值池单个0.90960.9625Max-pooling单个0.82860.8958美国陆军[3]单个0.90480.9636[22]第二十二话单个0.93810.9765DSMIL单个0.94760.9809MS-MIL-RNN [3]多0.90960.9561MS-ABMIL [18]多0.93810.9792DSMIL-LC多0.95710.9815表2. TCGA肺癌数据集的结果。在不考虑MIL的情况下，使用Simplified和基于块的方法训练特征提取器产生实例嵌入阳性袋为MOR和健康贴片，阴性袋为所有健康贴片。该数据集中的肿瘤载玻片包含大部分肿瘤区域（每个载玻片>80%），导致阳性袋中的大部分阳性斑块。因此，使用不考虑MIL的基于块的方法训练分类器已经具有合理的结果（即，处理WSI中的块，就好像它们在训练中都具有与整个WSI相同的标记，并且在测试中对WSI中的块的得分求我们表明，显着改善的结果可以通过考虑MIL。数据集Camelyon16TCGA特征精度AUC精度AUCImageNet0.62020.54080.70950.7260Max-pooling0.70990.71530.77140.8212基于块0.69770.54340.94760.9809对比0.86820.89440.91900.9633表3.固定MIL聚合器通过不同方法学习的功能比较。方法精度AUC单刻度（20×）0.86820.8944串联（5× +20×）0.86820.8846最大合并（5× +20×）0.86040.8731混合（5× +20×）0.88370.9097我们的（5× +20×）0.89920.9165我们的（1.25×+ 5×+20×）0.87600.9034表4.不同多尺度WSI特征集成方法的比较。我们的MIL聚合器使用了其他研究中的多尺度方法，其中固定的实例嵌入是通过在20×和5× WSI补丁上进行自监督对比学习来学习的通过自我监督对比学习来学习到几个基线。1)使用由最大池运算符训练的特征提取器[3]。使用最大池的端到端训练可以在for循环中完成，其中动态地找到最大得分实例并用于更新模型权重，而不需要大内存。2)使用由基于块的方法训练的特征提取器，而不考虑MIL（即，处理WSI中的块，就好像它们都具有与训练中的WSI相同的标记，并且在测试中平均WSI中的块的分数3）使用在ImageNet数据集上预训练的特征提取器[13]。结果示于表3中。对于不平衡的袋子（例如，Camelyon16数据集），自监督对比分类结果。我们比较了通过Simplified和基于补丁的方法学习，考虑到该数据集的MIL。相比之下，由于正袋中的大量负块，基于块的方法对于Camelyon16不收敛，因此对于Camelyon16不包括基于块的特征结果。表2总结了结果，得出了与Camelyon 16数据集相似的结论。4.3. 消融研究我们现在通过对模型的三个主要组成部分的消融研究来描述我们模型的贡献：DSMIL聚合器，实例特征的自监督对比学习我们保持我们的DSMIL聚合器，并比较不同的方法，以及不同的多尺度特征融合方法的WSI学习的特征。虽然我们的DSMIL聚合器的性能已经在前一节中的两个WSI数据集上得到了证明，但我们还在消融研究中的几个经典MIL数据集上对我们的MIL聚合器进行了广泛的基准实验对比学习的效果。我们比较了-即使与通过最大池化的端到端训练获得的特征相比，学习也导致显著更好的性能，具有至少高16%的分类准确度。对于平衡袋（例如，TCGA肺癌数据集），通过自监督对比学习学习的特征与基于补丁的方法的特征相当，但仍然比最大池化的端到端训练显著更好（>14%请注意，对于不平衡的袋，由于大量的阴性样本，基于补丁的方法不会产生良好的功能在积极的袋子里。此外，我们进一步观察到，在对比学习特征上使用max-pooling也显著优于max-pooling的端到端训练约10%。研究结果表明，自监督对比学习是一种可行的方法，无论负样本和正样本在袋子中的分布如何，都能获得良好的MIL表示，同时也解决了袋子尺寸过大所带来的多尺度注意力的影响。我们进一步将我们的多尺度注意力机制与其他几种考虑多尺度WSI特征的方法进行了比较，包括1）将在14325方法MUSK1MUSK2福克斯老虎大象mi-Net0.889 ±0.0390.858 ±0.0490.613 ±0.0350.824 ±0.0340.858 ±0.037MI-Net0.887 ±0.0410.859 ±0.0460.622 ±0.0380.830 ±0.0320.862 ±0.034带DS的0.894 ±0.0420.874 ±0.0430.630 ±0.0370.845 ±0.0390.872 ±0.032带RC的0.898 ±0.0430.873 ±0.0440.619 ±0.0470.836 ±0.0370.857 ±0.040ABMIL0.892 ±0.0400.858 ±0.0480.615 ±0.0430.839 ±0.0220.868 ±0.022ABMIL门控0.900 ±0.0500.863 ±0.0420.603 ±0.0290.845 ±0.0180.857 ±0.027GNN-MIL0.917 ±0.0480.892 ±0.0110.679 ±0.0070.876 ±0.0150.903 ±0.010DP-MINN0.907 ±0.0360.926 ±0.0430.655 ±0.0520.897 ±0.0280.894 ±0.030NLMIL0.921 ±0.0170.910 ±0.0090.703 ±0.0350.857 ±0.0130.876 ±0.011ANLMIL0.912 ±0.0090.822 ±0.0840.643 ±0.0120.733 ±0.0680.883 ±0.014DSMIL0.932 ±0.0230.930 ±0.0200.729 ±0.0180.869 ±0.0080.925 ±0.007表5.经典MIL数据集上的性能比较实验运行5次，每次10倍交叉验证。报告分类准确度的平均值和标准差（平均值±标准差）。[ 52]，MI-Net [52]，带DS的MI-Net [52]，带RC的MI-Net [52]，ABMILP [22]，ABMILP门控[22]，GNN-MIL [47]，DP-MINN[55]。NLMIL和ANLMIL使用[51]和[56]中的非本地块以前的基准测试结果取自[22，47，55]，并使用与[22]相同的训练设置。在全连接层之前的每个放大率2）在每个放大倍数上训练的MIL模型的预测上使用最大池化[3]。3)将来自不同尺度的实例混合在一个袋子中，并将袋子喂给MIL模型[18]。表4显示了Camelyon16数据集的结果我们的多尺度注意力比单尺度方法高出3%，比其他多尺度方法高出至少1.5%，这表明考虑多尺度特征可以提高WSI的检测精度，结构化多尺度特征可以进一步改善结果。然而，使用两个水平（5×+20×）比使用所有三个水平（ 1.25×+5×+20× ） 产 生 更 好 的 结 果 ， 准 确 度 为+1.6%，AUC为+1.3%。我们猜想有时候来自较粗尺度的信息（例如1.25×）可能不如更精细的（例如，20×），并且所得到的矢量可能变得不那么有区别。因此，可能需要沿着放大水平的注意机制来在融合之前对来自不同尺度的特征重新加权。其他MIL任务上的DSMIL聚合器。最后，我们在经典的MIL基准数据集上对我们的双流MIL聚合器进行了基准测试。这些数据集由实例的前特征向量组成，并且不需要学习特征提取器。前两个数据集（MUSK1，MUSK2）用于基于分子构象预测药物作用。一个分子可以有不同的构象，其中只有一些可能是有效的构象[14]。每个袋含有相同分子的多个构象，如果至少一个构象有效，则袋标记为阳性，否则标记为阴性。其他三个数据集，大象，狐狸和老虎，由从图像中提取的特征向量每个袋子包括图像的一组片段，并且如果至少一个片段包含感兴趣的动物，则袋子被标记为阳性，如果不存在这样的动物，则标记为阴性。由于特征向量（实例嵌入）已经给出，因此实验涉及直接将特征向量馈送到DSMIL聚合器。针对MIL上的其他最新非本地体系结构测试我们的MIL集成器问 题 ， 我 们 用 NL [51] （ NLMIL ） 和 ANL [56]（ANLMIL）中的非局部块替换了建议的DSMIL聚合器，并在5个MIL数据集5上评估了它们的结果。实验运行5次，每次10倍交叉验证。基准测试结果表明，我们的双流MIL聚合器优于以前最好的MIL模型以及其他非局部操作，如NL和ANL的平均3%的一般MIL问题。5. 结论和未来工作在本文中，我们提出了一种新的基于MIL的弱监督WSI分类方法。 我们的方法在代表性的WSI数据集上比以前的方法有了相当大的改进。我们的关键技术创新是一种新的MIL聚合器，它在MIL基准数据集和代表性WSI数据集上的性能都优于最近的MIL模型。我们还建议在MIL模型中使用自监督对比学习，并结合多尺度特征。我们的方法进一步integates提出的聚合器，对比学习，和多尺度功能到一个MIL模型WSI分类。通过将WSI中的肿瘤检测作为MIL问题，我们的解决方案具有用于现实世界临床应用的潜力，其中大量未注释的载玻片可用。我们相信我们的工作为MIL和计算组织病理学向前迈出了坚实的一步未来的研究包括设计适应组织病理学数据特征的自监督学习策略此外，模型的空间关系的机制，可以集成到捕捉宏观尺度的功能，在WSI的空间结构，并可能导致进一步的改进。鸣谢：这项工作得到了NIH P41-GM 135019、半导体研究公司（SRC）和莫格里奇研究所的支持。YL还感谢UW VCRGE在WARF的资助下提供的支持14326引用[1] Shazia Akbar和Anne L.马特尔数字病理学中基于弱标记包的学习。arXiv：1812.00884 [cs，stat]，Nov. 2018年arXiv：1812.00884。2[2] Babak Ehteshami Bejnordi ， Geert Litjens ， MeykeHermsen，Nico Karssemeijer，and Jeroen A. W. M.范德拉克。一种多尺度超像素分类方法，用于检测全切片组织病理学图像中的感兴趣区域。医学成像2015：数字病理学，第9420卷，第94200 H页。国际光学与光子学会，2015年3月。3[3] 作者：Gabriele Campanella作者：王晓刚，李晓刚.戴维·索尔特Klimstra，and Thomas J. Fuchs.在整个切片图像上使用弱监督深度学习的临床级计算病理学。NatureMedicine，25（8）：1301-1309，2019年8月。一、二、六、七、八[11] 安赫尔·克鲁兹·罗亚、阿贾伊·巴斯·安霍尔、法比奥·贡兹·阿莱斯、汉纳·吉尔摩、迈克尔·费尔德曼、什里达尔·甘尼桑、娜塔莉·施、约翰·托马谢夫斯基和阿南特·马达布希。用卷积神经网络自动检测整个切片图像中的浸润性导管癌医学成像2014：数字病理学，第9041卷，第904103页。国际光学与光子学会，2014年3月。一、二[12] Olivier Dehaene，Axel Camara，Olivier Moindrot，Axelde Lavergne，and Pierre Courtiol.自我监督缩小了组织学中弱监督和强监督之间的差距。arXiv：2012.03583[cs ， eess] ， Dec.2020 年 。arXiv ： 2012.03583 。 二、三、六[13] 贾登、魏东、理查德·索彻、李力佳、李凯、李菲菲。ImageNet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页ISSN：1063-6919。7[14] 托马斯·G Dietterich，Ri c hardH. 莱思罗普和托玛的洛扎诺-佩雷兹。用平行轴矩形求解多实例问题ArtificialIntelligence，89（1）：31[4] 马克-安德烈卡尔博诺，Veronika埃里克？切赫吉纳1997年1月 二、八格兰杰和吉斯林·盖格南。多实例学习：问题特征和应用的调查。模式识别，77：329-353，2018。2[5] R. Qi Charles ， Hao Su ， Mo Kaichun ， and LeonidasJ.Guibas PointNet：点集深度学习，用于3D分类和分割 。 2017 年 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第77-美国电气与电子工程师协会。3[6] 陈宝萱，克里斯那·加德帕里，罗伯特·麦克唐纳，刘云，卡多瓦基，库纳尔·纳格帕尔，蒂莫·科尔伯格，杰弗里·迪恩，格雷格·S·Corrado，Jason D.作者：Craig H.Mermel和Martin C. Stumpe.增强现实显微镜与实时人工智能集成用于癌症诊断。Nature Medicine，25（9）：1453- 1457 ， Sept. 2019. 出 版 社 ： Nature PublishingGroup 1[7] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁兹，和葛·奥弗里·辛顿.视觉表征对比学习的一个简单框架。国际机器学习会议论文集，2020年1月。三，五[8] Philip Chikontwe ， Meejeong Kim ， Soo Jeong Nam ，Heoun- jeong Go，和Sang Hyun Park.用于历史学分类的中心嵌入多实例学习。在安妮湖，放大图片创作者：Martel，Purang Abolmaesumi，Danail Stoyanov，DianaMateu