快速免疫荧光WSI图像分类的选择性目标开关

1SOS：用于快速免疫荧光整片图像分类的选择性目标开关萨姆·马克苏德1，2赵昆1彼得·霍布森2安东尼·詹宁斯2布赖恩·C。Lovell11 The University of Queensland，St Lucia QLD 4072澳大利亚2Sullivan Nicolaides Pathology，Bowen Hills，QLD 4006，Australia摘要在 临 床 显 微 镜 中 处 理 千 兆 像 素 全 载 玻 片 图 像（WSIs）的困难一直是实施计算机辅助诊断系统的长期由于现代计算资源不能以这种极大的规模执行计算，因此现有技术的方法利用基于补丁的处理来保持WSI的分辨率然而，这些方法通常是资源密集型的，并且在处理时间上做出重大妥协在本文中，我们证明了传统的基于补丁的处理是多余的某些WSI分类任务，高分辨率只需要在少数情况下。这反映了在临床实践中观察到的情况;病理学家可以使用低倍物镜筛选载玻片为了消除这些冗余，我们提出了一种方法，用于选择性地使用高分辨率处理的基础上的信心的预测缩小WSI-我们称之为选择性目标开关（SOS）。我们的方法在一个新的684个肝-肾-胃免疫荧光WSI数据集上进行了验证，这些数据集通常用于自身免疫性肝病的研究通过将高分辨率处理限制在不能在低分辨率下自信地分类的情况下，我们保持了补丁级分析的准确性，同时将推理时间减少了7.74倍。1. 介绍使用卷积神经网络（CNN）的块级图像处理可以说是用于千兆像素全载玻片图像（WSI）分析的最广泛使用的方法[18]。通常，在没有显著降尺度的情况下，用CNN整体处理如此大的图像在计算上是不可行的-导致细粒度分析任务所需的详细信息的丢失。然而，通过在较小的补丁中处理WSI，可以通过保留分辨率来提取详细信息肝肾胃图1：包括多种组织类型的WSI示意图：肝、肾和胃。原始的千兆像素图像。因此，需要对千兆像素WSI进行细粒度分析的应用程序能够在其设计中引入强大的CNN。虽然高分辨率补丁级分析有明显的优势[16]，但它是资源密集型的，并且会大大增加处理时间[13]。在高通量实验室中，任何额外的每个样本处理时间都将复合，这使得难以证明使用深度学习算法进行WSI分析的合理性。因此，有一个强烈的动机，以确定情况下，它是不必要的处理WSI在其最大的分辨率。与明视野显微镜不同，免疫荧光测定的灵敏度增加允许在较低分辨率下进行分析。多组织切片上的间接免疫荧光（IIF）显微镜就是一个这样的例子，其中低分辨率通常提供足够的区分信息。多组织IIF载玻片，如图1所示的肝肾胃（LKS）载玻片，允许同时观察不同组织类型的免疫反应性。比较不同组织类型的观察结果对于解释这些WSI至关重要[10];因此必须在较低的放大倍数下筛选它们，以便同时观察多个组织大多数图案在这些较低的放大倍数下容易识别。因此，病理学家通常只会切换到更高的放大倍数，用于复杂或模糊的情况下，需要更大的重新检查。38623863解决能力。常规的基于块的处理方法没有反映人类在临床显微镜中导航载玻片的这种高效方式。在本文中，我们描述了一种方法，WSI分类使用的机制，限制使用高分辨率处理的复杂或模糊的情况下。为此，我们构建了一个动态多尺度WSI分类系统，包括三个关键组件：低分辨率网络（LRN）;执行处理单元（EPU）和高分辨率网络（HRN）。受手动IIF显微镜中使用的有效筛选技术的启发EPU触发基于高分辨率块的处理，如果在低分辨率下预测的类的概率我们将此协议称为选择性目标切换（SOS）。本文的贡献如下：• 据我们所知，我们是第一个提出动态多尺度WSI分类网络的人，该网络通过以下方式调节高分辨率图像流的使用：低分辨率下预测的不确定性;• 我们引入了一个新的学习约束，悖论损失，以阻止异步优化的LRN和HRN在训练过程中;• 最后，我们将向社区发布684个LKS WSI中的新数据集1这将是多组织IIF WSI分析的第一个公开可用的数据集。2. 相关作品目前用于WSI分析的方法可以大致分为块级、常规多尺度和动态多尺度图像处理。补丁级方法。为了将WSI与补丁分类，补丁级CNN必须结合决策或特征融合方法来聚合来自多个补丁的信息。图像补丁来源。在[27]中，Xuet al.在分类之前，使用3-norm pooling方法来聚合从ImageNet [8]上预训练的CNN中提取的补丁级特征虽然这种方法能够以显著的优势超过低级别胶质瘤（LGG）的图像水平分类，但Houet al.[16]后来发现，汇集一般斑块特征并不能捕获LGG亚型的异质性。这表明[27]中描述的方法不适合细粒度的WSI分类任务。Hou等人通过在训练过程中对CNN进行微调，并从单个斑块的聚合预测中获得WSI分类，1https://github.com/cradleai/LKS-Dataset[16 ]第10段。然而，这假设WSI可以基于在单个补丁制作中进行的观察进行分类它不适合于需要关联来自WSI中多个位置的特征的分类任务。传统的多尺度方法。多尺度网络提供了一种在不影响细节的情况下在WSI中捕获空间上下文的方法由于小的感受野，单个WSI贴片可能包含很少或没有上下文信息[4，25]。这不是许多流行数据集上癌症分类的主要障碍[1，2，3，17];因为这些WSI是基于在斑块水平上可观察到的细胞突变进行分类的。然而，对于需要分析更广泛的WSI背景的任务，捕获长期空间依赖性至关重要[4，22，25]。在CNN中捕获长程依赖性的一种明显方法是增加输入补丁的大小，如Pinheiro和Collobert [20]所述。然而，在千兆像素WSI的情况下，复杂的长范围依赖性可能跨越数万个像素。如果没有下采样，捕捉他们与更大的输入补丁是计算上不可能的。多尺度网络通过使用多个输入流来捕获不同层次的细节来解决这个问题[4，11，22]。Ghafoorian等人[11]提出了一种多尺度后期融合金字塔架构，其中具有大视场（FOV）的低分辨率图像流用于捕获空间上下文，而具有较小FOV的高分辨率图像流虽然这种方法在捕捉不同层次的细节时是有效的，但Sirinukun-wattana等。[22]表明，使用长短期分类（LSTM）单元[15]来整合多个尺度的特征对噪声更具 鲁 棒 性 ， 对 输 入 顺 序 不 太 敏 感 ， 并 且 通 常 比Ghafoorian等人使用的后期融合方法更准确。[11 ]第10段。虽然这两种多尺度方法的性能都优于传统的单尺度块级方法[22]，但在不同分辨率下合并额外的图像数据会增加WSI分析的计算成本。动态多尺度方法。使用传统的多尺度方法的主要缺点是过度的视觉信息的冗余馈入这些系统。在本文中，我们提到的技术，调节程度的信息从不同的图像尺度作为动态多尺度方法。过度关注与诊断无关的WSI特征被认为是新手病理学家比专家慢得多且准确度低的原因;专家将注意力集中在高度区分的区域[5]。BenTaib和Hamarneh [4]表明，多尺度网络以类似的方式表现。通过使用反复出现的视觉注意力，他们在各种尺度上只选择了42个高度区分的斑块，类似的改进还有3864S图2：SOS协议的框架。虚线表示LRN和HRN之间的剩余连接。在像素WSI分类任务中观察到。Tokunaga等人[25]发现肺腺癌的亚型具有不同的观察区分特征的最佳分辨率。通过动态地调整来自多个图像尺度的特征的权重，他们可以专注于用于检测癌症病变类型的最具鉴别力的特征。虽然这两种方法都能够适应图像中最相关的特征，但都没有调整所使用的补丁数量，因此，处理时间[13]，以适应每个WSI的个别要求。与我们最相似的工作来自Donget al。[9]，他提出了基于ResNet18架构[14]训练策略网络[23]，以决定是否使用高分辨率或低分辨率图像尺度来处理WSI。尽管这导致WSI分割任务的处理时间更快[9]，但使用这种方法进行WSI分类存在几个缺点。首先，训练一个单独的策略网络来决定使用哪个图像比例引入了大量的模型参数。相反，我们的决策协议是基于预测的低分辨率的置信度，从而避免了通过策略网络的冗余第一次通过。 其次，高对于可以在图像级自信地分类的WSI。为此，我们训练EPU作为控制器，决定是否使用LRN或HRN来分类给定的WSI。我们在下面描述这些组件的细节和我们的优化协议。3.1. 模型框架低分辨率网络根据EPU选择的路径，LRN可以作为WSI分类器或HRN的特征提取器LRN接收缩减的WSI，s∈RH×W×C，作为ResNet 18的输入基于特征提取器，φs，以计算高级特征向量v为：φs（s）=v∈R1×d，（1）其中d=512是ResNet18倒数第二层的输出通道数[14]。执行处理股。EPU位于LRN的终端，在LRN的终端处，EPU接收V作为输入，并且估计类别概率的集合 其中n是WSI类的数量。为了计算Nφs，我们对v应用线性变换，然后应用softmax分辨率路径不包含来自低分辨率图像尺度的特征。实际上，捕捉函数σ：Nφs.Σ=σvA T+ b s 、（二）长距离空间依赖性显著受损[11，22]。然而，我们克服了这一问题，从低分辨率的路径，在企业的空间背景信息的特征映射。最后，尽管Dong等人在训练过程中计算了低分辨率和高分辨率图像尺度路径的误差，但他们只更新了每个实例的单个路径的参数-这在计算上是浪费的。在我们的方法中，所有图像缩放路径都为每个训练实例更新。3. 选择性目标开关如图2所示，SOS协议的目的是避免过多的高分辨率补丁级处理其中As∈Rn×d和bs∈Rn是网络学习的参数。将具有Nφs中的最高值的元素与范围[0，1]中的置信度阈值c进行比较，以确定下游操作的流程。算法1EPU开关语句1：如果max（Nφs）>c，则2：q=arg max（Nφs）3：否则第四章：q=arg max（φh（v））第五章： end if如算法1所示，高置信度估计立即使用LRNArgMax映像级特征提取器EPUHRNFC贴片选择器补丁级别特征多尺度提取器GRU不确定确信3865MpB然而，我们用LSTM代替了GRU单元，因为已经观察到它们以较低的计算成本实现了相当的性能[7]。具有隐藏状态h∈Rd的GRU单元首先用图像级特征向量（v）初始化，并且随后在总共K个时间步的每个时间步中接收V中GRU单元的最终状态与v级联以构造M。最后，我们计算类标签q如下：Nφh=σ.ΣMAT+bm、（五）图3：HRN中贴片选择的可视化。红框表示非组织区域的不期望选择。arg max函数，而低置信度估计需要HRNφh进行额外处理。φh函数的细节如下所述。高分辨率网络HRN（Φh）包括三个主要子组件;补丁选择器Φa、补丁级特征提取器Φp和门控递归单元（GRU）Φg[6]。补丁选择器函数φa基于Xu等人提出的随机硬注意机制。[26]第10段。具体地，S={S1，...，S P}，S P∈RH× W× C被视为中间型，diate潜在变量，其中S是P高分辨率的集合从全分辨率WSI中获得的照片补丁。然后，我们估计作为图像级WSI特征v的函数的Multinoulli分布X：q=arg max（Nφh），（6）其 中 Am ∈Rn×2d 和 b m∈Rn 是 网 络 学 习 的 参 数 ，Nφh={Nh1，.，是估计的类概率的集合。3.2. 优化协议我们的模型通过优化三个损失项来训练：分类损失;矛盾的损失;行政损失。在训练过程中，EPU总是触发HRN处理，以优化两个网络的分类精度。在推理期间，EPU使用Al-出租m1中的switch语句来决定单个路径。我们在下面描述我们的优化协议的细节分类损失。分类损失L1是两个交叉熵损失项的总和：低分辨率交叉熵损失Lce1;和高分辨率交叉熵损失Lce2。 L ce1的 目 的是在从下式推断类别标签q时最大化分类准确度LRN概率分布Nφs：XP×d.Σ=σvA T+ b pP、（3）.L=1−ce1BΣyo，ilog（ Nso，i）、（7）其中Ap∈R且bp∈R是学习的o=1i=1被网络。K个最高元素的指数用于对一组有区别的小块进行F={S t1，...，S tK}，S tk ∈ S. K的值是有限的其中，B=4是小批量大小，i是类标签，o是观察到的WSI，y是i是o的基础真值标签的二进制指示，并且N是GPU的最大容量在我们的实验K的上限是10。 一组块级特征向量V ={V1，.， 然后通过将φ p函数应用于F中的每个元素来提取。φ p的结构是φs的克隆。使用单独网络的原因是，来自高分辨率补丁的tract特征是CNN对尺度变化不鲁棒[21]。因此，φp的目标变为：φ p（F）={V1，.， VK}，Vp∈ R1× d.（四）φg函数接收V和v（通过图2所示的φs的残差连接）作为输入，并计算M∈R2d，其中M是WSI的多尺度表示。φg的设计类似于后期的在[22]中描述的融合多流LSTM架构苏苏岛如果由LRN预测，则o = i。L ce2的目的是在从HRN概率分布Nφh推断q时最大化分类精度。Lce2项与公式7相同，除了我们使用Nφh中的概率而不是Nφs来计算交叉熵损失。L1损失然后被计算为Lce1和Lce2之和。意外的损失。 悖论的动机损失L2项是假设，给定M是多个图像级和块级特征的比例表示，对更多视觉细节的因此，在训练过程中LRN比HRN表现更好的情况应该被视为不期望的和矛盾的。在这个假设下，我们假设如果正确类的概率是Nφs较高 在Nφh中，它必须是由于n3866置信LRN或次优HRN。为了在我们的模型中确定这些参数，我们计算L2如下：设置阴性AMA SMA-V SMA-T总计1ΣBL2= Bo=1Max.ΣNsx，o−Nhx，o，0、（8）(a) 类在训练集和测试集中的分布。其中Nsx，o和Nhx，o分别是LRN和HRN对真实类别标签x执行损失。执行损失L3是两个新损失术语的加权和：犹豫损失和傲慢损失。它的目的是校准双方的信心阈值c（算法1）和LRN置信度得分，以实现效率和准确性之间的最佳折衷。这是至关重要的，因为神经网络自然产生的置信度分数可能并不代表真正的概率[12]。直觉上，犹豫损失和傲慢损失可以被理解为预测的概率值与相对于c的值之间的差，该值将导致EPU的正确动作。犹豫损失，Lhe，是当正确的LRN预测中存在高度不确定性时产生的惩罚，导致冗余的具体而言，这描述了以下情况：（a）LRN预测正确的类别标签，以及（b）预测的概率值低于置信度阈值。为了防止我们的网络过度使用HRN，当概率值低于c时，我们通过如下计算LheΣBLhe=ys，omax（c+n）−max（Nφs）），0），（9）o=1其中，Δ k=10−3用于将所需目标设置为高于大小决议目标格式300GB40000×40000×1 ×20TIFF(b) 与LKS数据集有关的元信息。表1：肝肾胃数据集的结构其中λ1=0。λ2=1。0是正则化项，其通过控制L he和Lhu对L3的影响来设置目标速度/精度折衷。最终目标函数。最终目标函数Ltotal计算为L1、L2和L3项之和。通过将L3添加到总网络损耗中（而不是简单地校准阈值c），我们的网络具有通过以下方式改进EPU决策的灵活性：（a）直接调整c;和/或（b）修改其他网络参数以使LRN回归置信度得分位于c的适当侧。4. 肝肾胃数据集肝脏自身抗体LKS筛查对于自身免疫性肝病的研究至关重要[10，24]，然而，目前没有公开的WSI数据集可用于研究。LKS分类任务非常适合评估动态多尺度置信度阈值，ys，o是二进制指示器，网络.首先，与公共明场MI相比，显微镜WSI数据集，增加的敏感性，arg max（Nφs）是观测值o的正确标记。傲慢的损失Lhu是当EPU具体而言，这描述了以下情况：（a）LRN预测不正确的类别标签;（b）预测的概率值高于置信度阈值;以及（c）HRN预测正确的类别标签。为了防止HRN的这种未充分利用，我们通过计算Lhu来惩罚以高于c的概率值预测的不正确的LRN预测：ΣBLhu=yh ， o<$ （ ys ， o ） max （ （ max （ Nφs ） ）−c，0），（10）o=1其中yh，o是arg max（Nφh）是o的正确类标签的二进制指示符，而<$（ys，o）是arg max（Nφs）是o的不正确类标签的二进制指示符。然后对Lhe和Lhu两者进行加权以计算L3为：L3=1（λ1L+λ2L），（11）B河湖免疫荧光测定允许在低分辨率下观察其次，尽管IIF的灵敏度增加，但仍可能需要高分辨率来观察某些染色模式，特别是当抗体浓度较低时。最后，在低分辨率下捕获的全局结构对于多组织LKS WSI的分类是必不可少的事实上，低分辨率的功能是必要的，但并不总是足够的，LKS分类提供了一个理想的环境，以验证SOS协议。与Sullivan Nicolaides Pathology合作，我们从常规临床样本中构建了一个新的LKS数据集。为了制备LKS载玻片，根据图1中的示意图制备啮齿动物肾脏、胃和肝脏组织的切片。将患者血清在多组织切片上孵育并用异硫氰酸荧光素（FITC）IgG缀合物处理。使用单色照相机和具有X20物镜的X 20物镜将载玻片数字化。数值孔径为0。8.一队训练有素的医学科学家-测试人员手动将幻灯片标记为以下四类之一阴性（Neg）;抗线粒体抗体（AMA）;火车23910610727479测试1034546112053867L2L3KTA%↑IT（s）↓RS↓LPCTCC10九十73十五岁78二、170的情况。940的情况。62CC588岁299 .第九条。74二、170的情况。920的情况。60方法TA%↑RS↓IT（s）↓SB↑LP映像级81. 951 .一、008. 37十四岁59-补丁级别69岁。271 .一、5094 101 .一、3-(a) 消融术当K值减小或目标函数中忽略L2或L3时，分类精度下降。融合方法TA%↑IT（s）↑RS↓LPCTGRU九十73十五岁78二、170的情况。940的情况。62平均池86岁。8320块63二、020的情况。880的情况。68最大池83岁90十七岁01二、020的情况。920的情况。66(b) 功能融合。当GRU单元用于集成多尺度特征时，分类精度将增加。表2：单个模型组件对总准确度（TA）、推断时间（IT）、相对大小（RS）、低分辨率预测值（LP）和校准置信阈值（CT）的影响。血管型抗平滑肌抗体（SMA-V）和小管型抗平滑肌抗体（SMA-T）。类别分布见表1a，相关元信息见表1b。5. 实验SOS协议的目的是实现快速WSI分类，而无需：（a）大幅增加模型尺寸;或（b）损害分类准确性。因此，我们通过分析分类精度，模型大小和处理速度的定量指标来验证我们方法的有效性。SOS方案的设计规范，如高分辨率（K=10）下处理的补片数量和多图像特征聚集方法（GRU），由表2中的消融研究结果确定。如第2节所述，WSI分类的现有方法可大致分为：（a）补丁级;（b）常规多尺度;（c）动态多尺度方法。我们评估了SOS方案针对这些常用方法中的每一种的定量性能，并另外包括图像级WSI分类性能以进行比较（表3和表4）。我们还定性分析了补丁选择网络的输出，以验证HRN的有效性（图3和图4）。5.1. 数据预处理为了提高计算效率，在训练和推理之前，所有WSI都被预处理为s和S为了生产，duce的，其中H=1000，W=1000和C=1，我们缩小规模的全分辨率WSI的一个因素40。为了产生S，我们将全分辨率WSI分割成不重叠的表3：总准确度（TA）、相对大小（RS）、推理时间（IT）和速度提升（SB）指标的比较还为动态多尺度分类方法提供了低分辨率预测（LP）的比率与s具有相同维度的补丁;因此，每个WSI的补丁总数为1600。由于ResNet18 [14]被设计用于三色图像输入，我们修改了第一个卷积层，使其具有单通道输入，以兼容这些单色图像。5.2. 方法比较用于比较的每种方法的细节描述如下。所有模型都是在使用10-3的学习率训练20个epoch后进行评估的。映像级。图像级方法对单尺度图像级特征执行分类。具体地说，我们训练了一个ResNet18模型[14]，以直接从缩减的WSI（s）输入中计算类别标签（q）。我们通过最小化地面实况和预测类概率的交叉熵损失来优化图像级分类补丁级别。Patch-Level方法执行类单尺度补丁级功能上的fication网络架构基本上与拟议模式相同;然而，我们去除了与图像级特征的残余连接。因此，仅来自K个块的集合的高分辨率特征被用于对WSI进行分类我们通过最小化地面真值和预测类概率的交叉熵损失来优化补丁级分类常规多尺度。传统的多尺度方法在多尺度图像级和块级特征上执行分类多尺度方法的设计类似于贴片级网络;然而，我们将剩余连接恢复到图像级特征，如图2所示。因此，来自低分辨率和高分辨率图像尺度的特征被用于对每个WSI进行分类。我们通过最小化地面真值和预测类概率的交叉熵损失来优化多尺度分类。在本文中，我们将这种方法称为多尺度方法。动态多尺度。动态多尺度方法基于Dong等人提出的增强自动缩放网络（RAZN）框架。[9]的文件。具体来说，我们将switch语句（算法1）从EPU中移除，并基于ResNet架构附加一个策略网络，3868到我们的模型的前端，以决定是否使用LRN或HRN的WSI分类。由于RAZN是为WSI分割任务设计的，因此我们修改奖励函数以适合LKS分类，如下所示：R（ a）= aLce2 -Lce1，（12）Lce1其中a∈ {0，1}，表示分别使用LRN或HRN的策略动作。因此，当a=1时，如果Lce2> Lce1，则奖励R（a）为正，如果Lce2

下载后可阅读完整内容，剩余1页未读，立即下载