深度图卷积多实例学习用于淋巴结转移预测

4837基于深度图卷积多实例学习的组织学图像淋巴结转移预测赵宇1、2、杨凡1、方宇奇3、刘海玲4、周妮云1、张军1、孙佳瑞1、杨森1、门泽2、范欣娟4、姚建华11腾讯人工智能实验室，2慕尼黑工业大学，3香港中文大学4中山大学附属第六医院摘要多实例学习（MIL）是一种典型的弱监督学习方法，其中标签与一袋实例而不是单个实例相关联。尽管在过去的几年里进行了广泛的研究，有效地部署MIL仍然是一个开放的和具有挑战性的问题，特别是当通常假设的标准多实例（SMI）的假设不满足。在本文中，我们提出了一种基于深度图卷积网络和特征选择的多示例学习方法（FS-GCN-MIL）用于组织病理学图像分类。该方法由三个部分组成，包括实例级特征提取，实例级特征选择和袋级分类。我们开发了一种自监督学习机制来训练基于变分自编码器和生成对抗网络（VAE-GAN）的组合模型的特征提取器。此外，我们提出了一种新的实例级特征选择方法来选择有区别的实例特征。此外，我们采用图卷积网络（GCN）来学习袋级表示，然后执行分类。我们将所提出的方法应用于结直肠癌组织病理学图像的淋巴结转移预测。实验结果表明，该方法实现了优越的性能相比，国家的最先进的方法。1. 介绍近年来，弱监督学习（WSL）由于显著减少了人工标注的工作量而在机器学习领域获得了更大的关注多示例学习（MIL）是一种典型的弱监督学习[48]，已被广泛应用于不同的任务，包括对象检测[37，38，18]，语义赵 宇 、 杨 凡 均 为 本 文 撰 稿 人 ， 姚 建 华 为 通 讯 作 者（jianhuayao@tencent.com）。分割[43，33]，场景分类[42，19]，医疗诊断[5，31]等。在MIL任务中，训练数据集由袋子组成，其中每个袋子包含一组实例。MIL的目标是学习一个用于预测袋子标签的模型。与传统的全监督机器学习问题不同，每个实例都有一个置信标签，在MIL中只有袋级标签可用。此外，包中的实例不一定相关，有时甚至提供混淆的信息。例如，一些实例不包含与袋子类相关的区别性信息，或者它们与其它袋子类更相关。[二]《中国日报》基于区别性信息处于哪个级别（实例级别或包级别）以及如何（隐式地或显式地）提取相关信息，MIL算法可以被分类为三组，即，实例空间范式、袋空间范式和嵌入空间范式[41，2]。实例空间范式倾向于关注局部信息，在第一阶段学习实例分类器，然后通过简单地聚集实例级结果来实现袋级分类器。这些实例空间方法大多基于标准多实例（SMI）假设[27]，即，一个包只有在它包含至少一个正实例时才是正的，否则就是负的[46，3，30]。然而，这种基于关键实例的SMI假设在分类基于全局行李信息而不是单个实例的应用中是不合适的。袋空间范式和嵌入空间范式则从整个袋中提取识别信息这两种范式的区别在于如何利用袋级信息。袋空间范例隐含地利用袋到袋距离/相似性，而嵌入空间范例明确地将袋的信息嵌入特征空间[41]。本文提出了一种新的基于特征选择和图卷积网络的嵌入空间多示例学习方法。该方法有三个主要组成部分：实例级特征4838提取、实例级特征选择和袋级分类。我们的方法是开发用于预测淋巴结转移，使用结直肠癌的组织病理学图像结直肠癌的淋巴结转移（LNM）是患者管理和预后的主要因素[13，9，39]。诊断为LNM的患者应接受结肠区域周围淋巴结清扫术[7]。本研究具有重要的临床价值，因为LNM的术前检测表明淋巴结清扫的必要性，这是一项艰巨的任务，我们从以下几个方面着手。 （1）整个幻灯片图像（WSI）的大小通常非常大（在我们的情况下大约为100000×50000像素）。考虑到当前的计算资源，将WSI加载到深度神经网络中是不可行的。因此，我们将WSI划分为一组图像块（512×512像素），把WSI当成一袋补丁这样一来，预测--问题被形式化为嵌入空间多示例学习任务。(2)据我们所知，没有先前的工作或知识表明转移预测的有用特征。与其他图像分类工作类似，我们采用深度神经网络自动从图像中提取潜在特征[26]。此外，在实例标签不可用的情况下，常规方法通常利用预先训练的模型（例如，在ImageNet上训练）作为特征提取器。然而，自然场景图像和组织病理学图像之间的域间隙可能会损害组织病理学图像上预训练模型的性能[34]。为了解决这个问题，我们开发了一个变分自动编码器和生成对抗网络（VAE-GAN）的组合模型，以自监督的方式训练特征提取器。(3)为包中的所有实例生成有效的表示不是一个简单的问题。各种方法，如最大池化、平均池化、对数和-exp池化[41]、动态池化[44]和自适应池化[29] 已提出然而，这些操作员要么是不可训练的，要么太简单。在本文中，我们应用图卷积网络（GCN）来生成完全可训练的袋子表示。(4)从实例中提取的特征是冗余的。我们提出了一种新的特征选择方法，以消除indiscrimi-原生的实例级功能。总之，本文的贡献包括：1) 我们提出了一种基于GCN的嵌入空间深度多距离学习方法，用于预测组织病理学图像上的结直肠癌淋巴结转移。据我们所知，这是解决这一具有挑战性的临床问题的第一种方法。2) 我们设计了一个VAE-GAN模型来生成实例，并使用VAE-GAN作为特征提取器。有了这个设置，我们可以以自我监督的方式训练特征提取器，而不需要知道实例标签。3) 我们开发了一种新的特征选择方法，工作的实例，以选择歧视性的功能，最终袋表示。所提出的方法利用直方图来构建该特征的袋级表示，然后使用所获得的阳性袋和阴性袋之间的袋级表示的最大平均差异（MMD）[14，40]来评估特征显著性。4) 我们应用GCN来生成包表示和包级分类，这是完全可训练的。2. 相关工作2.1. 深度多实例学习结合深度特征，多实例学习在最近的研究中显示出强大的表示能力[42，36，41，6，16，17]。Wu等[42]利用MIL神经网络同时学习对象建议和文本注释。Sun等人[36]提出了一种用于自然图像上对象识别的弱监督MIL网络，解决了数据增强中实例标签不准确的问题Hou等人[17]表明，基于MIL的决策分类器可以通过增加实例级预测来提高神经胶质瘤和非小细胞肺癌分类的性能在本文中，我们遵循这条研究路线，并采用MIL来解决一个具有挑战性的临床问题，即从原发肿瘤区域的组织病理学图像预测淋巴结转移。2.2. 袋表示在MIL任务中，生成袋子表示是关键的一步。这一步通常采用最大池化、平均池化和对数和经验池化等池化方法[41]。然而，这些池化方法是不可训练的，这可能限制它们的适用性。在[44]中提出了一种新的动态池化方法，该方法从实例中迭代更新袋子信息。Kraus等人 [24]提出了一种针对离群值的噪声和池化层，这在显微镜图像中显示了有希望的结果。Zhou等[47]提出了一种自适应池化方法，该方法可以动态地调整到视频字幕标记中的各种类别。这些方法部分是可训练的，具有有限的灵活性。Ilse等人[19]提出了一种完全可训练的方法，该方法利用注意力机制来为实例分配权重。然而，该方法将袋子表示为实例特征的加权和，这只是一个线性组合。与上述方法不同的是，我们的工作是用4839图1.拟议办法的总体框架。它包括图像预处理、实例级特征提取、实例级特征选择和袋级分类。VAE-GAN作为实例级特征提取器工作特征选择过程选择有区别的实例级特征。GCN用于合成选定的实例级特征，生成袋子表示并执行最终分类。- GCN，其是完全可训练的，并且将贴片信息集成到复杂的高级表示中。2.3. 病理图像分析在临床实践中，病理图像分析是癌症诊断的金标准。如今，深度神经网络的发展在自动病理图像分析和辅助诊断方面取得了许多突破[50，5，21]。如上所述，由于图像庞大，MIL自然适合于病理图像分析。作者在[21]中报道了一种用于预测微卫星不稳定性（MSI）的实例空间MIL方法。在该方法的第一步中，他们将袋子标签分配给其补丁，然后用补丁标签对训练ResNet。在第二阶段，训练的ResNet被用来生成块级预测，然后所有这些块级预测结果与多数投票策略聚合。另一种实例空间方法是用于生存预测的全切片组织学图像生存分析框架（WSISA）[50该方法首先对斑块进行无监督聚类，然后通过评价斑块级分类性能来选择有用的聚类。在此基础上，从选定的聚类中聚集斑块级特征，以进行患者级预测。上述两种方法的成功意味着这些任务满足SMI假设。然而，这些实例空间MIL方法有其局限性。它们适用于判别信息被认为位于实例级并且存在其标签与袋级标签强相关的关键实例的任务。上述条件在我们的问题中不成立最近，Campanellaet al. [5]提出了一种嵌入空间MIL方法，该方法应用递归神经网络（RNN）来集成从WSI提取的斑块信息。他们把每一个WSI当作一个袋子，将WSI的所有补丁作为RNN的顺序输入。该模型在三个巨大的数据集上进行了训练，并成功地对三种癌症的亚型进行了分类。同时，基于注意力的深度多示例学习是目前提出的另一种嵌入空间MIL方法[19]。通过对大规模数据的训练，它在结肠癌中的上皮细胞分类方面达到了最先进的性能这两种方法利用不同的方法来集成包表示的实例信息，这两种方法都是端到端可训练的。然而，端到端的方法要求网络在提取实例特征的同时生成包表示，而仅以包级分类错误作为监督，这使得网络训练困难，尤其是在缺乏足够训练数据的情况下。因此，我们在我们的方法中提出了一个特征选择组件来去除冗余和无用的特征，以减轻网络生成袋表示和执行袋级分类的工作量考虑到问题的特殊性，我们还为MIL方法配备了GCN，以充分利用实例之间的结构信息。3. 方法3.1. 概述所提出的方法的总体框架如图所示。1.一、整个管道由四个步骤组成：图像预处理、使用VAE-GAN的实例级特征提取（3.2）、实例级特征选择（3.3）和使用图卷积网络的袋级分类（3.4）。在图像预处理步骤中，参考手动标注的标签，选择由病理学家手动标注的肿瘤区域作为感兴趣区域（ROI从我们团队的临床专家那里获得。然后，将ROI划分为大小为512×512的非重叠块。其他三个组成部分的详细情况见4840LLikeLLikeLLike图2.VAE-GAN的架构ResNet-18被用作VAE的编码器在VAE-GAN中，VAE的解码器和GAN的生成器本节的其余部分。3.2. VAE-GAN其中，x∈Decoder（h）是来自x的解码器的样本，则GAN中的重构误差可以表示如下：变分自动编码器（VAE）[23]由将输入数据x编码为潜在表示的编码器组成LDislLLike =−Eq（h|x）[logp（DisI（x）|h）]（4）h，以及解码潜在表示的解码器LDislLLike 替换L像素，我们可以得到损失返回到原始数据空间。为了正则化整个VAE-GAN的函数[25]：VAE的编码器，潜在分布p（h）通常是强制性的。 在这项工作中，我们使用高斯L=λDis LDislLLike +λKL 吉隆坡+λGAN 刘刚（五）分布，即N（0，I）来正则化编码器。的VAE损失[23，25]公式为：LV AE=L像素+LKL=−Eq（h|x）[log（p（x|h））]+ DKL（q（h|x）||p（h）），（一）其中DKL表示Kullback-Leibler散度。生成对抗网络（GAN）由生成器网络G和伪网络D组成，生成器网络G旨在将潜在表示h映射到数据空间，伪网络D旨在将生成的伪数据与真实数据区分开。GAN的损失定义为：LGAN=log（D（x））+log（1-D（G（h）（2）VAE-GAN是VAE和GAN的组合，其中VAE的解码器和GAN的生成器共享相同的组件[25]。 在VAE-GAN架构中，其中λDis、λKL和λGAN是VAE-GAN损耗的超参数与GAN的传统目标不同，我们工作中的VAE-GAN的主要功能是训练或微调编码器组件，该组件将用作实例级特征提取器。我们的VAE-GAN的详细架构可以在图中找到。二、广泛使用的ResNet-18 [15]充当编码器。VAE的解码器和GAN的生成器共享相同的组件，该组件包含五个上采样堆栈。每个上采样堆栈包含转置卷积，然后是批量归一化和整流线性单元（ReLU）作为激活函数。该堆栈由五个下采样堆栈组成。在每个编码器堆栈中，有一个卷积层，后面是批处理归一化和LeakyReLU激活函数。3.3. 特征选择VAE重建误差L像素被侦察所特征选择过程选择最不相似的GAN中表示的结构错误。具体来说，令Disl（x）表示第l引入了具有均值Disl（x）和单位方差的Di sl（x）使用∗4841的高斯观测模型l（x）= 1（x）||h）=N（Disl（x）|Disl（x），I）（3）用于生成所述包表示的犯罪实例级特征。由于缺乏训练数据，这一步骤在医学图像分析任务中尤为重要。删除冗余或不相关的功能也可以减轻工作量，简化以下学习任务。与大多数存在特征-标签对的特征选择问题不同，在我们的任务中，实例级特征没有4842JJKKJ图3.功能选择组件的管道每个包都有不同数量的实例（特征向量）。在评价特征对袋级分类的区分度时，直方图起到了连接实例级特征和袋级标签的桥梁作用例如，当评估第k个特征时，选择特征k作为实例的表示在每个袋子中计算该特征的直方图之后，使用这些袋表示计算阳性袋和阴性袋之间如果MMD距离大，则该特征被认为是有区别的关联标签，并且仅被分配袋级标签。 我们（hi，k，.，hi，k），其中hi表示在-1Nbo需要在提取的实例要素之间建立一个桥梁和袋子标签。如图所示3、我们利用在Xi中具有位于第o个仓中的特征fk的站。直方图[2]作为桥梁，最大平均差异[4]作为评价特征重要性的标准。假设我们有N个袋标签对，表示为{X1，X2，...，XN}和{Y1，Y2，...，YN}，其中第i个袋子hi，k=1oKiΣfo（xi[k]），（8）xi∈Xi我我我其中o=1，...，Nb且j=1，...，凯岛 fo（xi[k]）=1，如果包含表示为{x1，x2，...，xK}。 在j我们的情况，xi∈RD thixi[k]位于第0个仓中，否则fo（xi[k]）= 0。j是j提取的实例特征j j其中Yi∈ {0，1}表示袋中是否存在LNM。 为了便于表达，我们使用F=[f1，f2，...，fD]来表示所提取的实例特征，即xi是F的采样器。我们的目标是评估3.3.2特征评价在获得所有袋子的特征fk{H1，.，HN}，我们评估特征的重要性每个提取的实例特征的重要性fk=F[k]，k k其通过以下两个步骤实现：（1）Gen-MMD距离，其定义为：用Nb个等宽的箱（bins）绘制每个袋子中每个特征的直方图（这反映了袋子中特征的分布）。(2)使用直方图作为袋表示，并计算所得直方图的差异D（fk）=1|GP|ΣXi∈G Pφ（Hi）−1|GN|ΣXj∈GNφ（Hj）φ，（九）在正标签和负标签之间，以评估用于分类的特征的区分值。3.3.1直方图生成对于特征fk，我们计算该特征在所有包中的所有实例中的最大值和最小值。fmax= max{xi[k]}，（i = 1，.，N，j = 1，…（六）其中GP和GN分别是所有阳性袋和阴性袋的组，φ是映射函数。较大的MMD距离意味着更容易区分阳性组和阴性组。3.4. 基于GCN的多示例学习3.4.1图构建王空军4843KK王空军fmin= min{xi[k]}，（i = 1，.，N，j = 1，…（7）然后，我们将范围[f min，f max]划分为Nb个bin，我们制定了我们提出的网络，即。基于GCN的MIL如下类似于[49]，我们利用启发式方法从一袋实例特征[xi，xi，.，k k1 2相等的宽度，并将每个袋子Xi映射到直方图Hi=xi]（K可以针对不同的袋子而变化）。首先是邻接4844pQ12K(a) 阳性样本（b）阴性样本图4.举例说明来自癌症基因组图谱（TCGA）数据集的全载玻片图像（WSI）。绿色轮廓内的区域是由临床专家注释的结直肠癌区域。子图（a）示出了阳性样本，即来自淋巴结转移（LNM）患者的WSI。子图（b）展示了阴性样本。可以得到矩阵A：.1ifdist（xi，xi）<γ其中ReLU是常用的激活函数，Y∈RN×F是顶点数相等的图Amn=p q0否则（十）与卷积特征。Chebyshev展开用于近似gθ（L），以加速滤波[11]。其中，dist（xi，xi）是第p个和第q个之间的距离，p q 3.4.3网络架构袋中的站立特征 在这里，我们使用欧氏距离来计算距离γ确定是否存在连接两个实例的边γ= 0表示没有边连接xi和xi，而γ=+∞表示输入是全连通图。同时，实例特征为[xi，xi，.，第一个袋子的xi]被认为是图的节点。然后我们得到袋子i的图为：Gi=G（Ai，Ei）（11）我们基于GCN的MIL网络采用三个堆叠的图卷积层（3.4.2），每个层后面都有一个ReLU激活层和一个自注意力图池层[28]，以生成包表示（图的节点嵌入在此基础上，利用两个具有ReLU和sigmoid激活函数的全连接层分类交叉熵损失用于优化网络，其定义为：其中Ai∈{0，1}K×K表示邻接矩阵，Ei∈RK×D表示由一袋Xi构成的节点特征矩阵（D为特征维数）。NCL=−1δ（y=c）log（P（yNiii=1c =1（14）3.4.2谱图卷积给定一个图G=（V，E），其正规化图拉普拉斯算子L=I-D-1/2AD-/2。D是G的度矩阵，A是上面提到的邻接矩阵后在[11]的工作中，我们将核表示为对角Λ的M阶多项式，diag（Λ）是图LaplacianL的谱：MΣ−1gθ（ΛM）=θmΛm（12）m=0顶点特征为X∈的图G上的谱卷积作为层输入的RN×F可以进一步获得[10]：Y=ReLU（gθ（LM）X）（13）4845其中N表示数据编号，C表示类别编号。δ（yi=c）是指示函数，P（yi= c）是模型预测的概率。4. 结果和讨论4.1. 数据集在本研究中，使用癌症基因组图谱（TCGA）数据集[20]的结肠腺癌（COAD）共分类来评估我们提出的方法。这个公开发布的数据集包含425名结直肠癌患者。对于每个患者，从肿瘤区域获取HE染色的组织学WSI。根据临床肿瘤淋巴结转移（TNM）分期信息，这些患者可分为两组：1例无淋巴结转移（N0期患者），1例有淋巴结转移4846转移（N1~N4期）。数据集中有174个阳性样本（LNM患者）和251个阴性样本（无LNM患者）图4显示一个阳性样本和一个阴性样本。即使是我们团队中经验丰富的医生和病理学家，如果仅仅依靠组织病理学图像，也无法区分患者是否患有LNM。4.2. 评价受试者工作特征曲线下面积（ROCAUC）以及准确度、精确度、再调用和F1分数被用来评估我们所提出的方法和最先进的方法的性能。具体而言，这些指标定义为：TP+TN并将输入图像的大小调整为128×128像素。Adam优化器[22]用于训练VAE-GAN和GCN。为了解决阶级不平衡问题，lem在袋级分类阶段，我们采用所提出的方法的每个阶段的其他相关超参数在表1中给出。4.4.消融研究为了评估所提出的方法中不同组件的有效性，我们进行消融研究。我们在以下配置上进行实验：（A）我们提出的方法：VAE-GAN + FS + GCN。(B)VAE-GAN +GCN：我们的框架没有特征选择。(C)预训练的ResNet+ FS + GCN：我们的框架，但使用前-准确度=TP+FP+FN+TN TP（十五）训练ResNet-18（在ImageNet上）作为实例级fea，真提取器(D)预先训练的ResNet + GCN：使用预先训练的ResNet-18（在ImageNet上）作为实例级fea，精密度=（16）TP+FP真正的提取器，然后使用GCN袋级分类，不需要特征选择就可以直接进行fication（E）预先培训TP回忆=TP+FN2倍（召回率和精度）F1-评分=查全率+查准率（十七）（十八）ResNet + GCN（端到端）：这种配置类似于（D），而不同之处在于（E）是端到端网络，即来自GCN的反向传播损失可以指导实例级特征extrac的训练。其中 TP、 FP、 TN和 FN分别 代表 真阳性 、其 中，ROCAUC在比较不同方法的性能时更为全面表1.所提出的方法的超参数超参数值VAE-GAN网络（ResNet-18）。所有这些配置的结果如表2所示。将（A）与（B）以及（C）与（D）进行比较，注意到所提出的特征选择过程的使用将ROCAUC改进了3。3%和3。0%。类似地，当将（A）与（C）以及（B）与（D）进行比较时，VAE-GAN的结果为7。3%和7。1%的性能提升。（A）和（E）的比较表明，两阶段方法是可行的。比端到端的方法更好虽然失重λDis1失重λKL1失重λGAN1特征选择直方图箱数Nb50特征选择率50%GCN端到端配置（E）可以同时提取实例级特征和生成包表示，同时处理这两项任务会给仅使用包级分类支持来优化整个网络带来沉重的工作量，特别是在缺乏足够的训练数据时。因此，分别处理实例级特征提取和袋级表示的两阶段方法更适合我们的任务。距离阈值γ0。最大5磅xp，xq∈X4.3. 实验装置{dist（xp，xq）}4.5. 与最新方法的比较表3展示了我们提出的方法与其他最先进方法之间的比较，包括(1)T分期+LR，（2）组织学+直方图[8]，（3）ResNet在我们的实验中，整个数据集（425个样本）以5：1的比例随机分为训练集（354个样本）和测试集（71个样本）。我们对训练数据集进行五重交叉验证以进行 参 数 调 整 。 我 们 使 用 PyTorch [32] 和 PyTorchGeometric库[12]实现了VAE-GAN和GCN。我们在默认设置下随机初始化VAE-GAN4847+ voting [21]，（4）WSISA [45]，（5）ResNet + RNN[5]，（5）注意力集中在[19]。本文在参考文献和公开源代码的基础上，重新实现了所有的算法从表中可以看出，我们的方法优于这些方法。T-stage + LR和Histomics + Histogram [8]是两种基于手工特征的机器学习算法T-4848表2.消融研究的结果度量方法精度精度召回F1得分ROCAUC(A)VAE-GAN + FS + GCN（OUR）0.67610.5750.79310.66670.7102(B)VAE-GAN + GCN0.57750.49020.86210.62500.6773(C)预训练的ResNet + FS + GCN0.42250.40320.86210.54950.6371(D)预训练的ResNet + GCN0.56340.47920.79310.59740.6067(E)预训练的ResNet + GCN（端到端）0.46480.41820.79310.54760.6010表3.我们提出的方法和国家的最先进的方法之间的比较评价方法精度精度召回F1得分ROCAUC我们0.67610.5750.79310.66670.7102T期+LR0.63570.71430.18870.29850.6471组织学+直方图[8]0.61240.54840.32080.40480.6157[21]第二十一话0.58910.50.32080.39080.5824[45]第四十五话0.59690.51520.32080.39530.5792ResNet + RNN [5]0.41090.410910.58240.5基于MIL的注意力[19]0.58910.50.32080.39080.5457分期是描述肿瘤侵入肠壁深度的一个因素[1]。最近研究报道肿瘤浸润深度与淋巴结转移有关[35]。T-stage +LR方法以T分期信息为特征，采用Logistic回归预测结直肠癌患者的淋巴结转移Histomics + Histogram方法[8]提取细胞形态学特征，包括细胞核形状、强度、纹理和细胞核之间的空间关系作为特征。它利用直方图来分析WSI中的细胞分布，并使用套索回归[8]来预测患者的预后。T-stage + LR方法仅基于T-stage特征，缺乏肿瘤的局部癌细胞纹理和全局组织学信息。组织学+直方图方法使用专门设计的特征，这限制了其扩展能力。例如，细胞形态学特征可能不适用于结直肠癌的LNM预测，因为癌细胞是相似的，并且在增殖过程中不发生变化。如第2.3节所述，ResNet+投票方法[21]和WSISA是典型的实例空间MIL方法。这些方法工作得很好，如果歧视性的信息被认为是谎言的实例级别，存在的关键实例是强相关的袋级标签。然而，在我们的任务中，这些条件不成立，因此这两种方法表现不佳。ResNet + RNN和基于注意力的MIL方法在LNM预测任务中的性能较差与我们提出的方法相比。这可能是由于三个原因：（1）提取实例级特征和生成包表示一起在端到端网络上施加了繁重的工作负载。(2)网络已经学习了许多无用的特征，这些特征应该在生成袋子表示之前删除。(3)在袋级分类阶段，RNN和注意力机制不如GCN5. 结论在本文中，我们探讨了一个具有挑战性的临床任务，自动预测淋巴结转移，使用结直肠癌的组织病理学图像。为了实现这一目标，我们开发了一个基于GCN的深度MIL方法结合特征选择策略。实验结果表明，我们的方法受益于我们提出的组件，包括（1）VAE-GAN的实例级特征提取，（2）实例级特征选择和（3）基于GCN的MIL袋表示和袋级分类。与最先进的方法相比，我们的方法显示出优越的性能。 在未来，这将是有意义的，开发一个统一的GCN模型执行联合的实例选择和实例级的功能选择与弱标签在一个包的水平。引用[1] Mahul B Amin，Frederick L Greene，Stephen B Edge，Car- olyn C Compton，Jeffrey E Gershenwald，Robert KBrook- land，Laura Meyer，Donna M Gress，David RByrd，and4849大卫·P·温彻斯特。第八版ajcc癌症分期手册：继续建立从基于人群到更“个性化”的癌症分期方法的桥梁。CA：临床医生癌症杂志，67（2）：93-99，2017。8[2] Jaume Amores多实例分类：综述、分类和比较研究。Artificial intelligence，201：81-105，2013. 一、五[3] 斯图尔特·安德鲁斯，扬尼斯·佐昌塔尔，和托马斯·霍夫曼。支持向量机多实例学习。神经信息处理系统的进展，第577-584页，2003年。1[4] KarstenM Borgwardt，Arthur Gretton，Malte J Rasch，Hans-PeterKri e gel ， BernhardScho¨ l k opf ， andAl exJSmola. 利用核最大平均差异对结构化生物数据进行整合。Bioinformatics，22（14）：e49-e57，2006. 5[5] GabrieleCampanella 、 MatthewGHanna 、 LukeGeneslaw 、 Allen Miraflor 、 Vitor Werneck KraussSilva、Klaus J Busam、Edi Brogi、Victor E Eughter、David S Klimstra和Thomas J Fuchs。在整个切片图像上使用弱监督深度学习的临床级计算病理学自然医学，25（8）：1301-1309，2019。一、三、七、八[14] Philip Haeusser、Thomas Frerix、Alexander Mordvintsev和Daniel Cremers。关联域自适应。在IEEE国际计算机视觉会议（ICCV）上，2017年10月。2[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。4[16] Le Hou，Dimitris Samaras，Tahsin M Kurc，Yi Gao，James E Davis，and Joel H Saltz.用于千兆像素分辨率图像分类的高效多实例卷积神经网络arXiv预印本arXiv：1504.07947，第7页，2015年。2[17] Le Hou，Dimitris Samaras，Tahsin M Kurc，Yi Gao，James E Davis，and Joel H Saltz.基于块的卷积神经网络用于完整切片组织图像分类。在IEEE计算机视觉和模式识别会议的Proceedings中，第2424-2433页，2016年。2[18] 黄芳，齐金庆，卢沪川，张立和，阮翔。通过多实例学习的显著对象检测。IEEE图像处理，[6] 马克-安德烈 卡尔博诺 埃里克 格兰杰 关于Ghyslain26（4）：1911-1922，2017。1加 尼 翁 多 实 例 主 动 学 习 中 的 袋 级 聚 合 。 IEEEtransactions on neural networks and learning systems，30（5）：14412[7] George J Chang ， Miguel A Rodriguez-Bigas ， John MSkibber，and Virginia A Moyer.结肠癌根治性切除术后的 淋 巴 结 评 估 和 存 活 ： 系 统 回 顾 。 Journal of theNational Cancer Institute，99（6）：433- 441，2007. 2[8] Jun Cheng，Jie Zhang，Yatong Han，Xusheng Wang，Xiufen Ye ， Yuebo Meng ， Anil Parwani ， Zhi Han ，Qianjin Feng，and Kun Huang.组织病理学图像和基因组数据的综合分析预测肾透明细胞癌的预后。癌症研究，77（21）：e91-e100，2017。七、八[9] 卓绍昌及罗伟伦。影响pt1和pt2结直肠癌患者生存和复发 的 预 后 因 素 。 世 界 外 科 杂 志 ， 31 （ 7 ） ： 1485-1490，2007。2[10] 范若坚及范仲嘉。谱图理论。92号美国数学学会1997. 6[11] Michae¨lDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年。6[12] Matthias Fey和Jan E.伦森使用PyTorch Geometric进行快速图形表示学习在ICLR关于图形和流形表示学习研讨会，2019。7[13] Leonard L Gunderson ， Daniel J Sargent ， Joel E Tep-per ， Norman Wolmark ， Michael J O'Connell，Mirsada Be-govic，CristineAllmer，LindaColangelo，StevenRSmalley，DanielGHaller，etal. t和n分期和治疗对辅助直肠癌生存和复发的影响：汇总分析。临床肿瘤学杂志，22（10）：1785-1796，2004。2[19] Maximilian Ilse，Jakub M Tomczak，and Max Welling.基于注意力的深度多实例学习。arXiv预印本arXiv：1802.04712，2018。一、二、三、七、八[20] Cyriac Kandoth，Michael D McLellan，Fabio Vandin，Kai Ye ， Beifang Niu ， Charles Lu ， Mingchao Xie ，Qunyuan Zhang ， Joshua F McMichael ， Matthew AWyczalkowski，et al. 12种主要癌症类型的突变景观和意义。Nature，502（7471）：333，2013. 6[21] Jakob Nikolas Kather ， Alexander T Pearson ， NielsHalama ， DirkJ ？ ger ， JeremiahKrause ， SvenHLoosen ， Al e xander Marx ， Peter Boor ， FrankTacke，Ulf Peter Neumann，et al.深度学习可以直接从胃肠道癌的组织学中预测微卫星不稳定性。自然医学，第1页，2019年。三、七、八[22] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[23] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。4[24] Oren Z Kraus，Jimmy Lei Ba和Brendan J Frey。使用深度 多 实 例 学 习 对 显 微 图 像 进 行 分 类 和 分 割 。Bioinformatics，32（12）：i52-i59，2016. 2[25] Anders Boesen Lindbo Larsen ，Søren Kaae Sønderby，Hugo Larochelle，and Ole Winther.使用学习的相似性度量对像 素之外的像素 进行自动编 码。arXiv预印本arXiv：1512.09300，2015。4[26] Yann LeCun，Yoshua Bengio，and Geoffrey Hinton.深度学习nature，521（7553）：436-444，2015. 2[27] Honglak Lee，Alexis Battle，Rajat Raina，and Andrew YNg.高效的稀疏编码算法。神经信息处理系统的进展，第801-808页，2007年。1[28] Junhyun Lee，Inyeop Lee，和Jaewoo Kang.自我注意力图池化。在机器学习国际会议上，第3734-3743页，48502019年。64851[29] D. Liu，Y. Zhou，X.太阳，Z. Zha和W.小曾。网络视频标注多实例学习中的自适应池化。在2017年IEEE计算机视觉研讨会上，第318-327页2[30] Guoqing Liu，Jianxin Wu，and Zhi-Hua Zhou.多实例学习中的关键实例检测在亚洲机器学习会议上，第253-268页1[31] SiyamalanManivannan ， CarolineCobb ， StephenBurgess，and Emanuele Trucco.用于多示例学习的子类分类器及其在视网膜神经纤维层可见性分类中的应用。IEEE transactions on medical imaging，36（5）：1140-1150，2017。1[32] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。在NIPS-W，2017年。7[33] Deepak Pathak Philipp Krahenbuhl和Trevor Darrell用于弱监督分割的约束卷积神经网络。在Proceedings of theIEEE international conference on computer vision，pages1796-1804，2015中。1[34] Maithra Raghu