多尺度领域对抗多实例CNN用于无注释组织学图像

3852多尺度领域对抗多实例CNN用于无注释组织学图像Noriaki Hashimoto1 <$，Daisuke Fukushima1 <$，Ryoichi Koga1，Yusuke Takagi1，KahoKo1 Kei Kohno2，Masato Nakaguro2，Shigeo Nakamura2，Hidekata Hontani1，IchiroTakeuchi1，3*1名古屋工业大学，2名古屋大学医院，3RIKEN摘要我们提出了一种从组织病理学图像中进行癌症亚型分类的新方法，该方法可以在给定的全切片图像（WSI）中自动检测肿瘤特异性特征。癌症亚型应该通过参考WSI来分类大尺寸图像（通常为40，000× 40，000像素），其由癌症和非癌症部分组成。一个不同的-虚构性产生于与在WSI中注释肿瘤区域相关的高成本。此外，必须通过改变图像的放大率来从WSI中提取全局和局部图像特征。此外，图像特征应该针对医院/标本之间的染色条件的差异而被稳定地检测在本文中，我们开发了一种新的基于CNN的癌症亚型分类方法，通过有效地结合多实例，领域对抗和多尺度学习框架，以克服这些实际困难。将所提出的方法应用于从多家医院收集的196例恶性淋巴瘤亚型分类时，分类性能明显优于标准CNN或其他传统方法，并且准确性与标准病理学家的准确性相媲美1. 介绍在这项研究中，我们提出了一种新的基于卷积神经网络（CNN）的方法，通过使用苏木精和伊红（HE）染色的组织标本的数字病理图像由于通过数字化整个病理组织载玻片获得的整个载玻片图像（WSI）太大而不能馈送到CNN中[22，31，18，8]，因此通常提取大量从WSI的补丁[9，12，27，37，19，34，5，38，2，17]。如果能够知道每个斑块是肿瘤区域还是[14]新罕布什尔州。和D.F.贡献均等。*与信息技术部的通信（电子邮件：takeuchi. nitech.ac.jp）。CNN可以通过使用每个补丁作为标记的训练实例来训练。然而，注释大量面片标签中的每一个的成本太高。当补丁标签注释不可用时，癌症亚型分类任务在以下三个方面具有挑战性。第一个困难是肿瘤和非肿瘤区域在WSI中混合。因此，当病理学家实际进行亚型分类时，有必要找出载玻片的哪个部分包含肿瘤区域，并基于肿瘤区域的特征进行亚型分类。第二个实际困难是染色条件根据标本条件和采集标本的医院而变化很大。因此，病理学家通过仔细考虑不同的染色条件来进行肿瘤区域最后一个困难是，当病理图像的放大率改变时，观察到组织的不同特征。病理学家通过反复改变显微镜的放大倍数来进行诊断，以找出组织的各种特征。为了开发一个实用的基于CNN的亚型分类系统，我们的主要思想是引入模仿这些病理学家的实际做法的机制为了同时解决上述三个困难，我们有效地结合了多实例学习（MIL），领域对抗（DA）规范化和多尺度（MS）学习技术。虽然这些技术中的每一种都已经在文献中进行了研究，但我们证明了它们的有效和仔细的组合使我们能够开发出一种基于CNN的系统，其性能明显优于标准CNN或其他传统方法。我们将所提出的方法应用于从80家医院收集的196例恶性淋巴瘤亚型分类，并证明所提出的方法的准确性与标准病理学家相比是有利的还证实了所提出的方法不仅比传统方法表现得更好，而且在该方法正确地关注各种不同尺度的图像中的肿瘤区域的意义上，以与病理学家类似的方式执行亚型分类3853n=1Bn=1本研究的主要贡献如下。首先，我们开发了一种新的基于CNN的数字病理图像分类方法，有效地结合MIL，DA和MS方法。其次，我们将所提出的方法应用于恶性淋巴瘤分类任务，其中196个WSI的H E染色的组织学组织切片，收集用于恶性淋巴瘤专家病理学家咨询的目的。最后，作为在上述恶性淋巴瘤亚型分类任务中通过免疫染色确认的结果，证实了所提出的方法通过正确注意来自各种不同放大率的图像的真实肿瘤区域来执行亚型分类。2. 预赛在这里，我们提出了我们的问题设置和三个相关的技术，这些技术将在下一节中纳入所提出的方法中。在本文中，我们使用以下符号。 对于任何自然数N，我们定义[N]：{1，. - 是的- 是的 ，N}。我们称一个向量，它的元素是非负的和为一的概率向量。给定两个概率向量p，q，L（p，q）表示它们的交叉熵。2.1. 问题设置考虑从N个患者获得的二进制病理图像分类问题 我们将训练集表示为{（Xn，Yn）}N，其中Xn是整个切片图像（WSI），Yn是第n个患者的二维类标签独热向量（n∈[N]）。我们也（bag）b∈Bn由一组斑块（在MIL框架中称为实例）I（s）刻画，其中b∈Bn且s∈[S]，上标（s）表示这些斑块取自尺度s.图1示出了WSI、组（包）、面片（实例）和比例。2.2. 多实例学习多实例学习（MIL）是一类弱监督学习问题，其中不观察实例标签，但观察称为包的实例组的标签。在二进制分类设置中，如果包包含至少一个肯定实例，则将肯定标签分配给包，而如果包仅包含否定实例，则将否定标签分配给包。图2展示了一个二元分类问题的MIL。在文献[14，26，40，1，24，7，36]中已经研究了用于MIL的各种模型和学习算法。MIL已成功应用于组织病理学图像的分类问题[10，13，20，11，32，6]。例如，对于恶性和良性患者的二元分类，恶性患者的WSI包含恶性和良性斑块，而良性患者的WSI仅包含良性斑块。如果我们将恶性/良性患者的WSI分别视为阳性/阴性袋，将恶性/良性斑块视为阳性/阴性实例，则上述二元分类问题可以解释为MIL问题。MIL框架是有用的组织病理学图像分类时，没有注释的每个提取的补丁。本文的主要思想是利用MIL框架来自动识别.定义一组N维向量{Dn}N为此在多个不同的尺度上对多个感兴趣区域进行量化。第n个元素是1，其它元素是0。由于每个WSI太大而不能直接馈送到CNN中，因此基于补丁的通常采用的方法。在本文中，我们考虑224×224像素的补丁。在癌症病理学中，由于肿瘤和非肿瘤区域是混合的，并非来自阳性类别载玻片的所有斑块都包含阳性类别特异性（肿瘤）信息。因此，我们借鉴了多实例学习（MIL）的思想（MIL的细节将在§2.2中描述）。具体地说，我们考虑一组补丁，并假设每组从正类载片包含至少几个具有正类特定信息的片，而来自负类载片的每个组不包含任何具有正类特定信息的片此外，当病理学家诊断患者时，他们会以多种不同的尺度观察载玻片。为了模拟这一点，我们考虑具有多个不同尺度的补丁。我们将不同尺度的斑块群表示如下。我们使用符号s∈[S]来表示标度的索引如果考虑10x和20x的比例，则S=2）。在n t h WSI中的群（在MIL框架中称为袋）的集合表示为Bn（n∈[N]）。然后，每组2.3. 领域对抗神经网络染色条件的载玻片差异，如图所示。3、严重降低了分类精度。为了克服这个困难，需要适当的预处理，例如颜色归一化[30，25，21，4，39]或颜色增强[23，29颜色归一化调整输入图像的颜色到目标颜色分布。颜色增强通过在略微改变原始图像的颜色的同时生成增强图像来抑制异常颜色的影响。领域对抗（DA）[15]训练被提议忽略对分类任务没有贡献的训练实例之间的差异。在组织病理学图像分类设置，拉法基等人。[23]介绍了DA训练方法，并证明其优于色彩增强、染色归一化及其组合。在所提出的方法中，我们使用DA训练方法的MIL框架内的组织病理学图像分类，把每个病人作为一个单独的域，使染色条件的每个病人3854袋实例图1：WSI、包、实例（补丁）和尺度概念的简要说明大量的224×224像素的图像块从一个完整的WSI在多个不同的尺度提取在本文考虑的问题设置不观察实例类标签，但观察称为包的实例组的类标签。重要的是要注意，每个袋子包含在多个不同规模的补丁。这使我们能够从多个不同尺度的图像中检测多个感兴趣的区域。阴性袋阳性袋正例负例袋图2：MIL的解释。阳性培养袋由具有阳性亚型标签的WSI生成，阴性培养袋由具有阴性亚型标签的WSI生成。只有类特定区域的图像块，例如阳性类WSI中的肿瘤，才被视为阳性实例。2.4. 多尺度病理图像分析病理学家在不同的放大倍数下观察到不同的特征例如，可以分别在低放大率和高放大率下看到整体组织结构和细胞核的详细形状尽管大多数现有的组织病理学图像分析研究使用固定的单一量表，但一些研究使用多个量表[3，16，35，33]。当多尺度图像可用于组织病理学图像分析时，常见的方法是从低分辨率到高分辨率逐层使用它们即，首先使用低分辨率图像来检测感兴趣区域，然后使用检测到的区域的高分辨率图像来检测感兴趣区域。图3：在不同机构制备的HE染色组织的整个WSI。在不同的染色方案中可以看到染色条件的变化。用于进一步的详细分析。另一种方法是从图像本身自动选择适当的比例。例如，Tokunaga et al.[33]采用了混合专家网络，其中每个专家都使用不同比例的图像进行训练，并且门控网络选择哪个专家应该用于分割。在这项研究中，我们注意到，专家病理学家进行WSI3855BBB我我Fyy通过反复改变显微镜的放大倍数来发现组织的各种特征。这表明，多个区域在多个尺度上的分析在亚型分类中起着重要作用。为了模仿这种病理学家的做法，我们提出了一种新的方法，使用多个补丁在多个不同的尺度内的MIL框架。与传统的或选择性地使用多尺度图像不同，我们的方法同时使用多尺度图像。3. 该方法在所提出的方法中，每个患者的亚型是第二阶段，多尺度DA-MIL网络（图中的底部）。4）通过将S个训练好的特征提取器插入网络来训练。3.1. 第一阶段：单尺度学习在阶段1中，针对每个尺度s∈[S]训练单尺度DA-MIL网络以预测袋类标签，其中每个袋仅包含来自尺度s的图像的块。这里我们修改了DA正则化[15]，以便仅将其应用于具有较低MIL注意力权重的图像块。单尺度DA-MIL网络的训练任务被表示为以下最小化问题：根据H E染色的WSI预测，（）下一页θ（s），θ（s），θ（s） ←arg min∑N ∑ L（Yn，P（Yn（s）从WSI中提取的行李的预测类别标签fyd（s）（s）（s）b具体来说，给定测试WSI Xn，类标签概率θf，θy，θdn=1b∈Bn简单地预测为P（Y<$ n=1）=p1/（p1+p0），其中∑N ∑1-λ∑ βiL（Dn，Gd（hi;θ（s），（1）p1 = exp（1|Bn|（∑b∈BnlogP（Y）b）=1），）n=1b∈Bn哪里|I(s)|Di∈I（s）（）下一页1∑P（Y（s））=Gy{Gf（xi;θ（s））}（s）;θ（s），p0=exp|Bn|logP（Yb=0） -是的Bf（s）i∈Ibyb∈Bn这里，P（Y<$b=1）和P（Y<$b=0）是袋b∈Bn的类标号概率。包的类别标签概率作为所4.第一章它由以下三个构件组成。特征提取器Gf：x›→h是一个CNN，它映射一个224×224像素的图像。年龄x转换为Q维特征向量h。 它被指示其中θf是可训练参数的集合。袋类标签预测器Gy：{hi}i∈Ib<$→P（Y<$b）是一个具有注意力机制的NN[20]，它映射集合将袋中的特征向量b的概率转化为袋的概率类别标签Yb。Gy（·;θy）的特征在于一组列-βi=max{aj|j∈I}−ai.一个j由方程式第一项是用于袋类标签预测的损失函数，而第二项是用于DA正则化的惩罚函数，其由每个实例的关注度加权。损失函数简单地由真实类标签和预测类标签概率之间的交叉熵这里，袋类标签通过仅使用关注度大的实例来预测。DA正则化项也由域标签和预测域标签概率之间的交叉熵定义。通过使用DA正则化惩罚域预测能力，对于每个s∈[S]，训练牵引器Gf（·;θ（s）），使得能参数θy，其中（V，w）∈θy是参数的集合F可以忽略染色条件的差异。注意力网络的参数使用Q′维特征向量{h′}i∈I通过全面的整合，′3.2. 第二阶段：多尺度学习在连接层r上，特征向量z∈RQ在第二阶段，训练多尺度DA-MIL网络得到为z=罚款为i∈Ib aih′，其中每个注意力都是de-以预测袋类标签，其中每个袋包含跨不同尺度的物质（补丁）袋类标签（1）预测为expa=∑w（tanh（Vhi））），i ∈ I.（）下一页Ibexp w tanh（V h ′）P（Y）=G{{G（x;θ）}}S;θ（all），j∈IbjBYFIFi∈I（s）s=1y域预测器Gd：h<$→P（d<$）是一个简单的NN，它将特征向量h映射到域标签概率P（d<$）。 它被表示为Gd（h;θd），其中θd是可训练的其中，插入在第一阶段中已经训练的特征提取器Gf（·;θf（s）），s∈[S]的集合in. 用公式表示参数集θ（all）的训练参数所提出的CNN网络的训练与以下最小化问题相同：分两个阶段输送。在第一阶段，单尺度DA-MIL网络（图中的顶部）。（4）接受培训以获得特征提取器G（·;θ（s））。然后在∑Nθ（all）←argminθ（所有）BB3856∑L（Y n，P（Yb））.（二）ffyn=1b∈Bn3857FBDA-MIL损失...类特征提取器...类预测器域预测器输入袋......：前向传播：反向传播梯度反转层域损失MS-DA-MIL特征提取器...类预测器特征提取器...注意机制类损失特征提取器...输入袋注意力权重注意机制图4：拟议网络的结构示意图。单尺度DA-MIL网络在阶段1中针对每个尺度s∈[S]进行训练（顶部）。多尺度DA-MIL（MS-DA-MIL）网络在阶段2（底部）中训练。损失函数Lbag和Ld是等式中预测的袋标签和域标签的损失函数。（一）.在MS-DA-MIL中，特征提取器使用DA-MIL进行领域对抗训练的G（s）从包I（s）中的实例生成特征向量，并将所有S尺度的这些特征向量聚合以计算注意力权重。3.3. 算法我们提出的方法的算法在算法1中描述。每个参数更新都是通过使用每个包中的实例（补丁）作为一个小批来执行的。4. 实验数据集我们的恶性淋巴瘤实验数据库由196例临床病例组成，这些病例代表了来自80种不同疾病的疑难淋巴瘤病例，并已被送往专家病理学家进行诊断。nostic咨询由于恶性淋巴瘤具有许多亚型，除了观察HE染色的组织之外，还对来自同一患者样品的连续切片预计仅通过分析H E染色组织图像来预测恶性淋巴瘤的各种亚型是相当困难的，其难度未被揭示。我们使用的情况下，只有五种典型类型的恶性淋巴瘤：弥漫性大B细胞淋巴瘤（DLBCL）、血管免疫母细胞性T细胞淋巴瘤（AITL）、经典型霍奇金混合细胞淋巴瘤（Hodgkin 'smixedcellularlymphoma，3858图5：DA-MIL和相应IHC染色组织中注意力权重的可视化：左栏为原始HE&染色组织图像，中栏为可视化注意力权重，右栏为同一病例的CD 20染色组织图像。每个袋子中的注意力权重在0到1之间进行归一化，从蓝色到红色的热图被分配到0到1之间上面一行的注意力权重图是从10 x WSI生成的，下面一行的注意力权重图是从20 x WSI生成的。我们可以确认可视化结果中的红色区域对应于CD20 IHC染色组织标本中的棕色染色区域。恶性淋巴瘤（HLMC）和经典型霍奇金此外，DLBCL分为两种亚型;生殖中心B细胞（GCB）和非生殖中心B细胞（non-GCB）类型。在本实验中，作为第一步，我们执行两类分类，其将由GCB和非GCB类型组成的DLBCL与包括AITL、HLMC和HLNS的其他三个非DLBCL类区分开。在将我们提出的方法应用于该分类问题时，DLBCL和非DLBCL分别被定义为正类和负类，如前面部分中所解释的。这里，阳性实例意味着实例具有区分DLBCL与非DLBCL的能力，并且它应该在DLBCL病例的肿瘤区域中，因为预期DL-BCL中的非肿瘤区域具有与非DLBCL病例中的非肿瘤区域因此，包指示从WSI提取的图像块的集合，其中阳性实例表示来自DLBCL中的肿瘤区域的图像，并且阴性实例表示来自非肿瘤复发的图像也就是说，比例参数S被设置为2。我们将上述数据集分为60%的训练数据，20%的验证数据和20%的测试数据，并考虑到患者的分离。为了生成袋子，从组织中随机提取100个224×224像素的图像块在WSI中，每个尺度都有一个区域。每个WSI生成的最大袋数确定为50个。在提取多尺度图像块时，为每个尺度选择相同的区域，如图所示。1，我们获得了总共200个图像补丁的100个区域的每个袋子在我们的实验。在WSI中包括的图像块的总数小于3，000的情况下在训练步骤中，网络训练了一个袋子并更新了一次迭代的参数，并且在10个时期中进行训练，其中袋子中的图像块在每个训练时期中被混洗。对于每个历元，确定域正则化参数λ当λ=2−1，其中r=当前历元m× α，其中1+exp（−10r）总历元MDLBCL中的gions和非DLBCL中的所有Patch。作为-DLBCL病例总数为98例，非DLBCL病例从AITL、HLMC 和 HLNS 病 例 中 选 取 相 同 数 量 。 用 AperioScanScopeXT（Leica Biosystems，Germany）以20倍放大率（0.50 μ m/像素）扫描如上所述收集的HE染色组织标本实验设置在实验中，我们使用10倍（1.0 μ m/像素）和20倍放大率（0.50 μ m/像素）的图像，α是一个超参数，其中最好的参数α，显示验证数据的最高准确度被设置用于测试。在这个实验中，使用ImageNet预训练的VGG 16 [31]被用作特征提取器Gf（·;θf）并且输出特征的尺寸为Q=25，088。在标签预测器Gy（ ·;θy）中，25，088维向量被完全转换为512维向量。连接层，在注意力机制之前，即Q′被设置为512。在注意网络中，输入单元和隐藏单元的数量分别为512和128为3859B|I(s)|D|I(s)|DByByJBθ←θ−ηyF};θ ）算法1MS-DA-MIL训练中的参数更新。结果表1显示了每种方法的分类结果。输入：训练集{（Xn，Yn）}N与 域标签方法，其中的值是平均值和标准值。{D}Nn=1通过5折交叉验证确定误差。在塔-nn=1，学习率η，域正则化参数，eterλ，训练历元M%阶段1：训练特征提取器G（·;θ（s）），类预处理ble，对于 从WSI提取的所有图像块，向量G（·;θ（s）），域预测子G（·;θ（s））yyddform=1toMdofors=1 toSdo对于n=1到N，预训练的VGG16被用作CNN模型。 输出基于块的方法的概率Ppatch被定义为Ppatch（Yn=1）=p1patch/（p1patch+p0patch），其中对于b = 1至|Bn|do（∑）{h}←{G（x;θ（s））}1p=explogP（y）= 1），ii∈I（s）（BfiFi∈I（s））B1片|In|我i∈IL ← LY，G（{h};θ（s））（）袋新我（i∈I（s）y）1 ∑Ld←1Bi∈I（s）L∑Dn，Gd（hi;θ（s））（）下一页p0补丁=exp|In| i∈InlogP（y=0） -是的L′d←1Bi∈I（s）βiLDn，Gd（hi;θ（s））在这里，我是从nth中导出的一组图像块eβi=maxa{aj|j∈I（s）}−ai（s）（s）L袋gyy θ（s）θ（s）←θ（s）−ηλ<$LdWSI，P（y=i）是输入图像块xi被分类为DLBCL的概率。从每个WSI中提取的224×224像素图像块的最大被设置为5，000，因为该案件的实例来自同一个D（s）D（s）（θ（s）塑料袋）L′区域数量表中的DA-MIL具有相同的平均值-θf←θf−η首尾相接端端θ（s）F-λdθ（s）F使用MS-DA-MIL，尺度参数S = 1。我们...确定MS-DA-MIL显示最高分类与基于补丁的和注意力-MIL的准确性相比。特别地，证实了MS-DA-MIL的分类精度高于DA-MIL的分类精度，%阶段2：训练类别预测因子Gy（·;θ（all））form=1toMdoforn=1 toNdo对于b = 1至|Bn|做Lall←L（Yn，P（Yb））这可以鼓励我们利用病理图像分类的多尺度输入。此外，我们可视化了注意力权重的分布，这些权重是为了将病例正确分类为DLBCL而计算的图5显示了HE染色的细胞的图像。P（Y<$b）=Gy（{{Gf（xi;θ（s））}i∈I（s）S（所有）s=1y组织，相应的注意力权重图和CD 20 im-免疫组织化学染色的组织标本，θ（all）←θ（all）−η<$Lall同一案件的一部分。 中的注意力权重图y y首尾相接端θ（所有）图的中间列。注意力权重在每个袋中在0到1之间归一化，并且生成蓝色到红色（0到1）热图。因此，注意力集中的红色区域-输出：神经网络工作{{θ（s）}S，θ（all）}权重图代表分类的最高贡献，fs=1y域预测器Gd（·;θd），一个25，088维的向量，通过完全连接层，并从其预测域标签。即使载玻片是在同一机构制作的，也可能出现各种染色条件，因此我们将每个患者视为DA学习中的一个单独的域，并为每个载玻片分配不同的域标签。网络中的参数通过SGD动量[28]进行优化，其中学习率和动量分别设置为0.0001和0.9。BDn3860每个袋子里都有阳离子。由于CD 20是肿瘤性B细胞主要反应的IHC染色，并且显示出强阳性，因此我们可以直观地确认所提出的DA-MIL的注意力权重的有效性在CD20染色图像中，阳性区域被二氨基联苯胺染成棕色，阴性区域被苏木精染成蓝色与这些图像相比，我们可以看到注意力权重在CD20阳性区域显示出更高的值。另一方面，CD20阴性区域在注意力权重图中显示低值，并且这些区域中的图像块对分类没有贡献。根据上述结果，我们给出了注意力权重的合理分配.图6示出了HE图像的图像及其通过MS-DA计算的注意力权重图3861图6：MS-DA-MIL输入中注意力权重的可视化：左列是原始HE&染色的组织图像，并且中间和右手列是通过MS-DA-MIL重建的10倍和20倍的可视化注意力权重。我们可以确认，一个尺度比另一个尺度对分类的贡献更高，这意味着类别特异性特征存在于不同的放大尺度下，这取决于个体病例。表1：在每个放大倍率下，常规方法和拟定方法之间的验证测量比较比较了基于补丁、基于注意力的MIL、DA-MIL和MS-DA-MIL，我们提出的方法MS-DA-MIL表现出最高的准确性。方法放大率精度精度召回基于块10x0.740±0.0300.812±0.0540.641±0.049基于块20x0.754±0.0230.799±0.0330.692±0.057基于注意力的MIL10x0.811±0.0180.860±0.0460.772±0.071基于注意力的MIL20x0.826±0.0220.909±0.0440.742±0.061DA-MIL（我们的）10x0.836±0.0120.927±0.0370.743±0.046DA-MIL（我们的）20x0.857±0.0140.927±0.0390.793±0.061MS-DA-MIL（我们的）10倍、20倍0.871±0.0280.927±0.0250.813±0.066与DA-MIL类似，每个袋子中的注意力权重从0到1进行归一化，并且使用热图生成每个尺度的注意力权重图。正如我们可以看到的图。6，其中一个在10倍图像中具有高关注权重，而另一个在20倍图像中显示高关注权重。因此，存在适当的放大以根据情况获得类特定的特征，并且MS-DA-MIL可以考虑这一点并显示多尺度输入分析的有效性。5. 结论我们提出了一种新的CNN，用于从未注释的组织病理学图像中进行癌症亚型分类，该CNN有效地结合了MI、DA和MS学习框架以模拟病理学家的实际诊断过程。将该方法应用于196例恶性淋巴瘤亚型分类，其分类效果明显优于标准CNN或其他常规方法，准确性优于标准病理学家。确认这项工作得到了Hori科学和艺术基金会的部分支持 ， S.N. H.H. 和 信 息 技 术 MEXT KAK- ENHI26108003至H.H.，17H00758、16H06538至I.T.，JSTCREST JPMJCR1502至I.T. RIKEN Center for AdvancedIntelligence Project to I.T.3862引用[1] S.安德鲁斯岛Tsochantaridis和T.霍夫曼支持向量机多实例学习。神经信息处理系统的进展，第577-584页，2003年2[2] P. 班 迪 岛 Geessink ， Q. 曼 森 M.Van Dijk ， M.Balken-hol，M.赫姆森湾E.贝诺尔迪湾李，K. 彭，A. Zhong等人从单个转移灶的检测到患者水平的淋巴结状 态 分 类 ： camelyon17 挑 战 。 IEEE transactions onmedical imaging，38（2）：550-560，2018。1[3] B. E.贝诺尔迪湾Litjens，M. Hermsen，N. Karssemeijer和J. A.范德拉克。一种多尺度超像素分类方法，用于检测整个切片组织病理学图像中的感兴趣区域医学成像2015：数字病理学，第9420卷，第94200 H页。国际光学与光子学学会，2015年。3[4] B. E. 贝诺尔迪湾利特延斯 提莫费埃瓦岛Otte-Holler，A. Homeyer，N. Karssemeijer和J. A.范德拉克。全载玻片 组 织 病 理 学 图 像 的 染 色 特 异 性 标 准 化 IEEEtransactions on medical imaging，35（2）：404- 415，2015。2[5] B. E. Bejnordi，M. Veta，P. J. Van Diest，B. Van Gin-neken，N.Karssemeijer，G.Litjens，J.A. 范德拉克M. Hermsen，Q. F.曼森M. J.S.等.深度学习算法检测乳腺癌女性淋巴结转移的诊断评估。Jama，318（22）：2199-2210，2017. 1[6] G. Campanella，M. G. 汉纳湖 Geneslaw，A. 米拉弗洛，V. W. K. Silva，K. J. Busam，E. Brogi，V. E. Reuter，D.S. Klimstra和T. J·福克斯在整个切片图像上使用弱监督深度学习的临床级计算病理学。自然医学，25（8）：1301-1309，2019。2[7] Z. Chen，Z. Chi，H. Fu和D.峰多实例多标签图像分类：神经疗法。神经计算机，99：298-306，2013。2[8] F.胆Xception：使用深度可分离卷积的深度学习。在IEEE计算机视觉和模式识别会议论文集，第1251-1258页，2017年。1[9] D. C. Cires an，A.朱斯蒂湖M. Gambardella和J.施密德-胡贝尔。用深度神经网络检测乳腺癌组织学图像中的有丝分裂。医学图像计算和计算机辅助干预，第411-418页。Springer，2013. 1[10] E. Cosatto，P.F. 拉凯尔角Malon，H.P. Graf，A.斋藤T. Kiyuna，A.Marugame和K.上条HE染色切片上胃癌的自动诊断&;使用多实例机器学习大规模训练分类器。2013年医学影像：数字病理学，第8676卷，第867605页。国际光学与光子学会，2013年2[11] H. D. Couture，J.S.马龙角M. Perou，M. A. Troester和M.尼萨默异构图像的多实例学习：训练CNN做组织病理学。医学图像计算国际会议计算机辅助干预，第254-262页。Springer，2018. 2[12]A. Cruz-Roa、A. 最后，F. Gonz a'lez，H. 吉尔摩M. 费尔德曼，S。 Ganesan，N. Shih，J. Tomaszewski，和A.马达布希卷积神经网络在乳腺浸润性导管癌全切片图像中2014年医学影像：数字病理学，第9041卷，第904103页。国际光学与光子学会，2014年1[13] K.达斯，S。Conjeti，A. G. Roy, J. Chatterjee, and D.床单。深度卷积神经网络的多实例学习用于乳腺组织病理学整体载玻片分类。2018年IEEE第15届国际生物医学成像研讨会（ISBI 2018），第578-581页。IEEE，2018年。2[14] T. G. 迪特里希河H. Lathrop和T. 洛扎诺-佩雷兹。用平行轴矩形求解多实例问题。人工智能，89（1-2）：31-71，1997. 2[15] Y. Ganin，E.乌斯蒂诺娃Ajakan山口Germain，H.拉罗谢尔F.拉维奥莱特M Marchand和V。Lempitsky神经网络的领域对抗训练。机器学习研究杂志，17（1）：2096-2030，2016。二、四[16] Y. 高，W.Liu，S.阿尔琼湖Zhu，V.Ratner，T.Kurc，J.Saltz和A.坦南鲍姆基于多尺度学习的数字结肠直肠病理图像腺体分割。2016年医学影像：数字病理学，第9791卷，第97910 M页。国际光学与光子学会，2016年。3[17] S. Graham，M. Shaban，T. Qaiser，N. A. Koohbanani，S. A. Khurram和N.拉杰普特使用块级汇总统计量对肺癌组织学图像进行分类。2018年医学影像：数字病理学，第10581卷，第1058119页。国际光学与光子学会，2018年。1[18] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。1[19] L. Hou，L. Samaras，T. M. Kurc，Y. Gao，J. E.戴维斯和J. H.萨尔兹基于块的卷积神经网络用于完整切片组织图像分类。在IEEE计算机视觉和模式识别会议论文集，第2424-2433页1[20] M. Ilse，J. M. Tomczak和M. 威林 基于注意力的深度多示例学习。arXiv预印本arXiv：1802.04712，2018。二、四[21] A. M.汗，北Rajpoot，D. Trelaud和D.马吉使用图像特定颜色去卷积的数字组织病理学图像染色归一化的非线性映 射 方 法 。 IEEETransactionsonBiomedicalEngineering，61（6）：1729-1738，2014。2[22] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页，2012年。1[23] M. W. Lafarge ， J. P. Pluim ， K. A. Eppenhof ， P.Moeskops和M. 维塔领域对抗神经网络解决组织病理学图像的外观变化在深3863医学图像分析学习和临床决策支持的多模式，第83-91页。Springer，2017. 2[24] C. H.李岛Gondra和L.刘某一种高效的并行神经网络多示例 学 习 算 法 。 The Jour-nal of Supercomputing ， 62（2）：724-740，2012. 2[25] M.Macenko ， M.Niethammer ， J.S.Marron ，D.Borland，J.T. Woosley，X.关角，澳-地Schmitt和N.E.托马斯一种用于归一化用于定量分析的组织学载玻片的方法。2009年IEEE生物医学成像国际研讨会：从纳米到宏观，第1107-1110页。IEEE，2009年。2[26] O. Maron和T. 洛扎诺-佩雷兹。一个多示例学习的框架神经信息处理系统的进展，第570-576页，1998年。2[27] H. S. Mousavi，V.蒙加湾Rao，和A.联合娆基于组织病理学图像分析的低级别和高级别胶质瘤的自动区分。病理学信息学杂志，2015年6月。1[28] N. 乾梯度下降学习算法中的动量项神经网络，12（1）：145-151，1999. 7[29] A. Rakhlin，A.什韦茨河谷Iglovikov和A.A. 加里宁用于乳腺癌组织学图像分析的深度卷积神经网络。在国际会议图像分析和识别，第737-744页。Springer，2018. 2[30] E. Reinhard，M.阿迪赫明湾Gooch和P.雪莉图像之间的颜色转换。IEEE计算机图形学与应用，21（5）：34-41，2001. 2[31] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。1、6[32] P. Sudharshan、C. 佩蒂让角，澳-地 斯潘霍尔湖 E. 奥利维拉L. Heutte和P.霍妮基于多实例学习的组织病理学乳腺癌图像分类。专家系统与应用，117：103-111，2019。2[33] H.德永Y. Teramoto，A. Yoshizawa和R.比斯自适应加权多视场cnn用于病理学语义分割。在IEEE计算机视觉和模式识别会议论文集，第12597-12606页3[34] D. Wang，中国山核桃A.科斯拉河Gargeya，H.Irshad，和A.H. 贝克用于识别转移性乳腺癌的深度学习arXiv预印本arXiv：1606.05718，2016年。1[35] R. Wetteland，K. Engan，T.埃夫泰斯特岛Kvikstad和E.A.詹森多尺度深度神经网络用于组织学全切片图像的多类组织分类。arXiv预印本arXiv：1909.01178，2019。3[36] J.Wu，Y. Yu，C. Huang和K. Yu.用于图像分类和自动标注的深度多实例学习在IEEE计算机视觉和模式识别会议的Proceedings，第3460-3469页2[37] Y. Xu，Z.Jia，Y.艾氏F.Zhang，M.莱岛Eric和C.昌用于大规模脑肿瘤组织病理学图像分类和分割的深度卷积激活特征。 在2015年IEEE声学、语音和信号处理国际会议（ICASSP）上，第947IEEE，2015年。1[38] Y. Xu，Z.贾湖，澳-地B. Wang，Y.艾氏F. Zhang，M.莱岛Eric和C.昌通过深度卷积激活功能进行大规模组织病理学图像分类、分割和可视化BMC bioinformatics，18（1）：281，2017. 1[39] F. G. Zanjani， S.辛格尔湾 E. Bejnordi，J. A. van derLaak等人使用深度生成模型的染色颜色归一化。2018. 2[40] Z.- H. Zhou和M. L.张某用于多实例学习的神经网络。智能信息技术国际会议论文集，北京，中国，第455-459页，2002年。2