使用生成对抗网络进行虚拟淋巴细胞染色

4997HoechstGAN：使用生成对抗网络进行虚拟淋巴细胞染色Geo r gW o？lflein1，Mr.Hw aU m2D a vidJ.圣安德鲁斯2圣安德鲁斯3爱丁堡洛锡安NHS大学医院实验室医学部georg@woelflein.de摘要特定类型的免疫细胞的存在和密度对于了解患者对癌症的免疫反应是重要的。然而，鉴定T细胞亚型所需的免疫荧光染色昂贵、耗时，并且很少在临床环境中进行。我们提出了一个框架，用CD3和CD8对Hoechst图像（廉价且广泛）进行我们提出的方法共同学习两个染色任务，激励网络将每个任务的互利信息我们设计了一种新的度量来量化虚拟染色质量，并使用它来评估我们的方法。1. 介绍到2035年，英国肾癌的发病率预计将上升26%，达到每10万人32例[46]。此外，在2018年的一项调查中，皇家病理学家学院报告了组织病理学家的严重短缺，并预计由于病理学服务需求的增加以及即将到来的劳动力退休危机，这一问题将会增长[48]。深度学习的出现以及高分辨率成像数据的可用性为开发新的诊断工具提供了一条有希望的途径，以帮助病理学家开展工作[8]。透明细胞肾细胞癌（ccRCC）是最常见的肾癌类型[45，32]，其特征在于高度异质性和血管化的肿瘤微环境（TME）[40，38]。病理学家根据癌细胞的核形态对ccRCC进行分级：Fuhrman分级考虑了形态学特征，如核的形状、大小和核仁的突出度[17]，但在2012年已被WHO/ISUP分级所取代，后者关注的 是核仁的 形态，如Leibovich评分[27]，以及TNM（肿瘤、淋巴结、转移）分期[1]。细胞核级别仅从苏木精和伊红（HE）染色的载玻片获得，而不依赖于昂贵的程序，如多重免疫荧光（mIF）和免疫组化（IHC）。然而，尽管该核分级系统在全球范围内部署，但由于肿瘤内异质性（ITH）高，它经常遇到观察者间和观察者内的变异性[49，5，24]。机器学习的使用为克服这两个问题提供了一个有希望的途径[8，13]。肿瘤进展被理解为两种竞争机制的结果：侵入性肿瘤过程和有效地作为宿主免疫反应的对抗防御系统[18]。Leibovich评分已被广泛用作ccRCC的预后工具，它评估了与侵袭性肿瘤过程相关的因素，如肿瘤大小和肿瘤细胞核形态，但忽略了TME，其中宿主免疫系统起着自我防御的作用。分化簇3和8（CD3和CD8）分别是在T细胞和细胞毒性T细胞中表达的抗原最近，有证据强调了免疫细胞密度的预后价值，例如在各种类型的肿瘤（例如结肠直肠癌[16，18，35]、皮肤癌[30]和ccRCC [22]）中的CD8+与CD3+细胞的比率1贡献本文件作出两个主要贡献。首先，我们提出了一个框架，该框架扩展了pix2pix架构[25]，用于将单个廉价染色剂（Hoechst）转换为多个更昂贵的染色剂（CD3和CD8）。该框架（如图1所示）的设计方式使两个目标领域在学习过程中相互受益。其次，我们为虚拟染色任务引入了一个新的度量，并使用它来评估 我 们 的 模 型 我 们 的 代 码 和 数 据 可 在https://georg.woelflein.eu/hoechstgan 获得。stad [32，31].这是一个重要的组成部分-在ccRCC转移风险分层系统中，1CD3+和CD8+分别指表达CD3和CD8的细胞。4998假CD3y1假/真？真CD8真正的赫斯特D1y2X假/真？e2D2D2假CD8y1=G1（x）e1D1y=G2（x）发生器真CD3鉴别器信息流跳过连接级联编码器解码器鉴别器图1：HoechstGAN模型中用于将Hoechst补丁转换为CD3和CD8的数据流CD3补丁的生成（图的顶部）可以理解为一个简单的然而，对于CD8补丁，我们重新使用生成器的编码器部分e1以及来自伪CD3图像的第二个编码器e2我们连接两个编码器的潜在代码，并将组合代码馈送到解码器d2，解码器d 2最终负责生成假CD8图像。编码器和解码器之间的U-Net风格[43]跳过连接（以绿色显示）允许模型直接通过网络传递低级信息，而无需通过潜在的代码瓶颈进行压缩最后，我们有一个单独的目标染色剂。1.1. 物理免疫染色临床肿瘤学和癌症研究中最重要的技术之一是对癌症组织切片中的许多不同蛋白质进行免疫染色的过程，其用于通过色原或荧光团使用基于免疫球蛋白的检测系统辅助诊断和决定治疗方案[26，20，15]。免疫染色有助于使用人工着色[11]观察细胞中的各种蛋白质，以区分不同的细胞类型，例如代表血管的内皮细胞的CD105，泛T细胞的CD3，B细胞的CD20和上皮细胞的这种染色使病理学家能够探索空间关系并评估强度差异。分析特定分子的空间分布有助于理解TME和癌症机制，通过预测哪些患者更有可能对免疫治疗产生反应，为个性化治疗奠定基础[37]。例如，最近的一项研究表明，使用IHC鉴定的特定标志物可用于在ccRCC中获得更好的风险分层[36]。两种主要类型的分子染色测定是IHC和免疫荧光（IF）。而在明视野IHC中，细胞上的抗原在辣根过氧化物酶存在下通过色原转化为棕色而荧光包被的酪胺和HRP之间的酶促反应使IF可视化[53，7，26]。由于更高的信噪比和通道之间的干扰更少，IF更适合于同时检测多个不同的分子（称为mIF），因此我们在本研究中采用它。Hoechst 33342是一种广泛使用的复染荧光染料，可与DNA中的腺嘌呤-胸腺嘧啶（A和T）结合它相对便宜，每张幻灯片约1美元，准备时间约为另一方面，识别细胞的特定亚型（如T细胞）要昂贵得多，也耗时得多抗原CD3和CD8分别在T细胞和细胞毒性T细胞中表达，因此用于CD3或CD8染色以突出显示相应的细胞亚型。然而，即使是单一的IF（只需要染色这两个标记之一）成本高达20美元每张幻灯片，并需要3.5小时来执行;这比Hoechst复染昂贵和耗时得多。尽管如此，CD3+和CD8+细胞密度等特征在评估免疫应答方面非常有用[16，18，22]。此外，这些信息可以提高目前可用的患者风险分层系统的准确性，例如肾切除术后的Leibovich评分，这可以帮助针对个体患者的治疗。4999×××天啊例如，具有非常低的疾病复发风险的患者可以免于接受具有严重副作用的昂贵治疗，例如抗癌药物、酪氨酸激酶抑制剂（TKI）治疗或免疫治疗，并且可以在最小程度上担心癌症复发的情况下生活。考虑到Galon等人提出的Immunoscore™的益处，[18]在结直肠癌中，CD3和CD8免疫染色可改善ccRCC的转移风险分层。由于与Hoechst复染相比，免疫染色是昂贵和耗时的，因此能够基于Hoechst复染输入（即，这项工作的重点）将在临床上提供实用价值。(a) 原始Hoechst（b）原始CD3（c）原始CD81.2. 虚拟染色人工转换物理染色的数字图像的过程被称为虚拟染色。更具体地，给定用某种染色剂A物理染色的组织样本的整个载玻片图像（WSI），虚拟染色意味着人工生成另一个WSI，该WSI表示如果用另一种染色剂染色，该组织将如何呈现其自身B. 我们区分两种类型的虚拟染色：染色标准化和染色间转换[41]。染色标准化尝试对输入图像进行(d) 归一化Hoechst(g)美国[44](e) 标准化CD3（f）标准化CD8(h)（i）CD8+细胞以产生均匀一致的染色[41，34]，从而为在整个载玻片成像系统和实验室内观察到的由于不同协议、染料和扫描仪而引起的高水平变化提供解毒剂[4，2]。另一方面，染色剂到染色剂转换本身涉及源染色剂和目标染色剂不同的情况[41]，这是这项工作的重点尽管如此，在这两种情况下，保留组织结构和形态是一个重要的考虑因素[41，34]。虚拟染色本质上是一个图像到图像的转换问题，并且底层数据集可以是配对的或未配对的。在配对设置中，每个组织样本用源和目标染色剂染色（例如，通过Hoechst和CD 3/CD 8使用mIF，如本工作中的情况），而在未配对设置中，源图像和目标图像不需要源自相同的组织样本。由于问题的性质，生成式深度学习模型成为主要方法也就不足为奇了。生成对抗网络 （ GAN ） [21] 在 这 一 领 域 非 常 受 欢 迎 ， 特 别 是pix2pix [25]在配对集合[19，14，54，55，3，42]中的变体，以及CycleGAN [56]或Star。[10]未配对数据集的GAN [14，52，28]。然而，GAN是出了名的难以评估[51，6]，这是一个在不成对设置中由于缺乏基础事实而加剧的因此，我们制定了一个新的评价指标，这种类型的配对虚拟染色问题。值得注意的是，从Hoechst染色图像中识别淋巴细胞的任务在过去也被视为分割问题[12]，从而避开了图2：一个256256像素块（对应于58µm 58 µm物理尺寸），显示Hoechst、CD3和CD8的原始和标准化强度，以及不同的细胞类型。注意，CD8+细胞是CD3+细胞的子集。需要虚拟染色。我们将获得CD 3+细胞的分割掩模，而不是CD 3染色的然而，我们发现，CD 3/CD 8染色的图像包含有价值的信息，在监督的学习过程中丢失时，目标域是一个二进制分割掩模。事实上，直接在二进制掩码上训练我们的模型会产生完全黑色的图像。结合物理和虚拟染色（即，执行虚拟染色翻译）有可能节省时间和金钱，同时还提供标准化染色[41]。2. 材料和方法我们的数据集由来自10名ccRCC患者的肿瘤组织数字化的全载玻片图像组成这些数据来源于Lothian NHS的病理学档案（伦理参考10/S1402/33）。使用mIF，在扫描之前用Hoechst、CD3和CD8对载玻片进行染色，从而得到10对WSI的数据集（这些对是Hoechst一{ CD 3， CD 8}）。2.1. 多重免疫荧光方案使 用 Leica BOND RX 自 动 免 疫 染 色 仪 （ LeicaMicrosystems，Milton Keynes，UK）进行mIF。切片在72℃下使用BOND脱蜡，5000××N3σ脱蜡溶液（Leica，AR9222）中，并分别在无水乙醇和去离子水中再水化。将切片用BOND表位修复1（ER1）缓冲液（Leica，AR9961）在100℃下处理20分钟以暴露表位。用过氧化物封闭剂（Leica，DS 9800）封闭内源性过氧化物酶，然后用无血清蛋白封闭剂（Agilent，x 090930 -2）封闭。将切片与第一种一抗（CD 8，Agilent，M710301-2，1：400稀释）在室温下 孵 育 40 min ， 然 后 与 抗 小 鼠 HRP 偶 联 的 二 抗（Agilent，K400111-2）孵育40 min。然后通过Cy5缀合的酪胺信号放大（TSA）（Akoya Bioscience，NEL745001KT）使CD8抗原可视化。用ER 1缓冲液在95℃下20分钟剥离未共价结合的冗余抗体.然后通过TSA Cy3使第二种一抗（CD 3，Agilent，A045229-2，1：400稀释）可视化，从过氧化物阻断到第一种抗体可视化的ER 1缓冲液剥离采取相同的细胞核用Hoechst 33342（Thermo Fisher，H3570，1：100）复染，切片用延长金抗褪色封固剂（Thermo Fisher，P36930）封固。2.2. 图像采集1.00.80.60.40.20.04.03.02.01.00.00 4000 8000 1200016000(a) 赫司特强度0 3000 6000 9000 12000 15000(b) CD3强度3.02.52.01.51.00.50.06.04.02.00.0使用Zeiss Axio Scan Z1捕获荧光图像。我们同时使用三个不同的荧光通道（Hoechst 33342、Cy3和Cy5）以在20个物体放大率下捕获各个通道图像，其中各自的曝光时间为10 ms、20 ms和30 ms。十个WSI的原始数据集被分成一列火车- 一组八个和一组两个WSI的测试。每张幻灯片，我们产生约60000个大小为256256像素的非重叠补丁，丢弃空补丁。总的来说，训练集中有475334个补丁，测试集中有152185个补丁表1列出了数据集中的每种细胞类型2.3. 预处理2.3.1强度归一化数字图像通常以8位精度进行处理。然而，图3中的直方图显示，该像素亮度的大部分集中在该范围的低端。因此，简单地将图像量化到[0，255]的范围将丢失重要信息。相反，我们应用一种形式的阈值化来归一化强度。请注意，在图3中，每个直方图显示一个主峰（最左边的最大值可以忽略，因为它出现在与背景像素对应的几乎为零的强度处）。我们发现，假设直方图遵循正态分布（μ，σ2）就足够了，其参数使用最大似然估计获得。我们发现，重要的信息集中在峰值和三个标准偏差之间，即：在[μ，μ+3σ]的范围内，图3：Hoechst和CD3 WSI的强度直方图（左轴）和拟合的正态分布（右轴）。图3中的红线特别是，我们确定消除该峰（x µ<）左侧的强度可有效降低背景噪声。此外，具有非常高强度（x> µ+3σ）的像素是罕见的，并且可以被丢弃，因为它们不会添加太多信息。因此，我们通过以下方式将强度x变换为尺度[0，1]：f（x）=min.1，最大值0，x−µ m。我们基于WSI的直方图而不是在斑块水平上估计参数μ和σ，因为斑块表现出高方差。将所述强度归一化程序分别应用于每种染色剂，如图2中的样本斑所示。2.3.2细胞分割为了便于客观评估评估方法的性能由于Hoechst通道负责高亮细胞核，我们首先使用StarDist算法[44]分割该通道中的所有细胞（参见图2g）。然后，我们应用阈值化以使用它们各自的通道来识别CD3+（图2h）和CD8+我们不尝试直接分割CD3或CD8通道上的细胞，因为Hoechst掩码更可靠。两个主要因素对分割质量产生负面首先，当Hoechst染色细胞核时，×106×10−4直方图阈值拟合高斯×106×10−4直方图阈值拟合高斯频率频率密度密度5001→→表1：跨数据集的细胞亚型的表示。存在是指包含至少一个相应亚型细胞的斑块的百分比。区域覆盖率是指每个单元子类型所占的像素百分比。总的来说，数据集由10个WSI组成，生成627，519个非重叠补丁。Hoechst整体CD3CD8Hoechst火车CD3CD8测试HoechstCD3CD8总细胞1595604933905331 894 0161292258627331981、 513、5013033463六五七，三百三十五三百八十，五百一十五细胞/贴片二十五42五、403 .第三章。02二十七岁19五、753 .第三章。1819号。93 4.第一章32二、50存在九十九。百分之九十五九十三08%七十一61%九十九。百分之九十六94 百分之四十7 .第一次会议。百分之一百九十一九十九。百分之九十四8. 百分之九十7 .第一次会议。百分之七区域覆盖二十六岁48%五、01%3 .第三章。02%28岁百分之十六五、百分之三十四3 .第三章。百分之十五21岁百分之二十二3 .第三章。百分之九十八二、61%只在T细胞胞质的一小部分中表达。因此，Hoechst和CD3染色剂通常不能完全对齐，这通过图2e中的高强度斑点与图2d不完全匹配的事实而明显。此外，由于载玻片厚度为4µm，WSI中的一些细胞失焦，这通过图2a和2b中的不同强度水平变得明显由于这两个因素，一些CD3+细胞（以及类似的CD8+细胞）可能错误地不被分类为这样。发生器真CD32.4. HoechstGANPix2pix [25]是一个流行的GAN模型，用于图像到图像的翻译任务。然而，我们感兴趣的是将单个Hoechst图像转换为两种不同的染色剂（CD3和CD8）。我们没有训练两个单独的pix2pix GAN（一个用于HoechstCD3，另一个用于Hoechst CD8，见图4），而是提出了一个组合模型，该模型能够利用第一个任务中学习的信息可能对第二个任务有益，反之亦然。我们提出的方法以两种主要方式扩展了pix2pix架构[25]首先，我们将生成器的编码器部分重复用于两个任务（见图1），这意味着编码器学习的潜在表示被用作生成两个染色剂的两个单独解码器的输入。因此，U-Net跳过连接（从相应的编码器层通向两个解码器）以及潜在表示本身确保编码器能够捕获两个任务的相关信息。其次，我们采用了一个额外的编码器，它创建一个潜在的代码与原始Hoechst图像的潜在代码级联生成的假CD3图像，以形成CD8解码器的输入我们假设这个额外的步骤允许网络学习从CD3到CD8的转换，这对我们的任务很有用，因为CD8+细胞是CD3+细胞的一个子集。第3节检验了这一主张2.4.1培训给定Hoechst图像x，我们使用编码器e1和解码器d1生成伪CD3染色y=G1（x），如pix2pix中的ke [25]：G1（x）= d1（e1（x））.（一）然而，我们在通过融合潜在的再现来生成fakeCD8图像y=G2（x）真正的赫斯特假CD3鉴别器假/真？5002⊕图4：应用于Hoechst→ CD3翻译的pix2pix模型[25]中的数据流（图1中解释了符号）。Hoechst→ CD8翻译遵循相同的想法。原始Hoechst图像与来自（1）的假CD3图像的叠加然后，另一个解码器d2将合并的潜码转换为图像，由下式给出：G2（x）=d2（e1（x）<$e2（G1（x），（2）其中表示潜在表示的级联。事实上，这隐含地需要将编码器e1和e2两者的跳跃连接也连接到解码器d2传统上，通过提供高斯噪声向量z作为辅助输入，直接在香草GAN的图像生成过程中引入噪声然而，这对于以图像为条件的GAN来说用处不大，因为它们只是学会忽略z提供的随机性[25]。因此，我们只在训练和测试时以解码器中的丢失形式注入噪声。我们的条件GAN目标可以表示为LcGAN（G1，G2，D1，D2）=Ex[log（1 −D1（x，G1（x）]+Ex[log（1−D2（x，G2（x）]+Ex，y1[logD1（x，y1）]+Ex，y2[logD2（x，y2）]（3）生成器试图使其最小化而对抗性鉴别器（D1，D2）又试图使其最大化。请注意，每个图像都是两个图像的函数：原始Hoechst贴片和真/假输出染色剂（CD 3或CD 8）。在我们的实现中，我们只是在将两个图像提供给判别器之前将它们连接起来。然而，在第3节中，我们评估了我们模型的一个变体，该变体使用单个共享的DRDD而不是两个单独的鉴别器D1和D2。这里5003××L−新的联合CNORD获得三个（连接的）输入：原始的Hoechst，一个CD3和一个CD8贴片。它的任务是决定CD3和CD8补丁是真的还是假的。因此，条件GAN损失(3)简化为两项：LcGAN（G1，G2，D）=Ex[log（1 −D（x，G1（x），G2（x））]+Ex，y1，y2[log D（x，y1，y2）]。（四）我们的目标是使用L1损失形式LL1（G i）=Ex，yi[y i− G i（x）<$1]。（五）总体目标将GAN损失与由超参数λ平衡的两个发电机的L1惩罚相结合，以管理权衡，我们将其设置为100：GAN= arg min maxcGAN（G1，G2，D1，D2）+G1， G2 D1， D2λLL1（G1）+ λLL1（G2）。（六）训练数据集由标准化Hoechst图像（图2d）和相应的标准化CD3和CD8图像（图2e和2f）的256 256我们用64的批量训练总共30个epoch。对于前20个epoch，我们使用0的学习率。0002，其在最后十个历元中线性衰减到零。2.4.2合成真实和虚假的CD3输入在训练过程开始时，所生成的CD3图像G（x）具有非常差的质量，因此编码器e编码器，我们有八个这样的块，64，128，256，512，512、512、512和512卷积滤波器。每个块一半的空间尺寸的输入使用4 4卷积核的步幅为2。 另一方面，解码器中的对应块通过采用解卷积而不是卷积来实现空间大小的加倍。在解码器d1中，每个块的滤波器数量与编码器中的相同，但顺序相反。对于解码器d2，滤波器的数量由于附加的跳过连接（即1024，1024，1024，1024、1024、512、256和128）。我们将ReLU替换为0。2- 两个解码器的反卷积- BatchNorm-ReLU块中的倾斜泄漏ReLU [29，50]此外，我们在训练和测试时在解码器的前四个块中应用50%的丢弃[47]，这不仅在训练期间具有正则化效果，而且还在图像生成过程中充当随机性的来源在八个上述块之后，解码器具有附加的卷积层，随后是双曲正切非线性，以便仅映射到一个输出通道（补丁是灰度的）。在我们的问题设置中，希望在输入和输出之间保留一些低级信息，例如特定细胞的确切位置和形状。出于这个原因，我们在编码器和解码器之间添加了前面提到的U-Net风格的跳过连接[43]，如图1中的绿色箭头所示。这些跳过连接也用于原始的pix2pix架构[25]，允许这种类型的信息直接通过网络传递我们为每个输出染色采用单独的鉴别器12ing（CD3和CD8）。我们的鉴别器被应用于convo-无法学习有用的表示。因此，我们通过将真实的CD 3图像馈送到编码器e2中来开始训练，并且随着训练的进行，逐渐子用G1（x）生成的假图像替换真实图像。换句话说，我们用G1（x）和由βG1（x）+（1 β）y1给出的地面真值y1的合成图像代替（2）中的G1（x），其中参数β在训练期间从0逐渐增加到1。 因此，（2）成为G2（x）=d2（e1（x）<$e2（βG1（x）+（1-β）y1）），（7）其中β取决于epoch2。我们使用β=0直到epoch 8，然后在epoch 8和12之间使用缩放的sigmoid函数，将β从0转换为1，从而β=0，从而获得良好的结果。5在第10个时期。2.4.3网络架构生成器由编码器和解码器组成，这些编码器和解码器由卷积-BatchNorm-ReLU块[33，23]组成，这在深度卷积GAN中很常见[39，25]。在2对于合成，我们不认为epoch是一个整数，而是一个实数，在每个批次之后更新。例如，如果处理了epoch 8中的一半批次，我们认为这是epoch 8.5。5004合理地跨越生成的图像和真实的图像，对假图像与真实 图 像 进 行 平 均 。 每 个 图 像 的 真 实 分 类 ， 称 为PatchGAN [25]。这减少了图像中的参数数量，同时仍然能够保持（甚至提高）图像质量[25]。两种鉴别器的架构相同：它们由分别具有64、128、256和512个滤波器的上述卷积-BatchNorm-ReLU块组成，使用斜率为0的泄漏ReLU。2，尽管BatchNorm层在第一个街区。这导致70 ×70大小的感受野。3. 结果量化评估和比较GAN是一项众所周知的挑战性任务[51，6]，因为很难获得客观评估生成图像质量的指标。然而，事实证明，虚拟染色实际上通过考虑真实染色和生成的染色的信噪比而有助于客观评估。为此，我们引入了一种新的评价指标来衡量虚拟染色模型的质量，我们称之为掩蔽强度比（MIR）。如果所产生的CD3斑块在CD3+分段细胞的区域中表现出高强度并且在CD3 +分段细胞的区域中表现出低强度，则5005→→表2：结果。我们比较了我们的HoechstGAN方法的几个变体，这些变体在方法列的后缀中用大写字母表示 ‘M’indicates mutual learning, 产生的CD8染色依赖于产生的CD3染色。 如果如果输入到e2的CD3根据2.4.2节中描述的时间表从真转换为假。最后，'D'表示使用具有（4）中给出的损失函数的联合损失。当“D”不存在时方法参数↓列车CD3 MIRrel↑测试CD3 MIR相对↑列车CD8 MIRrel↑测试CD8 MIRrel↑HoechstGAN-MCD2.16× 1081.23± 1.211.48± 1.271.07± 0.971.43± 1.04HoechstGAN-MC2.19× 1080.87± 1.071.12± 1.231.22± 0.881.39± 1.02HoechstGAN-MD2.16× 1080.88± 1.071.15± 1.211.01± 0.931.45± 1.03HoechstGAN-M2.19× 1080.89± 1.261.24± 1.300.84± 0.971.26± 1.06HoechstGAN-D9.20× 1070.90± 1.011.14± 1.170.87± 0.941.33± 1.05pix2pix1.14× 1080.89± 1.041.15± 1.230.83± 0.871.16± 1.00回归-MC2.13× 1080.62± 0.740.92± 0.750.57± 0.581.09± 0.73其他地方。因此，MIR简单地定义为CD3+细胞掩模内的平均像素强度（图2h）与掩模外的平均像素强度之比MIR=掩模内的平均像素强度。（八）掩模外平均像素强度此外，我们认为相对MIR是所生成的染色剂的MIR除以地面真实染色剂的MIRMIRrel=MIRfake，（9）MIRreal其基本上测量所生成的污点比地面真实污点好多少。因此，相对MIR适用于客观比较虚拟染色模型。大于1的相对MIR意味着假染色剂具有比地面真实更好的信号或更少的噪声。我们训练了上一节中描述的HoechstGAN架构的几个变体，在表2中报告了相对MIRs（针对训练集/测试集和CD 3/CD 8）。出于比较的目的，我们建立了一个pix2pix [25]基线，它实际上由两个单独的模型组成（一个是图4中的Hoechst CD3，另一个是HoechstCD8），因为原始的pix2pix架构无法处理多个输出模态。此外，我们训练了性能最好的模型配置HoechstGAN-MCD，只使用L1损失（没有R2和GAN损失）作为回归基线（表2中的底行），以证明首先需要对抗性损失。与人们最初的预期相反，在表2中很然而，从表1中可以明显看出，平均而言，测试集补丁中的CD3+和CD8+细胞比训练集补丁少，因此可以认为测试集补丁的难度较低。这种训练集与测试集统计数据的不平衡是因为我们随机选择了8个WSI进行训练，剩下的两个进行测试，而后两个恰好具有较低的细胞密度。如果我们把数据集分成与WSI相反，在训练集和测试集上，细胞密度将更相似，但是，作为回报，我们将（i）冒数据泄漏的风险，因为在一个WSI中相邻的两个补丁将被分成训练集和测试集的情况很多，以及（ii）降低我们的解决方案的临床实用性，因为它从未在看不见的WSI上进行过测试因此，我们下面的分析重点是比较评估模型之间的相对测试集MIRs。表2中的结果表明，所有GAN都实现了比地面真实值更好的测试集MIRs（测试集上的相对MIRs都大于1），这意味着生成的在测试集上，一些Hoech-stGAN变体在虚拟CD 3生成任务中优于pix 2 pix基线，但对于CD 8，所有变体都在基线上有所改进。最小的模型HoechstGAN-D在CD 3上实现了类似的性能，在CD 8上实现了比pix 2 pix基线更好的性能[25]，同时减少了2200万个参数（因为生成器中的一些参数和GPU中的所有参数都是共享的）。HoechstGAN-MCD总体上实现了最佳性能，其中一些示例如图5所示。考虑到CD8+细胞是CD3+细胞的一个子集，因此大多数模型与前者的斗争比后者更多也就不足为奇然而 ， 具 有 联 合 鉴 别 器 （ 表 2 中 的 后 缀 “D” ） 的HoechstGAN为什么会这样呢？在HoechstGAN变体中（HoechstGAN-D除外），CD 8生成涉及比CD 3生成更多的参数，导致训练在单独的训练设置中以后者为代价进行权衡，偏向于改善前者换句话说，（3）中与D2有关的损失函数的两项将具有比其他两项更大的幅度。使用联合鉴别器使得两对项以（4）的形式组合，其中鉴别器同时看到CD3和CD8块，从而减轻损失函数中的平衡问题。5006CD3MIR rel= 1。958CD8MIR相对值= 1。393CD3MIR rel= 1。672CD8MIR相对值= 0。428CD3MIR rel= 0。883CD8MIR相对值= 1。926CD3MIR rel= 0。741CD8MIR相对值= 0。623CD3MIR rel= 0。660无CD8+细胞(a)Hoechst(b)细胞掩膜 (c)真CD3 (d)假CD3 (e)真CD8(f)假CD8图5：HoechstGAN-MCD应用于测试集中随机选择的五个样本的结果。在细胞掩模中，蓝色细胞是CD3+，红色细胞是CD3+ CD8+，白色细胞两者都不是。合成（第2.4.2节）对性能有净积极影响。当使用单独的鉴别器时，复合能够提高CD3性能，而相对CD8MIR仅略有下降这符合确保编码器e2学习有益于CD8生成的伪CD3补丁的有用表示的最初预期目的。然而，有趣的是，当使用关节假体部署时，合成实际上达到了相反的效果：CD3显着提高，而CD8每平方米略有下降。我们推测这可能与前面提到的损失函数中的平衡问题有关，但将进一步的调查留给未来的工作。最后，CD8染色生成在多大程度上借鉴了CD3？我们在第2.4节中假设编码器e2通过学习从CD3到CD8的有用映射来帮助CD8染色生成。为了验证这一说法，我们在HoechstGAN-MCD上进行了一个实验，其中我们将编码器e 2的输入替换为以下任意一种：对应的真实CD 3补丁（MIR rel=1. 143），-从测试集随机选择的其 他 真 实 CD 3 补 丁 （ MIR rel=0. 610 ） 或 高 斯 噪 声（MIR rel=0. 431）。MIR分数表明，替代真实CD3补丁实现了比替代不同的随机选择的真实CD3补丁或仅随机噪声显著更好的结果。因此，我们得出结论，事实上，e2更好的是，实际的HoechstGAN-MCD模型（其中e2随生成的CD3补丁）优于上述三个子项中的任何一个（MIR rel=1。表2中的426），甚至是真正的CD3补丁。这意味着e2实际上已经将其自身适应于生成的CD 3图像而不是真实图像（实际上，生成的补丁表现出比真实补丁更好的信噪比，因为相对MIR大于1），因此合成过程实现了期望的效果。4. 结论我们提出了一个框架，能够从一个便宜的染色转化为多个更昂贵的，旁边的评价指标来评估其性能。我们的研究结果表明，GAN非常适合虚拟染色，比地面实况实现更好的信噪比。未来调查的一个途径可能是HoechstGAN体系结构在CD3和CD8之间对称，即，允许信息从CD8流回CD3。此外，可以探索（4）中的联合判别器损失的不同变化，其中，提供了真实和虚假补丁的组合（与两个真实或两个虚假图像相对）。鸣谢：GW由Lothian NHS支持。该项目获得了欧盟地平线2020研究和创新计划的资助。101017453作为KATY项目的一部分。这项工作得到了数字诊断人工智能研究工业中心（iCAIRD）的部分支持，该中心由Innovate UK代表英国研究与创新（UKRI）资助（项目编号104690）。5007引用[1] Mahul B Amin，Frederick L Greene，Stephen B Edge，Car- olyn C Compton，Jeffrey E Gershenwald，Robert KBrook- land，Laura Meyer，Donna M Gress，David RByrd，and David P Winchester.第八版AJCC癌症分期手册：继续建立从基于人群到更“个性化”的癌症分期方法的桥梁。CA：临床医生癌症杂志，67（2）：93[2] Aldo Badano ， Craig Revie ， Andrew Casertano ， Wei-Chung Cheng ， Phil Green ， Tom Kimpe ， ElizabethKrupinski ， Christye Sisson ， Stein Skrøvseth ， DarrenTrelane，et al.医学成像中颜色的确认和标准化：共识报告。Journal of Digital Imaging，28（1）：41-52，2015.[3] Bijie Bai，Hongda Wang，Yuzhu Li，Kevin de Haan，FrancescoColonnese，Yujie Wan，Jingyi Zuo，Ngan BDoan，Xiaoran Zhang，Yijie Zhang，et al.使用深度学习对乳腺组织进行无标记虚拟HER2免疫组织化学染色。arXiv预印本arXiv：2112.05240，2021。[4] Babak Ehteshami Bejnordi ， Nadya Zhaofeeva ， IreneOtte-Ho？ller，NicoKarssemeijer，andJeroenAWMvanderLaak. 组织学切片染色变异性的定量分析和标准化算法。2014年医学影像：数字病理学，第9041卷，第904108页。国际光学与光子学会，2014年。[5] Sibel Bektas、Burak Bahadir、Nilufer Onak Kandemir、Figen Barut、Aylin Ege Gul和Sukru Oguz Ozdamar。常规肾细胞癌Fuhrman和改良Fuhrman分级系统的观察者内和观察者间变异性。高雄医学科学杂志，25（11）：596[6] 阿里·博尔吉评估方法的利弊。计算机视觉和图像理解，179：41[7] 伊戈尔湾 Buch wal o wandWernerBoécker er r. 免疫组化：基础和方法。施普林格科学商业媒体，柏林海德堡，2010年。[8] PeterDCaie，NeofytosDimitriou，andOgnjenArandjel o vic'. 通过图像分析和机器学习实现数字病理学的精准医疗。人工智能和病理学中的深度学习，第149-173页。爱思唯尔，2021年。[9] 布拉德·查佐特。用Hoechst 33342标记核DNA。ColdSpring Harbor Protocols，2011（1）：pdb-prot5557[10] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，第8789-8797页[11] Albert H Coons，Hugh J Creech，R Norman Jones和ErnstBerliner。肺炎球菌抗原的荧光抗体显示。免疫学杂志，45（3）：159[12] Jes sicaCooper ， InHw aUm ， OgnjenArandjelo vic' ，andDavid J Harrison.Hoechst是您所需要的一切：使用深度 学 习 进 行 淋 巴 细 胞 分 类 。 arXiv 预 印 本 arXiv ：2107.04388，2021。[13] Raffa eleDeFilippis ， Geo r gW ？ lflein， InH w aUm ，PeterD Caie，Sarah Warren，Andrew White，ElizabethSuen ， Emily To ， OgnjenArandjel o v ic' ， andD avidJHarrison. 使用高复杂度数据揭示了透明细胞肾细胞癌肿瘤微环境的新见解。medRxiv，2022。[14] Kevin de Haan，Yijie Zhang，Jonathan E Zuckerman，Tairan Liu，Anthony E Sisk，Miguel FP Diaz，Kuang-Yu Jen，Alexander Nobori，Sofia Liou，Sarah Zhang，et al.基于深度学习的HE&染色组织转化为特殊染色剂。Nature Communications