生成对抗网络中图像到图像翻译的固定点学习及其在疾病检测和定位中的应用

1在生成对抗网络中学习不动点：从图像到图像翻译到疾病检测和定位1，周宗伟1，3，尼玛·塔吉巴赫什1，冯瑞斌1，迈克尔·B.Gotway2，Yoelman Bengio3和Jianming Liang1，31亚利桑那州立大学;2梅奥诊所;3 Mila-魁北克人工智能研究所图1：[更好地在线查看颜色和放大细节]将我们的定点GAN与StarGAN [8]进行比较，StarGAN是多域图像到图像转换的最新技术，通过将图像转换为五个域。组合这些域可以产生相同的域（例如，黑色到黑色头发）或跨域（例如，黑色到金色的头发）翻译。为清楚起见，StarGAN的同域翻译用红色框表示，而定点GAN的同域翻译用绿色框表示。如图所示，在跨域翻译期间，特别是在同域翻译期间，StarGAN会生成工件：介绍一个胡子（行1，上校。2;浅蓝色箭头），改变面部颜色（202 -5，Cols. 2-6），增加更多的头发（行5，上校。2;黄色圆圈），并改变背景（行5，上校。3;蓝色箭头）。我们的固定点GAN通过固定点翻译学习克服了这些缺点（参见第二节）。3），并提供了一个框架，疾病检测和定位，只有图像级注释（见图3）。2）的情况。摘要生成对抗网络（GAN）带来了图像到图像翻译的革命。GAN的发展和扩散提出了一个有趣的问题：我们是否可以训练GAN从图像中移除对象（如果存在），同时保留图像？具体来说，GAN是否可以通过将具有未知健康状态（患病或健康）的医学图像转换为健康图像来“虚拟治愈”任何人，以便通过减去这两个图像来揭示患病区域？这样的任务需要GAN识别用于域平移的目标像素的最小子集，我们称之为定点平移的能力，没有GAN配备还没有。因此，我们提出了一种新的GAN，称为固定点GAN，通过以下方式进行训练：（1）通过条件身份丢失来监督同域翻译，以及（2）通过修订的对抗性，域分类和循环一致性丢失来正则化跨域翻译基于定点平移，我们进一步推导出一个新的框架，用于疾病检测和定位，仅使用图像级注释。定性和定量的评价表明，该方法优于最先进的多域图像到图像的翻译，它超越了主要的弱监督定位方法在疾病检测和定位。实现可在https://github.com/jlianglab/Fixed-Point-GAN上获得。191192图2：[更好地在线查看颜色和放大细节]比较固定点GAN与最先进的图像到图像转换[8]，弱监督定位[37]和异常检测[24]，用于仅使用图像级注释检测和定位眼镜和疾病 以疾病检测为例，我们的方法是将任何图像（患病或健康）转换为一个健康的图像，允许通过减去这两个图像来揭示患病区域。 通过定点翻译学习，我们的定点GAN旨在在翻译过程中保留健康图像，从而在差异图（红色框栏）中观察到生成的（健康）图像和原始（健康）图像之间的差异很少。对于患病图像，由于从患病图像到健康图像的转换学习，疾病位置在差异图中显示（黄色框栏）。为了比较，将局部病变区域叠加在原始图像上（Loc.列），显示定点GAN比CAM [37]和f-AnoGAN [24]更精确地定位眼镜和疾病（底行;详细信息见第二节。4）.1. 介绍生成对抗网络（GANs）[9]已被证明在图像到图像的转换方面非常强大，例如改变头发颜色，面部表情和人的化妆[8，6]，以及将MRI扫描转换为CT扫描以进行放射治疗计划[34]。现在，GAN的发展和扩散提出了一个有趣的问题：GAN是否可以从图像中删除对象（如果存在），同时保留图像内容？具体来说，我们能否训练GAN从任何图像中移除眼镜而不戴眼镜的人保持不变？或者，GAN可以在他的医学图像上“治愈”病人吗这样的工作看似简单，但实际上有四个严格的要求：• Req. 1：GAN必须处理未配对的图像。收集一对完美的照片可能太难了1虚拟愈合（见图）6）将图像（患病或健康）转换为健康图像，从而将两个图像相减，以显示患病区域。如果患者是同一个人，戴眼镜和不戴眼镜，那么获取正在接受医学成像的患病患者的健康图像将为时已晚。• Req. 2：GAN在将图像转换成目标域时必须不需要源域标签（即，独立于源域的翻译）。例如，经过虚拟治疗训练的GAN旨在将任何健康状态未知的图像变成健康的图像。• Req. 3：GAN必须为同域翻译进行身份转换。对于• Req. 4：GAN必须为跨域翻译执行最小的图像变换。更改应仅应用于与翻译任务直接相关的图像属性，而不影响无关的属性。例如，取下眼镜不应影响图像的其余部分（例如，头发，肤色和背景），或从疾病中去除疾病193缓和图像不应影响标记为正常的图像区域。目前，没有单一的图像到图像的转换方法满足所有上述要求。用于图像到图像转换的传统GAN [13]虽然复杂，但需要成对的图像。CycleGAN [39]通过循环一致性缓解了这种限制，但它仍然需要每对图像域使用两个专用的生成器，由于需要专用的生成器而导致可扩展性问题。CycleGAN也不支持与源代码域无关的翻译：选择合适的生成器需要源域和目标域的标签。StarGAN [8]通过为所有感兴趣的域对学习单个生成器来克服这两个限制。然而，StarGAN也有自己的缺点。首先，StarGAN倾向于在跨域翻译期间进行不必要的更改。如示于图1，StarGAN倾向于改变面部颜色，尽管域转换的目标是改变CelebFaces数据集图像中的性别，年龄或头发颜色[20]。其次，StarGAN未能胜任地处理同域翻译。 参考图中用红框框框住的例子。1，StarGAN不必要地在第1排的脸上增加了胡子，并且不必要地改变了第2-5排的头发颜色，其中只需要简单的身份转换。这些缺点对于自然图像中的图像到图像的转换来说是可以接受的，但是在敏感领域，例如医学成像，它们可能导致可怕的后果-不必要的改变和伪影引入可能导致误诊。此外，克服上述限制对于使GAN适应对象/疾病检测、定位、分割和去除至关重要因此，我们提出了一种新的GAN。我们称之为固定点GAN，因为它具有新的固定点2平移能力，这允许GAN识别用于域平移的像素的最小子集为了实现这一能力，我们设计了一种新的训练方案，以促进训练过程中的定点翻译（图1）。3 - 3）通过（1）通过额外的条件身份丢失（图1）监督同域翻译。3 - 3B），以及（2）通过修订的对抗性（图3 - 3B）正则化跨域翻译。3 - 3A），域分类（图。3- 3A），和周期一致性（图。3- 3C）损失。由于其定点翻译能力，定点GAN执行跨域翻译的最小变换，并争取同一域翻译的同一因此，固定点GAN不仅实现了更好的图像到图像的自然图像的翻译，但也提供了一个新的框架，疾病检测和定位，只有图像级注释。我们的实验表明，固定点GAN2数学上，如果f（x）=x，则x是函数f（·）的不动点。我们借用该术语来描述在应用GAN平移函数时要保留的像素。在多个数据集上，对于图像到图像转换和主要异常检测任务以及用于疾病检测和定位的弱监督定位方法，StarGAN的性能显著优于StarGAN。在形式上，我们做出以下贡献：1. 我 们引 入一 个 新概 念： 定 点翻 译， 导 致新 的GAN：定点GAN。2. 我们设计了一个新的方案来训练定点翻译，通过监督同域翻译和正则化跨域翻译。3. 我们表明，固定点GAN在自然图像和医学图像的图像到图像的转换方面优于4. 本文提出了一种基于定点平移学习的图像级标注疾病检测和定位方法5. 我们证明，我们的疾病检测和局部化方法的基础上固定点GAN是优于不仅其对应的基础上的国家的最先进的图像到图像的翻译方法，但也优于占主导地位的弱监督定位和异常检测方法。我们的定点GAN有可能对医学成像中的计算机辅助诊断产生重要的临床影响，因为它只需要图像级注释进行训练。获得图像级注释远比手动病变级注释更可行和实用，因为可以从图像存档和通信系统收集大量患病和健康图像，并通过使用NLP分析其放射学报告随着大型医学图像数据库及其相应的放射学报告的可用性2. 相关工作固定点GAN可用于图像到图像的翻译以及仅具有图像级注释的疾病检测和定位因此，我们首先将我们的固定点GAN与其他图像到图像转换方法进行比较，然后解释固定点GAN与医学成像中建议的弱监督病变定位和异常检测方法的不同之处。图像到图像转换：围绕GAN [9]进行图像到图像翻译的文献非常广泛[13，39，14，40，19，35，8，16]; 因 此 我 们 将 讨 论 限 制 在 最 相 关 的作 品 上 。CycleGAN [39]已完成通过循环一致性实现不成对图像到图像转换的突破。循环一致性已被证明是有效的，在保持翻译图像中的对象形状，但194它可能不保留其他图像属性，例如颜色;因此，在将莫奈的绘画转换为照片（跨域翻译）时，Zhu et al. [39]施加了额外的身份损失，以保持输入图像的颜色。然而，身份丢失一般不能用于跨域翻译，因为它会限制转换能力。例如，它将使黑头发不可能翻译成金发。因此，与CycleGAN不同的是，我们仅在相同域翻译的定点翻译学习期间有条件地合并身份丢失此外，在推理过程中，CycleGAN要求提供源域，从而违反了我们的Req。2，在SEC中讨论。1和渲染CycleGAN不适合我们的目的。StarGAN [8]使单个生成器具有多域图像到图像转换的能力，并且在推理时不需要输入图像的源域。然而，StarGAN也有自己的缺点，这违反了Reqs。3和4，如图所示。1.一、我们的固定点GAN克服了StarGAN1-2 ）。弱监督本地化：我们的工作也与弱监督定位密切相关，在自然成像中，通常通过显着图[27]，全局最大池 [22] 和 基 于 全 局 平 均 池 （ GAP ） 的 类 激 活 图（CAM）[37]来解决。特别是，CAM技术最近已经成为进一步研究的主题，导致具有改进的定位能力的几个扩展Pinheiro和Collobert [23]用对数和指数池化层取代了原始GAP，而其他作品[28，36]旨在迫使CAM发现对象的互补部分，而不仅仅是最具区别性的部分。Selvaraju等人[25]提出了GradCAM，其中用于生成CAM的权重来自梯度反向传播;也就是说，权重取决于输入图像，而不是原始CAM中使用的固定的预先训练的权重。尽管在自然成像中有大量的文献，但医学成像中的弱监督定位只是最近才开始。Wang等人[33]首次将CAM技术用于胸部X线检查中的病变定位然而，以下研究工作要么将原始CAM与额外信息（例如，有限的细粒度注释[17，26，3]和疾病严重程度-水平[32]），或略微扩展原始CAM，但没有显著的定位增益。值得注意的是，如[5]所证明的，采用更高级版本的CAM，如互补发现算法[28，36]，在医学成像中的弱监督病变定位方面并没有被证明是有前途的。不同于以往的作品，鲍姆加特纳等。[4]建议VA-GAN学习健康大脑和受影响老年痴呆症尽管未配对，但VA-GAN要求配准所有图像;否则，就无法保存正常的大脑结构（见附录中的说明）。此外，VA-GAN需要在推断时的源域标签（输入图像是健康的还是患病的），因此违反了我们的Req.2、如图所示。1.一、因此，vanilla CAM仍然是医学成像中弱监督病变定位的强性能基线据我们所知，我们是第一批开发基于图像到图像翻译的GAN的公司之一，用于疾病检测和定位，仅使用图像级注释。定性和定量结果均表明，我们基于图像翻译的方法比基于CAM的方法提供更精确的定位[37]。异常检测：我们的工作似乎与异常检测有关[7，24，1]，其任务是通过仅从健康图像学习来检测罕见疾病。Chen等人[7]使用对抗式自动编码器学习健康数据分布通过将患病图像馈送到经训练的自动编码器，然后从输入的患病图像中减去重建的患病图像来识别异常。Schlegl等人提出的方法。[24]通过GAN学习健康训练数据的生成模型，GAN接收随机潜在向量作为输入，然后尝试区分真实和生成的假健康图像。他们进一步提出了一种快速映射，可以通过将患病数据投影到GAN的潜在空间中来识别患病图像的异常。类似于[24]，Alexet al. [1]使用GAN学习健康数据的生成模型。为了识别异常，他们逐像素扫描图像，并将扫描的作物馈送到经过训练的GAN的数据库。然后，通过将异常分数由异常分析器放在一起来构建异常图。然而，固定点GAN在训练和功能上都不同于异常检测器。仅使用健康图像进行训练，异常检测器无法区分不同类型的异常，因为它们将所有异常视为“单一类别”。相比之下，我们的固定点GAN可以利用异常标签（如果可用），实现所有异常的定位和识别。然而，为了全面分析，我们将定点GAN与[24]和[1]进行了比较。3. 方法在下文中，我们将对定点GAN进行高级概述，然后对每个损失函数进行详细的数学描述。像StarGAN一样，我们的神经网络经过训练，可以将图像分类为真实/虚假及其相关领域（图10）。3 -1）。使用我们的新训练方案，生成器可以学习跨域和同域翻译，这与195L=X域图3：定点GAN训练方案。 与StarGAN类似，我们的机器学习可以区分真实/虚假图像并进行分类输入图像的域（1A-B）。然而，与StarGAN不同的是，我们的生成器不仅可以通过转换学习（2A-B）进行跨域翻译1）和实现疾病检测和定位仅使用图像级注释（图1）。2）的情况。而前者，则是一种学习，而后者则是一种学习。与StarGAN相同，从数学上讲，对于来自域cx和目标域cy的任何输入x，StarGAN生成器学习执行r域=Ex，cx[−logD 域（cx|x)](2)跨域翻译（Cxcy），G（x，cy）→−y′，其中但是我们已经更新了y′是域cy中的图像。由于cy是随机在StarGAN的训练中，有一个微小的机会，cy和cx是相同的，但StarGAN的设计并不是为了生成器，以考虑相同和跨域转换，确保生成的图像在两种情况下都来自正确的域：明确学习同域翻译。 定点GAN生成器除了学习跨域翻译之外，还学习执行同域翻译f结构域Σc∈{cx，cy}Ex，c[−logDdomain（c|G（x，c））]（3）当G（x，cx）→−x′。我们新的定点翻译学习（图）。3 - 3）不仅可以实现同域翻译，还可以正则化跨域翻译（图3 - 3）。3-2）通过鼓励生成器找到最小转换函数，从而惩罚与当前域转换任务无关的改变。仅针对跨域图像翻译进行训练，StarGAN无法从这种正则化中受益，导致许多伪影，如图所示。1.一、此外，我们的新培训计划提供三个优势，循环一致性损失。优化生成器，对于未配对的图像，只有对抗性损失有多个可能的，但随机的解决方案。额外的循环收缩损失（公式4）帮助生成器学习可以保留足够输入信息的变换，使得生成的图像可以被翻译回原始域。我们修改的循环一致性损失确保了跨域和同域翻译都是循环一致的。L cyc= Ex，c，c[||G（G（x，cy），cx）−x||1]+阶段：（1）加强同域翻译，（2）regu-x中文（简体）大型化跨域翻译;（3）源域独立翻译。为了实现这些优点，我们将固定点GAN的损失函数定义如下：对抗性损失。 在所提出的方法中，生成器学习跨域和同域翻译。 确保生成的图像在两种情况下都看起来很逼真，对抗性损失修改如下，修改在Tab中突出显示。一曰：ΣEx，c[||G（G（x，cx），cx）− x||第1页]有条件的身份丢失。在训练过程中，StarGAN [8]专注于将输入图像转换为不同的目标域。当生成器改变了与匹配目标域无关的输入方面时，这种策略不会惩罚生成器（图1）。①的人。除了学习到不同域的转换之外，我们还使用一致性损失（等式2）强制生成器5）在将图像转换到源域的同时保持域标识。这Ladv=c∈{cx，cy}Ex，c[log（1−Dreal/fake（G（x，c）]（一）还帮助生成器学习用于将输入图像转换到目标域的最小变换。+ Ex[logDreal/fake（x）].L=0，c=cy（五）域分类丢失。 对抗性损失确保了IDEx，c[||G（x，c）−x||1]，c=cx生成的图像看起来很逼真，但它不能保证-antee域正确性。因此，训练具有额外的域分类损失的分类器，这迫使生成的图像具有正确的域。L196全面目标。结合所有损失，最终的完整的目标函数的励磁机和发电机可以描述为方程。6和Eq。7，分别。在此基础上，提出了一种新的分类方法--LD=−Ladv+λdomainLr（六）197域选项卡. 1：固定点GAN中的损失函数从StarGAN继承的术语是黑色的 ，而蓝色突出显示 的是我们的修改， 以减轻StarGAN①的人。真实图像（Acc.）我们的定点GAN StarGAN94 百分之五92. 百分之三十一百分之八十二选项卡. 2：StarGAN生成的图像质量与我们的方法之间的比较。为此，我们在CelebA数据集的所有40个属性上训练了一个分类器，达到了94。5%的准确度，这意味着生成的图像也应该具有相同的分类准确度，以看起来像真实图像一样逼真。可以看出，定点GAN生成的图像质量更接近真实图像，强调了跨域翻译中定点翻译学习的必要性和有效性。我们的定点GAN StarGANLG=Ladv+λdomainLf+λcycLcyc+λidLid（7）0的情况。11± 0。090. 36± 0。三十五两40 ±1。24其中λdomain、λcyc和λid分别确定域分类损失、循环一致性损失和条件身份损失的相对重要性选项卡. 1总结了固定点GAN的损失函数。4. 应用4.1. 多域图像到图像翻译数据集。为了将所提出的固定点GAN与StarGAN [8]（当前最先进的）进行比较，我们使用Celeb-FacesAttributes（CelebA）数据集[20]。该数据集由各种名人的总共202，599张面部图像组成，每张图像具有40种不同的属性。 根据StarGAN的公开实现[ 8 ]，我们采用5个领域（黑发，金发，棕发，男性和年轻人）进 行 实 验 ， 并 通 过 将 原 始 178×218 图 像 裁 剪 为178×178然后重新缩放到128×128来预处理图像。我们使用2,000个样本的随机子集进行测试，其余的用于训练。方法和评价。我们通过分类精度来并且定性地通过改变一个属性（例如，头发颜色、性别或年龄）。这种逐步评估有助于跟踪图像内容的变化。我们还评估了同域图像翻译定性和定量测量输入和翻译图像之间的图像级L1结果图1给出了StarGAN和定点GAN之间用于多域图像到图像转换的定性比较。对于跨域图像翻译，StarGAN倾向于做出不必要的改变，例如当翻译的目标是改变性别、年龄或头发颜色时，改变面部颜色（图2-5）。①的人。然而，固定点GAN在成功地将图像转换到目标域的同时保留了面部颜色。此外，固定点GAN保留图像背景（在图5的行中用蓝色箭头标记）。1），但StarGAN没有这样做。固定点GAN的这种能力进一步得到了我们在表1中的定量结果的支持二、选项卡. 3：图像级L1距离比较，用于同域平移。固定点GAN实现了比StarGAN显著更低的同域翻译误差，接近独立自动编码器可以实现的下限误差。对于同域图像翻译，固定点GAN相对于StarGAN的优越性更加突出。如图1、固定点GAN有效地保持图像内容完整（图像以绿色轮廓），而Star-GAN不期望地改变图像内容（图像以红色轮廓）。例如，在图1B的1是来自金发，女性和年轻的领域使用StarGAN进行相同的域转换会导致图像中的头发和面部颜色发生显著改变。虽然这种颜色更接近数据集中的平均金发颜色，但与输入图像中的颜色相差甚远。具有定点翻译能力的定点GAN适当地处理了这个问题。附录中提供了StarGAN和定点GAN之间的进一步定性比较选项卡. 3给出了星GAN和定点GAN之间的定量比较，用于相同域的图像翻译任务。我们使用图像级的L1距离之间的输入和生成的图像作为性能指标。为了获得对比较的更多见解，我们包含了一个专用的自动编码器模型，该模型具有与StarGAN和定点GAN中使用的生成器相同的架构。如图所示，专用自动编码器具有0.11±0.09的图像级L1重构误差，这可以被视为重构误差的技术下限。固定点GAN将StarGAN的重建误差从2.40±1.24降低到0.36±0.35。我们的定量比较与图1所示的定性结果是一致的。1.一、4.2. 基于图像级标注的脑病变检测与定位数据集。我们将固定点GAN从图像到图像的翻译方法扩展到弱监督的大脑，198(a) 合成图像上的图像级(b) 合成图像上的病变级(c) 真实图像的图像级(d) 真实图像上的病变级图4：比较固定点GAN与StarGAN，f-AnoGAN，Alex等人的基于GAN的脑病变检测方法。[1]，以及BRATS 2013上的ResNet-50在（a）中提供了用于图像级检测的ROC和用于合成脑图像上的病变级定位的FROC(b)以及分别在（c）、（d）中的真实脑图像Sion检测和定位方法，其仅需要作为概念证明，我们使用BRATS 2013数据集[21，15]。BRATS 2013由合成图像和真实图像组成。我们将患者级别的合成图像和真实图像随机分为40/10和24/6，分别用于训练/测试。附录中提供了有关数据集选择的更多详细信息方法和评价。对于训练，我们仅使用图像级注释（健康/患病）。使用所提出的方法训练固定点GAN进行跨域平移（患病图像在推理时，我们专注于将任何图像转换为健康域。理想的GAN行为是将患病图像转换为健康图像，同时保持健康图像完好无损。在将图像翻译到健康域之后，我们然后通过从输入图像中减去翻译的健康图像来检测差异图像中的病变的存在和位置我们将得到的图像称为差异图。我们在两个不同的级别上评估差异图(1)图像级疾病检测和（2）病变级局部化。对于图像级检测，我们将差异图中所有像素的最大值作为检测分数。然后，我们使用受试者工作特征（ROC）分析的性能评估。对于病变级定位任务，我们首先二进制化的差异图使用，ING颜色量化，然后通过连接组件分析。面积大于10个像素的每个连通分量被认为是病变候选。如果至少一个病变候选的质心落在病变基础事实内，则认为病变是我 们 评 估 了 固 定 点 GAN 与 Star- GAN [8] ， CAM[37]，f-AnoGAN [24]，Alex等人提出的基于GAN的脑损伤检测方法。[1]的文件。通过与StarGAN的比较，我们可以研究所提出的定点翻译学习的效果。我们选择CAM进行比较，因为它涵盖了医学成像中的一系列弱监督定位工作[33，32，12]，并且节中讨论2，它可以说是一个强大的性能基线进行比较。我们训练了一个标准的ResNet-50分类器[11]，并按照[37]计算CAM以进行本地化，在本文的其余部分中 称 为 ResNet-50-CAM 。 为 了 获 得 更 高 分 辨 率 的CAM，我们在三个级别上截断ResNet-50，并在8×8，16×16和32×32特征图中报告本地化性能。虽然[24]和[1]是异常检测的最新技术，但我们选择它们进行更多比较，因为它们也满足任务要求。我们使用[24]的正式实现。结果图4a比较了固定点GAN和使用合成MRI图像进行图像级病变检测的竞争方法在曲线下面积（AUC）方面，固定点GAN实现了与ResNet-50分类器相当的性能，但实质上优于StarGAN、f-AnoGAN和Alex等人。注意，对于f-AnoGAN，我们使用差异图的平均激活作为检测分数，因为我们发现它比使用差异图的最大激活更有效，也比原始工作中提出的异常分数更有效。图图4b示出了针对合成MR图像的自由响应ROC（FROC）我们的定点GAN在每个图像1个假阳性时实现了84.5%的灵敏度，优于StarGAN，f-AnoGAN和Alex等人。在假阳性水平相同的情况下，敏感性分别为13.6%、34.6%、41.3%。ResNet-50-CAM在32 x32分辨率下实现了60%的最佳灵敏度水平，每张图像的假阳性率为0.037。此外，我们使用平均IoU（交集）得分将ResNet-50- CAM与固定点GAN进行比较，获得的平均IoU分别为0.2609±0.1283和0.3483±0.2420。类似地，真实MRI图像的ROC和FROC分析见图1。图4c和图4d分别示出了我们的方法在低假阳性范围处表现出色，但总体上实现了显著更高的灵敏度。定性比较StarGAN，定点GAN，CAM和f-AnoGAN之间的脑病变检测和定位是有利的。199在Fig.二、附录中有更多的定性比较4.3. 基于图像级标注的肺栓塞检测与数据集。肺栓塞（PE）是一种从下肢源移动到肺的血块，在那里它导致肺动脉阻塞。它是一个主要的国家健康问题，但计算机辅助PE检测和定位可以提高放射科医生检测这种疾病的诊断能力，从而导致对这种潜在致命疾病的早期和有效治疗。我们使用的数据库包括121个计算机断层扫描肺血管造影（CTPA）扫描，共326个栓子。数据集按照[38，31，30]中的建议进行预处理，在患者水平上分为3，840张图像的训练集和2，415张图像的测试集。附录中提供了进一步的细节方法和评价。与脑损伤检测和定位一样（Sec.4.2），我们在训练期间仅使用图像级在推理时，我们总是从输入图像中去除PE（即，翻译PE和非PE图像进入非PE域），而不管PE在输入图像中是否存在。我们遵循第二节中描述的相同程序4.2生成差异图、检测分数和ROC曲线。请注意，由于每个PE图像的中心都有一个栓子，如果相应的PE图像被正确分类，则认为因此，与SEC不同。4.2，我们不追求PE本地化的连通分量分析。我们将我们的定点GAN与StarGAN和ResNet-50进行比较。我们已经从定量比较中排除了基于GAN的方法[1]和f-AnoGAN，因为尽管我们进行了多次尝试，但前者遇到了收敛问题，而后者产生了较差的检测和定位性能。尽管如此，我们在附录中提供了由f-AnoGAN生成的图像。结果图5a示出了图像级PE检测的ROC曲线。固定点GAN实现了0.9668的AUC，而StarGAN和ResNet-50分别实现了0.8832和0.8879的AUC分数。图5b显示PE定位的FROC曲线。固定点GAN在每卷1个假阳性时的灵敏度为97.2%，优于StarGAN和ResNet-50，在每卷相同的假阳性水平下的灵敏度分别为88.9%和80.6%。图1给出了StarGAN和定点GAN之间PE去除的定性比较。二、4.4. 讨论在图4中，我们表明StarGAN在图像级脑病变检测方面表现不佳，因为StarGAN旨在执行通用图像翻译，(a) 图像级检测（b）病变级定位图5：在PE数据集上比较固定点GAN与StarGAN，f-AnoGAN和ResNet-50（a）用于图像级检测的ROC(b)FROC用于病变水平定位。而不是适合于疾病检测任务的图像平移。由于我们新的训练方案，固定点GAN可以实现精确的图像级检测。比较图如图4和图5所示，我们观察到StarGAN对于PE的表现远远好于脑病变检测。我们认为这是因为大脑病变可以出现在输入图像的任何地方，而PE总是出现在输入图像的中心，导致StarGAN解决的问题挑战性较小。尽管如此，定点GAN在PE检测方面优于StarGAN，AUC得分为0.9668，而StarGAN为0.8832。参照图2，我们进一步观察到，无论是Star-GAN还是定点GAN都不能从图像中完全去除大物体，如太阳镜或大脑病变。然而，对于图像级检测和病变级局部化，部分地去除对象就足够了，但是使用图像到图像转换网络的精确病变级分割需要完全去除对象。这一挑战是我们今后工作的重点。5. 结论我们引入了一个新的概念，称为固定点翻译，并开发了一个新的GAN称为固定点GAN。我们的综合评估表明，我们的定点GAN在图像到图像的翻译方面优于最先进的技术，并且在疾病检测和仅具有图像级注释的定位方面明显优于主要的异常检测和弱监督定位方法固定点GAN的优越性能归功于我们新的训练方案，通过监督同域翻译和正则化跨域翻译来实现。致谢：本研究部分由ASU和Mayo Clinic通过种子基金和 创 新 基 金 提 供 支 持 ， 部 分 由 NIH 根 据 奖 项R01HL128785提供支持。内容完全由作者负责，不一定代表NIH的官方观点我们感谢Zuwei Guo帮助我们实现基线方法。200引用[1] Varghese Alex ， Mohammed Safwan KP ， Sai SakethChen- namsetty，and Ganapathy Krishnamurthi.用于脑损伤检测的生成对抗网络。在Medical Imag-ing 2017中：图像处理，第10133卷，第101330 G页。国际光学与光子学会，2017年。四、七、八[2] 马 丁 ·阿 乔 对 ky ， 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein生成对抗网络国际机器学习会议，第214-223页，2017年。21[3] Wenjia Bai 、 Ozan Oktay 、 Matthew Sinclair 、 HideakiSuzuki 、 Martin Rajchl 、 Giacomo Tarroni 、 BenGlocker 、 Andrew King 、 Paul M Matthews 和 DanielRueckert。基于网络的心脏磁共振图像分割的半监督学习在医学图像计算和计算机辅助干预上，第253260. Springer，2017. 4[4] Christian F Baumgartner ， Lisa M Koch ， Kerem CanTezcan，Jia Xi Ang，and Ender Konukoglu.视觉特征属性使用wasserstein gans。在Proc IEEE Comput Soc ConfComput Vis Pattern Recognit，2017。四、十九、二十一[5] Jinzheng Cai ， Le Lu ， Adam P Harrison ， XiaoshuangShi，Pingjun Chen，and Lin Yang.迭代注意力挖掘用于弱监督胸部x光检查中的胸部疾病模式定位。医学影像计算 和计算 机辅助 干预国 际会议 ，第 589-598页。Springer，2018. 4[6] 张 惠 文 ， 卢 静 万 ， 余 菲 ， 亚 当 · 芬 克 尔 - 斯 坦 .Pairedcyclegan：不对称的风格转移适用于应用和卸妆 。 2018 年 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2018年。2[7] 陈晓然和安德·科努科格鲁。使用约束对抗自动编码器的脑部mri病变的无监督检测。arXiv预印本arXiv：1806.04972，2018。4[8] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。 在IEEE会议上 计算机视觉和模式识别（CVPR），2018年6月。该实现可在https://github.com/yunjey/StarGAN公开获得。一、二、三、四、五、六、七[9] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672二、三[10] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展，第5767-5777页，2017年。21[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。7[12] Sangheum Hwang和Hyo-Eun Kim。用于弱监督病变定位的 自 迁 移 学 习 。 作 者 ： Sebastien Ourselin ， LeoJoskowicz，Mert R. Sabuncu，Gozde Unal，和William Wells，编辑，Medical Image Computing andComputer-Assisted Intervention施普林格国际出版社. 7[13] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。arXiv预印本arXiv：1611.07004，2016。3[14] Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung KwonLee和Jiwon Kim。学习发现跨域关系与生成对抗网络。在机器学习国际会议上，第1857-1865页，2017年。3[15] 迈克尔·基斯勒，塞雷娜·博纳雷蒂，马塞尔·普法勒，罗曼·尼克劳斯，菲利普·布希勒。虚拟科学数据库：生物医学研究和学术的开放存取资料库。J Med Internet Res，15（11）：e245，Nov 2013. 7[16] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew P Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在CVPR，第2卷，第4页，2017年。3[17] 李哲、王冲、韩梅、袁雪、魏巍、李丽佳、李菲菲。胸部疾病识别和局部化，监督有限。在IEEE计算机视觉和模式识别会议集，第8290-8299页，2018年。4[18] 梁建明和毕金波。ct肺动脉造影中的计算机辅助滑降和多实例分型检测肺栓塞在医学成像信息处理两年一次上，第630-641页Springer，2007. 十五、二十[19] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。神经信息处理系统进展，第700-708页，2017年3[20] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。 在IEEE计算机视觉国际会议论文集，第3730-3738页，2015年。三、六[21] Bjoern H Menze ， Andras Jakab ， Stefan Bauer ，Jayashree Kalpathy-Cramer ， Keyvan Farahani ， JustinKirby ， YuliyaBurren ， NicolePorz ， JohannesSlotboom，Roland Wiest，et al.多模式脑肿瘤图像分割基 准 。 IEEE transactions on medical imaging ， 34（10）：1993，2015。7[22] Max i meOquab，L e'onBottou，I v anLapt ev，andJosefS ivic. 对象本地化是免费的吗？-用卷积神经网络进行弱监督学习。在IEEE计算机视觉和模式识别会议论文集（Proceedings of the IEEEConference on Computer Visionand PatternRecognition），第685-694页，2015年。4[23] Pedro O Pinheiro和Ronan Collobert使用卷积网络从图像级到像素级标记。在IEEE计算机视觉和模式识别会议的论文集，第1713-1721页，2015年。4[24] ThomasSchle gl ，