DUAL-GLOW：基于条件流的情态迁移生成模型

10611DUAL-GLOW：基于条件流的情态迁移生成模型孙浩良1，2，3，梅塔1，郝H.周1，黄志春1，斯特林角约翰逊1，Vivek Prabhakaran1和Vikas Singh1haolsun.cn @ gmail.com example.com，wwwronakrm@cs.wisc.edu，{hzhou97，zhuang294，prabhakaran}@wisc.edu，wwwscj@medicine.wisc.edu example.com，wwwvsingh@biostat.wisc.edu1威斯康星大学麦迪逊分校2山东大学3Inception Institute of Artificial Intelligence摘要正电子发射断层扫描（PET）成像是一种用于诊断许多神经系统疾病的成像模式。与磁共振成像（MRI）相比，PET昂贵，并且需要将放射性物质注入患者体内。受视觉模态转换发展的启发，我们研究了从MRI数据生成某些类型的PET图像。我们推导出了新的基于流的生成模型，我们在这种小样本量的情况下表现良好（远小于标准视觉任务中可用的数据集大小）。我们的公式，DUAL-GLOW，是基于两个可逆的网络和一个关系网络，映射的潜在空间到对方。我们讨论了在给定先验分布的情况下，学习给定MRI图像的PET的条件分布如何减少到获得两个潜在代码之间的条件分布w.r.t.这两种图像类型。我们还扩展了我们的框架，以利用“边”信息（或属性）时可用。通过对年龄进行“调节”来控制PET生成，我们的模型还能够捕获大脑FDG-PET（代谢减退）的变化，作为年龄的函数。我们目前的实验上阿尔茨海默病神经影像倡议（ADNI）数据集与826名受试者，并获得良好的性能，在PET图像合成，定性和定量优于最近的作品。1. 介绍正电子发射断层扫描（PET）图像提供反映组织中代谢活性的三维图像体积，例如，脑区域，这是许多疾病的关键成像模式（例如，痴呆、癫痫、头颈癌）。与磁共振（MR）成像相比，典型的PET成像程序通常涉及放射性示踪剂注射以及与专用硬件和工具、后勤和专业知识相关的高成本。由于这些因素，磁共振-在临床和研究环境中，磁共振（MR）成像比PET成像普遍得多。在临床上，PET成像通常仅在收集了其他非侵入性方法的信息后才被考虑。对于许多研究来说，包括所有受试者的MR图像并不罕见，并且仅为较小的参与者子集采集专门的PET图像。其他用例。撇开MR和PET之间的成本差异问题不谈，由于成本以外的各种原因，研究中的一个（小或大）个体子集有一个或多个图像扫描不可用的情况并不少见。寻找方法“生成”一种类型的成像模态，给出另一种成像模态，这在社区中引起了相当大的兴趣，并且已经提出了许多想法[34]。这种策略如果有效，可以增加可用于统计分析的样本量，甚至可能用于训练下游诊断学习模型。相关工作。情态转移可以被认为是42，43，49，50]在医学图像的背景下，在这个领域出现了一些有趣的结果[13，17，23，28，32，34，44]。现有的方法，主要基于深度学习的模态转移，可以大致分为两类：自动编码器和生成对抗网络（GANs）[3，12，18]。回想一下，自动编码器由两个模块组成，编码器和解码器。编码器编码器将输入映射到隐藏码h，解码器将隐藏码映射到输出。 模型通过最小化具有标准范数（`1，`2）的输出欧几里德空间中的损失来训练。在[36]中介绍的U-Net结构通常用于利用本地和分层信息来实现准确的描述。虽然自动编码器的结构是优雅的，具有合理的效率，并且许多作者已经报告了良好的性能[32，37]，但是基于最小化`2损失的构造通常会产生模糊的输出，如10612图1：DUAL-GLOW框架。对于条件模块，分别添加和删除虚线和点线部分。彩色圆圈表示潜在代码，而灰色圆圈表示图像或中间输出。在[34]中观察到。部分由于这些原因，更多的近期著作研究了其他生成模型。最近，当今使用的突出生成模型之一GANs [12]在自然图像合成[3]中取得了很大成功，通过对抗过程估计生成模型。 尽管GAN在生成清晰的真实图像方面取得了成功，但它们通常会遭受“模式崩溃”，这往往会产生有限的样本种类[1，4]。 这个问题仅在医学图像中复合，其中最大模式可以简单地归因于大多数对象所共有的解剖结构。此外，与计算机视觉相比，医学成像中的样本量通常要小得多，这需要对架构和参数进行额外的调整，正如我们在实验中所发现的那样。基于流的生成模型。另一类方法，基于流的生成模型[7，8，21]，已经被提出用于变分推理和自然图像生成，并且直到最近才开始在计算机视觉社区中获得关注。[35]中提出的（归一化）流使用一系列可逆映射来构建概率密度的变换，以近似后验分布。该流程从初始变量开始，并将其映射到具有简单分布的变量（例如，各向同性高斯），类似于编码器网络中的推理过程。对于图像生成任务，初始变量是具有某些未知概率函数的真实图像。指定一个设计良好的推理网络，流程将在训练后学习准确的映射。由于基于流的模型是可逆的，通过从简单分布中采样并反向“流过”地图，合成图像是直接的。与其他生成模型和自回归模型[33]相比，基于流的方法允许在训练过程中进行易于处理和准确的对数似然评估，同时还在测试时从简单的先验分布中提供有效和准确的采样。差距在哪里？虽然基于流的生成模型在图像合成中已经取得了成功，但直接利用它们进行模态转换是不明智的。由于推理网络中的可逆性约束，很难将现有的基于流的方法应用于我们的任务。除了各种技术问题，考虑一个直观的例子。给定一个MRI，我们应该预期对应的PET图像会有许多解决方案，反之亦然。理想情况下，我们更倾向于模型提供给定MRI的PET的条件分布这项工作 出于上述考虑，我们提出了一种新的基于流的生成模型，DUAL-GLOW，用于MRI到PET图像生成。我们的模型的价值包括显式潜变量表示，精确和有效的潜变量推理，以及通过恒定的网络大小节省内存和计算的潜力。利用[21]在基于流的生成模型中的最新发展，DUAL-GLOW由两个可逆推理网络和一个关系CNN网络组成，如图1所示。我们采用了文献[8]中的多尺度结构和分裂技术，可以显著减少计算量和内存。两10613i=1i=112建立推理网络以将MRI和PET分别投影到两个语义上有意义的潜在空间中。构造了关系网络，对条件进行了估计设x是图像空间中的一个高维随机向量，其真实距离未知x 我们收集身份证。 数据集D，配对潜在代码之间的函数分布。 先前的-样本{xi}n并选择一个模型类pθ（x），DUAL-GLOW框架的使用特性使得能够在从MRI到PET图像的模态转换中实现特定的改进。采样效率使我们能够处理和生成完整的3D脑体积。基于附加信息的调节 而rameters 我们的目标是找到产生pθ（x）的参数，以最好地近似pθ（x）。这是通过对数似然的最大化来实现的1Xn从MRI直接产生PET具有很多实际用途，通常情况下，单个MRI可以L（D）=ni=1 logpθ（xi）。（一）对应于非常不同的PET图像，并且可以基于诸如年龄或疾病状态的附加信息来分辨哪些图像更有可能。然而，由于输入的MR图像和辅助信息之间的高度相关性，出现了挑战：传统的条件框架[21，29]在这种情况下不能有效地生成有意义的图像。为了准确地解释这种相关性，我们提出了一个新的条件框架，见图1，其中两个小的鉴别器（多层感知器，MLP）连接在顶部推理网络的末端，以忠实地提取图像中包含的边信息。在左可逆推理网络中协调的其余两个鉴别器与[10]中提出的梯度反向层（GRL）相结合，以排除除最顶层之外的潜码中存在的边信息。在训练之后，从条件分布中采样允许生成多样且有意义的PET图像。大量的实验表明，这种排斥结构的效率在条件框架的边信息操纵。捐款.该文件提供：（1）提出了一种新的基于流的情态迁移生成模型DUAL-GLOW。（2）从MRI生成完整的端到端PET图像，用于全三维体积。（3）一个简单的扩展，使副作用操纵（4）对DUAL-GLOW产生的PET图像的质量进行了广泛的实验分析，表明了直接应用于临床评估阿尔茨海默病（AD）的潜力2. 基于流的生成模型我们首先简要回顾基于流的生成模型，在典型的基于流的生成模型[7，8，21]中，x的生成过程以以下方式定义：z<$pθ（z），x=gθ（z），（2）其中z是潜在变量，并且pθ（z）具有（通常是简单的）易处理的密度，例如球形多变量高斯分布：pθ（z）=N（z; 0，I）. 功能gθ（·）可以对应于富函数类，但是是逆函数类。假设给定一个样本x，潜变量的推断可以通过z=fθ（x）=gθ-1（x）来完成。为了简洁起见，我们将省略fθ和gθ中的下标。我们专注于函数，其中f由一系列可逆变换组成：f=fk···f2<$f1，其中x和z之间的关系可以写为：x→f！1 h→f！2 h···→f！Kz.（三）这样的可逆变换序列也称为（归一化）流[35]。在通过（2）的变量变化规则下，给定样本x的模型（1）的对数概率密度函数可以写为：logpθ（x）= log pθ（z）+log |det（dz/dx）|（四）XK=log pθ（z）+ log |det（dhi/dhi-1）|（五）i=1其中为了简洁我们定义h0=x和hk=z标量值日志|det（dhi/dhi-1）|是雅可比矩阵行列式（dhi/dhi-1）的绝对值的对数，也称为对数行列式。虽然看起来很困难，但计算此值可能很简单对于某些转换选择，如前所述，帮助激发和展示我们的算法。基于流量的发电机[7]。对于变换{fi}k，该字符─迭代模型，例如， [21]第21话，典型的，角图像生成。在高级别上，这些方法将任务设置为计算具有未知分布的输入图像的对数似然。因为最大化该对数似然性是棘手的，所以设置流程以将数据投影到易于计算的新空间中，如下所述。10614设置流量时，有几个典型的设置，在可逆函数中，包括actnorms，可逆1×1卷积和仿射耦合层[21]。这里我们使用仿射耦合层，稍后将进一步详细讨论。有关这些映射的更多详细信息，我们请读者参考基于流的模型的现有文献，包括GLOW[21]。10615p i=1X图2：用于图像生成的DUAL-GLOW。图3：拆分。3. 导出DUAL-GLOW在本节中，我们将介绍用于跨模态传输的DUAL-GLOW框架我们首先讨论推导概率pθ（xp|Xm）。通过变量规则的变化，我们得到logpθ（xp|xm）= log（pθ（xp，xm）/pθ（xm））（8）的条件分布的PET图像给定的MR图像，然后提供有效的计算其对数似然的策略。然后，我们介绍了可逆流的结构，并显示了计算的Ja-=log pθ（zp|zm）+log|det(d(zp, zm)/d(xp,xm|det（dzm/dxm）|◆））|（九）cobian矩阵接下来，我们为我们的DUAL-GLOW框架构建了分层架构，与平面结构相比，它大大降低了计算成本。最后，边信息操作的条件结构=log pθ（zp|zm）+log（|det（dzp/dxp）|）的情况。（十）注意，（9）中的雅可比矩阵d（zp，zm）/d（xp，xm）实际上是分块矩阵是由额外的鉴别器得出的。条件分布的对数似然。让d（zp，zm）=dzp/dxpΣ0的情况。（十一）对应于MR和PET图像的数据被表示为d（xp，xm）0dzm/dxmDm和Dp。 从数据集Dm={xi}n，我们是m i=1对生成具有相同属性的图像感兴趣作为数据集Dp={xi}n中的图像。在我们的DUAL-GLOW模型中，我们假设存在基于流的可逆函数fp，其映射PET图像xp到zp=fp（xp）和基于流的可逆函数fm其将MR图像xm映射到zm=fm（xm）。的回想一下，计算这样一个矩阵的行列式是（见[38]），这直接导致（10）。在没有任何正则化的情况下，最大化这样的条件概率可能会使优化变得困难。因此，我们可以通过控制边际函数来添加正则化子。分布pθ（zm），这导致我们的目标函数潜变量zpzm帮助建立一个有条件的proba-Maxlogpθ（zp|zm）+log（|det（dzp）|）+λlog pθ（xm）概率pθ（zp|zm），由下式给出：p θ（zp|zm）= N（zp;μ θ（zm），σθ（zm））（6）fm，fp，μθ，σθ=log pθ（fp（xp））|fm（xmdxpdzp））+log（|det（）|）Dp由fp、fm、µθ和σθ组成的完整映射公式化了我们的DUAL-GLOW框架：+λlog（pθ（fm（xm）✓10616Mµ，θθ1Mdzm））|det（dx）|），（十二）其中λ是超参数，pθ（zm）=N（zm; 0，I），并且x→f-m！zσ-！z→f-p-！ x，（7）pθ（z|z）=N（z;μ（z），σ（z））。pmpθmθM参见图2。可逆函数fp和Fm被设计为基于流的可逆函数。p θ（z p）的均值函数μθ和方差函数σθ|zm）被假定为由神经网络指定。在这一代-在这个过程中，我们的目标是最大化log条件有趣的是，与GLOW相比，我们的模型不在计算中引入了更多附加复杂性。让我们看看原因。首先，将GLOW中的边缘分布pθ（z）替换为pθ（zp|zm）和pθ（zm），其仍然具有相似性。简单易处理的密度。 第二，而不是一个基于流的GLOW中的可逆函数，我们的DUAL-GLOW有两个pMp10617i=1i=1我Hi=1Mi=1我1基于流的可逆函数fp，fm。这些函数基于（12）并行设置，通过以下方式扩展模型大小：从层次结构的效率。流量f=fk···f2f1可以看作是一个层次结构。一个恒定的因素。对于两个数据集Dm={xi}n和DP={xi}n，m i=1p i =1基于流的可逆函数。在我们的工作中，我们使用仿射耦合层，以设计可逆函数fp和fm的流。在继续讨论细节之前，我们省略下标p和m以简化本小节中的符号第 可逆函数f由一系列变换f = fk···f2<$f1组成，如（3）中所介绍。在DUAL-GLOW中，{fi}k通过使用仿射耦合层[8]遵循这些方程：要使所有的特征都样品通过整个流程。遵循以前基于流的模型中的实现策略，我们使用分裂技术，以加快DUAL-GLOW在实践中，见图3。当样本x到达流中的第i个变换fi时，我们将hi-1分为两部分hi-1，1和hi-1，2，并且仅取hi-1，1至fi中的一个部分来得到hi= fi（hi-1，1）。另一部分hi-1，2被取出不需要进一步的转化。最后所有hi=fi（ hi-1）e8那些分裂的部分{h我2 }k-1和最高的h是和谐的，

下载后可阅读完整内容，剩余1页未读，立即下载