用变分自编码器和黎曼变分自编码器表示学习医学成像中的流形值数据的研究

1用变分自编码器和黎曼变分自编码器Nina Miolane斯坦福大学nmiolane@stanford.edu苏珊·霍姆斯斯坦福大学susan@stat.stanford.edu摘要流形值数据自然出现在医学成像中。例如，在认知神经科学中，脑连接分析基于对功能性磁共振成像（fMRI）时间序列相关性的分析，对不同脑区之间的共激活模式进行分析--因此，这一在这些研究中自然出现的挑战之一包括找到用于表示这种流形值和典型高维数据的低维子空间。传统的技术，如主成分分析，不适合处理非欧几里德空间，并且可能无法实现数据的低维表示-然而，这些技术的限制在于：（i）它们不利用连通体属于预先指定的流形的假设，因此丢弃信息;（ii）它们只能将线性子空间拟合在本文中，我们感兴趣的变种学习潜在的高度弯曲的流形值数据的子流形。受大脑连接体例子的启发，我们研究了一个潜变量生成模型，它具有为我们提供不确定性估计的额外好处-在我们考虑的医学应用中的关键量。虽然潜变量模型已经被提出来学习欧几里得数据的线性和非线性空间，或流形数据的测地线子空间，但不存在内在本文填补了这一空白，并制定了一个黎曼变分自动编码器与一个内在的生成模型的流形值数据。我们通过引入加权黎曼子流形的形式来评估它在合成数据集和真实数据集上的性能1. 介绍表示学习旨在将数据x转换为低维变量z被设计为对于任何下游机器学习任务（诸如聚类的探索性分析等）更有效。在本文中，我们专注于医学成像中自然出现的流形值数据的表示学习。功能磁共振成像（fMRI）数据通常被概括为作为相关矩阵，连接体属于对称正定矩阵锥。该锥可以自然地配备有黎曼流形结构，其已被证明可以改善分类任务的性能[1]。能够在预先指定的SPD流形内学习连接体的低维表示在不同的学科中寻找差异，并解决这个问题：来自不同受试者的脑连接体是否在相关矩阵的流形中形成一个低维子空间？如果是这样的话，每个受试者考虑到从z预测行为变量（如认知、情感或感觉过程的测量）的潜在下游医疗任务，我们寻求与z相关的不确定性测量。换句话说，我们对给定x的z的后验有兴趣。虽然生成模型捕获欧几里得数据的低维表示的文献很丰富，但这种方法通常不适合于流形值数据的分析。我们是否还能得出结论，在这些流形中的低维表示是不可实现的？上述技术确实受到限制，因为：或者（i）它们不利用关于数据（例如连接体）所属的已知流形的任何几何学知识;或者（ii）它们只能将线性（或测地线，即线性的流形等价物）子空间拟合到数据。在本文中，我们关注替代方案1450314504具有解决（i）和（ii）的潜变量生成模型。1.1. 相关工作关于多种学习方法有大量的文献。我们在这里回顾其中的一些，我们根据以下必要条件进行评估：• 该方法是否适用于流形值数据？• 对于欧几里德数据的方法：该方法学习线性或非线性流形，见图1（a，b）？• 对于面向黎曼流形的方法：该方法学习测地线（即线性子空间的流形等价物）还是非测地线子空间？空间，见图1（c，d）？• 该方法是否带有潜在变量生成模型？(a)（b）（c）（d）图1. (a)学习二维欧氏空间中的一维线性子空间;（b）学习二维流形（球面）中的测地线;（c）学习2D欧几里得空间中的1D非线性子空间;（d）学习2D流形（球面）中的非测地1D子空间。1.1.1学习线性和测地线子空间主成分分析（PCA）[15]学习线性子空间，而概率PCA（PPCA）和因子分析（FA）[25]在依赖于潜在变量生成模式的概率框架内实现相同的目标;参见图1（a）。这些技术是基于向量空间因此，研究人员开发了流形值数据的方法，考虑到几何结构;参见图1（b）。主 测 地 线 分 析 （ PGA ） [8 ， 23] ， 切 线 PGA（tPGA）[8]，测地线主成分分析（gPCA）[11]，主流[14]，重心子空间（BS）[17]学习“测地线”子空间的变体即在欧氏空间中的线性空间流形的推广。ProbablyPGA [29]实现了相同的目标，同时添加了一个在流形上生成数据的潜在变量模型。然而，这些方法受限于可以拟合到数据的子流形的类型，或者线性的，或者线性的。测地线-线性子空间到流形的推广。这种限制既可以被认为是优点，也可以被认为是缺点。虽然它可以防止过度拟合过于灵活的子流形，但它也可以防止该方法捕获可能的非线性效应。随着当前数据集大小的爆炸（即使在历史上小得多的生物医学成像数据集内），似乎对灵活的子流形学习技术的研究具有至关重要的意义。1.1.2学习非线性和非测地子空间虽然学习非线性流形从Eu-clidean数据的方法很多（见图1（c）），那些提供了一个潜在的变量生成模型是稀缺的。核PCA[21]，多维缩放及其变体[6，3]，Isomap [24]，局部线性嵌入（LLE）[20]，Laplacian特征映射[2]，Hessian LLE [7]，最大方差展开[28]等，学习数据的低维表示，但不提供潜在变量生成模型，也不提供恢复子模型的参数化。空间相比之下，主曲线和曲面（PS）[9]和自动编码器将非线性流形拟合到数据，并对该流形进行显式参数化。然而，这个框架不能直接转移到非欧几里德数据，最近已经推广到黎曼流形上的主曲线[10]。据我们所知，这是黎曼流形上非测地子流形学习的唯一方法（见图1（d））。在[4]中，对于欧几里得情形，而不是流形情形，提出了主曲线的概率方法。类似地，开发可变自动编码器（VAE）[12]以提供用于自动编码器的潜变量生成模型。然而，它们不适用于流形值数据。为了创建流形值数据的潜变量生成模型，我们可以通过添加生成模型来概括流形上的主曲线，或者针对流形值数据来概括VAE主曲线需要一个参数化的曲线，涉及一个离散的点集。由于所需的点的数量随着估计表面的维度呈指数增长，因此将该方法扩展到高维主表面变得更加困难。因此，我们选择将VAE推广到流形值数据。本文介绍了黎曼VAE，一种内在的方法，提供了一个灵活的生成模型的数据在一个预先指定的人- ifold。我们强调，我们的方法并不等于将流形嵌入到更大的欧氏空间中，训练VAE，并投影回原始流形- 这是一种没有数据的内在生成模型的策略。 我们实施并比较了两种冰毒-14505k=1µ，θ在第6节中的ODS。1.2. 贡献和概述本文介绍了内在黎曼VAE，流形值数据的子流形学习技术。在简要回顾（欧几里德）VAE，我们提出了我们的黎曼推广。我们展示了黎曼VAE如何推广VAE和概率主测地线分析。我们提供的理论结果描述，ING家庭的子流形，可以学习的黎曼方法。为此，我们引入了正式的-其可以方便地重写为：L1（x，θ，φ）= l（θ，x）− KL（q φ（z|x）p θ（z|x））=Eqφ（z）[log p θ（x|z）] − KL（q φ（z|（x）p（z））=Lrec（x，θ，φ）+Lreg（x，φ），其中，项Lrec（x，θ，φ）和Lreg（x，φ）分别被解释为重构目标和潜变量上的先验的从几何的角度来看，VAE学习流形N=N=f（RL），用于估计真实子人，加权黎曼子流形及相关θ θLfθ=fθ（R）。 近似分布-Wasserstein距离这种形式主义也允许给出一个在子流形学习的上下文中，一致性的定义是有意义的。我们用它来研究VAE和黎曼VAE学习技术的性质，理论的例子和合成数据集。最后，我们将我们的方法应用到实际数据中，将其应用到连接体数据的分析中。2.黎曼变分自编码器2.1. （Euclidean）VAE我们首先设置的基础上，变自动-编码器（VAE）[12，19]。 考虑一个数据集x1，...， xn∈作用q φ（z|x）可以被看作是的（非正交）投影x在子空间Nθn上具有相关的不确定性y。中文（简体）塞吉LCITD研发部VAE将每个数据点xi建模为从非线性概率模型生成的随机变量Xi的实现，其中低维潜在变量Zi取值于RL，其中L D，例如：Xi=fθ（Zi）+fθi，（1）其中Z i= N（0，IL）i.i.d. 并且R1表示i.i.d. 测量噪声按σi<$N（0，σ2ID）分布。 函数f θ属于由θ参数化的非线性生成模型族F，并且通常由称为解码器r的神经网络表示，使得：图2.变分自动编码器的生成模型潜在空间RL和数据空间RD。 潜变量zi从RL上的标准多元正态分布中采样，并通过嵌入f θ嵌入到RD中。数据xi是通过添加多元各向同性高斯噪声生成的，研发部2.2. 黎曼VAE（rVAE）我们将VAE的生成模型推广到数据集x1，...，xn在黎曼流形M.我们需要调整（欧几里得）VAE的两个方面：嵌入Kk=1g（wk·+bk），其中k表示以下的组成：函数fθ参数化子流形，噪声函数，K为层数，g为激活函数，而wk、bk是层的权重和偏置我们记为：θ={w k，bk}K。该模型如图2所示。VAE追求双重目标：（i）它学习数据生成模型的参数θ;以及（ii）它学习近似值q φ（z|x），在由φ参数化的变分族Q内，隐变量的后验分布。生成模型F和变分族Q的类通常是固定的，作为VAE架构设计的一部分VAE实现了其最大化证据下限（ELBO）流形M上的模型。关于黎曼几何的细节，我们参考补充材料，特别是指数映射，黎曼距离和Fre'chet平均值的概念。2.2.1嵌入设μ∈M 是 流形 上 的 一个 基 点 。We con-sider thefamily of functions fθ : RL›→RD≃TµM that areparameterized by a fully connected neural net-参数θ的功，如VAE模型。我们定义一个新的函数族，其值在M上，通过考虑：定义为：L1（x，θ，φ）=Eqφ（z|x）ΣΣlogpθ（x，z）q φ（z|x）、（二）塞吉公司简介���Π14506fM （ · ） =ExpM（μ，fθ（·））作为从 RL到M的嵌入，其中Exp M（μ，·）是M在μ处的黎曼指数映射.14507我θ我θDD2.2.2噪声模型我们从VAE生成模型中推广高斯分布黎曼流形上的高斯分布有几种推广[16]。为了有一个易于处理的表达式来合并到我们的损失函数中，我们考虑[16]的熵特征的最小化塞吉L1p（x|µ，σ）=expC（ µ，σ）.d（μ，x）2μ m-2σ2、（3）图3.提出了一种隐空间为RL、数据空间为M的黎曼变分自动编码器的生成模型.潜在变量其中C（μ，σ）是归一化常数：zi从标准多元正态分布中采样，RL，通过嵌入fμ，θ嵌入M。数据∫C（ µ，σ）=Mexp.d（μ，x）2μ m-2σ2dM（x），（4）xi是由M中的黎曼多元各向同性高斯噪声相加而产生的。dM（x）是流形M在x处的体积元。我们称这种分布为（各向同性）黎曼高斯分布，并使用符号x<$NM（μ，σ2ID）。我们注意到，这种噪声模型可以重新-PPGA模型.ΣXi|Zi<$NMExpM（μ，W Z），σ2和Z<$N（0，IL），（六）当解码器是线性神经网络时：fθ（z）=Wz在流形M上以不同的分布放置，例如M上的非各向同性高斯噪声的推广。2.2.3生成模型我们介绍了黎曼VAE（rVAE）的生成模型，用于数据集x1，…，x n在黎曼流形M上：对于z∈RL.PPGA中的推理最初是用一个Monte-Carlo期望最大化（MCEM）方案[29]。相比之下，我们的方法适合PPGA模型与变分推理，我们将在第4节中看到。已知变量推断方法比蒙特卡罗方法准确性低，但速度快。因此，我们的训练过程允许在PPGA模型中加速学习。.ΣXi|Zi=NMEx pM（μ，fθ（Zi）），σ2和Zi∈ N（0，IL），（五）3. rVAE的表达性其中fθ由神经网络表示，来表示可能高度“非测地”的子流形。该模型如图3所示。黎曼VAE模型将由平滑嵌入fM定义的嵌入子流形N参数化为：N=fM（RL）=ExpM（μ，f（RL）），（7）从几何角度来看，拟合此模型可以学习θθ一个子流形N=ExpM（μ，f（RL）），设计用来估计其中f是由神经网络表示的函数，θ θθ在流形M中满足真Nθ=ExpM（μ，fθ（RL））.近似分布q φ（z|x）可以看作是x在子流形Nθn上的一个（非正交）投影.3.1.1链接到VAE和PPGArVAE模型是VAE和概率PGA（PPGA）模型的自然扩展。 我们记得，对于M=RD，指数映射是加法运算，Exp RD（μ，y）=μ+y。此外，黎曼高斯分布简化 为 多 变 量 高 斯 分 布 NRD （ μ ， σ2I ） =N （ μ ，σ2I）。因此，当M=RD时，VAE模型与VAE模型一致。此外，黎曼VAE模型符合一个光滑的激活函数，参数μ被吸收在fM中的符号θ中。非线性函数fθ的灵活性允许rVAE参数化嵌入流形，这些流形在一点上不一定是测地线。一个自然产生的问题是：rVAE能表示M的任意光滑嵌入子流形N吗？我们给出的结果，依赖于神经网络的普适性近似定理，它描述了嵌入的子流形，可以表示与rVAE。3.2. 加权黎曼子流形我们引入了加权子流形的概念，并提出了相关的形式主义的Wasserstein距离来分析M的一般子流形和M的rVAE参数化子流形之间的差异。中文（简塞吉电子邮件：14508T、Dφ+定义1（加权（子）流形）给定一个完整的N维黎曼流形（N，gN）和一个光滑的概率分布ω：N→R，与N和ω相关的加权流形（N，ω）被定义为三元组：（ M ， gN ， dν=ω.dN ） ，（8）其中dN表示N的黎曼体积元。黎曼VAE框架参数化命题1设（NT，ν T）是M的一个加权黎曼子流形，嵌入到M的一个同胚于RL的子流形L中，且存在一个嵌入f M，证明：ν T= f M <$µ T. 假设前-其中V（ μ）是黎曼外射的M在μ处的电势。然后，对于任何0<$1，存在一个黎曼VAE，其解码器由神经网络fθ表示，由θ参数化，使得：加权子流形定义为：Nθ：（fM（RL），gM，fM<$N（0，IL）），（9）d2（NT，Nθ，T）

下载后可阅读完整内容，剩余1页未读，立即下载