用于学习物理系统非线性动力学的变分自编码器Ryan Lopez，3Paul J. Atzberger 1，2，+*1加州大学圣巴巴拉分校数学系。2加州大学圣巴巴拉分校机械工程系。3加州大学圣巴巴拉分校物理系。+atzberg@gmail.comhttp://atzberger.org/摘要我们开发了数据驱动的方法，将物理信息的先验学习简约表示的非线性系统所产生的参数化偏微分方程和力学。我们的方法是基于变分自动编码器（VAE）学习非线性状态空间模型的观察。我们开发的方法，将几何和拓扑先验通过一般流形潜在的空间representations。我们研究我们的方法学习低维表示的非线性Burgers方程和约束力学系统的性能介绍从观测的时间序列学习动力学模型的一般问题68，47，50，52，32，19，23]，对照[9，51，60，63]，统计学[1，48，26]和机器学习[15，35，46，58，3，73]。在控制和工程中称为系统辨识，许多方法已经从线性动态系统（LDS）开始发展。这些包括卡尔曼滤波器和扩展[39，22，28，70，71]，原理性分解（POD）[12，49]，以及最近的动态模式分解（DMD）[63，45，69]和Koop。操作员接近[50，20，42]。 这些成功和广泛使用的方法依赖于模型结构的假设，最常见的是，时不变LDS提供良好的局部近似或噪声是高斯的。也有研究更一般的非线性系统识别[1，65，15，35，66，47，48，51]。由于非线性动力学行为的丰富性，非线性系统提出了许多开放性的挑战和较少的统一方法对于系统的类别和特定的应用领域，已经开发出了对动态基础结构进行不同程度假设的方法。学习非线性动力学的方法包括基于神经网络和其他模型的函数逼近器的NARAX和NOE方法*工作得到DOE Grant ASCR PHILMS DE-SC 0019246和NSFGrant DMS-1616353的资助。版权所有© 2021本文由其作者。允许使用Creative Commons License Attribution 4.0 International（CCBY 4.0）.类[51，67]，稀疏符号字典方法，如SINDy [9，64，67]和动态贝叶斯网络（DBN），如隐马尔可夫链（HALGORY）和隐藏物理模型[58，54，62，5，43，26]。学习非线性动力学的一个核心挑战是获得不仅能够再现在训练数据集中直接观察到的类似输出的表示，而且能够推断出能够在多个未来步骤和输入状态上提供稳定的更长期外插能力的结构。 在这项工作中，我们开发的学习方法，旨在获得强大的非线性模型，提供的方法，以纳入更多的结构和信息的基础系统相关的平滑性，周期性，拓扑结构，和其他约束。我们特别关注开发Prob-自编码器（PAE），该编码器将基于噪声的正则化和先验知识结合起来，从观察中学习低维表示这为建立非线性状态空间模型进行预测提供了基础我们开发的方法纳入这样的表示几何和拓扑信息的系统。 这便于捕获动态的定性特征，以增强鲁棒性并有助于结果的可解释性。我们证明和执行调查我们的方法，以获得模型减少参数化偏微分方程和受约束的机械系统。使用变分自编码器（VAE）学习非线性动力学我们基于变分自动编码器（VAE）框架开发数据驱动方法[40]。我们从观测数据中学习一组用于预测动态的低维表示。在实践中，数据可以包括实验测量、大规模计算模拟或我们寻求简化模型的复杂动力系统的解。约简有助于深入了解一类输入或物理机制，从而了解产生所观察到的行为的潜在机制 简化的描述也有助于控制器设计和开发中的许多优化问题[51]。标准的自动编码器可以导致产生系统特征z的非结构化分散的不连接编码点的编码。VAE提供了概率编码器和解码器，→∈ UL∼∼∼L0BDLeeθ，θeeD一eL RE =Eqθ（z X（i））<$logpθ（x|z)ΣD编码器，其中噪声提供正则化，促进更多的连接编码，对输入的更平滑的依赖，以及更多的解纠缠特征分量[40]。正如我们将要讨论的那样，我们还将其他正则化引入我们的方法，以帮助解释学习到的潜在表征。图1：学习非线性动力学。数据驱动的方法被开发用于学习鲁棒模型，以预测从u（x，t）到u（x，t +τ）的PDE和其他动力系统的非线性演化。概率自动编码器（PAE）用于学习具有指定几何和拓扑性质的低维潜在空间中的u（x，t）的表示z。 该模型使用可学习的映射进行预测，（i）对输入u（x，t）进行编码作为潜在空间中的z（t）（顶部），（ii）演化表示z（t）z（t+τ）（右上），（iii）解码表示z（t+τ）以预测u（x，t+τ）（右下）。我们使用最大似然估计（MLE）方法学习VAE预测因子，其对数似然（LL）LL= log（pθ（X，x））。对于u（s）的动力学，设X=u（t）且x=u（t+τ）。我们将pθ基于自动编码器框架图2：可变自动编码器（VAE）。 VAE [40]用于学习非线性动力学的表示。深度神经网络（DNN）被训练为（i）充当特征提取器以将函数u（x，t）及其在低维潜在空间的演变表示为z（t）（编码器qθe），以及（ii）充当近似器，其可以使用特征z（t+τ）（解码器）来构造预测u（x，t+τ）。θd）。估计编码器-解码器使用代码z′和z来再现所观察的数据样本对（X（i），x（i））。在这里，我们包括一个由θA参数化的潜空间映射z′=fθl（z），我们可以用它来表征系统的演化或进一步的预测。特征的切割。X（i）是输入，x（i）是输出预测。对于动力系统，我们取X（i）ui（t）为初始状态函数ui（t）的样本，输出x（i）ui（t+τ）为预测状态函数ui（t+τ）。我们将讨论更多中使用的特定分布详情如下。KL项涉及Kullback-Leibler散度[44，18]，其作用类似于潜在空间上的贝叶斯先验，以正则化编码器条件概率分布，使得对于每个样本，该分布类似于在图1和图2中。我们使用变分推理来近似-p θd。 我们取p θd= η（0，σ）为多元高斯分布，2通过证据下限（ELBO）匹配LL [7]，使用编码器和解码器基于最小化损失函数联系我们argmin−LB（θ，θ，θ;X（i），x（i）），eDL=L RE+ L KL+ L RR，（1）(i)′e|独立的组件。 这用于（i）将特征彼此解开以促进独立性，（ii）提供用于编码z的参考标度和定位，以及（iii）促进利用较小差异的简约代码。如果可能的话，DRR项给出了一个正则化，该正则化促进了z中的保留信息，因此编码器-解码器对可以重构函数。正如我们将要讨论的，这也促进了多步骤一致性潜在空间的LKL=−βDKL.qθ（z|X（i））<$p<$θ（z）<$预测和帮助模型的可解释性。我们使用特定的编码器概率分布LRR=γEqθe（z'|x（i））logpθ（x|z）N。(i)′D条件高斯函数z <$qθe（z|X）=a（X，x）+㈠㈠㈠q表示编码概率分布，并且其中η是具有方差σ2的高斯分布，（即，θeieieBXX2pθd是解码概率分布。损失l = −LE[z] = a，Var [z] =σ）。人们可以认为有学问的人提供了MLE的正则化形式LRE和LKL这两个项是由ELBO变分法产生的VAE中的平均函数a对应于典型编码器a（X（i），x（i）;θe）=a（X（i）;θe）=z（i），当β= 1时，有界LLL ≥ LRE+ LKL，[7].这提供了变差函数σ2=σ2（θe）作为a的控制·→MMME→M∈M∈nn+1个i=1n噪声源以进一步正则化编码。在其他属性中，这促进了潜在空间代码的集合的连通性。对于VAE解码器分布，我们tak expθ（x|z（i））=b（z（i））+η（0，σ2）. 所学习的相关工作已经开发了自动编码器的许多变体，用于对顺序数据进行预测，包括基于dd关于使用LSTM的递归神经网络（RNN），以及平均函数b（z（i）;θe）对应于典型的解码器方差函数σ2=σ2（θd）控制震源GRU [34、29、16]。虽然RNN提供了丰富的近似值，e e噪音的规则化类的顺序数据，他们提出的动态系统-在VAE框架中要学习的项是（a，σe，fθl，b，σd），其由θ=（θ，θ，θ）参数化。项目的可解释性和训练的挑战，以获得预测稳定的许多步骤与鲁棒性对噪声的训练数据集。自动编码器也已被edA. 在实践中，处理方差是有用的结合符号字典学习，σ（）最初作为超参数。我们通过训练进化对的样本来学习动态的预测器{（ui，ui ）}m，其中i表示样本索引，并且在[11]中的动态提供了一些可解释性和鲁棒性的优点神经网络Incori=ui（tn）其中tn=t0+nτ。也已经开发出了传送物理信息的技术，为了进行预测，学习模型使用以下阶段：（i）从u（t）中提取特征z（t），（ii）进化z（t）z（t+τ），（iii）使用z（t+τ）预测uτ（t+τ），总结见图1。通过组成潜在的演化图，该模型对动态进行多步预测流形隐空间的学习非欧几何与拓扑对于许多系统，可以通过使用非欧几里德流形潜在空间来获得简约表示，例如双周期系统的环面或甚至不可定向的流形，例如成像和感知研究中出现的克莱因瓶[10]。为此目的，我们学习到以下形式的指定流形M的映射族上的编码器E：z=E φ（x）=Λ（Eφ（x））=Λ（w），w=Eφ（x）.我们取映射<$φ（x）：xw，我们代表 R 2 m中维数为m的光滑闭流形，由惠特尼嵌入定理[72]支持。 Λ将点wR2 m映射（投影）到流形表示zR2m。在实践中，我们通过两种方式来实现这一点：（i）我们提供解析映射Λ到，（ii）我们提供目标流形的高分辨率点云表示以及局部梯度，并将Λ量化映射到上的最近点。我们在附录A中提供了更多细节。这使我们能够学习VAE与潜在空间的z一般指定的拓扑结构和可控的几何结构。球面、环面、Klein瓶的拓扑与Rn的拓扑有本质的不同. 这使得新类型的先验，如均匀的紧凑的流形或分布，具有更多的对称性。如我们将讨论的，附加的潜在空间结构还有助于学习对噪声不太敏感的更鲁棒的表示，因为我们可以减轻编码器和解码器必须学习嵌入几何形状的负担，并避免它们错误使用额外潜在空间维度的可能性。 我们也有统计增益，因为解码器现在只需要从流形中学习一个映射来重建x。这些更简洁的表示也有助于模型的可识别性和可解释性。在训练期间施加稳定性条件[53，46，24]。[17]的工作研究了将RNN与VAE相结合，以获得更强大的序列数据模型，并考虑与处理语音和手写相关的任务。在我们的工作中，我们学习动态模型，利用VAE来获得欧几里得和非欧几里得潜在空间之间的概率编码器和解码器，以提供ad-bandwidth正则化，以帮助促进简约性，特征的解纠缠，鲁棒性和可解释性。用于动力系统的先前VAE方法包括[31，55，27，13，55，59]。这些工作使用primary-ily欧几里德潜在空间，并考虑应用，包括- ING人体运动捕捉和ODE系统。将拓扑信息纳入潜在变量表示的方法包括Kohonen关于自组织映射（SOM）[41]和Bishop关于基于密度网络的生成拓扑映射（GTM）的早期工作，这些工作提供了生成方法[6]。最近，使用非欧几里德潜在空间的VAE方法包括[37，38，25，14，21，2]。其中包括geom的作用通过增加潜在空间上的先验分布p∈θd（z）使其偏向于流形。 在最近的工作[57]中，引入了一个显式投影过程，但在少数流形具有解析投影映射的特殊情况下。在我们的工作中，我们开发了更一般的潜在空间表示，包括非定向流形，参数化偏微分方程和约束力学系统的应用程序的进一步方法。我们介绍了非欧几里德潜在空间的更一般的方法，包括流形的点云表示以及可以在一般反向传播框架内使用的局部梯度信息，见附录A。这也允许流形的情况下，是不可定向的，并具有复杂的形状。我们的方法提供了灵活的方法来设计和控制的拓扑结构和几何形状的潜在空间合并或减去形状或拉伸和收缩区域。我们还考虑了其他类型的正则化学习动力学模型，促进多步预测和更可解释的状态空间模型。在我们的工作中，我们还考虑了非线性偏微分方程的简化模型，如Burgers方程，以及更一般的约束力学系统的学习表示。 我们还研究了与其他数据驱动模型进行比较的非线性的作用。uCH∫×阿克斯U--−S U| | ≤∈CHSSUF {−}FCH F CH{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy110}U.结果流体力学的Burgers考虑非线性粘性Burgersut=−uux+νuxx，（2）其中v是粘度[4，36]。我们考虑了n = [0，1]上的周期边界条件.Burgers方程是一种用于平流输运和激波的流体力学的机理模型，并作为分析和计算方法的广泛使用的基准。非线性Cole-Hopf变换可用于将Burgers方程与线性扩散方程φt=νφxx联系起来[36]。这提供了解决方案u的表示深 度 神 经 网 络 （ DNN ） ， 层 大 小 （ in ） -400-400-（out），ReLU激活，γ = 0。5，β= 1，初始标准差σd=σe= 4 10−3。我们在图3和表1中显示了我们的VAE模型预测φ（x，t）=CH[u] =exp1x−2νu（x′，t）dx′阶u（x，t）=CH−1[φ]=−2νlnφ（x，t）.（三）这可以用傅里叶展开表示∞φ（x，t）=k=−∞φk（0）exp（−4π2k2νt）·exp（i2πkx）.的φ（0）=F[φ（x，0）]和φ（x，t） =图3：Burgers方程：动力学预测。我们kk考虑对于U 1={u |u（x，t; α）= α sin（2πx）+−1[φk（0）exp（4π2k2νt）]与F 变 换 。这提供了一个分析代表- 粘性Burgers方程的解u（x，t）=−1[φ（x，t）]其中φ（0）=的[u（x，0）]]。一般来说，对于初始条件在一类函数内的非线性偏微分方程，我们的目标是学习提供近似演化的预测u（t+τ）=τu（t）算子τ在时间尺度τ上的变化。对于Burgers方程，提供了一种分析方法，通过截断傅立叶展开到knf/2来获得降阶模型。这为Burgers方程提供了一个基准模型，用于比较我们学习的模型。对于一般的偏微分方程，通常没有可比的分析表示，激励数据驱动的方法的发展。当初始条件来自一组函数时，我们提出了学习非线性Burgers方程响应降阶模型的VAE方法。我们学习从u（x，t）潜在变量z（t）中提取以预测u（x，t+τ）的VAE模型。考虑到表示的非唯一性，为了提高模型的可解释性，我们引入了归纳偏差，即z的潜在空间中的演化动力学是线性的，形式为zstec =λ0z，给出指数衰减率λ0。为了-在特定的时间内，我们设ezn+1=fθl（zn）=exp（λ0τ）zn，其中θA=（λ0）。我们仍然考虑由深度神经网络表示的编码器和解码器的一般非线性映射我们通过抽取ui（x，ti）的m个样本，在对（u（x，t），u（x，t+τ））上训练模型ti，它在Burgers方程ui（x，ti+τ）下产生时间尺度τ上的演化态。 我们进行VAE研究，参数为ν= 2× 10−2，τ=2。5×10−1，带VAE（1α）cos3（2πx）。 对u在满足方程2的时间尺度τ上的演化进行了预测，初始条件为1。 我们发现我们的非线性VAE方法能够学习2个潜在维度的动态错误<百分之一。 诸如具有3种模式的DMD [63，69]等方法只能使用单个线性空间来近似初始条件和预测，在近似非线性演化时遇到挑战。 我们发现我们的线性VAE方法提供了一些改进，通过允许使用不同的线性空间来表示输入和输出函数，但以额外的计算为代价。结果总结见表1。我们通过与动态模式分解（DMD）[63，69]，正交分解原理（POD）[12]和我们的VAE方法的线性变体 最近的CNN-AE也研究了非线性近似的相关优势[46]。我们的工作中的一些区别是使用VAE进一步正则化AE，并使用拓扑潜在空间来促进结构的进一步捕获。DMD和POD是一种应用广泛且成功的方法，其目的在于找到一个最优的线性空间，在该空间上投影动力学并学习系统行为的线性演化规律。 DMD和POD已经成功地获得了许多应用的模型，包括稳态流体力学和传输问题[69，63]。然而，鉴于其固有的线性近似，它们可能会遇到与平移和旋转不变性相关的众所周知的挑战，如平流现象和其他设置中出现的[8]。我们的比较研究可以在0·∈ U/∈ U∈∈ǁǁǁǁE.- 是的ΣM∈22方法昏暗0.25s0.50s0.75s1.00sVAE非线性24.44e-35.54e-36.30e-37.26e-3VAE线性29.79e-21.21e-11.17e-11.23e-1DMD32.21e-11.79e-11.56e-11.49e-1POD33.24e-14.28e-14.87e-15.41e-1科尔-霍普夫-225.18e-14.17e-13.40e-11.33e-1科尔-霍普夫-445.78e-16.33e-29.14e-31.58e-3Cole-Hopf-661.48e-12.55e-39.25e-57.47e-6γ0.00s0.25s0.50s0.75s1.00s0.001.600e-016.906e-031.715e-013.566e-015.551e-010.501.383e-021.209e-021.013e-029.756e-031.070e-022.001.337e-021.303e-029.202e-038.878e-031.118e-02β0.00s0.25s0.50s0.75s1.00s0.001.292e-021.173e-021.073e-021.062e-021.114e-020.501.190e-021.126e-021.072e-021.153e-021.274e-021.001.289e-021.193e-027.903e-037.883e-039.705e-034.001.836e-021.677e-028.987e-038.395e-038.894e-03图4：Burgers方程：潜在空间表示和外推预测。本文给出了输入函数u（t; α）1的动力学的潜空间表示Z. VAE为u将参数α（蓝绿色）中的学习表示z（α，t）组织成在时间参数t，（黄橙色）（左）。使用γ的重建正则化对齐潜在空间中动力学的后续时间步长，从而促进多步预测。学习的VAE模型表现出一定程度的外推，即使对于训练数据集之外的一些输入u1也可以预测动态（右）。表1.我们还考虑了当调整β-VAE[33]中先验p的强度的参数β和反射正则化的强度的γ时，我们的VAE方法的表现。 重建正则化对VAE如何组织潜在空间中的表示以及动态预测的准确性具有显著影响，特别是在多个步骤中，参见图4和表1。正则化用于在潜在空间中一致地对齐表示，从而促进多步合成。我们还发现我们的VAE学习表示能够在训练数据集之外进行一定程度的外推。当改变β时，我们发现较大的值提高了多步精度，而较小的值提高了单步精度，参见表1。表1：Burgers方程：预测精度。重建L1-我们的VAE方法、动态模型分解（DMD）和主正交分解（POD）以及Cole-Hopf（CH）的减少在多步和潜在维数（Dim）上预测u（x，t）的相对误差（顶部）。当改变重建正则化γ和先验β（底部）。将两个位置x1，x2R2取为x=（x1，x2）R4。当段被刚性约束时，这些配置位于流形（环面）上。我们还可以允许线段延伸，并考虑更多的外部约束，例如R 4中的两个点x1，x2必须在克莱因瓶上。相关情况出现在成像和力学的其他领域，例如姿态估计和视觉感知的研究[56，10，61]。对于手臂力学，我们可以利用这一先验知识构造一个由两个圆S1×S1的乘积空间表示的环面潜空间. 为了获得一个可学习的类mani-折叠编码器，我们使用映射族Eθ=Λ（Eθ（x）），将θ（x）代入R4，且Λ（w）=Λ（w1，w2，w3，w4）=（z1，z2，z3，z4）=z，其中（z1，z2）=（w1，w2）/（ w1 ， w2 ） ， （ z3 ， z4 ） = （ w3 ， w4 ） / （ w3 ，w4），见VAE部分和Ap-pennessee A.对于klein瓶约束的情况，我们使用我们的点云表示的不可定向流形与参数化嵌入在R4z1=（a+bcos（u2））cos（u1）z2=（a+bcos（u2））sin（u1）z3=bsin（u2）cosu1z4=bsin（u2）sinu1，约束力学：使用非欧几里德潜在空间学习为了学习物理系统的更简约和鲁棒的表示，我们开发了具有比欧几里得空间更一般的几何和拓扑的潜在空间的方法。 这有助于捕捉固有结构，如周期性或其他对称性。我们考虑具有约束力学的物理系统，例如图5中用于够取物体的手臂力学。观察-其中u1，u2[0，2π]。Λ（w）被认为是到流形最近点的映 射 ，我们在数值上计算该映射以及反向传播所需的梯度，如附录A中所讨论的。我们的VAE方法使用编码器和解码器DNN进行训练，DNN 我们发现学习表示通过使用流形潜在空间得到了改进，在这些tri-als中甚至显示出比R 4略高的优势。当错误的∈M环面时代方法100020003000最终VAE 2-歧管6.6087e-026.6564e-026.6465e-026.6015e-02VAER21.6540e-011.2931e-019.9903e-028.0648e-02VAER48.0006e-027.6302e-027.5875e-027.5626e-02VAER108.3411e-028.4569e-028.4673e-028.4143e-02噪声σ0.010.050.10.5VAE 2-歧管6.7099e-028.0608e-021.1198e-014.1988e-01VAER28.5879e-029.7220e-021.2867e-014.5063e-01VAER47.6347e-029.0536e-021.2649e-014.9187e-01VAER108.4780e-021.0094e-011.3946e-015.2050e-01克莱因瓶时代方法100020003000最终VAE 2-歧管5.7734e-025.7559e-025.7469e-025.7435e-02VAER21.1802e-019.0728e-028.0578e-027.1026e-02VAER46.9057e-026.5593e-026.4047e-026.3771e-02VAER106.8899e-026.9802e-027.0953e-026.8871e-02噪声σ0.010.050.10.5VAE 2-歧管5.9816e-026.9934e-029.6493e-024.0121e-01VAER21.0120e-011.0932e-011.3154e-014.8837e-01VAER46.3885e-027.6096e-021.0354e-014.5769e-01VAER107.4587e-028.8233e-021.2082e-014.8182e-01图5：使用多重潜在空间的运动VAE表示. 我们从观测中学习，用一般的非欧流形潜在空间M表示约束力学系统。 手臂光甲-表2：流形隐变量模型：VAE重建误差我们的VAE方法重建的L2最后一个是训练期间的最低值。流形潜在空间显示出改进的学习。当使用不兼容的拓扑时，例如R2，这可能导致学习表示的恶化。在输入中有噪声的情况下，Xη=X+ση（0，1）并且重建Anism具有构型x=（x1，x2）R4。对于刚性段，运动被约束在流形（环面）R4上.对于可扩展的片段，我们还可以考虑更多的外来约束，例如要求x1，x2在R4（顶部）中的克莱因瓶上。我们的VAE方法的结果示出了在这些约束下的运动的学习表示的ODSVAE学习段长度约束和两个几乎解耦的坐标的环面数据集，模仿角度的作用。VAE为klein bottle数据集学习两个段运动以生成配置（中间和底部）。目标X，流形潜在空间也显示出学习的改进。限制更可能使用公共潜在表示。对于d> 2的R d，潜在空间中的无关维度可能导致编码器对噪声的过拟合。我们看到，随着d变大，重建精度降低，见表2。 这些结果表明几何先验如何帮助学习受限的机械系统。拓扑结构，如在R2中，我们发现在这两种情况下重建精度的显著恶化，见表2。这是因为编码器必须是连续的，并且要避免噪声正则化。这导致对于配置的子集的发生的惩罚。编码器表现出非注入性和快速加倍回空间，以适应解码器通过排队附近的配置在输入空间流形的拓扑结构，以处理噪声扰动在z从编码的概率性质。 我们还研究了当用噪声训练X_n=X+σ_n（0，1）时的鲁棒性和测量重建相对于目标X的准确度。 随着噪声的增加，我们看到流形潜在空间通过限制表示来提高重建精度。概率解码器将倾向于学习估计公共底层配置的样本上的平均值，并且具有流形潜在空间结论我们开发了VAE的学习鲁棒非线性动力学的物理系统，通过引入方法的潜在表示利用一般的几何和拓扑结构。我们展示了学习偏微分方程和约束机械系统的非线性动力学的方法。我们希望我们的方法也可以用于其他物理相关的任务和问题，以利用先验的几何和拓扑知识来改善非线性系统的学习。致谢作者的研究得到了DOE Grant ASCR PHILMS DE-SC 0019246和NSF Grant DMS-1616353的资助还有R.N.L.由UCSB CCS SURF计划捐助者提供支持。作者还认可UCSB科学计算中心NSF MR-SEC（DMR 1121053）和UCSB MRL NSFCNS-1725797。P.J. A我还要感谢英伟达的硬件资助⟨⟩引用[1] Archer，E.;帕克岛 M.; Buesing，L.; 坎宁安，J。和Paninski，L. 2015.状态空间模型的黑箱变分推理 。 arXiv 预 印 本 arXiv ： 1511.07367URLhttps://arxiv.org/abs/1511.07367.[2] Arvanitidis，G.;汉森湖K.的;和Hauberg，S. 2018.潜空间奇点：关于深层生成模型的曲率 在国际学习代表会议上。网址https://openreview.net/forum?id=SJzRZ-WCZ。[3] Azencot，O.;尹，W.;和Bertozzi，A. 2019.一致动态模态分解. SIAM Journal on Applied DynamicalSystems18 （ 3 ） ： 1565-1585. 网 址https://www.math.ucla.edu/www.example.com[4] 贝特曼，H。1915.关于流体运动的一些新研究。每月天气回顾43（4）：163。doi：10.1175/1520-0493（1915）43 163：SRROTM 2.0.CO;2.[5] 鲍姆湖E.的;和Petrie，T. 1966. 有限状态马氏链概率函数的统计推断。安。数学。统计学家。37（6）：1554-1563。doi：10.1214/aoms/1177699147。网址https://doi.org/10。1214/aoms/1177699147。[6] 毕晓普角M.; S ven se'n，M.; 和Williams，C.K. I. 1996. GTM：一个有原则的替代方案自组织地图In Mozer，M.; 约旦，M. 一、 和Petsche，T.， 编辑， 神经信息处理系统进展9，NIPS，Den ver，CO，USA，1996年12月2-5日，354-360。麻省理工学院出版社.网址http://papers.nips.cc/paper/1207-gtm-a-principled-alternative-to-the-self-organizing-map.[7] Blei，D. M.; Kucukelbir，A.; McAuliffe，J. D. 2017.变分推理：统计学家的评论《美国统计协会杂志 》 ， 112 （ 518 ） ： 859-877 。 doi ：10.1080/01621459.2017.1285773。网址https://doi.org/10.1080/01621459.2017.1285773。[8] Brunton，S. L.的;和Kutz，J.N. 2019. Reduced Or-der Models（ROM），375北京：清华大学出版社.doi：10.1017/9781108380690.012。[9] Brunton，S. L.的; Proctor，J. L.;和Kutz，J.N. 2016.通过非线性动力系统的稀疏识别从数据中发现控制方程。美国国家科学院院士113（15）：3932-3937. ISSN 0027-8424 。 doi ： 10.1073/pnas 。1517384113.网址https：//www.pnas.或g/content/113/15/3932。[10] Carlsson ， G.;Ishkhanov ， T.;de Silva ， V.; 和Zomoro-dian，A.2008.自然象空间的局部性态。International Journal of Computer Vision76（1）：1-12. ISSN 1573-1405。网址https：//doi.org/10.1007/s11263-007-0056-x.[11]Champion，K.;Lusch，B.;Kutz，J.N.的; 和布伦顿，S. L. 2019年。数据驱动的坐标发现，控制方程美国国家科学院院刊116（45）：22445-22451。 ISSN0027-8424.doi：10.1073/pnas.1906995116。URLhttps：//www.pnas.or g/content/116/45/22445.[12] Chatterjee ，A.两千本征正交分解导 论。 CurrentScience 78（7）：808- 817. ISSN 00113891。网址http://www.jstor.org/stable/24103957.[13] Chen，N.; Karl，M.; and Van Der Smagt，P. 2016.时变自编码器潜在空间中的动态运动基元2016年IEEE- RAS 第 16 届 人 形 机 器 人 国 际 会 议（Humanoid Robots），629-636。美国电气与电子工程师协会。网址https：//ieeexplore.ieee.org/document/7803340.[14] Chen ， N.; Klushyn， A.; Ferroni ， F.; Bayer ， J.;Van Der Smagt，P. 2020。用VAE学习平坦隐流形。在III中，H. D.的;和Singh，A.，编辑，第37届国际机器学习会议论文集，《机器学习研究第119卷，1587虚拟：PMLR。网址http://proceedings.mlr.press/v119/chen20i.html。[15] 基乌索，一、和Pillonetto，G. 2019年。系统识别：机器学习的观点。Annual Review ofControl ， Robotics ， and Autonomous Systems2（ 1 ） ： 281-304. doi ： 10.1146/annurev-control-053018-023744。网址https://doi.org/10.1146/annurev-control-053018-023744。[16] 周，K.; vanMerr ieünboer，B.; Gulcehre，C.;Bah-danau ， D.;Bougares ， F.; Schwenk ， H.; 和Bengio，Y. 2014.使用RNN编码器-解码器学习短语表示用于统计机器翻译。在2014年自然语言处理经验方法会议（EMNLP）的会议记录中，1724-1734。多哈，卡塔尔：计算语言学协会。doi：10.3115/v1/D14-1179。网址https：//www.aclweb.org/anthology/D14-1179。[17] Chung，J.; Kastner，K.; Dinh，L.; Goel，K.; 库维尔，A. C.的;和Bengio，Y. 2015.序列数据的递归潜变量模 型 。 神 经 信 息 处 理 系 统 。网 址http://arxiv.org/abs/1506.02216。[18] 掩护T M.;和Thomas，J. A. 2006. 信息理论基础（ Wiley 系 列 电 信 与 信 号 处 理 ） . USA ： Wiley-Interscience. ISBN 0471241954。[19] Crutchfield，J.;McNamara，B.S. 一九八七年数据序列的运动方程。复杂系统1.一、[20] 达斯，S.;和Giannakis，D. 2019.延迟坐标映射和库普 曼 算 子 的 谱 175 ： 1107-1145 。 ISSN 0022-4715。doi：10.1007/s10955- 019-02272-w。[21] 戴维森，T.的R.; Falorsi，L.; Cao，N. D.的; Kipf，T.; Tomczak，J.M. 2018年超球面变分自动编码器URL https://arxiv.org/abs/1804.00891。[22] Del Moral，P. 1997年。非线性滤波：交互粒子分辨 率 。 ComptesRendusdeISSN 0764-4442 。 doi ：https://doi.org/10.1016/S0764-4442 （ 97 ） 84778-7。网址http://www.sciencedirect。com/science/article/pii/S0764444297847787.[23] 德沃尔河A. 2017. 模型简化与近似：理论与算法，第3章：简化基方法的理论基础，137-168。暹罗。doi：10.1137/1.9781611974829。第三章。网址https://epubs.siam.org/doi/abs/10.1137/1。9781611974829.ch3.[24] Erichson，N.B.人; Muehlebach，M.;还有马奥尼M. W. 2019.用于Lyapunov稳定流体流动预测的物理 信 息 自 动 编 码 器 。 arXiv 预 印 本 arXiv ：1905.10866。[25] Falorsi，L.; Haan，P. D.; Davidson，T.; Cao，N. D.的; Weile r，M.; F或re′，P.; 和Cohen，T. 2018年同胚变分自动编码的探索。ArXivabs/1807.04689。网址：https://arxiv.org/pdf/1807.04689.pdf。[26] Ghahramani，Z.; 和Roweis，S. T. 1998年用EM算法学习非线性动力系统.在Kearns，M. J.道：Solla，S.一、和Cohn，D.一、编辑， Advances in Neural InformationProcessingSystems 11，[NIPS Conference，Denver，Colorado，USA，November 30 -December 5，1998]， 431-437. The MIT Press.网址http://papers.nips.cc/paper/1594-learning-nonlinear-dynamical-systems-using-an-em-algorithm。[27] Girin ， L.; Leglaive ， S.; Bie ， X.; Diard ， J.;
我的内容管理
展开
