通过神经常微分方程建立流体流动的低阶模型

基于神经元常微分方程的流体流动降阶模型Carlos J.G. Rojas1，Andreas Dengel1，Mateus Dias Ribeiro11德国人工智能研究中心- DFKI carlos.gonzalezrojas@dfki.de，andreas. dfki.de， mateus.diasribeiro@dfki.de摘要降阶模型在动力系统的设计、优化和控制中起着重要的作用。近年来，数据驱动的模型降阶技术在保持复杂物理问题最重要特征的同时，减少了数值解的计算负担，引起了人们越来越多的关注。在本文中，我们使用适当的正交分解，以减少模型的维数，并介绍了一种新的生成神经ODE（NODE）架构预测的时间系数的行为。有了这种方法，我们取代了经典的伽辽金投影与建筑的特点是使用一个连续的潜在空间。我们举例说明的VonKarman涡街的动态的流动通过一个大涡模拟（LES）为基础的代码所产生的圆柱体的方法。我们将NODE方法与LSTM基线进行了比较，以评估生成模型的外推能力，并对流重建进行了一些定性评估。介绍动力系统的建模和仿真是研究复杂现象的重要工具，在化学，生物学，物理学和工程等相关领域中具有应用。这些工具在参数化系统的控制和设计中特别有用，其中对属性、初始条件和其他配置的然而，当执行系统的数值模拟时存在一些限制，其中非线性以及宽范围的空间和时间尺度导致对计算资源的不可管理的需求。后者是工程流体流动问题的情况，其中所涉及的尺度范围随着雷诺数的值而增加，并且使用诸如DNS或LES的技术来模拟全阶模型（FOM）的成本非常高。降低昂贵的计算成本的可能解决方案之一是引入替代的、更便宜且更快的表示，其保留由FOM提供的特性而不牺牲一般物理行为的准确性版权所有© 2021本文由作者所有。知识共享许可署名4.0国际（CC BY 4.0）这个想法是构建一种方法，能够概括看不见的参数的物 理 行 为 ， 并 且 可 以 使 用 最 小 量 的 全 阶 模 拟（Benner，Gugercin和Willcox 2015）在时间上向前基于投影的降阶建模是构造动态系统代理模型的最常用方法之一。该框架使用变换到合适的低维子空间来减少数值模拟的自由度。然后，根据约化子空间重写控制方程中的状态变量，并且最后将PDE方程转换为可以使用经典数值技术求解的ODE系统（Benner、Gugercin和Will-cox 2015）。在流体力学领域中，常采用本征正交分解（POD）方法对方程组进行降维处理，并采用Galerkin方法对方程组进行投影。这些方法是优选的，因为正交正规基简化了投影数学算子的复杂性，并且POD的截断基在最小二乘意义上是最优的，通过最具能量的模式保持主导行为。在控制方程上的此外，投影是侵入性的，每个问题需要不同的设置，并且它仅限于数学模型的显式和封闭定义（San，Maulik和Ahmed2019）。这些问题中的一些已经通过寻找 闭 合 模 型 来等 2020; Mohebujjaman ， Rebholz 和Iliescu 2019; San和Maulik 2018 b，a）以及构建数据驱动的简化“基础”，该基础在时间演化后也提供了最优性（Murata，Fukami和Fukagata 2020; Liu等人2019; 王 等 人2016）。我们提出了一种替代的方法来发展的动力学的系统在减少的空间使用数据驱动的方法。我们使用POD来计算流体流动模拟的模式和时间系数，然后我们应用自动编码器架构来学习潜在空间的动力学。添加神经ODE （Chen et al. 2019; Rubanova ，Chen 和Duvenaud2019）块3xkxi图1：POD-NeuralODE ROM方法。自动编码器模型的中间提供了连续学习块，该连续学习块使用前馈神经网络进行编码，并且该连续学习块可以被数值求解以确定输入变量的未来状态。几项工作已经提出了机器学习模型来代替Galerkin投影步骤或提高它们的能力，并且已经应用了不同的架构，例如前馈或递归网络2019; Imtiaz和Akhtar 2020; Eivazi等人2020; Lui andWolf 2019; Portwood et al. 2019; Maulik等人2020a，b）。的在POD中使用的时空扩展一般方法在图中表示图1中所示，并且关于每个构建块的更多细节在以下部分中呈现。圆柱绕流的大涡模拟用大涡模拟滤波控制方法求解了圆柱绕流的Von Karman涡街动力学质量（1）和动量（2）的平衡方程，其可以写成如下：神经ODE生成模型的主要优点在于，使用物理行为的连续表示将学习作为自我监督任务。我们认为，∂ρ¯ +普雷特（ρ¯u~i）xi=0（1）神经ODE块可以被解释为隐含的差异。（ρ¯u~i）+=Σρ¯ν¯.u~j+不限于特定微分的微分算子tial方程此设置比txjxi（二）因为它解决了操作员的学习问题2u~k— 联系我们— ρτsgsΣ−p¯+ρ¯g由训练数据校正方法在这项工作中，我们使用大涡模拟（LES）模型来近似的流体流动动力系统的行为。 正如在许多流体流动问题中的情况一样，离散解的空间维度大于时间域的大小。为此，我们应用快照POD来构造降阶模型，并且具有易于处理的计算。POD找到一个新的基础表示，最大化数据的方差，并在最小二乘意义上具有最小的重建误差。此外，由于新基的分量通过它们对数据恢复的贡献来排序，所以容易执行降维。神经ODE-ROM方法中的主要块涉及由快照POD提供的时间系数的预测在这里，我们应用潜在的常微分方程（ 陈 等 人 。 2019; Rubanova ， Chen 和 Duvenaud2019），这是一种生成神经ODE模型，它采用时间系数，学习它们的动态演化，并提供适当的模型来在所需的时间步长进行外推。 最后，我们可以预测时间系数的演变，并使用在前面的方程中，u表示速度，ρ是流体密度，ν是动态粘度。 使用PIMPLE算法（Weller et al. 1998），其是Issa（1986）的PISO（具有算子分裂的压力隐式方法）和Patankar（1980）的SIMPLE（用于压力链接方程的半隐式方法）的组合。该方法通过对每个单时间步长应用SIMPLE（稳态）程序获得耦合速度场和压力场的瞬态解一旦收敛，数值时间积分方案（例如向后），并且PISO过程用于在时间上前进，直到模拟完成。此外，Kim和Menon（1995）使用动态k方程方法，根据亚网格尺度涡动粘性ν T对未分辨的亚网格应力τijsgs进行了建模问题的设置描述如下。计算域包括在流向方向上具有760mm并且在垂直于流动的方向上具有260mm的2D通道。圆柱体位于通道的上壁和底壁之间，距离入口（左壁）115mm。0.6 m/s的恒定径向速度，随机径向/垂直波动，结合零梯度流出条件和顶部/底部/圆柱体壁上的防滑壁，被施加为艾湾艾湾我×个ΣΣΣ’’十11你们λ边界条件此外，1 10-4m2/s的层流动态粘度和40 mm的圆柱体直径进一步表征了雷诺数为240（Re = 0. 6× 0。04/1×10−4=240）。中央不同--• 将矩阵Y与快照按以下形式组合u′x（x1，y1，t1）...u′y（xNx，yNy，t1）对动量方程的对流项和扩散项采用CDS格式离散，对时间积分采用隐式后向格式径向和径向速度分量的快照ux（x1，y1，t2）... uy（xNx，yNy，t2）... 产率=...。..u′（x，y，t）...u′（xNx，y，t）其中每一行包含具有给定时间步长的x和y方向上的速度的波动分量的平坦阵列。如果用于FOM模拟的离散化具有维度Nx、Ny和Nt，则扁平化表示是长度为2·Nx·Ny矩阵Y的维数为Nt×（2·Nx·Ny）。• 构建相关矩阵K并计算其特征向量aj：K=Y YT，⑷图2：t = 100时的流场快照本征正交分解本 征 正 交 分 解 （ POD ） 以 各 种 名 称 已 知 ， 例 如Karhunen-Loeve 展 开 、 Hotelling 变 换 和 主 成 分 分 析（Liang et al.2002）。此外，可以执行POD，其定义线性自动编码器并将损失函数度量设置为均方误差。该工具是在概率论领域开发的，用于发现矢量数据中的相互依赖性，并由Berkooz、Holmes和Lumley（1993）引入流体力学社区。一旦Ki jaj=λai.（五）或者，可以使用快照矩阵的奇异值分解（SVD）直接计算特征值和特征向量。• 选择模型的降维：如文献中所述，较大的特征值与动态系统的主要特征直接相关，而较小的特征值与动态行为的扰动相关选择新基的分量的标准是使用最小量的实现所需百分比所需的组分N恢复（Schilders et al. 2008）。数据中的相互依赖性被发现，这是可能的。ΣNλi可以降低其维数。降维的公式化开始元台币i=1i一些实验提供的观察样本或者通过表征物理问题的全阶模型的数值解获得这些样本被重新排列在快照Y的集合矩阵中，其中每行具有在给定时间步长处的动态系统的状态然后，计算Y中元素的相关矩阵，并将其特征向量用作缩减空间的正交最优新基• 最后，我们使用以下公式计算空间模式ψi（x）：在降维空间中的时间系数和POD的Ansatz分解：国u′≈αi（t）ψi（x），（7）i=1国在下面的列表中，我们总结了用于构建快照POD的主要步骤• 拍摄快照：模拟动态系统和sam-1ψi（x）=ij=1α i（t j）u′（t j）.（八）随着它的发展，使其状态u变• 使用流动的雷诺分解计算速度的波动分量u=u+u′，（3）其中u是FOM模型给出的解的时间平均值神经常微分方程神经常微分方法（Chen et al. 2019）可以被解释为传统模型的连续对应物，如递归或残差神经网络。为了用公式表示这个模型，作者在序列的经典组成与用于求解微分方程的离散化方法之间进行了比较：√λ图中示出了时间= 100时的轴向方向2.元台币NY元台币I（N）=i=1（六）图3：具有神经ODE的生成VAEht+1=ht+f（ht，θ）.（九）在足够小的步长（相当于层的增加）的极限情况下，可以写出隐藏状态导数的连续参数化dh（t）=f（ht，θ），（10）路测h t= ODESolver（h0，f（h t，θ））。（十一）定义导数的参数化的函数f可以使用神经网络来近似，并且使用数值ODE解算器来计算在不同时间步长处的隐藏状态ht的值（Chen et al. 2019年）。我们应用了图中所示的潜在ODE生成方法（Chen etal.2019）3来对由适当的正交分解提供的时间系数的演变进行这种方法可以被解释为一个变量的国家自动编码器架构与一个额外的神经ODE块后的编码采样。该块将初始潜在状态zt0的向量映射到序列使用ODE数值求解器的潜在轨迹，同时神经网络f（zt，θ）学习具有输入数据的良好重构所必需的潜在动态自动编码器的变分部分产生初始潜在变量zt0的平均值μ和标准偏差σ，并向采样过程添加噪声，从而提高采样的质量学习的特点在训练过程之后，潜在轨迹很容易用ODE求解器中该策略的一些优点在于，它不需要物理定律的明确公式来预测时间系数，并且因此，该方法不求助于投影方法。此外，使用神经网络的参数化给出了导数的精确的非线性近似，而无需预定义的数学结构。结果在这一节中，我们评估了生成神经ODE模型在时间系数预测对于这种评估，我们适用于适当的正交- nal分解超过300个快照的模拟数据ob-用LES代码获得，并根据相对信息含量采用前8个POD模式，实现99%的回收率对于神经ODE模型（NODE）的部署，我们将前75个时间步用于训练集，随后的25个时间步用于模型的验证，最后的200个时间步用于测试集。此外─此外，我们采用Maulik等人提出的LSTM序列到向量架构作为基线模型窗口大小为10个时间步长，批量大小为15个序列。我们采用随机搜索调整了两个模型所需的超参数，并根据验证集的性能选择了最佳最佳模型的损失演变如图所示。图4中所示的超参数和所采用的超参数的集合在表1中呈现。图4：损耗生成节点模型。模型超参数范围最好潜在维度[2、5]2分层编码器[1、6]4单位编码器[10、50）10神经常微分方程层节点[1、3]1单元节点[10、50）12层解码器[1、6]4单位译码器[10、50）41学习率[0.001，0.1）0.0015LSTM单元[10、60）49层[1、5]1学习率[0.001，0.1）0.0081表1：模型中使用的超参数测试集中前四个时间系数的时间序列预测如图所示5. 该图呈现了POD时间系数的真实值、使用LSTM架构产生的基线以及所提出的生成NODE模型对测试窗口中的前100个时间步长的预测。图5：使用NODE与LSTM重建POD时间系数，t∈[100，200]。我们注意到，基线和NODE模型充分学习了两个最主要的系数的演变，但NODE模型的性能是显着更好的第三和第四个时间系数。此外，使用LSTM模型对测试集中最后100个时间步长进行预测的质量会随着时间步长的演变而恶化，即使对于α1和α2也是如此图6.其中一个可能的原因是，LSTM模型中预测的回归性质容易积累错误，如Maulik etal.在他们的研究中指出（Maulik et al. 2020b）。在训练和验证过程之后，我们使用本征正交分解的Ansatz来重建速度波动分量u′x，其中时间系数针对测试集进行预测。观察Fig. 7可以注意到，用重新生成的轮廓。降阶模型提供了一个充分的恢复的流动特征，只有轻微的差异，在一些旋涡。此外，我们还提出了波动的时间历程，探头位于下游的气缸图。8.该图更详细地示出了降阶模型的物理响应如何给出流动行为的令人满意的近似。图6：使用NODE与LSTM的POD时间系数的重构，t∈[200，300]。图7：波动分量u′x，t= 300的等值线。图8：探头位于圆柱体后面支持本研究的数据和代码见https://github.com/CarlosJose126/NeuralODE-ROM。结论我们提出了一种方法来产生降阶模型，使用神经ODE生成架构的时间系数的evo-lution。 在这种方法中，我们采用了线性自动编码器（POD）产生的dimensionality减少的模型，之后，我们应用非线性变分自动编码器学习的时间系数的演变。虽然数据在两个自动编码器中被压缩，但是维度缩减的动机POD提供了用于全阶模型的分解和重构的可解释的缩减空间，而VAE潜在空间避免了时间系数的平凡副本。神经ODE模型能够适当地学习时间系数的隐藏动态，而不具有自回归架构中常见的相同误差传播。该方法的另一个优点是学习被设定为自我监督任务，即，输出被“自生成”为等于输入，而不将整个序列分割成具有标签的较小训练窗口。我们还注意到，神经ODE块的连续性是至关重要的良好的外推能力的方法。最后，我们期望用其他物理问题来检验这种方法的能力，并将这种方法扩展到参数动力系统。引用Benner，P.;Gugercin，S.;和Willcox，K.2015年。参数动力系统基于投影的模型降阶方法综述SIAM Review57（4）：483Berkooz，G.; Holmes，P.;和Lumley，J.法律1993.湍流分析中的Annual Review of Fluid Mechanics25（1）：539陈 河 没 有 Q.; Rubanova ， Y.; Bettencourt ， J.; Duve-naud，D. 2019.神经元常微分方程ArXiv：1806.07366[cs，stat]ArXiv：1806.07366.Eivazi，H.; Veisi，H.; Naderi，M. H.;和Esfahanian，V.2020年。用于非定常流非线性模型降阶的深度神经网络。Physics of Fluids32（10）：105104.Imtiaz，H.;和Akhtar，I.2020年。基于POD的流体流动降阶埃吉在2020年第17届国际Bhurban应用科学与技术会议，507伊斯兰堡，巴基斯坦：IEEE.伊萨河一九八六年用算子分裂法求解隐式离散流体流动方程。Journal of Computational Physics62（1）：40Kim，W.- W.;和Menon，S. 1995. 一种新的用于大涡模拟的。Liang，Y.;Lee，H.;Lim，S.;Lin，W.;Lee，K.;和吴，梭2002.真正交分解及其应用（一）理论 声音与振动杂志 252 （ 3 ） ： 527-544 。 ISSN 0022460X 。 doi ：10.1006/jsvi.2001.4041。网址linkinghub.elsevier.com/retrieve/pii/S0022460X01940416.Liu，Y.; Wang，Y.; Deng，L.; Wang，F.; Liu，F.; Lu，Y.;和Li，S. 2019.基于生成对抗网络的CFD数据原位压缩新方法Journal of Visualization22（1）：95Lui，H.楼S.;和Wolf，W.室2019. 使用深度前馈神经网络构 建 流 体 流 动 的 降 阶 模 型 。 Journal of FluidMechanics872：963Maulik ， R.;Fukami ， K.;Ramachandra ， N.;Fukagata，K.; 和Taira，K. 2020a。用于流体流动代理建模和数据恢复的概率神经网络。PhysicalReviewFluids 5（10）：104401。Maulik，R.; Mohan，A.; Lusch，B.; Madireddy，S.; Bal-aprakash，P.;Livescu，D.2020b。降阶模型闭合的潜空间 动 力 学 的 时 间 序 列 学 习 。 Physica D ： NonlinearPhenomena405：132368.Mohebujjaman ， M.;Rebholz ， L.; 和 Iliescu ， T.2019年。用于流体流动的降阶建模的物理约束数据驱动校正。International Journal for Numeri- cal Methods in Fluids89（3）：103Mou，C.; Liu，H.; Wells，D. R.;和Iliescu，T. 2020. 准地转方程的数据驱动校正降阶模型：数字调查国际计算流体动力学杂志34（2）：147-159。Murata，T.; Fukami，K.;和Fukagata，K. 2020. 用卷积神经网络进行流体动力学的非线性模式分解。流体力学杂志882：A13。Patankar，S.诉1980年数值传热与流体流动。华盛顿：半球出版公司。Pawar，S.; Rahman，S. M.; Vaddireddy，H.; San，O.;Rasheed，A.;和Vedula，P. 2019.用于流体流动的非侵入式降阶建模的深度学习使能器。Physics of Fluids31（8）：085101.波特伍德湾D.; Mitra，P.P.; Ribeiro，M.D.; Nguyen，T.M.;纳 迪加 湾 T.; Saenz ， J.A.; Chertkov ， M.;Garg ， A.;Anand-kumar，A.; Dengel，A.;等人2019年。 通过神经常微分方程进行湍流预报。arXiv预印本arXiv：1911.05180。Rubanova，Y.;陈河T.; Duvenaud，D. 2019年。不规则采样时间序列的潜常微分方程arXiv预印本arXiv：1907.03907。San，O.;和Maulik，R. 2018年a。用于热流体的模型阶次降低的机器学习闭包。AppliedMathematical Modelling60：681-710.San，O.;和Maulik，R. 2018年b。用于非线性模型降阶的 神 经 网 络 闭 包 。 AdvancesinComputa-tionalMathematics 44（6）：1717-1750.San，O.; Maulik，R.;和Ahmed，M. 2019.瞬态流降阶建模的人工非线性科学与数值模拟通讯77：271Schilders，W.小时A.; van der Vorst，H.A.; Rommes，J.;Bock，H. G.; de Hoog，F.; Friedman，A.; Gupta，A.;Neunzert ， H.; Pulleyblank ， W. R.; Rusten ， T.;Santosa，F.; Tornberg，A. K.;博尼利亚湖L.; Matheij，R.;和Scherzer，O.，编辑2008. 模型降阶：理论，研究方面和应用，第13卷的数学工业。柏林，海德堡：施普林格柏林海德堡。Wang，M.;李，H.- X.; Chen，X.;和Chen，Y. 2016. 基于深度学习的分布参数系统模型降阶。IEEE Transactionson Systems ， Man ， and Cybernetics ： Systems 46（12）：1664-1674.Weller，H. G.; Tabor，G.; Jasak，H.;和Fureby，C. 1998.使用面向对象技术的计算连续介质力学的Computers inPhysics12（6）：620