流体流动中的神经常微分方程简化模型及其应用

1110通过神经常微分方程的简化模型进行流体流动01  德国人工智能研究中心 - DFKI carlos.gonzalez rojas@dfki.de,andreas.dengel@dfki.de, mateus.dias ribeiro@dfki.de0摘要0简化模型在动态系统的设计、优化和控制中发挥着重要作用。近年来，人们对数据驱动技术在模型简化中的应用越来越感兴趣，这可以减少数值解的计算负担，同时保留复杂物理问题的最重要特征。在本文中，我们使用适当的正交分解来降低模型的维度，并引入一种新颖的生成神经ODE（NODE）架构来预测时间系数的行为。通过这种方法，我们用连续的潜在空间取代了传统的伽勒金投影结构。我们以圆柱流体的VonKarman涡街动力学为例，该流体是由基于大涡模拟（LES）的代码生成的。我们将NODE方法与LSTM基线进行比较，以评估生成模型的外推能力，并对流体重构进行一些定性评估。0引言建模和仿真是研究化学、生物学、物理和工程等复杂现象的基本工具，这些工具在参数化系统的控制和设计中尤为有用，其中对属性、初始条件和其他配置的依赖性需要对系统响应进行多次评估。然而，在进行非线性系统的数值模拟时存在一些限制，空间和时间尺度的广泛范围导致了对计算资源的无法满足的需求。这是工程流体流动问题的情况，其中涉及的尺度范围随着雷诺数的增加而增加，并且使用DNS或LES等技术模拟全阶模型（FOM）的成本非常高。减少昂贵计算成本的可能解决方案之一是引入一种替代的、更便宜和更快速的表示形式，它保留了FOM提供的特性，而不牺牲一般物理行为的准确性。0本文版权所有 ©2021年由作者拥有。在知识共享署名4.0国际许可证（CC BY4.0）下允许使用0构想是构建一种能够推广物理行为以适应未知参数并能够使用最少量的全阶模拟向前外推的方法（Benner，Gugercin和Willcox2015）。基于投影的简化模型是构建动态系统代理模型的最流行方法之一。该框架通过将状态变量重写为减少子空间中的状态变量，最终将PDE方程转换为可以使用经典数值技术求解的ODE系统（Benner，Gugercin和Willcox2015）。在流体力学领域，适当正交分解（POD）方法被广泛应用于FOM的降维，伽勒金方法用于对控制方程进行投影。这些方法之所以受欢迎，是因为正交正常基础简化了投影数学运算的复杂性，并且POD的截断基是最优的，以最小二乘意义上保留了主导行为。对控制方程的投影保留了模型的物理结构，但模式的截断可能会影响非线性系统的结果的准确性，并且可能仅限于定常和周期性问题。此外，投影是侵入式的，需要为每个问题设置不同的设置，并且仅限于数学模型的显式和封闭定义（San，Maulik和Ahmed2019）。一些问题已经通过寻找补偿截断模式产生的信息损失的闭合模型（Mou等人2020；Mohebujjaman，Rebholz和Iliescu 2019；San和Maulik2018b，a）以及构建数据驱动的减少“基础”来解决这些问题。模式，该模式在时间演变后也提供最优性（Murata，Fukami和Fukagata2020；Liu等人2019；Wang等人2016）。我们提出了一种替代方法，使用数据驱动方法在减少空间中演化系统的动态。我们使用POD来计算流体流动模拟的模式和时间系数，然后应用自动编码器架构来学习潜在空间的动态。在ODE系统中添加神经ODE（Chen等人2019；Rubanova，Chen和Duvenaud 2019）块∂¯ρ∂t + ∂(¯ρ ˜ui)∂xi= 0(1)∂(¯ρ ˜ui)∂t+ ∂(¯ρ ˜ui ˜uj)∂xj=∂∂xj�¯ρ¯ν�∂ ˜uj∂xi+ ∂ ˜ui∂xj�−23 ¯ρ¯ν ∂ ˜uk∂xkδij − ¯ρτijsgs�− ∂¯p∂xi+ ¯ρgi(2)0图1：POD-NeuralODE ROM方法0自动编码器模型的中间部分提供了一个连续的学习块，它使用前馈神经网络进行编码，并可以通过数值方法求解以确定输入变量的未来状态。一些研究提出了机器学习模型来替代Galerkin投影步骤或改进其能力，并且已经应用了不同的架构，如前馈或循环网络，在学术和实际的流体流动问题中表现良好（Pawar等，2019；Imtiaz和Akhtar，2020；Eivazi等，2020；Lui和Wolf，2019；Portwood等，2019；Maulik等，2020a,b）。神经ODE生成模型的主要优势在于学习被提出为使用物理行为的连续表示的自监督任务。在我们看来，神经ODE块可以被解释为一个不受特定微分方程限制的隐式微分算子。这种设置比对控制方程进行投影更加灵活，因为它通过训练数据来解决学习问题。0方法学在这项工作中，我们使用大涡模拟（LES）模型来近似流体流动动力系统的行为。与许多流体流动问题一样，离散解的空间维度大于时间域的大小。因此，我们应用快照POD来构建降阶模型，并进行可行的计算。POD找到了一个最大化数据方差的新基础表示，并且在最小二乘意义上具有最小的重构误差。此外，降维很容易进行，因为新基础的分量是按其对数据恢复的贡献进行排序的。神经ODE-ROM方法中的主要块涉及由快照POD提供的时间系数的预测。在这里，我们应用潜在ODE（Chen等人，2019；Rubanova，Chen和Duvenaud，2019），这是一个生成性的神经ODE模型，它接受时间系数，学习它们的动态演变，并提供一个适当的模型来在所需的时间步长进行外推。最后，我们可以预测时间系数的演变，并用其重构流动的行为。0POD中使用的时空展开。图1表示了一般方法，关于每个构建块的更多细节在以下各节中给出。0圆柱体流动的LES模型通过LES滤波后的质量（1）和动量（2）平衡的控制方程来解决VonKarman涡街的动力学问题，可以写成如下形式：0在先前的方程中，u代表速度，ρ是流体密度，ν是动力粘度。这些方程使用PIMPLE算法（Weller等人，1998）进行数值求解，该算法是Issa（1986）的PISO（压力隐式分裂算子）和Patankar（1980）的SIMPLE（压力耦合方程的半隐式方法）的结合。该方法通过在每个时间步骤应用SIMPLE（稳态）程序来获得耦合速度和压力场的瞬态解。一旦收敛，将使用数值时间积分方案（例如向后）和PISO程序来推进时间直到模拟完成。此外，未解决的亚网格应力τijsgs以亚网格尺度涡粘度νT的动态k-方程方法（Kim和Menon，1995）建模。问题的设置如下所述。计算域包括一个沿流向方向为760mm，垂直于流向方向为260mm的2D通道。圆柱体位于通道的上下壁之间，距入口（左壁）115mm处。施加了0.6m/s的恒定径向速度，以及径向/垂直波动与零梯度出流条件，并在顶部/底部/圆柱壁上施加了不滑移的壁条件。Y =������u′x(x1, y1, t1)...u′y(xNx, yNy, t1)u′x(x1, y1, t2)...u′y(xNx, yNy, t2).........u′x(x1, y1, tNt)...u′y(xNx, yNy, tNt)������K = Y Y ⊤,(4)Kijaj = λai.(5)I(N) =�Ni=1 λiNti=1 λi(6)u′ ≈N�i=1αi(t)ψi(x),(7)ψi(x) =1√λiN�j=1αi(tj)u′(tj).(8)0边界条件。此外，层流动力粘度为1×10−4m2/s，圆柱直径为40mm，进一步表征了雷诺数为240的流动（Re =0.6×0.04/1×10−4 =240）。中心差分方案（CDS）用于动量方程的对流和扩散项的离散化，以及用于时间积分的隐式向后方案。图2显示了时间=100时径向和轴向速度分量的快照。0图2：t = 100时流场的快照。0适当正交分解0适当正交分解（POD）以各种名称而闻名，如Karhunen-Loeve扩展，Hotelling变换和主成分分析（Liang等，2002）。此外，可以执行POD定义线性自动编码器，并将损失函数度量设置为均方误差。这个工具是在概率论领域开发的，用于发现向量数据内的相互依赖关系，并由Berkooz，Holmes和Lumley（1993）引入到流体力学社区。一旦发现了数据中的相互依赖关系，就可以减少其维度。降维的制定始于实验结果提供的一些观测样本或通过描述物理问题的全序模型的数值解获得。这些样本被重新排列成快照矩阵 Y的集合，其中每一行都具有给定时间步长的动力系统的状态。然后，计算 Y中元素的相关矩阵，并将它们的特征向量用作减少空间的正交最佳新基础。在下面的列表中，我们总结了用于构建快照POD的主要步骤：0• 拍摄快照：模拟动力系统并在其演变过程中采样其状态0• 使用流动的雷诺分解计算速度的波动分量 u ′：0u = u + u ′，(3)0其中 u 是FOM模型给出的解的时间平均值。0• 以以下形式组装矩阵 Y 中的快照：0其中每一行包含速度在 x 和 y方向上的波动分量的扁平化数组，对于给定的时间步长。如果用于FOM模拟的离散化具有尺寸 N x，N y 和 Nt，则扁平化表示是一个长度为 2  ∙  N x  ∙  N y的向量，矩阵 Y 的尺寸为 N t  ×  (2  ∙  N x  ∙  N y)。0• 构建相关矩阵 K 并计算其特征向量 a j：0或者，可以直接使用快照矩阵的奇异值分解（SVD）来计算特征值和特征向量。0•选择模型的降维：如文献所述，较大的特征值与动力系统的主要特征直接相关，而较小的特征值与动态行为的扰动相关。选择新基础的组件的标准是通过最大化相对信息内容 I ( N) 来使用最少数量的组件 N来实现所需恢复百分比的标准（Schilders等，2008）。0•最后，我们使用在降维空间中的时间系数和POD的Ansatz分解来计算空间模态ψ i ( x ) :0神经常微分方程神经常微分方程方法（Chen等人，2019）可以被解释为传统模型（如循环或残差神经网络）的连续对应。为了制定这个模型，作者们在先前状态的经典组合和用于解决微分方程的离散化方法之间建立了类比:ht+1 = ht + f(ht, θ).(9)dh(t)dt= f(ht, θ),(10)ht = ODESolver(h0, f(ht, θ)).(11)0图3：具有神经ODE的生成VAE。0在足够小的步长的极限情况下（相当于增加层数），可以编写隐藏状态导数的连续参数化:0定义导数参数化的函数f可以使用神经网络来近似，并且使用数值ODE求解器计算不同时间步长处的隐藏状态ht的值（Chen等人，2019）。我们应用了Chen等人（2019）在图3中呈现的潜在ODE生成方法来建模由POD提供的时间系数的演变。这种方法可以被解释为具有附加神经ODE块的变分自动编码器架构，在对编码进行采样后。该块将初始潜在状态zt0的向量映射到使用ODE数值求解器的一系列潜在轨迹，而神经网络f(zt，θ)学习了必要的潜在动态，以便对输入数据进行良好的重构。自动编码器的变分部分产生了初始潜在变量zt0的均值μ和标准差σ，并在采样过程中添加噪声，从而提高了学习特征的质量。训练过程结束后，可以通过重新定义ODE求解器中的时间边界轻松地外推潜在轨迹。这种策略的一些优点是，它不需要明确制定物理定律来预测时间系数，因此该方法不依赖于投影方法。此外，使用神经网络进行参数化可以准确地对导数进行非线性逼近，而无需预先定义的数学结构。0结果在本节中，我们评估了生成式神经ODE模型在预测时间系数方面的性能。为了进行评估，我们对300个模拟数据快照应用了适当的正交分解。0使用LES代码进行训练，并取得前8个POD模态，实现相对信息内容的99%恢复。对于神经ODE模型（NODE）的部署，我们将前75个时间步用于训练集，接下来的25个时间步用于模型验证，最后的200个时间步用于测试集。此外，我们采用Maulik等人提出的LSTM序列到向量架构作为基线模型，窗口大小为10个时间步，批处理大小为15个序列。我们使用随机搜索调整了两种模型所需的超参数，并选择了在验证集上性能最佳的配置。最佳模型的损失演变如图4所示，所采用的超参数集合列在表1中。0图4：生成式NODE模型的损失。0模型超参数范围最佳0神经ODE0潜在维度[2,5) 20编码器层[1,6) 40编码器单元[10,50) 100节点层[1,3) 10节点单元[10,50) 120解码器层[1,6) 40解码器单元[10,50) 410学习率[0.001, 0.1) 0.00150LSTM0单元[10,60) 490层[1,5) 10学习率[0.001, 0.1) 0.00810表1：模型中使用的超参数。0测试集中前四个时间系数的时间序列预测如图5所示。该图呈现了POD时间系数的真实值，使用LSTM架构产生的基线以及所提出的生成式NODE模型对测试窗口中前100个时间步的预测。0图5：使用NODE与LSTM重建POD时间系数，t∈[100，200]。0我们注意到，基线和NODE模型充分学习了两个最主要系数的演变，但对于第三和第四个时间系数，NODE模型的性能显著更好。此外，使用LSTM模型对测试集中最后100个时间步的预测质量随着时间步数的增加而下降，即使对于α1和α2也是如此，如图6所示。造成这种情况的可能原因之一是LSTM模型中预测的自回归性质容易积累误差，正如Maulik等人在他们的研究中指出的那样（Maulik等，2020b）。0在训练和验证过程之后，我们使用适当正交分解的假设重新构建了速度波动分量u'x，其中使用了测试集的时间系数预测。从图7可以看出，使用降阶模型生成的轮廓提供了对流动特征的充分恢复，只在一些涡旋中有轻微差异。此外，我们还在图8中展示了位于圆柱体下游的探针的波动历史。这张图更详细地展示了降阶模型的物理响应如何满意地近似了流动行为。0图6：使用NODE与LSTM重建POD时间系数，t∈[200，300]。0图7：t=300时波动分量u'x的等高线。0图8：位于圆柱体后方的探针。0支持本研究的数据和代码可在https://github.com/CarlosJose126/NeuralODE-ROM提供。0结论：我们提出了一种利用神经ODE生成架构对时间系数的演变产生降阶模型的方法。在这种方法中，我们使用线性自编码器（POD）对模型进行降维，并且之后我们应用非线性变分自编码器来学习时间系数的演变。尽管数据在两个自编码器中都被压缩，但降维的动机是不同的。POD提供了一个可解释的降维空间，用于对全阶模型进行分解和重构，而VAE潜在空间避免了时间系数的平凡复制。神经ODE模型能够适当地学习时间系数的隐藏动态，而不会像自回归架构中常见的误差传播那样。这种方法的另一个优点是学习被提出为一种自监督任务，即输出与输入相等，而不是将整个序列分割成具有标签的较小训练窗口。我们还强调神经ODE块的连续性质对该方法的良好外推能力至关重要。最后，我们期望测试这种方法在其他物理问题中的能力，并将该方法扩展到参数动力系统。0参考文献0Benner, P.; Gugercin, S.; and Willcox, K. 2015.参数动力系统的基于投影的模型降阶方法综述。SIAM评论57(4):483-531。0Berkooz, G.; Holmes, P.; and Lumley, J. L. 1993.在湍流流动分析中的正交分解。流体力学年度评论25(1):539-575。0Chen, R. T. Q.; Rubanova, Y.; Bettencourt, J.; andDuvenaud, D. 2019. 神经常微分方程。arXiv:1806.07366[cs, stat] ArXiv:1806.07366。0Eivazi, H.; Veisi, H.; Naderi, M. H.; and Esfahanian, V. 2020.非定常流动的非线性模型降阶的深度神经网络。流体物理学32(10):105104。0Imtiaz, H.; and Akhtar, I. 2020.使用系统识别在流体流动中基于POD的降阶建模。0egy. In 2020 17th International Bhurban Conference onApplied Sciences and Technology (IBCAST), 507-512.伊斯兰堡，巴基斯坦：IEEE。0Issa, R. 1986.通过算子分裂隐式离散化流体流动方程的解决方案。计算物理杂志62(1):40-65。0Kim, W.-W.; and Menon, S. 1995.大涡模拟的新动态单方程子网格尺度模型。0Liang, Y.; Lee, H.; Lim, S.; Lin, W.; Lee, K.; and Wu, C. 2002.正交分解及其应用-第I部分：理论。声学和振动杂志252(3):527-544。ISSN 0022460X。doi:10.1006/jsvi.2001.4041。URLhttps://linkinghub.elsevier.com/retrieve/pii/S0022460X01940416。0Liu, Y.; Wang, Y.; Deng, L.; Wang, F.; Liu, F.; Lu, Y.; and Li, S.2019.基于生成对抗网络的CFD数据的新型原位压缩方法。可视化杂志22(1):95-108。0Lui, H. F. S.; and Wolf, W. R. 2019.使用深度前馈神经网络构建流体流动的降阶模型。流体力学杂志872:963-994。0Maulik, R.; Fukami, K.; Ramachandra, N.; Fukagata, K.; andTaira, K. 2020a.用于流体流动替代建模和数据恢复的概率神经网络。物理评论流体5(10):104401。0Maulik, R.; Mohan, A.; Lusch, B.; Madireddy, S.;Balaprakash, P.; and Livescu, D. 2020b.用于降阶模型闭环的潜在空间动力学的时间序列学习。物理D：非线性现象405:132368。0Mohebujjaman, M.; Rebholz, L.; and Iliescu, T. 2019.物理约束的数据驱动校正降阶建模流体流动。流体数值方法国际杂志89(3):103-122。0Mou, C.; Liu, H.; Wells, D. R.; and Iliescu, T. 2020.准地转动方程的数据驱动校正降阶模型：数值研究。计算流体动力学国际杂志34(2):147-159。0Murata, T.; Fukami, K.; and Fukagata, K. 2020.用于流体动力学的卷积神经网络的非线性模态分解。流体力学杂志882:A13。0Patankar, S. V. 1980.数值传热和流体流动。华盛顿：半球出版公司。0Pawar, S.; Rahman, S. M.; Vaddireddy, H.; San, O.; Rasheed,A.; and Vedula, P. 2019.流体流动非侵入式降阶建模的深度学习启用器。流体物理学31(8):085101。0Portwood, G. D.; Mitra, P. P.; Ribeiro, M. D.; Nguyen, T. M.;Nadiga, B. T.; Saenz, J. A.; Chertkov, M.; Garg, A.;Anandkumar, A.; Dengel, A.; et al. 2019.通过神经ODE进行湍流预测。arXiv预印本arXiv:1911.05180。0Rubanova, Y.; Chen, R. T.; and Duvenaud, D. 2019.不规则采样时间序列的潜在ODE。arXiv预印本arXiv:1907.03907。0San, O.; and Maulik, R. 2018a.热流体模型降阶的机器学习闭合。《应用数学建模》60:681–710。0San, O.; and Maulik, R. 2018b.非线性模型降阶的神经网络闭合。《计算数学进展》44(6):1717–1750。0San, O.; Maulik, R.; and Ahmed, M. 2019.瞬态流动的降阶建模的人工神经网络框架。《非线性科学和数值模拟通讯》77: 271–287。0Schilders, W. H. A.; van der Vorst, H. A.; Rommes, J.; Bock,H.-G.; de Hoog, F.; Friedman, A.; Gupta, A.; Neunzert, H.;Pulleyblank, W. R.; Rusten, T.; Santosa, F.; Tornberg, A.- K.;Bonilla, L. L.; Mattheij, R.; and Scherzer, O.,编。2008。《模型降阶：理论、研究方面和应用》，《工业数学》系列13卷。柏林，海德堡: 施普林格柏林海德堡。0Wang, M.; Li, H.-X.; Chen, X.; and Chen, Y. 2016.基于深度学习的分布参数系统模型降阶。《IEEE系统、人和网络系统交易》46(12): 1664–1674。0Weller, H. G.; Tabor, G.; Jasak, H.; and Fureby, C. 1998.一种使用面向对象技术的计算连续介质力学的张量方法。《物理计算机》12(6): 620–631。