刚性化学动力学问题中的物理信息神经网络方法

0Stiff-PINN: 物理信息神经网络0刚性化学动力学0Weiqi Ji  1 , Weilun Qiu  2 , Zhiyu Shi  2 , Shaowu Pan  3 , Sili Deng  1*01 麻省理工学院机械工程系，剑桥，MA02 中国北京北京大学工程学院03 密歇根大学安娜堡航空航天工程系0silideng@mit.edu0摘要0最近开发的物理信息神经网络（PINN）通过将物理定律编码到神经网络的损失函数中，在许多科学和工程学科中取得了成功，使得网络不仅符合测量，初始和边界条件，而且满足控制方程。本文首先研究了PINN在解决刚性化学动力学问题中的性能，其控制方程为刚性常微分方程（ODEs）。结果阐明了在刚性ODE系统中利用PINN的挑战。因此，我们采用准稳态假设（QSSA）来减少ODE系统的刚度，然后PINN可以成功地应用于转换后的非/轻度刚度系统。因此，结果表明刚度可能是正常PINN在所研究的刚性化学动力学系统中失败的主要原因。开发的Stiff-PINN方法利用QSSA使PINN能够解决刚性化学动力学，将为将PINN应用于涉及刚性动力学的各种反应扩散系统打开可能性0介绍0深度学习已经在许多科学和工程学科中取得了进展，例如计算机视觉，自然语言处理和自动驾驶。根据应用的不同，已经开发了许多不同的神经网络架构，包括深度神经网络（DNN），卷积神经网络（CNN），循环神经网络（RNN）和图神经网络（GNN）。其中一些还被用于数据驱动的物理建模[1-8]，包括湍流流建模[9]和化学动力学建模[10]。这些不同的神经网络架构根据其性质为神经网络引入了特定的正则化0本文的版权由作者拥有，根据知识共享署名4.0国际许可证（CC BY4.0）许可使用0关于任务的规模和旋转不变性，如CNN中卷积核的规模和旋转不变性。其中，最近开发的物理信息神经网络方法（PINN）[11-17]使得能够使用深度神经网络构建微分方程的解空间，其中空间和时间坐标作为输入。主要微分方程（主要是微分方程）通过最小化残差损失函数来实施，并因此成为深度神经网络的物理正则化。该框架允许解决微分方程（即正向问题）并从观测中进行参数推断（即反向问题）。PINN已被用于预测Burgers方程，Navier-Stokes方程和Schrödinger方程的解[12]。为了增强PINN的鲁棒性和普适性，还开发了多种PINN的变体，例如变分PINN[18]，PararealPINN[19]和非局部PINN[20]。尽管PINN在上述许多工作中取得了成功的演示，但Wang等人[21]调查了PINN的一个基本失败模式，该模式与数值刚度有关，导致在模型训练期间初始/边界条件的损失函数和微分方程残差的损失函数之间的反向传播梯度不平衡。除了数值刚度外，物理刚度也可能对PINN的训练施加新的挑战。虽然PINN已被应用于解决涉及单步反应的化学反应系统[15]，但刚度通常是由于反应网络的非线性和复杂性导致的，其中物种的特征时间尺度跨越了很大范围。因此，PINN适应刚度的挑战 𝑑𝑦1𝑑𝑡 = −𝑘1𝑦1 + 𝑘3𝑦2𝑦3, 𝑑𝑦2𝑑𝑡 = 𝑘1𝑦1 − 𝑘2𝑦22 − 𝑘3𝑦2𝑦3, 𝑑𝑦3𝑑𝑡 = 𝑘2𝑦22. 0动力学可能由几个原因引起，包括状态变量的高维度（即物种数量）、物种之间相互作用导致的高非线性、不同状态变量的损失函数不平衡，因为物种浓度可能跨越几个数量级。然而，僵硬化学动力学对于几乎所有现实世界的化学系统建模都是必不可少的，如大气化学和环境、能源转换和储存、材料和化工、生物医药工程。使PINN能够处理僵硬动力学将为使用PINN促进这些广泛化学系统的设计和优化打开可能性。在化学动力学中，物种浓度的演变可以被描述为具有物种的净生成速率作为源项的常微分方程（ODE）系统。如果物种的特征时间尺度跨越很大范围，那么整合整个ODE系统将变得计算密集。准稳态假设（QSSA）已被广泛采用来简化和解决僵硬动力学问题，特别是在1960年代，当高效的ODE积分器不可用时[22]。QSSA的一个典型例子是Michaelis-Menten动力学公式，它仍然被广泛用于生物化学中的酶反应。如今，QSSA仍然广泛应用于反应-传输系统的数值模拟中，以消除化学僵硬性，并使得能够使用相对较大的时间步长进行显式时间积分[23,24]。此外，施加QSSA还通过消除快速物种来减少状态变量和传输方程的数量，从而大大降低了计算成本。从物理角度来看[22,25]，QSSA确定了通常浓度较低的物种（称为QSS物种）。它们的净生成速率远低于其消耗和生成速率，因此可以假定为零。从数学角度来看[22]，ODE的僵硬性可以由反应源项对物种浓度的雅可比矩阵的最大绝对特征值来表征。QSSA确定了与化学雅可比矩阵的最大特征值相对较大的物种，然后用微分代数方程来近似ODE，以减小雅可比矩阵的最大特征值的大小，从而减小了其僵硬性。在当前工作中，我们评估了PINN在解决两个经典的僵硬动力学问题的性能，并将其与Stiff-PINN的性能进行了比较，后者将QSSA纳入PINN以减小其僵硬性。虽然当前工作侧重于PINN，但通过QSSA减轻僵硬性0也可以应用于其他数据驱动方法，如神经常微分方程。0结果0我们展示了常规-PINN和Stiff-PINN的结果，以解决经典的僵硬ROBER问题，即，0然后在下面的图中显示结果。发现常规-PINN无法捕捉这样一个僵硬系统的动态，而带QSSA的Stiff-PINN可以成功解决它。0图1.使用BDF求解器（精确解）、常规-PINN和带QSSA的Stiff-PINN解决基准ROBER问题的解决方案。虽然常规-PINN无法预测僵硬系统的动力学演变，但带QSSA的Stiff-PINN效果非常好。相关代码可以在https://github.com/DENG-MIT/Stiff-PINN找到。0参考文献0[1] T. Qin, K. Wu, D. Xiu,使用深度神经网络近似数据驱动的控制方程，J. Comput. Phys. 395(2019) 620–635。https://doi.org/10.1016/j.jcp.2019.06.042。[2] Z.Long, Y. Lu, X. Ma, B. Dong, PDE-net: 学习PDE。0从数据中学习的掩盖的流体力学：从流场可视化学习速度和压力场，Science (80-. ) 367 (2020) 1026–1030。0深度学习的涡诱导振动，J. Fluid Mech. 861 (2019)119–137。https://doi.org/10.1017/jfm.2018.872。[4] A.M.Schweidtmann, J.G. Rittig, A. König, M. Grohe。0Mitsos, M. Dahmen, 用于预测燃料点火质量的图神经网络，Energy & Fuels.34 (2020)11395–11407。https://doi.org/10.1021/acs.energyfuels.0c01533。[5] Y.Bar-Sinai, S. Hoyer, J. Hickey, M.P. Brenner，学习发现坐标和控制方程。0数据驱动的偏微分方程离散化，Proc. Natl. Acad. Sci. U. S. A. 116 (2019)15344–15349。https://doi.org/10.1073/pnas.1814058116。[6] K.Champion, B. Lusch, J. Nathan Kutz, S.L. Brunton,数据驱动的涡诱导振动。0神经普通微分方程，in: Adv. Neural Inf. Process. Syst., 2018: pp.6571–6583。0[7] T. Xie, J.C. Grossman, 晶体图卷积神经网络。0材料性能的准确且可解释的预测的物理信息神经网络，Phys. Rev.0https://doi.org/10.1103/PhysRevLett.120.145301。[8] R.T.Q.Chen, Y. Rubanova, J. Bettencourt, D. Duvenaud。0神经普通微分方程，in: Adv. Neural Inf. Process. Syst., 2018: pp.0https://doi.org/10.2307/j.ctvcm4h3p.19。[9] K. Duraisamy, G.Iaccarino, H. Xiao, 湍流建模。0在数据时代的流体力学，Annu. Rev. Fluid Mech.(2019)。https://doi.org/10.1146/annurev-fluid-010518-040547。[10] R. Ranade, S. Alqahtani, A. Farooq, T.Echekki，复杂烃燃料的扩展混合化学框架。0https://doi.org/10.1126/science.aaw4741。[12] M. Raissi, P.Perdikaris, G.E. Karniadakis,物理信息神经网络：求解涉及非线性偏微分方程的正向和反向问题的深度学习框架，J. Comput. Phys. 378 (2019) 686–707。0https://doi.org/https://doi.org/10.1016/j.jcp.2018.10.045。[13]D. Zhang, L. Lu, L. Guo, G.E.Karniadakis，用于求解正向和反向随机问题的物理信息神经网络的总不确定性，2019。0https://doi.org/10.1016/j.jcp.2019.07.048。[14] I.E. Lagaris, A.Likas, D.I. Fotiadis,用于求解常微分方程和偏微分方程的人工神经网络，IEEE Trans.0https://doi.org/10.1109/72.712178。[15] L. Lu, X. Meng, Z.Mao, G.E. Karniadakis, DeepXDE:用于求解微分方程的深度学习库，(2019)。http://arxiv.org/abs/1907.04502（访问日期：2020年2月16日）。[16] X. Jin, S. Cai, H. Li,G.E. Karniadakis，NSFnets (Navier-Stokes Flownets)：不可压缩Navier-Stokes方程的物理信息神经网络。0http://arxiv.org/abs/2003.06496。[17] L. Sun, H. Gao, S. Pan,J.X. Wang,基于物理约束的深度学习流体流动的代理建模，Comput. MethodsAppl. Mech. Eng.(2020)。https://doi.org/10.1016/j.cma.2019.112732。[18] E.Kharazmi, Z. Zhang, G.E. Karniadakis,用于求解偏微分方程的变分物理信息神经网络，(2019)1–24。http://arxiv.org/abs/1912.00873。[19] X. Meng, Z. Li, D.Zhang, G.E. Karniadakis, PPINN:时变PDE的物理信息神经网络，Comput. Methods Appl. Mech.Eng. 370 (2020)113250。https://doi.org/10.1016/j.cma.2020.113250。[20] E.Haghighat, A.C. Bekar, E. Madenci, R. Juanes,使用Peridynamic微分算子的非局部物理信息深度学习框架，(2020)。http://arxiv.org/abs/2006.00446。[21] S. Wang, Y. Teng, P.Perdikaris,理解和减轻物理信息神经网络中的梯度病态，(2020)。http://arxiv.org/abs/2001.04536（访问日期：2020年8月26日）。[22] T.Turányi, A.S. Tomlin, M.J. Pilling, 准稳态近似的误差，J. Phys.Chem. 97 (1993)163–172。https://doi.org/10.1021/j100103a028。0[23] T. Lu, C.K. Law, C.S. Yoo, J.H. Chen,直接数值模拟的动态刚度去除，燃烧与火焰156（2009）1542-1550bustflame.2009.02.013.  [24] A. Felden, P. Pepiot, L. Esclapez, E.Riber, B. Cuenot,将解析化学简化（ARC）纳入CFD应用程序，宇航员学报158（20190https://doi.org/10.1016/j.actaastro.2019.03.035.  [25] C.K. Law,燃烧物理学，剑桥大学出版社，2006。https://doi.org/10.1017/CBO9780511754517。