Stiff-PINN：用于刚性化学动力学的物理信息神经网络

Stiff-PINN：用于刚性化学动力学季伟奇1，邱伟伦2，石智宇2，潘少武3，邓思立1*1麻省理工学院机械工程系，马萨诸塞2北京大学工程学院，中国3密歇根大学航空航天工程系，密歇根州安娜堡，网址：silideng@mit.edu摘要最近发展起来的物理信息神经网络（PINN）通过将物理定律编码到神经网络的损失函数中，使得网络不仅符合测量、初始和边界条件，而且满足控制方程，在许多科学和工程学科中取得了成功。本文首先研究了PINN在求解控制方程为刚性常微分方程的刚性化学动力学问题中的性能。结果阐明了利用PINN在刚性ODE系统的挑战。同时，我们采用准稳态假设（QSSA）来降低常微分方程系统的刚度，从而将PINN成功地应用于非/弱刚度系统。因此，结果表明，刚度可能是所研究的刚性化学动力学系统中的规则PINN失效的主要原因。开发的Stiff-PINN方法，利用QSSA，使PINN解决刚性化学动力学将打开的可能性，PINN应用到各种反应扩散系统，涉及刚性动力学。介绍深度学习使许多科学和工程学科取得了进步，例如计算机视觉、自然语言处理和自动驾驶。根据应用，已经开发了许多不同的神经网络其中一些也被用于数据驱动的物理建模[1-8]，包括湍流建模[9]和化学动力学建模[10]。这些不同的神经网络架构基于性质对神经网络引入了特定的正则化例如CNN中卷积核其中，最近开发的控制方程（主要是微分方程）通过使用自动微分来最小化剩余损失函数来执行，因此它成为深度神经网络的物理正则化。该框架允许解微分方程（即，前向问题）和根据观测进行参数推断（即，逆问题）。PINN已用于预测Burgers方程、Navier-Stokes方程和Schrodinger方程的解为了增强PINN的鲁棒性和通用性，还开发了PINN的多种变体，例如变分PINN [18]、Parareal PINN [19]和非局部PINN [20]。尽管PINN在上述许多作品中成功地展示，Wang etal.[21]研究了PINN失效的基本模式，该模式与数值刚度相关，导致初始/边界条件的损失函数与模型训练期间微分方程残差的损失函数之间的反向传播梯度不平衡。除了数值刚度之外，物理刚度也可能对PINN的训练提出新的挑战。虽然PINN已被应用于解决涉及单步反应的化学反应系统[15]，但刚度通常来自反应网络的非线性和复杂性，其中物种的特征时间尺度跨越很宽的幅度范围。因此，PINN在适应僵硬版权所有©2021由其作者。在创作共享许可署名4.0国际（CC BY 4.0）一一二三 二三2动力学可能由几个原因引起，包括状态变量的高维数（即，物种的数量）、物种之间的相互作用导致的高度非线性、由于物种浓度可以跨越几个数量级而导致尽管如此，刚性化学动力学对于几乎每一个真实世界的化学系统的建模是必不可少的，例如大气化学和环境、能量转换和储存、材料和化学工程、生物医学和生物医学工程。制药工程启用PINN进行处理也可以应用于其他数据驱动的方法，如神经常微分方程。结果我们提出了正则PINN和刚性PINN的结果来解决经典的刚性ROBER问题，即，联系我们������ =− 11+323，������������2=������ ���−2−，���������刚性动力学将打开使用PINN来促进这些宽范围的化学体系的设计和优化的可能性。32=22。在化学动力学中，物种浓度的演化可以描述为以物种的净产生速率为源项的常微分方程（ODE）系统。如果物种的特征时间尺度跨越很宽的幅度范围，整合整个ODE系统成为计算密集型。准稳态假设（QSSA）已被广泛用于简化和解决刚性动力学问题，特别是在20世纪60年代，当时无法获得有效的ODE积分器[22]。利用QSSA的典型实例是Michaelis-Menten动力学公式，其仍然被广泛采用来制定生物化学中的酶反应。如今，QSSA仍然广泛用于反应-传输系统的数值模拟，以去除化学刚度并实现具有相对较大时间步长的显式时间积分[23，24]。此外，施加QSSA也减少了状态变量和输运方程的数量，通过消除快速物种，这样的计算成本可以大大降低。从物理角度[22，25]，QSSA识别出通常是相对低浓度的自由基的物质（称为QSS物质）。它们的净生产率远低于它们的消费和生产率，因此可以假定为零。从数学角度[22]，ODE的刚度可以由雅可比矩阵的最大绝对特征值来表征，即，反应源项的雅可比矩阵与物质浓度的关系。QSSA识别对应于化学雅可比矩阵的相对大的特征值的物质，然后用微分代数方程近似ODE，以降低雅可比矩阵的最大特征值的大小，从而降低刚度。在目前的工作中，我们评估的性能PINN在解决两个经典的刚性动力学问题，并比较它与性能的Stiff-PINN，它incorporates QSSA到PINN，以减少刚度。虽然目前的工作集中在PINN上，但通过QSSA减轻刚度是可行的。结果如下图所示。结果表明，正则PINN不能很好地描述这种刚性系统的动力学行为，而基于QSSA的刚性PINN则能很好地描述这种刚性系统的动力学行为。图1基准ROBER问题的解决方案，使用BDF求解器（精确解），正则PINN和刚性PINN与QSSA。虽然常规PINN无法预测刚性系统的动力学演化，但具有QSSA的刚性PINN工作得很好。相关代码可在https://github.com/DENG-MIT/Stiff-PINN上找到。引用[1]没有Qin，K. Wu，D. Xiu，使用深度神经网络的数据驱动 控 制 方 程 近 似 ， J. 计 算 机 395 （ 2019 ） 620-635 。https://doi.org/10.1016/j.jcp.2019.06.042。[2]运动Long，Y. Lu，X.妈妈，B。Dong，PDE-net：从数据 中 学 习 偏 微 分 方 程 ， ArXiv Prepr 。 ArXiv1710.09668.（2017）。[3]先 生 Raissi ， Z. Wang ， M.S. Triantafyllou ， G.E.Karniadakis，涡激振动的深度学习，J.流体机械861（2019）119-137。https://doi.org/10.1017/jfm.2018.872。[4]A.M. Schweidtmann，J.G. Rittig，A.柯尼希湾Grohe，A.米措斯湾图神经网络用于燃料点火质量的预测，能量燃料。34（2020）11395-11407.https://doi.org/10.1021/acs.energyfuels.0c01533。[5]纽约Bar-Sinai，S. Hoyer，J. Hickey，M.P. Brenner，学习偏微分方程的数据驱动离散化，Proc.国家学术科学院院报联合美国上午116（2019）15344-15349.https://doi.org/10.1073/pnas.1814058116。[6]克雷冠军湾Lusch，J. Nathan Kutz，S.L. Brunton，坐标和控制方程的数据驱动发现，Proc.国家学术科学院院报联合美国上午116（2019）22445-22451。https://doi.org/10.1073/pnas.1906995116。[7]没有Xie，J.C. Grossman，晶体图卷积神经网络用于材料性能的准确和可解释的预测，物理。版本快报（2018）。https://doi.org/10.1103/PhysRevLett.120.145301。[8]R.T.Q. Chen ， Y. Rubanova ， J. Bettencourt ， D.Duvenaud，神经常微分方程，在：高级神经信息过程。系统， 2018年：pp. 6571-6583.https://doi.org/10.2307/j.ctvcm4h3p.19。[9]克雷Duraisamy，G. Iaccarino，H.肖，数据时代的湍流模 拟 ， 2000 年 。 修 订 版 流 体 机 械 （ 2019 ） 。https://doi.org/10.1146/annurev-fluid-010518-040547。[10] 室Ranade，S.Alqahtani，A.Farooq，T.张文，复杂碳氢化合物燃料的扩展混合化学框架，燃料。251（2019）276-284。https://doi.org/10.1016/j.fuel.2019.04.053。[11] 先生Raissi，A. Yazdani，G.E. Karniadakis，Hidden FluidMechanics ： Learning velocity and pressure fields from flowvisualizations ， Science （ 80-. ） . 367 （ 2020 ） 1026-1030 。https://doi.org/10.1126/science.aaw4741。[12] 先生Raissi，P. Perdikaris，G.E. Karniadakis，Physics-informed neural networks ： A deep learning framework forsolving forward and inverse problems involving nonlinear partialdifferential equations ， J. 计 算 机 378 （ 2019 ） 686-707 。https://doi.org/https://doi.org/10.1016/j.jcp.2018.10.045。[13] 学位张丽卢湖Guo，G.E.Karniadakis，量化物理信息神经网络中的总不确定性，用于解决正向和反向随机问题，2019年。https://doi.org/10.1016/j.jcp.2019.07.048。[14] I.E. Lagaris，A. Likas，D.I.李文，神经网络在求解微分方程中的应用，硕士论文，北京大学出版社。9（1998）987-1000。https://doi.org/10.1109/72.712178。[15] 法律Lu，X. Meng、山核桃Z. Mao，G.E. Karniadakis，DeepXDE ： A deep learning library for solving differentialequations（2019）. http://arxiv.org/abs/1907.04502（2020年2月16日访问）。[16] 十 . Jin ， S. Cai ， H. Li ， G.E. Karniadakis ， NSFnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络（2020）。http://arxiv.org/abs/2003.06496。[17] 法律Sun，H. Gao，S. Pan，J.X. Wang，基于物理约束深度学习的流体流动替代建模，无模拟数据，Comput.方法应用Mech.Eng.（2020）.https://doi.org/10.1016/j.cma.2019.112732。[18] 大肠Kharazmi，Z. Zhang，G.E. Karniadakis，用于求解偏微分方程的变分物理信息神经网络，（2019）1-24。http://arxiv.org/abs/1912.00873。[19] 十 . Meng 、 山 核 桃 Z. Li 、 山 茱 萸 D. Zhang ， G.E.Karniadakis，PPINN：时间相关偏微分方程的旁域物理信息神 经 网 络 。 方 法 应 用 370 （ 2020 ） 113250 。https://doi.org/10.1016/j.cma.2020.113250。[20] 大 肠 Haghighat ， A.C.Bekar ， E. 马 登 奇 河 Juanes ， Anonlocal physics-informed deep learning framework using theperidynamicdifferentialoperator，（2020）。http://arxiv.org/abs/2006.00446。[21] 美国Wang，Y. Teng，P. Perdikaris，Understanding andmitigatinggradientpathologiesinphysics-informedneuralnetworks，（2020）。http://arxiv.org/abs/2001.04536（2020年8月26日访问）。[22] 没有Turányi，A.S. Tomlin，M.J. Pilling，关于准稳态近似 的 误 差 ， J. 物 理 化 学 97 （ 1993 ） 163- 172 。https://doi.org/10.1021/j100103a028。[23] 没有Lu，C.K.法律，C.S.Yoo，J.H.陈，直接数值模拟的动态刚度火焰156（2009）1542-1551。https://doi.org/10.1016/j.com-bustflame.2009.02.013.[24] 上午Felden，P. Pepiot，L. Esclapez、E.里伯湾Cuenot，包括CFD应用中的分析还原化学（ARC），Acta Astronaut。158（2019）444-459。https://doi.org/10.1016/j.actaastro.2019.03.035。[25] C.K. Law ， Combustion Physics ， Cambridge UniversityPress，Cambridge，2006.https://doi.org/10.1017/CBO9780511754517。