使用PyTorch解决一维平流方程的物理信息神经网络方法

Array 13 (2022) 100110Shashank Reddy Vadyala a,*, Sai Nethra Betgeri a, Naga Parameshwari Betgeri, Ph.D b A R T I C L E I N F O A B S T R A C T 0under the CC BY license (http://creativecommons.org/licenses/by/4.0/ )。0使用PyTorch解决一维平流方程的物理信息神经网络方法0a  计算分析与建模系，路易斯安那科技大学，美国路斯顿 b  商业与管理系，印度泰拉南加邦梅达克纳萨普尔，B.V.Raju工学院0关键词：数据驱动科学计算 偏微分方程物理 机器学习 有限元法0使用不同的有限差分逼近和物理信息神经网络（PINNs）确定对平流方程的数值解，条件允许进行解析解。通过将它们与解析解进行比较来检验它们的准确性。我们使用了类似PyTorch的机器学习框架来实现PINNs。PINNs方法允许在优化过程中训练神经网络，同时尊重偏微分方程（PDEs）作为强约束，而不是将它们作为损失函数的一部分。在标准小尺度环流模拟中，显示出传统方法包含了一种伪扩散效应，几乎与湍流扩散模型的效应一样大；因此数值解与PDEs不一致。这种振荡会导致不准确性和计算不确定性。在测试的所有方案中，只有PINNs逼近准确预测了结果。我们假设PINNs方法可以通过允许实时物理模拟和几何优化来改变物理模拟领域，而无需在大型超级计算机上进行昂贵和耗时的模拟。01. 引言0PDE的状态存在于无限维空间中，通常用于建模物理科学和工程过程[1]。由于在大多数情况下缺乏计算方法，因此使用基于传统数值技术的有限维近似代替，这些技术经过多年的开发和改进。另一方面，传统数值求解器通常需要大量的计算工作，特别是对于具有多尺度/多物理特性的复杂系统，可能无法在实时或多查询应用中实现，例如优化、反问题和不确定性量化（UQ），这些应用需要进行许多重复的模拟[2]。解决PDE结构以获得精度和可靠性的最佳组合[3]。目前存在一些数据驱动的方法来使用深度神经网络（DNN）解决PDE。使用DNN来近似PDE解的好处[4]。DNN可以识别非线性相互作用，这在数学上已经通过通用逼近定理得到证实。训练后的DNN的前向评估速度很快，非常适合实时或多查询应用。此外，DNN模型是可以进行解析微分的；可以很容易地得到导数信息0用于优化和控制问题的自动微分[5]。最近，研究人员尝试在包括教育[6]、媒体[7]、电力[8]和医疗保健[9]在内的许多领域使用DNNs。然而，在各个领域存在一些无法通过分析方法解决的问题。由于某些常数被认为是固定的，即使是具有解析解的问题也有这些常数。另一方面，对于没有解析解方法的问题，数值方法可以快速地研究问题。然而，必须极度谨慎以确保获得收敛的解。这意味着我们需要弄清楚步长是否足够小，以发现我们试图理解的方程的解。例如，数值方法FEM是解决难以用现有解析表达式描述的具有边界和载荷条件的复杂几何形状的优秀工具。通常有三种方法可以解决科学问题/方程：分析方法、数值方法和实验方法。然而，由于成本和时间的限制，我们无法每次都使用实验方法。解决问题的传统方法是分析方法。然而，由于所施加的限制，我们无法通过分析方法解决方程。0*通讯作者。邮箱地址：vadyala.shashankreddy@gmail.com（S.R. Vadyala）。0ScienceDirect提供目录0Array0期刊主页：www.sciencedirect.com/journal/array0https://doi.org/10.1016/j.array.2021.100110收稿日期：2021年5月17日；修订稿收到日期：2021年9月21日；接受日期：2021年11月19日​​​​​​​​∅t + ∇ ⋅ (u ⋅ ∅ ) = ∇⋅(Γ∇ ∅ )(4) ∂∅/ t, ∂∅/ t, ∂∅∂tt2). 0 13 (2022) 1001100复杂的几何形状、边界条件和其他因素。因此，我们多年来一直在推动数值方法，因为它们可以在相对较短的时间内产生几乎可靠的结果，而且比解析方法更容易。例如，著名的纳维-斯托克斯方程从未被解析求解过，但可以使用数值方案快速求解。另一方面，传统数值方案的缺点是它们在表示不规则边界、不适用于非结构化网格以及动量、能量和质量不守恒方面具有挑战性[10]。最后，它们不适用于湍流流动缓慢的重要问题，并且倾向于偏向边缘和一维物理。为了解决传统方法的缺点，我们在本文中研究了将PINNs作为PDE的解近似的方法。PINNs被训练来解决监督学习任务，同时遵守由一般非线性PDE描述的任何给定物理定律[11]。我们将讨论PyTorch作为PINNs的Python实现。我们假设这些PINNs可能影响到可能和广泛使用的现实世界应用中的降阶物理模型。降阶模型的数值效率通常是以牺牲物理一致性为代价的。我们阐述了PINNs如何在降阶模型中使用以减少对流方程的认知（模型形式）歧义。PINNs的架构可以帮助缩小预测和可观测结果之间的距离。我们的方法从一个抽象的公式开始，然后转向数值积分方法，最后实现一个神经网络。0PINNs = 数据 + 神经网络 + 物理定律（1）0本文的其余部分结构如下。首先，第一部分02，对流方程的背景，第3.1节指定了语言、库和公共存储库的实现选择（用于复制结果）。然后，第3.2节介绍了使用简单的欧拉前向方法对一阶常微分方程进行积分的公式和实现。接下来，第4节呈现结果，第5节总结了结论和未来工作。最后，附录总结了本文中使用的神经网络概念。02. 背景0无论是湖泊上的波浪、声波还是地震，每个人都见过行波。写出一个合理的有限差分近似波动方程并不复杂。0大部分时间都花在尝试确定过程是否成功上。由于数值波传播有其自身的复杂性，我们将从最基本的用于产生移动波的数学方程之一开始[12]。对流方程写为0∂u/∂t + a ∂u/∂x = 0，其中{-∞ < x < ∞ 0 < t (2)0模型方程(2)的一个便利特点是它在方程(3)中有一个解析解：0u = u0f(x - at) (3)0这代表着一种以恒定速度传播且形状不变的波。当a >0时，波以正x方向传播，而当a <0时，波以负x方向传播。方程(2)在各种应用中都很重要，不应因其数学简单而被忽视。例如，对于气体运动的动量方程，它是方程(2)的非齐次版本，取决于u。因此，在星际气体及其由太阳风引起的运动的物理模型中出现了对流方程的非线性版本[13]。另一个应用是分析公路上的交通流[14]。道路上的汽车密度由u(x,t)表示。它们的速度由a表示。方程(2)可以作为可压缩流体的模型方程，例如，如果u表示压力，它代表着一种压力波的传播。对流方程经常用于模拟在柔性管道中的压力或流体传输，比如血管。分数对流-扩散方程在表面和地下水中异常溶质传输方面的应用。方程∂u/∂t + ∂F/∂x = 0的推广形式，其中对于线性0平流方程  F(u)  =  au .  PDEs 是包含未知多元函数及其偏导数的方程，在方程 (4)中。0其中 � 是因变量， � t  =  ∂ � / ∂ t  是 � t 的导数0关于时间， t,  � = (0) 是nabla算子,  u  =0( u ,  v ,  w ) 代表速度， Γ 代表扩散性。自变量是空间， x  = ( x ,  y ,  z )以及时间， t 。方程 (4)被称为对流扩散方程。扩散和对流是解释颗粒物质、电荷和其他物理量如何在物理结构内传输的两种机制。关于扩散 � � ( Γ �  � ) ，化学物质的浓度可以由 �假设。当某一区域的浓度相对于周围区域较低时（例如，浓度的局部最小值），物质就会扩散0图1. 用于求解扩散方程的PINNs示意图 ( ∂ u / ∂ t  =  � ∂ 2 u /0S.R. Vadyala等。y 13 (2022) 1001103∅ni = 1Vi∫Vi∅(x, tn)(5) ∅n =∑Vi∅ni(6) ∅n+1i= ∅ni − ΔtVi∑fiFf Af(7) 0从周围区域，增加浓度。净扩散与浓度的拉普拉斯（或二阶导数）成正比。如果扩散性 Γ 是一个常数， Γ � 2 � 。另一方面，关于对流， � � ( u  � � )，假设化学物质被带到运河中，我们正在计算单位时间内水的浓度。然后，有人在上游的河里泼洒了一桶化学物质。随着带有高浓度化学物质的区域通过，浓度会突然上升和下降。在本研究中提出的问题示例中，将包括找到函数 � ( x ,  t )，对于给定的几何形状、原始和边界条件，满足PDE。在典型的方法中，如有限体积，我们将统计域划分为小区域，并考虑给定时刻的平均体积大小 �  Eq.  (5)。0其中 Vi表示计算域中第i个离散化元素的体积。然后可以通过组合不同体积的解来获得全局解 Eq.  (6)。0这个函数是分段常数，无法推导，无法证明-0展示了传统数值方法的第一个缺点。许多应用需要可导的PDE解。特定的激动效应，如热通量和质量传递，是通过导数计算的；可导的解比使用分段函数的导数近似更可靠。我们离散化方程中的各种算子，并使用时间积分方案来改变时间。在其最基本的形式中，第一阶Euler算法 Eq.  (7)。0其中 Δt 是时间步长，Ff 是体积Vi的面f上的通量�，Af是面的面积。用于计算这些未知值的其他计算方案用于计算面上的通量。一些常用的选择是中心差分或上风方法。还需要两个方面来完成问题：原始和边界条件。首先要记住，初始状态只是一个时间维度的边界条件。这很重要，因为初始和边界条件通常被独立考虑，但我们的方法将类似地对待它们。初始条件设置了 � ( x ,  t  =0 )的值，并作为在先前描述的时间步进算法中开始计算的第一个值。边界条件设置了 �( x  ∈  D ,  t  >  0 )的值，其中D是域边界上的点的总数。我们必须指定一组特定的规则来改变这些点，以免看到范围之外的值。有许多边界条件，但我们示例中使用的是以下条件：0• 周期性: 当假定周期性条件时，域会折叠自身以绑定边界。 • 狄利克雷:对于这种类型的边界条件，我们将在边界处固定�。 • 纽曼:对于这种类型的边界条件，我们将在边界处固定��。0对于墙壁、流入和流出的处理，可能需要特定的边界。例如，在时间维度上，初始状态是狄利克雷边界条件。用于其他常规方法的方法，如有限差分或有限元，略有不同。但是，基本原则保持不变：将计算域离散化为假定解的小区域，然后将它们重新组合以检索全局解。因此，0没有可推导的分段替代方案。此外，由于我们使用时间步进算法，一旦改变自由参数、电流或边界条件，就需要进行新的计算。本研究提出了一种将基于物理的建模与数据驱动的ML相结合，以解决1D对流方程的策略。1D对流方程的方程直接编码到PINNs中，以指导其训练和预测。所呈现的案例研究表明，编码物理学可以显著提高PINNs的泛化能力，用于结构响应预测，并减少其对训练数据质量和数量的依赖。与相同阶数的数值方法相比，PINNs模型可以有效降低计算成本，使其成为结构、动力系统代理建模的良好选择。03. 方法03.1. 实施0本部分将教您如何使用神经网络解决方程(2)。Python正在用于解决PDEs。Python是一种编程语言，近年来越来越受欢迎。出于以下原因:由于不需要显式声明变量或单独的编译周期，因此对于小型“原型”任务来说，编码和使用都是快速简单的。它在大多数计算系统上都是免费的，并且具有涵盖广泛应用范围的大型软件包库。 Python还具有使开发和记录大型、结构良好的程序结构更容易的功能。Python不适合运行长时间的计算计算，因为它是一种解释性语言。但是，代码中通常使用对这些计算进行预编译的库例程的调用。许多这些例程可以直接使用PyTorch [15]、NumPy [16]和SciPy[17]软件包从Python中获得。大多数操作系统(OS)，包括Linux、OSX和MSWindows，都可以免费获得这些软件包。目标是实现一个经过训练的多层感知器(MLP)，可以给出输出φ(x,t)，其中x和t被设置为满足方程(1)的输入。基本原则是，使用独立变量作为PINNs输入在网络上进行前向传输，可以给出评估的依赖变量。由于PINNs是可导的，我们可以计算出依赖变量(输出)。用于计算原始PDEs中出现的不同导数的依赖变量(输入)。我们创建一个损失函数，通过这个导数在整个训练阶段拟合PDEs。我们将假设我们的PINNs解决了PDEs，如果损失函数接近零值。教学是在无监督的环境中进行的。因此，整个域中都可以应用连续和可导的解。PINNs还具有一个优点，即可以在解决方案中使用PDEs自由参数。因此，针对这些参数的各种值进行训练的解决方案将推广到不同的条件，而不是单一的情景，消除了每次修改参数时都需要新计算的需要。这种特性在优化研究中特别有用。更深入地说，我们描述了域内的一组点，方式与标准方法相同。这些点分为两类:训练后的准备和验证。我们还区分内部点和外部点。这将根据已建立的边界条件进行处理。然后，我们定义MLP架构:几个层和每个层中的隐藏单元数量。输入的数量将与PDEs中的独立变量的数量相同，以及我们想要添加的任何自由参数。输出的数量将与需要解决的未知数的数量相同。表1总结了PINNs算法。一旦我们有了训练数据和定义的PINNs，就会按照以下步骤进行:0•我们计算所有点的网络输出，�(x,t)和关于输入的导数：�t,�x,�xx。0数组13（2022）1001100S.R. Vadyala等4​​(9) ​​​​​​​​​​​​​​)2)0PINNs解决一维对流方程0•我们使用一个适合我们PDE的损失函数来处理内部点。这是我们希望改进的作用：�t+��(u��)−��(Γ��)=0•我们可以创建一个均方误差损失函数，以满足边界点的给定条件，因为我们固定了值。 •更新每个损失函数的PINNs参数。0�t+u�x=0（8）0我们的目标是创建一个合格的多层感知器（MLP），当给定x和t作为输入时，可以输出(x,t)，并满足方程(2)。考虑一维对流方程(8)，这是一维方程(1)的简化形式。00）=exp(−12(0其中�(x,t)是未知函数，x和t是独立变量，u是常数参数，�t和�x分别是关于t和x的导数。这个PDE有一个解析解，即�(x,t)=�(x,x−ut)。我们可以假设初始条件是物理的�(x,t=0)在速度u下移动。在�(x,t=0)2)/L解为�(x,t)=xp(−12(0x−在0.40)2)/L0x−在0.40离散化方程：un+1i=uni−aΔtΔx0如图2所示。为了解方程，我们定义了一组用于训练的点。0定义Δx和Δt使我们能够在整个域中建立统一的点网格，用于离散化方程(9)。我们描述内部和边界0(u_n_i−u_n_i−10•计算内部点的网络输出：�(00)。 •计算关于输入的输出的梯度：�x,�t。•创建内部点损失函数：L1=MSE(�x+�t)•计算边界状态输出：�(00)。 •计算关于输入的输出的梯度：�x,�t。•创建内部点损失函数：L1=MSE(�x+�t)•计算边界状态输出：�(0  0 e z −  101. Alblawi, A.S. and A.A. Alhamed. 高等教育中的大数据和学习分析: 揭秘多样性、获取、存储、NLP和分析.  在2017年IEEE大数据和分析会议(ICBDA)。2017. IEEE.   2.Kani, J.N. and A.H. Elsheikh, DR-RNN: 用于模型简化的深度残差循环神经网络. arXiv预印本arXiv:1709.00939, 2017.0参考文献0[1] Sirignano J, Spiliopoulos K. DGM: 用于解决偏微分方程的深度学习算法. J. Comput. Phys.2018;375:1339 – 64.  https://doi.org/  10.1016/j.jcp.2018.08.029 . 12月.  [2] Rüde U, Willcox K,McInnes LC, Sterck HD. 计算科学与工程中的研究和教育. SIAM评论. 2018;60(3):707 – 54.  https://doi.org/10.1137/16M1096840 . 1月.  [3] Gunzburger M. 边界值问题的有限元解 — 理论和计算(O.Axelsson和V. A. Barker). SIAM评论. 1988;30(1):143 – 4.  https://  doi.org/10.1137/1030025 . 3月.[4] Mahmoudabadbozchelou M, Caggioni M, Shahsavari S, Hartt WH, Em  Karniadakis G, JamaliS. 数据驱动的物理信息本构元建模复杂流体: 多保真度神经网络(MFNN)框架,. J. Rheol.  2021;65(2):179– 98.  https://doi.org/10.1122/8.0000138 . 2月.  [5] Xu J, Tao Q, Li Z, Xi X, Suykens JAK, Wang S.高效的铰接超平面神经网络及其在非线性系统识别中的应用. ArXiv190506518  Cs, 2019年11月,2021年3月14日,  http://arxiv.org/abs/1905.06518 ; 2021 [Online].  Available.  [6]  Albalowi A,Alhamed A. 高等教育中的大数据和学习分析: 揭秘多样性、获取、存储. NLP和分析 2017 .  [7]Denecke K. 使用临床NLP工具从医学社交媒体中提取医学概念: 一项定性研究. 2014./paper/Extracting-Medical-Concepts-from-Medical-Social-NLP-Denecke/8ed7609f41aa772a93c4a46f5ae7a9266559376e, .  [Accessed 14March 2021] .0[8] Strubell E, Ganesh A, McCallum A. NLP中深度学习的能源和政策考虑. ArXiv190602243 Cs,2019年6月, 2021年3月14日, http://arxiv.org/abs/1 906.02243 ; 2021 [Online]. Available.  [9]Vadyala SR, Betgeri SN, Sherer EA, Amritphale A.基于K-Means-LSTM的COVID-19确诊病例数量预测. ArXiv 200614752 phys Q-Bio  2021. 2020年6月,Accessed: 2021年3月14日, [Online]. Available:  http://arxiv.org/abs/2 006.14752 .  [10] Loredo C,Banks D, Roque ˜ ní N. 矿井隧道传热的分析模型评估. Geothermics 2017;69:153 – 64.https://doi.org/10.1016/j.  geothermics.2017.06.001 .  [11] Raissi M, Perdikaris P, Karniadakis GE.物理信息神经网络: 用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架. J. Comput. Phys.2019;378:686 – 707.  https://doi.  org/10.1016/j.jcp.2018.10.045 .  [12]  Dutykh D, Dias F.由移动底部产生的水波. In: Kundu A, editor.  Tsunami and nonlinear waves. Berlin, Heidelberg:Springer; 2007. p. 65 – 95 .  [13] Bruno R, Carbone V. 太阳风作为湍流实验室. Living Rev. Sol.  Phys.2013;10(1):2.  https://doi.org/10.12942/lrsp-2013-2 .  [14] L. Romero and F. G. Benitez,"交通流建模中扩散-对流概述," p. 17.  [15]  Stevens E, Antiga L, Viehmann T, Chintala S.PyTorch深度学习 2020 .  [16]  Oliphant T. NumPy指南 2006 .  [17] FJBlanco-Silva"学习SciPy进行数值和科学计算," Packt.https://www.packtpub.com/product/learning-scipy-for-numerical-and-scientific-computing/9781782161622 (accessed Mar. 14, 2021).0S.R. Vadyala等人100 13 (2022) 1001100[18] Kumar SK. 深度神经网络中的权重初始化。ArXiv 170408863 Cs.2017年5月，3月14日，http://arxiv.org/abs/1704.08863；2021年[在线]。可获得。[19] Long W,Kirby J, Shao Z. 形态学床层计算的数值方案。Coast. Eng Times2008;55:167-80。https://doi.org/10.1016/j.  coastaleng.2007.09.009。Feb。0[20]  Roe PL. TVD Lax-Wendroff格式的广义公式。美国国家航空航天局兰利研究中心，1984年。[21]Chen G.等熵气体动力学的LAX-FRIEDRICHS格式的收敛性（III）。数学科学学报，1986，6(1)：75-120。https://doi.org/10.1016/S0252-9602(18)  30535-6。Jan。0S.R.