扩展物理信息神经网络（XPINNs）：非线性偏微分方程求解的时空域分解方法

Ⓧ扩展物理信息神经网络（XPINNs）：一个基于广义时空域分解的非线性偏微分方程阿梅亚湾Jagtap1George Em Karniadakis11应用数学系，布朗大学，182乔治街，Providence，RI 02912，USA.ameyadjagtap@gmail.com，ameyajagtap@brown.edu摘要本文提出了一种广义时空域分解框架，用于物理信息神经网络（PINNs）求解任意复杂几何域上的非线性偏微分方程（PDE）。所提出的框架，命名为扩展PINN（ XPINN ） ， 进 一 步 推 动 了 PINN 以 及 保 守 PINN（cPINN）的边界，保守PINN是最近提出的PINN框架中的区域分解方法。与PINN相比，XPINN方法由于在较小的子域中部署多个神经网络的固有特性而具有更大的表示和并行化能力。与cPINN不同，XPINN可以扩展到任何类型的PDE。此外，域可以以任何任意方式（在空间和时间上）分解，这在cPINN中是不可能的。因此，XPINN提供了空间和时间并行化，从而更有效地降低了训练成本。在每个子域中，采用具有最佳选择的超参数的单独的神经网络，例如，网络的深度/宽度、剩余点的数量和位置、激活函数、优化方法等。深网络可以用于具有复杂解的子域，而浅神经网络可以用于具有相对简单和平滑解的子域。通过求解正、逆偏微分方程问题，从一维问题到三维问题，从时间相关问题到时间无关问题，从连续问题到不连续问题，我们证明了XPINN方法的通用性，这清楚地表明XPINN方法在许多实际问题中是有前途的所提出的XPINN方法是PINN和cPINN方法的推广，无论是在适用性方面，还是在区域分解方法方面，都有效地将其应用于并行计算。XPINN代码将在https://github.com/AmeyaJagtap/XPINNs上提供。介绍最 近 ， 深 度 神 经 网 络 （ DNN ） 在 科 学 机 器 学 习（SciML）领域获得了广泛的关注由于它们的普适近似特性，它们可以版权所有c2021，本文由作者所有。根据知识共享许可协议署名4.0国际（CC BY 4.0）允许可以用来构造求解偏微分方程的替代方法。特别是，它们通过隐藏层的组成提供非线性近似，这并不限制线性空间的近似。基于DNN的模型（黑盒代理模型）的训练通常需要大量的标记数据，这些数据在许多科学应用中通常是不可用的。然而，当已知支配偏微分方程时，可以用相对少量的数据以物理信息的方式学习它们的解基于PDE残差构建物理信息损失函数，并通过最小化该损失函数来训练DNN，这反过来又满足管理物理定律。最近，Raissi et al. (4)使用了自动微分和提出的物理信息神经网络（PINN），其中PDE残差作为正则化器被纳入全连接神经网络的损失函数中，从而限制了可接受解的空间。在这种情况下，偏微分方程解的推导问题转化为损失函数的优化问题。PINN的一个主要优点是提供了一种无网格算法，因为管理PDE中的微分算子是通过自动微分近似的（1）。PINN需要少量的数据，这可以在损失函数中适当地实施。PINN可以解决正问题，其中推断出支配物理定律的解，以及逆问题，其中确定支配方程中的未知系数甚至微分算子PINN已被广泛应用于求解各种偏微分方程，更多细节见（10; 5）。PINN的主要限制之一是大的训练成本，这会对它们的性能产生不利影响，特别是对于解决需要PINN模型实时运行的现实应用。因此，在不降低性能的情况下加速这些模型的收敛是至关重要的。这个问题首先在守恒律(11) 采用PINN框架中的区域分解方法。区域分解是标准数值方法（如有限元法）的一个基本发展，用于在并行计算机上求解偏微分方程形式的物理定律特别是，com-D−∀VB·ΘN→NN∈∈≤ ≤∈（二）{} ∈ VN我的天···L·假设域被划分为若干子域，这些子域仅通过它们的共享边界相互作用，并施加适当的连续性条件。整体解决方案是恢复的一系列独立的子问题的解决方案与整个域。cPINN方法可以扩展到其他类型的方程（不一定是守恒律），通过使用手头的解/控制方程的属性。在这方面，我们提出了一种广义域分解方法，即扩展PINN（XPINN）（7）。像PINN一样，XPINN可以用来解决任何PDE。此外，它具有cPINN的所有优点，如在每个子域中部署单独的神经网络，对所有网络进行有效的超参数调整，易于并行化的能力，大的表示能力（由于多个网络）等。广义时空域分解：XPINN公式提供具有C0或更规则边界的高度不规则的凸/非凸时空域分解。这种区域分解可以在许多应用中有用，如多物理场/多尺度计算，涉及非光滑特征（如裂纹，冲击波等）的模拟。由于这种分解，XPINN方法很容易适用于时空并行化，从而更有效地降低训练成本。扩展到任何微分方程：与cPINN方法不同，基于XPINN 的 区 域 分 解 方 法 可 以 扩 展 到 任 何 类 型 的PDE，而不考虑其物理性质。这样，任何微分方程都可以有效地求解，这使得XPINN方法成为一种真正广义的基于区域分解的PINN方法，可以很容易地并行化。简单界面条件：由于不规则的区域分解，界面形成高 度 不 规 则 的 形状 ， 特 别 是 在 更 高 的 维 度 。在XPINN中，对于任意形状的界面，界面条件非常简单，不需要法线方向，因此，所提出的方法可以很容易地扩展到任何复杂的几何形状，甚至在更高的维度。此外，这种简单的界面条件在界面运动的动态界面问题中是非常有用的。精确求解复杂的方程组，特别是高维方程组，已经成为科学计算中最大的挑战之一。XPINN的优点使其成为高维复杂模拟的合适候选者，这通常需要大量的训练成本。问题公式化参数化PDE的一般形式由下式给出：Lx（u;λ）=f（x），x∈R，（1）Bk（u）=gk（x），x ∈Γk<$对于k=1，2，…，nb，其中x（）是微分算子，u是解，λ=λ1，λ2，…是模型参数，k（）可以是Dirichlet，Neumann或混合边界条件，f（x）是强迫项。注意，对于瞬态问题，我们将时间t视为x的一个分量，并且初始条件可以简单地视为给定时空域上的特定类型的边界条件。上述设置，summates在工程和科学的问题范围广泛。对于等式（1），我们将残差F（u）定义为F（u）：L x（u; λ）− f（x）.方法全连接神经网络的数学设置设L：RDiRDo是L层第k层Nk个神经元的前馈神经网络（N0=Di，NL=Do）.第k层（1 k L）中的权重矩阵和偏置向量分别表示为WkRNk×Nk−1和bkRNk。输入向量由zRDi表示，并且第k层处的输出向量由k（z）和0（z）= z表示。我们用Φ表示激活函数，其与可缩放参数nak一起逐层应用，其中n是缩放因子。逐层引入附加参数a-k改变了每一隐层激活函数的斜率，从而提高了训练速度。此外，这些激活斜率也可以通过斜率恢复项对损失函数做出贡献，更多细节参见（8; 9）。 这种局部自适应激活函数增强了网络的学习能力，特别是在早期训练期间。在最近的研究中，Jagtap et al.（3）提出了Kronecker神经网络，它是具有自适应激活函数的神经网络的一般框架特别是，他们提出了rowdy激活函数，它允许比局部自适应激活函数更快的网络训练 但在本文中，我们采用的是局部自适应激活函数。在数学上，可以通过比较自适应激活函数方法与固定激活方法的梯度动态来证明这一点。自适应激活的梯度动态通过将条件矩阵乘以梯度并通过添加近似二阶项来修改标准动态（固定激活）在本文中，我们使用缩放因子n= 5的所有隐藏层和初始化Na k= 1，k，详见（9）。（L1）-隐层前馈神经网络定义为：Nk（z）=WkΦ（ak−1Nk−1（z））+bk∈RNk， 2≤k≤L1（z）= W1z+ b1，其中在最后一层，激活函数是恒等的。令θ=Wk，bk，ak作为所有权重、偏差和斜率的集合，并取k- ing作为参数空间，我们可以将神经网络的输出写为u（z）=NL（z;θ），···•···q=1P I NNΣSS其中，NL（z;θ）强调神经网络输出NL（z）对θ的依赖性。扩展物理信息神经网络在本节中，我们将讨论XPINN方法，它基本上是一个分解域上的PINN方法。在这里，我们描述了在后续演示中使用的基本术语。子域：子域q，q= 1，2，Nsd是指整个计算的非重叠子集。n阶域，使得n =SNsdq和nij=图1（顶部）显示了XPINN子网的示意图，其中除了DNN和PDE部分外，其他接口条件也对损失函数有影响。XPINN的接口条件包括强形式的剩余连续性条件以及沿公共接口的不同子网给出的平均解如cPINN框架（11）中所讨论的，为了稳定性，没有必要沿公共界面强制平均解，但计算实验表明，它将大大加快收敛速度。图1（底部）示出了XPINN的示意图，其中“X”形结构域被分成irreg-1和irreg-2∂Ωij，ij. Nsd表示子节点的总数，在每个子域中使用了ular子域和子网电源。在非重叠区域分解中，子域仅在它们的界面上相交。接口：接口是两个或多个子域之间的公共边界，其中相应的子网相互通信。子网：子网也称为子PINN，是指在每个子域中采用其自己的优化超参数集的单个PINN。接口条件：这些条件用于将分解的子域缝合在一起，以获得完整域上的支配偏微分方程的解。基于控制方程的性质，可以沿着公共界面应用一个或多个界面条件，诸如解连续性、通量连续性等。测量损失������������∶���=���目标域与不同的网络架构，以获得相同的底层PDE的解决方案。这种域分解也提供了网络的简单并行化，这对于实现计算效率是非常重要的。XPINN具有cPINN的所有优点，如parallelization容量，大表示容量，对超参数的有效选择，如优化方法，激活函数，网络的深度或宽度取决于每个子域中的解规则性的一些直观知识等。在平滑区域的情况下，我们可以使用浅网络，而深度神经网络可用于期望复杂解的区域中。除此之外，XPINN方法相对于cPINN方法还有各种优势。与cPINN不同，XPINN可用于求解任何类型的偏微分方程，而不一定是守恒律。在XPINN的情况下，不需要找到法线方向以应用法线通量连续性条件。这大大降低了算法的复杂性，特别是在大规模问题的情况下。神经网络（W，N，N）物理信息部分��������� ∶ ���������+������������= ν������������具有复杂域的LEM以及用于移动界面问题。φφφ φ������∶������， =���bPDE + BC + IC+ 接口损耗总考虑计算域，���φφ������������ ∶������， =���零损失转换为Nsd非重叠规则/不规则子φ φ���自动微分域. 在XPINN框架中，神经网络在第q子域中的输出由下式给出：反向传播（更新W、 、）N<>你知道吗？乌戈（z）=NL（z;Θ<$q）∈<$q，q=1，2，. . . ，Ns d.完了Y然后，得到最终解为：Nsd子网2子网5子网1uθ （z）=uθq=1q（z）·1个月q（z）、（3）子网4子网3其中，指示函数1q（z）定义为：如果z∈/q，1q（z）：=1如果z∈n_q\n_q中的公共界面，图1：上图是XPINN子系统的原理图net中的一个子域，其中的神经网络和物理信息的粘性Burgers方程的一部分。下图显示了“X”形域中不规则形状的子域划分1如果z∈公共界面在n_q中，其中表示沿着公共接口相交的子域的数量。子域损失函数 设{x（i）}Nuq，{x（i）NFq，在每个子域中使用，并将它们缝合在一起（一）NIq乌克i=1Fq}i=1使用接口条件。在这种情况下，域边界由黑色实线示出，而{xIq}i=1是随机选择的训练的集合，和公共接口点，分别在第q个接口用黑色虚线表示。子域。 N uq、N Fq和N Iq表示···Σ（十）FQJ乌克乌克Q乌克i=1东凤企业股份有限公司mains，这使得XPINN方法成为一种通用的do-Fq}i=1NN.θqFq.QIqi=1.条件。然而，在不连续解的情况Nuq（i）Q训练数据点、剩余点的数量以及第q个子块中公共界面上的点uθq+uθq+2（假设仅沿公共接口主，分别。与PINN类似，XPINN算法旨在学习一个两个子域相交）。接口条件确保可以传播预测的surrog ateuq=uΘε，q=1，2，···，NsdQ在邻近的子区域。这些条件也在子方程的收敛过程中起着重要的作用使用等式（3）在整个计算域上求解givenPDE的解u = u Θ θ。损失函数XPINN的损失函数是按子域定义的，它在每个子域中具有与PINN损失函数类似的结构，但被赋予了用于将子域缝合在一起的接口条件。对于正问题，第q子域中的损失函数定义为：J（Θθ）=WMSE （Θθ;{x ）的文件没有训练数据可用的干线。注3：在任何区域分解方法中，界面条件不仅在将子域缝合在一起方面而且在收敛方面起着重要作用。更具体地说，界面条件的类型决定了解在界面上的正则性，从而影响收敛速度。在所提出的XPINN方法中，平均解的执行给出了C解跨接口的连续性。此外，剩余的连续-NFq+WMSE（Θ∈;{x（i）}）性质在理论上可以加强解的正则性FqFqqFq i=1在经典意义上，即，跨界面的解决方案NIq+WMSE（Θ∈;{x（i）}）是充分连续的，因此它满足其支配Iqu avgqIq i=1PDE，使用AD计算。因此，XPINN可以`相互作用条件x可用于解任何微分方程分解NIq+WMSE（Θ∈;{x（i）}）域.除此之外，附加接口IFqRQIq i=1通量连续、Ck解连续等条件`相互作用条件x（k>0）等，这取决于偏微分方程和界面方向。举个例子，对于con.`OptinxQQ法向空间通量和剩余连续性的两个基本定律，其中q = 1，2，···，N sd. W u、WF、W I和W I可以对空间上划分的子区域施加自然条件是数据不匹配、残差和接口（两者均为残差以及沿界面的平均解连续性）权重。每个项的MSE由下式给出：主分解法注4：权重Wuq、WFq、WIFq和WIq起作用MSE（θ;{x（i）NUQNuq）=1。u（i）−u(i) .（十）、一个重要的作用，在收敛的极小。这些可以动态地选择权重，与静态权重相比，这导致更快的然而，这种动态uqqi=1NUQi=1NFqquq .2权重带来额外的计算负担，这在基于多个损失函数的方法MSE（θ;{x（i）QNFq）=1π。F（i）.比如cPINN和XPINN。注5：在光滑解的情况下，平均解的执行类似于连续解。MSE（θ;{x（i）}Iq）=2001年1月1日（i），（一） ，。2我们可以预期在双曲守恒律的情况下，这种强制要求相邻的网络，q+Iqi=1. uΘ<$q（xIq）−uΘ<$q（xIq）. 你好，满足沿界面不连续解的平均值MSE（θ;{x（i）NIq）=备注6：足够数量的接口点（NI）RqIq}i=1Q在将子域拼接在一起时必须进行这2001年1月1日（一）（一） .2对于算法的更快收敛是重要的，尤其是-Iqi=1. FΘ<$q（xIq）−FΘ<$q+（xIq）。你好，对于内部子域，它没有任何训练数据点。我们也可以利用这样的知识其中，项MSE uq 和MSE q 数据不匹配：从每个子网络获得的沿界面线的解，以适当地选择界面点的位置。和残差εs，以及FΘεq =F（uΘ=q）表示残基-第q子域中的支配偏微分方程的值MSER优化方法我们要找的是那迷你-是公共区间上的剩余连续性条件由两个不同的神经网络分别在子域q和q+上给出的面;q上的上标+表示相邻子域。MSER和MSEuavg项都针对所有相邻子域q+被定义，这在它们各自的表达式中由和表示：在所有q+上的信息符号。 u的平均值沿最大化每个子域中的损失函数（Θq）。尽管没有理论保证上述过程收敛到全局最小值，但我们的实验表明 ， 只 要 给 定 的 PDE是 适 定 的 并 且 具 有 唯 一 解 ，XPINN公式就能够获得精确解，只要公共接口由下式给出：塞斯克，=u 平均值：=使用充分表达的网络和足够数量的剩余点有几个优化算法-2+一个离散积分条件东凤企业股份有限公司东凤企业股份有限公司i=1、U平均值−−可用 于最小化 损失函数 的算法 。随机梯 度下降法（SGD）是应用最广泛的优化方法.在SGD中，随机采样一小组点以在每次迭代中找到梯度的方向。SGD算法可以很好地避免DNN在一点凸性下训练过程中出现不良的局部极小值。特别地，我们将使用ADAM优化器，它是SGD（6）的一个版本。备注7：注意，由于高度非凸性质，1 .一、00。50。0-0。5-1。00。00。20岁40.60. 81. 0不对于XPINN损失函数，定位其全局最小值是非常具有挑战性的。然而，对于几个局部极小值，损失函数的值是可比的，并且相应的预测解的精度是相似的。这些是所谓的操作者模仿现象的实例，其中损失函数的强非凸性可能导致同样好的多个局部最小值。备注8：在编码方面，我们可以使用相同的XPINN代码来解决正问题和逆问题，因为对于逆问题代码，我们只需要添加gov中涉及的附加模型参数图2：一维粘性Burgers方程：子域1（蓝色星形）和子域2（黄色圆圈）中的剩余点红线表示海豚形界面，它将两个子域分开，黑十字表示初始和边界条件下的训练数据点u（精确）1 .一、00。880。66将偏微分方程加入到待优化的参数列表中，而不修改前向问题代码的其他部分。XPINN代码是用Python编写的，深度学习框架Tensorflow用于利用其内置的自动区分功能。计算结果和讨论粘性Burgers方程一维粘性Burgers方程由下式给出：ut+uux=νuxx，x∈R，t > 0初始条件u（x，0）= sin（πx），边界条件u（1，t）=u（1，t）= 0，ν= 0. 01/π。可以使用Hopf-Cole变换获得解析解。0。50。0-0。51 .一、00。00。20岁40.60. 8不u（预测值）0。50。0-0。50。20岁40.60. 8不0。440。220。00-0。22-0。44-0。66-0。880。880。660。440。220。00-0。22-0。44-0。66-0。88信息，参见Basdevant等人，（2）了解更多详情。由于扩散系数ν的值很小，对流项中的非线性产生了非常陡峭的解。计算时空域被划分为两个子域，如图2所示，其中内部子域边界是海豚形状的。表1显示了两个子域中的网络架构。在两个子域中使用了两种不同的激活函数。学习率为0.0008。数据值不匹配，图3：一维粘性Burgers方程：时空域上精确解（左）和预测解（右）的等高线图。预测解中的白线代表海豚形状的时空界面。ual和接口项权重为W uq = 20，WFq 为1001，WIFq= 1和WIq= 20，并且界面上的界面点的数目为310。边界和初始训练数据点的数量为300。10−2子域名数1 2#层6 7神经元数量20 25#剩余点数7000 3000自适应激活函数tanh sin10−4020000400006000080000100000表1：一维粘性Burgers方程：每个子域中的神经网络架构。迭代次数图4：一维粘性Burgers方程：两个子域以及界面的损失值。子域名1子域2接口X损失XX−图2显示了来自初始和边界条件的300个训练数据点的位置。精确解和预测解如图3所示。经过100 k次迭代，解的相对L2图4显示了两个子域和界面损失函数的收敛历史，由以下表达式J（θ1）=Wu1MSEu1+WF1MSEF1（子域1），J（θ2）=WF2MSEF2（子域2），授权HR00111990025和DARPA CompMods授权HR00112090062。引用[1] A.G. Baydin，文学士Pearlmutter，A. A. Radul，J.M. Siskind，机器学习中的自动区分：一项调查，机器学习研究杂志，18（2018）1-43。[2] C. Basdevant等人，Burgers方程的谱和有限差分解。液体，14J（Θ=Interf ace）=WIFMSE R+ W I1 MSE u平均值（接口）。（1986）23-41.从图中我们可以看到，由于剩余连续性条件，子域和面间损耗都收敛在一起我们还可以观察到，由于实际计算边界的训练数据点不可用，最初子域2损失非常小，因此，它完全依赖于子域1的收敛。当子域1损失开始收敛时，子域2遵循相同的路径，即，我们看到损失值突然增加，然后收敛。界面损失比子域损失收敛得更快，即使在100k次迭代后仍在下降。沿界面的预测解的相对L2误差为5.92672e-3。结论我们提出了一种广义区域分解方法，即扩展PINN（XPINN）方法.与PINN方法一样，该方法可用于求解任何微分方程。这是通过沿相邻子域的公共界面强制执行剩余连续性条件来实现的。剩余连续性条件在理论上可以在经典意义上加强跨界面的解正则性，即，穿过界面的解足够光滑，使得它满足其支配PDE。我们还加强了两个不同的神经网络沿着两个子域之间的公共接口给出的平均解（C0解连续性），这可以提高收敛速度。XPINN具有其前身保守PINN（cPINN）方法的所有优点，如在每个子域中部署单独的神经网络，所有网络的有效超参数调整（如深度，宽度，激活函数，惩罚点，优化方法等），并行化能力，大的表示能力等。此外，XPINN制定的一个关键因素是任何类型的微分方程的子域划分的灵活性。XPINN的主要优点是，它可以很容易地用于任何复杂的模拟涉及复杂的域，特别是在更高的维度。总的来说，所提出的XPINN方法是PINN和cPINN方法的推广，无论是在适用性方面还是在区域分解技术方面，都有效地适用于并行计算。确认这项工作得到了能源部PhilMs资助DE-SC 0019453，DARPA-AIRA[3] 公元Jagtap，Y.申，K.Kawaguchi，G.E.KroneckerNeural Networks：A General Framework for NeuralNetworkswithAdaptiveActivationFunctions（ KroneckerNeuralNetworks ： AGeneralFramework for Neural Networks with AdaptiveActivation Functions）[4] M. Raissi，P. Perdikaris，G.E. Karniadakis，物理学通知神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架。J.计算机物理、378，686-707，2019。[5] K. Shukla，P. C. D. Leoni，J. Blackshire，D.火花侠，通用电气。Karniadakis，用于表面断裂裂纹超声 无损量化 的物理信 息神经 网络，arXiv ：2005.03596v1，2020。[6] D. P. Kingma ， J.L. Ba ， ADAM ： A method forstochastic optimization ， arXiv ： 1412.6980v9 ，2017.[7] AD Jagtap 和 GE Karniadakis ， Extended physics-informedneuralnetworks （ XPINNs ） ： Ageneralized space-time domain decomposition baseddeeplearningframeworkfornonlinearpartialdifferentialequations，CommunicationsinComputational Physics ， 28 （ 5 ） ， 2002-2041（2020）。[8] A.D. Jagtap，K. Kawaguchi和G.E. Karniadakis，自适应激活函数加速深度和物理信息神经网络的收敛，J。算-算。物理、国审[2020] 404号第109136页。[9] A.D. Jagtap，K. Kawaguchi和G.E. Karniadakis，局部自适应激活函数与斜率再细化深度和物理信息神 经 网 络 ， Proc. R. Soc. A 476 ： 20200334（2020）。http://dx.doi.org/10.1098/rspa.2020.0334[10] Z. Mao，A.D. Jagtap和G.E. Karniadakis，Physics-informed neural network for high-speed flows ，ComputerMethodsinAppliedMechanicsandEngineering，360（2020）112789。[11] A. D. Jagtap，E. Kharazmi，G.E.Karniadakis，守恒律离散域上的守恒物理信息神经网络：对正问题和逆问题的应用，应用力学和工程中的计算机方法365（2020）113028。1