自适应权重的物理信息神经网络（PINN）用于解决非线性偏微分方程

基于软注意机制摘要布拉加-内托德州农工大学电气与计算机工程系College Station，TX 77845{levimcclenny，ulisses}@ tamu.eduPINN相对于传统的时间步进PDE求解器的一个很大的优点是，整个空间-时间做，物理信息 神经 网络 （PINN）最近出现的深度神经网络的一个很有前途的应用程序的数值解的非线性偏微分方程（PDE）。然而，更刚性或半线性偏微分方程的解可能包含梯度和解快速变化的区域，从而在训练解网络时产生困难人们已经认识到，需要自适应程序来迫使神经网络准确地适应解决方案中的这些“顽固”点。为了实现这一点，以前的方法在被认为是重要的解决方案的区域上硬编码的损失函数中使用固定权重。在本文中，我们提出了一种自适应训练PINN的新方法，使用完全可训练的权重，迫使神经网络专注于解决方案的区域是困难的，在某种程度上，这让人想起了计算机视觉中使用的软乘法注意力掩模。自适应PINN的关键思想是使权值随着相应损耗的增加而增加，这是通过训练网络同时最小化损耗和最大化权值来实现的，就像经典非线性优化中的增广拉格朗日和约束满足方法一样我们提出了与Allen-CahnPDE的数值实验，其中自适应PINN在L2错误方面优于其他最先进的PINN算法，同时使用较少的训练时期。介绍作为新兴的科学机器学习领域的一部分（Baker et al.2019），物理信息神经网络（PINN）最近出现了一种替代transmitting 偏微分方程（PDE）求解器的方法（ Raissi ， Perdikaris 和 Karniadakis 2019; Raissi 2018;Wight和Zhao 2020; Wang，Yu和Perdikaris 2020）。典型的黑盒深度学习方法不考虑对问题域的物理理解。PINN方法基于约束深度神经网络的输出以满足PDE指定的物理模型。版权所有© 2021，本文由作者所有。根据知识共享许可协议署名4.0国际（CC BY 4.0）允许使用在可以通过GPU大规模并行化的过程中，可以使用在空间-时间域上不规则分布（而不是在网格上近年来，随着GPU能力的不断增强，一种在训练迭代中依赖于并行性的方法可能会开始成为科学计算中的主要方法。（Raissi，Perdikaris和Karniadakis 2019）中的原始连续PINN，此后称为另一方面，已经观察到基线PINN在求解更刚性的半线性偏微分方程时存在收敛性和准确性问题例如，相场模型的Allen-Cahn和Cahn-Hilliard方程 就 是 这 种 情 况 （ Moelans ， Blanpain 和 Wollants2008）。为了解决这个问题，已经提出了对基线PINN算法的各种修改。例如，在（Wight and Zhao 2020）中，引入了一系列方案，包括训练损失函数的非自适应加权、配 置 点 的 自 适 应 恢 复 和 时 间 自 适 应 方 法 ， 而 在（Wang，Teng，and Perdikaris 2020）中，提出了学习率退火方案。一致的意见是，适应机制是必不可少的，使PINN更稳定，并能够很好地近似解决方案的困难区域。本文介绍了自适应PINN，这是一种解决偏微分方程（PDE）自适应问题的简单解决方案，它使用可训练权重作为软乘法掩码，让人想起计算机视觉中使用的注意力机制（Wang et al. 2017; Pang etal. 2019）。权重与近似网络同时训练。因此，在损失函数中，解的困难区域中的初始点、边界点或同位点被自动加权得更重，从而迫使近似在这些点上改进实验结果表明，自适应PINNs能较准确地求解传统的“刚性”Allen Cahn偏微分自适应L LLLLLLNrLθ阿勒特θθ000i=1BBBBBi=1R R i=1PINN比其他最先进的PINN自适应训练算法显示出更准确的结果，同时使用更少的训练时期。背景物理信息神经网络综述考虑以下形式的一般非线性PDEut+Nx[u]= 0，x∈ N，t∈ [0，T]，（1）u（x，t）=g（x，t），x∈N，t∈ [0，T]，（2）u（x，0）= h（x），x∈N，（3）其中x∈N是域中的空间向量变量非自适应加权在（Wight and Zhao 2020）中，有人指出，应该重视迫使神经网络严格满足初始条件，特别是对于描述时间不可逆过程的偏微分方程，其中必须尽早近似解据此，提出了损失函数（θ）=r（θ）+b（θ）+C0（θ）的形式，其中C1是h超参数。学 习 速 率 退 火 。 在 （ Wang ， Teng 和 Perdikaris2020）中，有人认为，在以前的方案中，权重C的最佳值可能在不同的偏微分方程之间变化很大，因此很难选择它的值Rd，t是时间，Nx是空间微分运算。相反，他们建议使用在训练过程中调整的权重，使用我是说...以下（Raissi，Perdikaris和Karniadakis 2019），令u（x，t）近似于具有输入x和t的深度神经网络的输出uθ（x，t）。将残差定义为：损失函数。值得注意的是，权重本身不通过反向传播进行调整相反，它们表现为学习率系数，这些系数被更新为∂r（x，t）：=u（x，t）+N[u（x，t）]，（4）每一个训练阶段。适应性呼吸 在（Wight and Zhao 2020）中，一个strat-其 中 所 有 的 偏 导 数 可 以 通 过 自 动 微 分 方 法 计 算（Baydin et al.2017; Paszke et al. 2017）。参数θ通过反向传播（Chauvin和Rumelhart 1995）在损失函数上进行训练，该损失函数对不满足（1）-（3）的输出进行惩罚L（θ）=Lr（θ）+Lb（θ）+L0（θ），（5）其中r是对应于残差（4）的损失，b是由于边界条件（2）引起的损失，并且0是由于初始条件（3）引起的损失：L（θ）=1<$r（xi，ti）2，（6）对剩余配置点进行自适应重采样基于残差的大小提出。虽然这种方法提高了近似，但必须中断训练过程，并在剩余点上评估MSE，以确定性地重新采样具有最高误差的点在每一个重建步骤之后，残留点的数量增加，增加了计算复杂度。时间适应方法。在（Wight and Zhao 2020）中，提出了另一种方法，该方法将时间轴划分为几个较小的区间，并在这些区间上顺序或并行地分别训练PINN。这种方法由于需要训练多个PINN，这是耗时的rNrR ri=1Nb神经正切核（NTK）加权。最近，（Wang，Yu和Perdikaris 2020）引入了权重L（θ）=1|u（xi，ti）−gi|第二条第七款关于配置和边界损失，bNbi=1Nb b b通过神经正切核。这种方法导出一个决定性的内核，该内核保持不变或不断更新，1Σ0我I2在训练期间以预设的时间间隔周期性地进行L0（θ）=N0i=1|，（8）|,(8)方法其中{xi，hi=h（xi）}N0是时间t= 0时的数据，虽然在前一节中概述的方法，Nb{xi，ti，gi=g（xi，ti））}是边界处的数据{xi，t i}Nr是随机分布的搭配点行PINN，它们要么是非自适应的，要么需要蛮力N0、Nb和Nr分别表示初始数据、边界数据和配置点的总数。 参数θ可以通过深度学习中使用的标准梯度下降过程最小化总训练损失（θ）来调整。相关工作基线PINN算法在训练过程中可能不稳定，并且在半线性PDE的解中围绕尖锐的空间和时间转换产生不准确的近似。 最近关于PINN的许多文献已经通过引入对基线PINN算法的修改来减轻这些问题，所述修改可以增加训练稳定性和近似的准确性，主要是通过尝试减轻神经网络近似固有的谱偏差。我们提到其中一些方法-X在稳定性和准确性方面比基础有所改进RRBB以增加的计算成本进行调整在这里，我们提出了一种自适应程序，该程序使用完全可训练的权重来产生乘法软注意力掩码，其方式让人想起计算机视觉中使用的注意力机制（Wang et al. 2017; Pang et al. 2019）。这与神经网络的自适应原理是一致的：不是在解决方案的特定区域硬编码权重，而是通过反向传播与网络权重一起所提出的自适应PINN利用以下损失函数L（w，λr，λb，λ0）=Lr（w，λr）+Lb（w，λb）+L0（w，λ0），（9）其中λr=（λ1，. . . ，λ Nr），λb=（λ1，. . . ，λNb），且λ0=低（λ1，. . . ，λ N0）是可训练的非负自适应0 0LB ≡∇LLL≥L（w，λ）=1<$g（λi）r（xi，ti;w）2（10）L（w，λ）=1<$g（λi）（u（xi，ti;w）−gi）2（11）00n0的000RB0BBBRB0RRR RRRRBBBBBBBBB00000000BBΣBLNri=1初始点、边界点和配置点的权重，r rNrR r ri=1Nbb bNbb b b b bi=1n0的L（w，λ）=1<$g（λ i）（u（xi，0; w）− h i）2. （十二）其中自适应掩码函数g是非负的、可微的、严格递增的函数。自适应PINN的关键特征是，损失（w，λr，λb，λ0）相对于网络权重w最小化，但相对于自适应权重λr，λb，λ0最大化，即，目标是：图1：掩码函数示例。 从左上到右下：多项式掩码，q=2;多项式掩码，q= 4;平滑逻辑掩码;锐化逻辑掩码。minWMaxλr、λb、λ0L（w，λr，λb，λ0）。（十三）惩罚量通常被初始化为较小非零值）。我们注意到，任何权重都可以是考虑这个问题的梯度下降/上升方法的更新wk+1=wk−ηk<$wL（wk，λk，λk，λk）（14）如果需要，设置为固定的不可训练值例如，通过设置λk1，将仅训练初始点和搭配点的权重。函数g的形状影响掩模锐度，λk+1=λk+ηk<$λL（wk，λk，λk，λk）（15）PINN的培训示例包括多项式掩码R rrrb0g（λ）= cλ q，对于c，q> 0，以及S形掩模。见图1λk+1=λk+ηk<$λL（wk，λk，λk，λk）（16）λk+1=λk+η k<$λL（wk，λk，λk，λk）。（十七）必须保持低于适当的（大）值，以避免0 00rb0数值溢出S形掩模没有这个其中，ηk是步骤k处的学习速率，并且λL=g′（λk，1）r（x1，t1;wk）2···g′（λk，Nr）r（xNb，tNr;wk）2<$T（18）问题，也可以用来生产尖锐的面具。结果在本节中，我们报告了用以下方法获得的实验结果：Allen-Cahn PDE使用简单的二次掩模，<$λL=<$g′（λk，1）（u（x1，t1;wk）−g1）2···对比所提出的自适应PINN算法对基准PINN和两个g′（λk，Nb）（u（xNb，tNb;wk）−gNb）2<$T（19）PINN算法中提到的，即非自适应加权和时间自适应方案（对于后者，λL=′（λk，1）（u（x1，0;wk）−h1）2···使用（Wight和Zhao 2020）中的方法1的g′（λk，N0）（u（xN0，0;wk）−hN0）2<$T（20）在这一领域的工作，直接比较的功效，因此，如果g′（λ）>0，即掩码函数严格递增，则λr 、λb ，λ00，并且如果对应的未掩蔽损失为零，则任何增益仅为零;例如，λ=0当且仅当u（xi，t1;wk）=gi，对所有i = 1，. . . ，N0，即，神经网络近似完全满足初始条件（在所有给定点）。这示出了权重序列{λk;k=1，2，. . . }的情况下，我们的技术这些示例的代码是用Tensorflow 2编写的，可以在Github1上获得，其中所有的实现细节都是公开的，可重复使用。艾伦-卡恩方程Allen-Cahn反应扩散偏微分方程是典型的encoun方程。举几个例子。实际上，多项式掩码函数使用的主要品质因数是L2误差，类似于相关关于我们∇LL Lλb; k = 1，2，. . . ，λ0; k = 1，2，. . . （ 以及相关联的掩码值）单调增加，前提是对应的未掩码损耗为非零。此外，梯度λ r的大小 、λb 、λ0 如果是，则更新的值更大未掩盖的损失更大。这种逐渐加重的刑罚-在相场模型中使用，例如，可用于模拟金属合金微观结构演变中的相分离过程（Moelans，Blanpain和Wollants2008; Shen和Yang 2010; Kunselman等人2020）。这里考虑的Allen-Cahn PDE被指定为使网络更加不适合残差，约束-ary和初始点紧密（自适应权重，即，第1https://github.com/levimcclenny/SA-PINNsR±±±±LNb（由于周期性边界条件，实际上有200个边界点）。 这里我们将边界权重wi保持为1，而初始权重wi和搭配b0的图2：上图：通过自适应PINN的近似u（x，t）图中间：近似u（x，t）与通过时间演化在各个时间点的高保真解U（x，t）。左下角：空间-时间域上的残差r（x，t）。 正如预期的那样，对于整个域，它接近于0。右下角：空间-时间域上近似和高保真解决方案之间的绝对误差如下所示：训练权重Wi初始和配置权重分别从区间[0，100]和[0，1]中的均匀分布初始化。训练在NvidiaV100GPU上进行13毫秒/迭代。用自适应PINN获得的数值结果如图2所示随机重新开始的10次运行的平均L2误差为2.1% ±1.21%，而通过时间自适应方法（Wight和Zhao 2020）获得的10次运行的L2误差为8.0% ±0.56%。无论是基线PINN还是非自适应加权方案，固定初始条件权重C = 100，都不能令人满意地解决这个PDE，L2误差分别为96.15%6.45%和49.61% 2.50%-这些数字几乎匹配。与（Wight and Zhao 2020）中报告的结果图3中的曲线图对于所提出的自适应PINN算法是唯一的。它显示跨时空域的搭配点的训练权重这些是由PINN自我施加的乘法软注意力掩模的权重。该图在具有随机重启的不同运行中保持显著恒定，这表明它是待求解的特定PDE的性质。我们可以观察到，在这种情况下，在解决方案的早期需要更多的关注，但在整个空间变量中并不均匀在（Wight and Zhao 2020）中，这一观察结果是合理的，因为Allen-Cahn偏微分方程描述了一个时间不可逆的扩散反应过程，其中解必须在早期很好地近似。然而，在这里，这个事实是由自适应PINN本身“发现”的。u t− 0。0001uxx+ 5u3−5u= 0，x∈[-1，1]，t ∈[0，1]，（21）u（x，0）=x2cos（πx），（22）u（t，−1）=u（t，1），（23）u x（t，−1）=u x（t，1）.（二十四）出于多种原因，Allen-Cahn PDE是PINN的有趣基准它是一个更严格的半线性PDE，挑战PINN近似具有尖锐空间和时间过渡的解决方案，并且还引入了周期性边界条件（23，24）。为了处理后者，将（11）中的边界损失函数b（θ，wb）替换为1ΣNbi=1图3：在时空域上学习的权重更亮的颜色和更大的点表示更大的权重。我我我2Lb（θ，wb）=b =0（|u（1，tb）− u（−1，tb）|+的我我2|u x（1，tb）− u x（−1，tb）|）（25）神经网络架构与层大小完全相关[2，128，128，128，128，1]。（网络的2个输入是（x，t）对，输出是uθ的近似值。该架构与（Wight和Zhao 2020）相同，以便直接比较性能。 我们将配置点、初始点和边界点的数量设置为Nr=20，000，N0=100和Nb= 100，结论本文提出了一种基于自适应的PINN算法。这种方法使用了一个概念框架，让人想起计算机视觉中使用的软注意力机制，因为网络识别哪些输入对其自己的训练最重要。Allen-Cahn PDE系统的实验结果表明，自适应PINN允许更精确的解决方案具有比其他最先进的PINN算法更小的计算成本的PDE我们认为，自适应PINN开辟了新的可能性，为复杂的非线性，半线性和刚性偏微分方程的PINN求解器的改进和实施在工程和科学。致谢作者希望通过NSF奖DGE-1545403获得D3EM项目的支持作者还要感谢美国陆军CCDC陆军研究实验室的慷慨支持和合作，以及Nvidia DGX站硬件，允许执行和实验中所示的这一摘要。引用Baker，N.; Alexander，F.; Bremer，T.; Hagberg，A.;Kevrekidis ，Y.; Najm ， H.; Parashar， M.; Patra ，A.;Sethian，J.; Wild，S.; Willcox，K.;和Lee，S. 2019.科学机器学习基础研究需求研讨会报告：人工智能核心技术。doi：10.2172/1478744。Baydin，A.G.地; 珀尔马特湾一、Radul，A.一、还有西斯金德J. M. 2017年。机器学习中的自动微分：综述。TheJournal of Machine Learning Research18（1）：5595-5637.Chauvin，Y.;Rumelhart，D.E. 一九九五年反向传播：理论、架构与应用。中国心理学出版社.Kunselman ， C.; Attari ， V.; McClenny ， L.; Braga-Neto，U.;和Arroyave，R. 2020.半监督学习方法用于模糊微结构中的类分配。Acta Materialia188：49Moelans，N.;Blanpain，B.;和Wollants，P.2008年微结构演化的相场模拟简介。Calphad32（2）：268Pang，Y.;谢，J.;汗，M。H.的;安韦尔河M.;汗角，加-地S.的;和Shao，L.2019年。用于遮挡行人检测的面具引导注意力网络在IEEE国际计算机视觉会议论文集，4967Paszke ， A.; Gross ， S.; Chintala ， S.; Chanan ， G.;Yang ， E.; DeVito ， Z.; Lin ， Z.; Desmaison ， A.;Antiga，L.;和勒勒，A. 2017. pytorch中的自动微分。Raissi，M. 2018.前向-后向随机神经网络：高维偏微分方程的深度学习。arXiv预印本arXiv：1804.07010。Raissi， M.; Perdikaris ， P.; Karniadakis ， G. E. 2019.Physics-informed neural networks：一个深度学习框架，用于解决涉及非线性偏微分方程的正问题和逆问题。计算物理学杂志378：686-707。沈，J.;和Yang，X.2010年。allen-cahn和cahn-hilliard方程的数值逼近离散连续动力系统-A28（4）：1669。王，F.;江，M.;钱，C.; Yang，S.; Li，C.;张，H.; 王，X.;和Tang，X.2017年。用于图像分类的剩余注意力网络。IEEE计算机视觉与模式识别会议论文集，3156Wang，S.; Teng，Y.;和Perdikaris，P. 2020。理解和减轻物理信息神经网络中的梯度病理。arXiv预印本arXiv：2001.04536。Wang，S.; Yu，X.;和Perdikaris，P. 2020。PINN何时以及为什么无法训练：神经切线内核视角。arXiv预印本arXiv：2007.14527。怀特角L.的;和Zhao，J. 2020。 用自适应物理信息神经网络求解Allen-CahnarXiv预印本arXiv：2007.04542.