用于求解耦合流动和传输系统的物理信息神经网络

⊂∂基于物理信息的神经网络求解流输耦合系统Sanghyun Lee1 Teeratorn Kadeethum，21佛罗里达州立大学数学系1017 Academic WayTallahassee，FL2康奈尔大学西布利机械与航空航天工程学院130 Upson HallIthaca，NY14853tk658@cornell.edulee@math.fsu.edu摘要在本文中，直接应用的物理信息的神经网络考虑耦合的流动和运输系统作为一个正向求解器。我们解决经典的挑战，解决耦合系统的多个变量，涉及对流为主的制度的运输。比较了神经网络的近似解和精确解，并对超参数和训练数据个数进行了敏感性分析。介绍自1943年基于大脑模型的神经网络（NN）的开创性工作（McCulloch和Pitts 1943）以来，在大数据分析和强大计算资源的进步的帮助下，NN和深度学习（DL）以深度神经网络（DNN）的形式的发展已经加速。尽管DL取得了许多成功，但在科学问题中的应用仍然存在局限性。在许多科学和工程问题中，收集大量数据以保证 模型准确 性是昂贵 的，并 且通常是 不可能的（Ahmed、Jones和Marks 2015）。此外，DL模型的训练仅基于可用数据，训练过程中不涉及物理规律，可能导致物理上不合理的预测（Xiao et al.2016; Wang，Wu ， andXiao2017;Raissi ， Perdikaris ， andKarniadakis 2019; Kutz 2017; Wang et al. 2018; Zhang etal. 2019b）。为了克服NN和DL的上述限制，基于物理科学的科学机器学习（SciML）将科学知识和基于物理的偏微分方程（PDE）并入DL架构中。基于DL求解偏微分方程的新 方 法 包 括 深 度 Ritz （ Weinan 2017; Weinan 和 Yu2018），PDE-Net（Long，Lu和Dong 2019），深层Galerkin （ Sirignano 和 Spiliopoulos 2018 ） ， 变 分Galerkin （ Kharazmi ， Zhang 和 Karniadakis 2019;Khodayi-Mehr and Zavlanos 2019），深度区域分解（Li et al. 2019），理论指导的数据科学（Karpatne et al. 2017 a）、物理引导的NN（Karpatneet al. 2017 b），理论指导的NN（Wang et al. 2020），物理学信息NN（Raissi，Perdikaris和Karni-adakis 2019;Kadeethum ， Jørgensen 和 Nick 2020 b ， a ） 和 其 他（ Owhadi 2015; Jagtap ， Kharazmi ， and Karniadakis2020; Lu et al. 2019; Raissi，Yazdani，and Karniadakis2020; D'Elia et al. 2020; Kadeethum ，Jørgensen 和Nick2020 b; Fraces，Papaioannou和Tchelepi 2020）。使用这些新的研究思想减轻了对大量训练示例的需求，并且物理定律通过PDE系统自然地嵌入（Lu et al. 2019;Raissi ，Yazdani 和Karniadakis 2020; D 'Elia 等人2020;Raissi ， Perdikaris 和 Karniadakis 2019; Kadeethum ，Jørgensen，and Nick 2020a）.在本文中，我们利用物理信息神经网络（PINN）的思 想 来 解 决 多 孔 介 质 中 的 耦 合 流 动 和 传 输 系 统（Fraces，Papaioannou和Tchelepi 2020; Cai等人。He等人，2020）。超参数（层数和神经元）和训练数据点的数量的敏感性分析进行了讨论。此外，我们提出的性能的PINN解决对流为主的运输系统时，通量也计算PINN。计算算法在本节中，我们介绍了PINN的管理系统和主要成分，并根据以前的研究（Raissi，Perdikaris和Karniadakis2019）进行了理论分析控制方程本文考虑了在计算域Ω R2中的耦合流动输运问题的初边值问题，其中时间域用T=（0，T]表示，给定最终时间T >0.由质量（体积）守恒导出的耦合系统定义如下贝叶斯深度卷积网络（Zhu et al.2019年），a版权所有© 2021本文由作者所有。知识共享许可署名4.0国际（CC BY 4.0）−·（κp）=f，v：=−κp，tc+（一）·1H1，1HNhl，1我2O13我.......小时......1，. .小Nhl，啊钾我我W1，1={ W1，11，1..一... Wi}b1，11我其中未知变量是标量压力函数（p）和标量传输函数（c）。这里，f和g是每个方程的体积力，v是用给定系数κ定义的速度矢量，为了简单起见，在本文中假定κ为常数。压强方程的Ω边界条件可以分解为压强（Dirichlet）边界和通量（Neu- mann）边界，分别为Ωp和Ωq此外，输运方程还分别由狄利克雷边界和诺伊曼边界进行了补充，即Ωc和Ωr。 并给出了浓度c（t = 0）= c0的初始条件。物理信息神经网络最近开发的物理信息神经网络 （ PINN ） （ Raissi ，Perdikaris和Karniadakis2019）通过利用每个的残差来寻求满足PDE的解决方案输入I层隐藏层W1，Nn= {W1，Nn ... W1，Nn}b1，Nn输出层控制系统中的方程和边界/初始条件作为培训的一部分。在这里，将偏微分方程的解公式化为约束优化问题的解。这种方法的几个主要优点包括i）通过利用控制方程作为待最小化的目标函数中的隐式正则化项，训练集的大小显著减小（D’Eliaetal. ii）它是一种无网格方法，其中NN是在随机采样的时间和空间点的批次上训练的。特别是，PINN已被进一步扩展以求解分数偏微分方程（Pang，Lu和Karniadakis2019），随机偏微分方程（Nabian和Meidani 2018;Yang，Zhang和Karniadakis2020;Zhang ， Guo 和 Karniadakis2020;Zhanget al. 2019a）和非局部模型（D'Elia et al. 2020年）。神 经 网 络 架 构 神 经 网 络 架 构 的 示 例 如 图 1 所 示（ Rumelhart ， Hinton ， and Williams 1986;LeCun ，Bengio，andHinton2015;HintonandSalakhutdinov2006）。图中所示的NN中的输入和输出节点的数量是根据问题的给定公式确定的例如，如果问题是求解时间相关的PDE，则我们有三个输入节点（x、y和t），其中t是时间，x和y分别是x和y方向上的坐标（即，图1中i= 3）。 输出节点将是满足给定偏微分方程系统的解函数。在（1）中定义的耦合流动和传输问题中，我们有两个输出节点c和p，其中c表示浓度，p是压力。因此，我们在图1中具有k= 2。隐藏层的数量（N hl）和神经元的数量（N n）充当超参数，这意味着它们是特定于问题的，需要根据每个问题的 性 质 进 行 调 整 （ Goodfellow ， Bengio 和Courville2016）。每个神经元（例如，H1，1... H1，Nn）连接到具有可调整权重（W）的前一层的节点并且还具有可调节的偏置（b）。这些变量是在训练阶段 学 习 的 （ Hinton 和 Salakhutdinov2006;Goodfellow ，Bengio和Courville2016），利用双曲正切（tanh）作为激活函数，二阶有限内存BFGS作为优化器，通过最小化损失函数（LOSS）。图1：一般神经网络架构的示例（Rumelhart，Hinton和Williams 1986;LeCun，Ben-gio和Hinton 2015; Hinton和Salakhutdinov 2006）。 输入层最多包含i个输入节点，输出层由1，…，k个输出节点。Nhl是指隐藏层的数量，并且每个隐藏层由Nn个神经元。每个神经元（例如， H1，1... H1，N，n）连接到具有可调整权重的前一层的节点，并且还具有可调整偏置。该图改编自（Kadeethum，Jørgensen和Nick2020b，a）基于（Raissi，Perdikaris，and Karniadakis 2019; Lu etal. 2019），PINN使用两个NN。一个神经网络是用来施加的边界/初始条件的系统与可调的W和b，和其他神经网络是由微分算子的损失函数的正则化条款为每个偏微分方程给出的信息后者的损失函数可以由偏微分方程的残差因此，用于评估这些额外正则化项的训练示例不同于用于训练具有边界/初始条件（BC/IC）的网络的训练示例。换句话说，BC/IC是使用训练数据施加的，并且方程残差是通过在随机选择的内部搭配点处的预测状态的自动微分以无数据的方式施加的。这种以残差作为损失函数 的 额 外 NN 被 称 为 PINN （ Raissi ， Perdikaris 和Karniadakis2019）。 为了最小化PINN，我们调整来自第 一 个 NN 的 所 有 W 和 b 。 在 本 文 中 ， NN 构 建 在Tensorflow平台上（Abadiet al. 2015），并且数字代码构建在DeepXDE（Luet al. 2019年）。损失函数我们通过机器学习过程最小化的损失函数（LOSS）由两部分组成，如前一节所述。一个是训练数据（MSE tr）上的误差，其包括第一NN的边界和初始条件。另一个是给定正则项的均方值国×× ×i=1Σ通过物理通知函数（MSEΠ）。我们通过所谓的物理通知函数（Π）将底层物理信息编码到NN，如下所示：Πp：= −·（κp）−f，（2）∂Πc：= tc+·（（−κp）c）−g，（3）其是给定PDE的残差这些残差（Πp，Πc）将充当下面定义的损失函数中的附加正则化项因此，我们问题的损失函数为损耗：= MSE tr+ MSE Πp +MSEΠc，（4）其中边界和初始条件被并入MSEtr中。这里，均方误差（MSE）的值被定义为MSE：=1国（φ（xi，ti）−(a) t = 0时的p。1.（b）t= 0时的c。1.(c) c在t = 0。5.（d）t=1时的c。图2：（a）示出了近似的压力值P，对于给定函数φ和近似函数φh，φh（xi，ti））2。数值结果在这最后一节中，我们通过求解（1）中所示的耦合流和运输系统来实施例1首先，为了测试所提出的算法的准确性，我们将精确解设置为c（x，y，t）：= sin（t+x+y），（5）t= 0。1，并且（b）-（d）是近似传输值c每次t = 0。1，0。5，t= 1。(a) t = 0时的p。5（b）t= 1时的p。和p（x，y，t）= cos（t+x+y），（6）对于输运和压力，分别在计算域ΩT=（0，1）2（0，1]中。这里，体积力f和g是用给定的解计算的，其中κ被选为κ= 1，并且对于压力和输运，狄利克雷边界条件都是在Ω上给出图2示出了压力的近似解（p）在时间t = 0处。1和时间t = 0时的运输（c）。1，0。5和t= 1。此外，图3显示了与每个给定时间步长的线上精确解 我们观察到，PINN与给定的损失函数提供了准确的近似的多变量耦合的流动和运输系统。 我们注意到，该算法没有时间推进步骤。这里，用于近似初始条件（NΩ（t=0））、边界条件（NΩ）和域内（NΩ）的训练数据点的数量均设置为1000。隐藏层的数量为4，每层的神经元数量为10。采用二阶有限记忆BFGS方法进行优化，并将epochs（训练迭代）的数量设置为10，000。此外，tanh函数被用于激活函数。接下来，表1示出了关于超参数（隐藏层的数量）的选择的灵敏度测试(c) c在t = 0。5（d）在t=l时的c。图3：近似的压力和输运解p、c与线（0，0. 5）-（1，0.5）。（Nhl）和神经元（Nn））。这里，通过以下定义计算误差（1）A（x，y）=0（|φ（xi，ti）−φh（xi，ti）|）其中φ表示精确解，φ h是近似解，在这种情况下是压力或输 运。此外， 对 于该 测试， 初始/边界条件（NΩ（ t=0 ），N Ω）和残差域内（NΩ）的训练点数固定为1000。我们观察到算法确实依赖于这些超参数，但结果并没有太大变化此外，表2给出了算法这里，超参数被固定为Nhl= 4并且×× ×−·t= 0。1，0。3，0。5，0。7和0。图9在图5中的相同域中绘制。在这种平流主导的情况下，我们没有观察到任何虚假振荡或过/欠拍摄（违反最大值原理）（Wang，Teng和Perdikaris2020;Fuks和Tchelepi2020）。表1：取决于隐藏层和神经元的数量的误差的比较上面的桌子是压力的，下面的桌子是运输的。行指示不同数量的隐藏层（Nhl），并且列用于不同数量的神经元Nn。Nn= 20。为了提供一般结果，表中示出了5种不同实现的平均值（NΩ（t=0），NΩ）\NΩ101001000(10、10）1.25e-031.04e-031.44e-03(100，100）1.04e-039.99e-046.40e-04(1000，1000）1.56e-038.02e-041.08e-03（NΩ（t=0），NΩ）\NΩ101001000(10、10）4.73e-032.06e-032.32e-03(100，100）1.23e-031.94e-031.08e-03(1000，1000）1.48e-031.20e-031.20e-03表2：取决于训练点的数量的误差的比较。上面的桌子是压力的，下面的桌子是运输的。 列表示different（NΩ（t=0），N Ω），行表示NΩ。实施例2在最后一个例子中，我们通过设置f=g= 0，解决了ΩT=（0，1）2（0，1]中的简单流动和传输问题。输送和压力的边界条件如下所示（a）t = 0时的p。1（b）c在t= 0。1(c) c在t = 0。5（d）在t=l时的c。图4：压力p和输运c的解对于每个给定的时间步长。和c= 1，如果x=0，c·n= 0，否则其中，p= 1，如果x=0，p= 0，如果x=1，κ图5：c在直线（0，0. 5）（1，0.（5）是对于每个时间t = 0绘制。1，0。3，0。5，0。7和0。9. 我们确实观察到了预期的移动阶跃函数输运方程的初始条件被设置为c（t= 0）= 0。因此，我们以计算出的速度将c= 1从左边界传输到右边界。这里，超参数固定为Nhl= 4和Nn= 20，NΩ（t=0）=NΩ=NΩ=1000。图4示出了对于每个给定时间的压力p和传输c 我们注意到，压力和速度在时域上是恒定的，如图4（a）所示。 然而，c的值如预期的那样从左向右传输（图4（b）-（d））。本文给出了c在直线（0，0. 5）−（1，0. （5）每次结论本文利用PINN来解决多物理场问题之一，耦合流动和传输系统。给出了神经网络训练参数和PINN损失函数的敏感性检验。 数值实验说明了算法的精度和能力。与现有的数值方法，如有限元法的详细比较，并考虑非均匀介质中的非线性问题的扩展正在进行的工作。.Nn\Nhl4816102.65e-032.19e-037.79e-04206.23e-041.86e-037.61e-04403.32e-038.89e-041.75e-03Nn\Nhl4816101.47e-033.11e-031.08e-03206.10e-041.05e-039.60e-04405.00e-032.56e-032.89e-03引用Abadi ， M.;Agarwal ， A.;Barham ， P.;Brevdo ，E.;Chen，Z.;Citro，C.; Corrado，G.; Davis，A.; Dean，J.; Devin，M.;等人，2015。TensorFlow：异构系统上的大规模机器学习。Ahmed，E.; Jones，M.;和Marks，T. 2015.一种用于人员重新识别的改进的深度学习架构。IEEE计算机视觉和模式识别会议论文集，3908-3916。Cai，S.; Wang，Z.; Lu，L.; Zaki，T. A.;和Karniadakis，G.大肠2020. DeepM& Mnet：基于神经网络算子近似推断电对流多物理场。arXiv预印本arXiv：2009.12935。D'Elia，M.; Parks，M. L.; Pang，G.;和Karniadakis，G.2020. nPINNs：参数化非局部通用拉普拉斯算子的非局部物理信息神经算法与应用。技术报告，桑迪亚国家实验室。（SNL-NM），Albuquerque，NM（美国）。弗雷斯角G.; Papaioannou，A.;和Tchelepi，H. 2020.物理学为多孔介质中的传输提供了信息的深度学习巴克利·莱弗里特问题arXiv预印本arXiv：2001.05172。Fuks，O.;和Tchelepi，H.上午2020.物理学的局限性为多 孔 介 质 中 的 非 线 性 两 相 输 运 Journal of MachineLearning for Modeling and Computing1（1）.古德费洛岛Bengio，Y.;和Courville，A. 2016. 深度学习MIT Press.He ，Q.; Barajas-Solano，D.; Tartakovsky，G.;和 Tar-takovsky，A. 先生2020年。多物理场资料同化的物理学信息神经网络及其在地下输运中的应用。水资源进展141：103610。Hinton，G.;和Salakhutdinov，R. 2006.用神经网络降低数据的维数。science313（5786）：504Jagtap、尖吻蝮A. D.; Kharazmi，E.;和Karniadakis，G.大肠2020. 守恒律离散域上的保守物理信息神经网络：应用于正问题和逆问题。应用力学与工程中的计算机方法365：113028。Kadeethum，T.;Jørgensen，T.;和Nick，H.2020a。用于求解非线性Biot方程的逆问题的物理信息神经网络：批量训练。第54届美国岩石力学/地质力学研讨会。美国科罗拉多州戈尔登：美国岩石力学协会。Kadeethum，T.;Jørgensen，T.;和Nick，H.2020b。解非线性扩散系数和Biot方程的物理信息神经网络。PLoSONE15（5）：e0232683.Karpatne，A.; Atluri，G.; Faghmous，J. H.; Steinbach，M.; Banerjee ， A.; Ganguly ， A.; Shekhar ， S.;Samatova，N.;和Kumar，V. 2017年a。理论指导的数据科学 ：从数据中进 行科学发现的 新范式。IEEETrans- actions on knowledge and data engineering29（10）：2318Karpatne ，A.; Watkins ，W.; Read ， J.; 和Kumar ， V.2017年b。物理引导神经网络（Physics-guided neuralnetworks，pgnn）：在湖泊温度模拟中的应用。arXiv预印本arXiv：1710.11431。Kharazmi，E.; Zhang，Z.;和Karniadakis，G. 2019.变分物理信息神经网络求解偏微分方程。arXiv预印本arXiv：1912.00873.Khodayi-Mehr ， R.; 和 Zavlanos ， M. 先 生 2019 年 。VarNet：用于求解偏微分方程的变分神经网络。arXiv预印本arXiv：1912.07443。Kutz，N.2017年。流体动力学中的深度学习流体力学杂志814：1-4。LeCun，Y.;Bengio，Y.;和Hinton，G.2015年。深度学习nature521（7553）：436.Li，K.; Tang，K.; Wu，T.; Liao，Q. 2019. D3M：一种求解偏微分方程的深度区域分解方法。IEEE Access.Long，Z.; Lu，Y.;和Dong，B. 2019. PDE-Net 2.0：使用数字-符号混合深度网络从数据中学习PDE。计算物理学杂志399：108925。Lu ， L.; Meng ， X.; Mao， Z.;和 Karniadakis ， G. 大 肠2019. DeepXDE：一个用于求解微分方程的深度学习库arXiv预印本arXiv：1907.04502。McCulloch，W.;和Pitts，W.一九四三年对神经活动中固有观念的逻辑演算数学生物物理通报5（4）：115Nabian，M. A.;和Meidani，H. 2018. 高维随机偏微分方程 的 深 度 神 经 网 络 代 理 。 arXiv 预 印 本 arXiv ：1806.02957。Owhadi，H. 2015. 贝叶斯数值均匀化。Multiscale Modeling Simulation13（3）：812Pang ， G.;Lu ， L.; 和 Karniadakis ， G. 大 肠 2019 年 。fpinns ： 分 数 物 理 信 息 神 经 网 络 。 SIAM JournalonScientific Computing 41（4）：A2603-A2626.Raissi，M.; Perdikaris，P.;和Karniadakis，G. 2019. 物理信息神经网络：一个深度学习框架，用于解决涉及非线 性 偏 微 分 方 程 的 正 向 和 反 向 问 题 。 JournalofComputational Physics 378：686-707.Raissi，M.; Yazdani，A.;和Karniadakis，G.大肠2020.隐藏的流体力学：从流动可视化中学习速度和压力场。Science367（6481）：1026Rumelhart，D.; Hinton，G.;和Williams，R. 1986.通过反向传播误差学习表示。nature323（6088）：533Sirignano，J.; Spiliopoulos，K. 2018. DGM：一种求解偏微分方程的深度学习算法。Journal of ComputationalPhysics375：1339-1364.Wang，J.;Wu，J.;和Xiao，H.2017年。基于DNS数据重建雷诺应力模型差 异物理信息机器流体物理综述2（3）。Wang，N.; Zhang，D.; Chang，H.;和Li，H. 2020.通过理论引导的神经网络对地下水流进行深度学习水文学杂志584：124700。Wang，S.; Teng，Y.;和Perdikaris，P. 2020.理解和减轻物理学通知神经网络中的梯度病理。arXiv预印本arXiv：2001.04536。Wang，Z.; Xiao，D.; Fang，F.; Govindan，R.;疼痛，C.;和Guo，Y. 2018.使用深度学习的降阶流体动力学系统的 InternationalJour-nal forNumericalMethodsinFluids86（4）：255Weinan、E. 2017.通过动态系统进行机器学习的建议。数学与统计通信5（1）：1Weinan，E.;和Yu，B.2018年。深度里兹方法：一种基于深度学习的数值算法，用于解决变分问题。数学与统计通讯6（1）：1Xiao，H.; Wu，J.; Wang，J.; Sun，R.; 和罗伊梭2016.量化和减少雷诺平均Navier-Stokes模拟中的模型形式不确定性：数据驱动的物理学贝叶斯方法。Journal ofComputational Physics324：115Yang，L.; Zhang，D.;和Karniadakis，G.大肠2020. 随机微分方程的物理SIAM Journal on Scientific Computing42（1）：A292Zhang，D.; Guo，L.;和Karniadakis，G.大肠2020. 模态空间中的学习：使用物理信息神经网络解决时间相关随机偏微分方程。SIAM Journal on Scientific Computing42（2）：A639Zhang，D.; Lu，L.; Guo，L.;和Karniadakis，G. 2019年a。量化物理信息神经网络中的总不确定性，用于解决正向和反向随机问题。计算物理学杂志397：108850。Zhang，Z.; Song，X.; Ye，S.; Wang，Y.; Huang，C.;An，Y.; 和Chen，Y.2019年b。 深度学习方法在基于DNS数据降阶建模的槽道流雷诺应力模型中的应用。Journalof Hydrodynamics31（1）：58Zhu，Y.;Zabaras，N.;Koutsourelakis，P.-S.; 和Perdikaris，P. 2019.物理约束深度学习，用于高维代理建模和不确定性量化，无需标记数据。Journal of ComputationalPhysics394：56