基于物理信息的神经网络求解流输耦合系统

⊂∂基于物理信息的神经网络求解流输耦合系统Sanghyun Lee1 Teeratorn Kadeethum，21佛罗里达州立大学数学系1017 Academic WayTallahassee，FL2康奈尔大学西布利机械与航空航天工程学院130 Upson HallIthaca，NY14853lee@math.fsu.eduwww.example.comtk658@cornell.edu摘要在本文中，直接应用的物理信息的神经网络考虑耦合流和运输系统作为一个正向求解器。我们解决经典的挑战，解决耦合系统的多个变量，涉及对流占主导地位的制度的运输。比较了神经网络的近似解和精确解，并对超参数和训练数据个数进行了敏感性分析。介绍自1943年基于大脑模型的神经网络（NN）的开创性工作（McCulloch和Pitts 1943）以来，在大数据分析和强大计算资源的进步的帮助下，NN和深度学习（DL）以深度神经网络（DNN）的形式加速发展。尽管DL获得了许多成功，但在科学问题中的应用仍然存在局限性。在许多科学和工程问题中，收集大量数据以保证模 型 的 准 确 性 是 昂 贵 的 ， 并 且 通 常 是 不 可 能 的（Ahmed，Jones和Marks 2015）。此外，DL模型的训练仅基于可用数据，训练过程中不涉及物理定律，这可 能 导 致 物 理 上 不 合 理 的 预 测 （ Xiao et al. 2016;Wang ， Wu ， and Xiao 2017; Raissi ， Perdikaris ， andKarniadakis 2019; Kutz 2017; Wang et al.2018; Zhang etal. 2019 b）。为了克服NN和DL的上述限制，基于物理科学的科学机器学习（SciML）将科学知识和基于物理的偏微分方程（PDE）结合到DL架构中。基于DL求解偏微分方程的新方法包 括深度Ritz（ Weinan 2017; Weinan 和Yu2018），PDE-Net（Long，Lu和Dong 2019），深度Galerkin （ Sirignano 和 Spiliopoulos 2018 ） ， 变 分Galerkin （ Kharazmi ， Zhang 和 Karniadakis 2019;Khodayi-Mehr和Zavlanos 2019），深度域分解（Li et al. 2019），理论指导的数据科学（Karpatne et al. 2017 a），物理指导的NN（Karpatneet al. 2017 b），理论指导的NN（Wang et al. 2020），物理信息 NN（Raissi ，Perdikaris 和Karniadakis 2019;Kadeethum，Jørgensen和Nick 2020 b，a），以及其他（Owhadi 2015; Jagtap，Kharazmi 和Karniadakis 2020;Lu et al. 2019; Raissi，Yazdani，and Karniadakis 2020;使用这些新的研究思想减轻了对大量训练示例在本文中，我们利用物理信息神经网络（PINN）的思 想 来 解 决 多 孔 介 质 中 的 耦 合 流 动 和 传 输 系 统（Fraces，Papaioannou和Tchelepi 2020; Cai等人。2020;He等人。2020）。超参数（层数和神经元）和训练数据点的数量方面的敏感性分析进行了讨论。此外，我们提出的性能PINN解决对流主导的传输系统时，通量也计算PINN。计算算法在本节中，我们介绍了PINN的管理系统和主要成分，并根据以前的研究（Raissi，Perdikaris和Karniadakis2019）进行了理论分析控制方程本文考虑了在计算域R2中的耦合流输运问题的初边值问题，其中时间域记为T=（0，T]，给定终值时间T >0.由质量（体积）守恒导出的耦合系统定义如下：贝叶斯深度卷积网络（Zhu et al.2019年），a版权所有© 2021本文由其作者。知识共享许可署名4.0国际（CC BY 4.0）− ε·（κεp）=f，v：=−κp，tc+（一）·1H1，1HNhl，1我2O13我.......H......1，. .HNhl，OK我我W1，1={W 1，11，1..一... Wi}b1，11我其中未知变量是标量压力函数（p）和标量传输函数（c）。这里，f和g是每个方程的体积力，v是用给定系数κ定义的速度矢量，为了简单起见，本文假设κ为常数。压力方程的边界条件可以分解为压力（Dirichlet）边界和流量（Neu- mann）边界，分别为Dirichletp和Dirichletq此外，输运方程分别由狄利克雷边界和诺依曼边界补充。并给出了浓度c（，t = 0）= c0的初始条件.物理信息神经网络最近开发的物理信息神经网络 （ PINN ） （ Raissi ，Perdikaris和Karniadakis2019）通过利用每个模型的残差来寻求满足PDE的解决方案。输入I层隐藏层W1，Nn= {W1，Nn ... W1，Nn}b1，Nn输出层控制系统中的方程和边界/初始条件作为培训的一部分。在这里，偏微分方程的解决方案制定为一个约束优化问题的解决方案。这种方法的几个主要优点包括i）通过利用控制方程作为待最小化的目标函数中的隐式正则化项，训练集的大小大大减小（D'Eliaetal.ii）它是一种无网格方法，其中NN是在随机采样的时间和空间点上训练的。特别是，PINN已被进一步扩展到求解分数偏微分方程（Pang，Lu和Karniadakis2019），随 机 偏 微 分 方 程 （ Nabian 和 Meidani 2018;Yang ，Zhang和Karniadakis2020;Zhang，Guo和Karniadakis2020;Zhang等人。2019a）和非局部模型（D'Elia et al. 2020年）。神 经 网 络 架 构 神 经 网 络 架 构 的 示 例 如 图 1 所 示（ Rumelhart ， Hinton ， and Williams 1986;LeCun ，Bengio，andHinton2015;HintonandSalakhutdinov2006）。图中所示的NN中的输入和输出节点的数量是根据给定的问题公式确定的例如，如果问题是求解时间相关的PDE，则我们有三个输入节点（x，y和t），其中t是时间，x和y分别是x和y方向上的坐标（即，图1中i= 3）。 输出节点将是满足给定偏微分方程系统的解函数。在（1）中定义的耦合流动和输运问题中，我们有两个输出节点c和p，其中c表示浓度，p是压力。因此，我们在图1中有k= 2。隐藏层的数量（N hl）和神经元的数量（N n）作为超参数，这意味着它们是特定于问题的，需要根据每个问题的 性 质 进 行 调 整 （ Goodfellow ， Bengio 和Courville2016）。每个神经元（例如，H 1，1... H1，Nn）连接到具有可调整权重（W）的前一层的节点并且还具有可调节的偏置（b）。这些变量是在训练阶段 学 习 的 （ Hinton 和 Salakhutdinov2006;Goodfellow ，Bengio和Courville2016），利用双曲正切（tanh）作为激活函数，二阶有限内存BFGS作为优化器，通过最小化损失函数（LOSS）。图1：一般神经网络架构的示例（Rumelhart，Hinton和Williams 1986;LeCun，Ben-gio和Hinton 2015; Hinton和Salakhutdinov 2006）。 输入层最多包含i个输入节点，输出层由1，...，k个输出节点。Nhl是指隐藏层的数量，每个隐藏层由Nn个神经元。每个神经元（例如， H 1，1... H 1，Nn）连接到具有可调权重的前一层的节点，并且还具有可调偏置。这一数字改编自（Kadeethum，Jørgensen和Nick2020 b，a）基于在（Raissi，Perdikaris和Karniadakis 2019; Lu etal. 2019），PINN使用两个NN。一个神经网络用于施加具有可调W和b的系统的边界/初始条件，另一个神经网络用于由作为每个PDE的损失函数的正则化项的连续算子给出的信息后者的损失函数可以由偏微分方程的残差因此，用于评估这些额外正则化项的训练示例不同于用于训练具有边界/初始条件（BC/IC）的网络的训练示例。换句话说，BC/IC是使用训练数据施加的，并且方程残差是通过在随机选择的内部配置点处自动区分预测状态以无数据方式施加的。这种将残差作为损失函数的额外NN被称为PINN（Raissi，Perdikaris和Karniadakis2019）。 为了最小化PINN，我们调整第一个NN的所有W和b。 在本文中，NN构建在Tensorflow平台上（Abadiet al. 2015），数字代码基于DeepXDE（Luet al. 2019年）。损失函数我们通过机器学习过程最小化的损失函数（LOSS）由两部分组成，如前一节所述。一个是训练数据上的误差（MSE tr），其中包括第一个NN的边界和初始条件。另一个是给定的正则化项的均方值n××i=1Σ物理信息功能（Physics-Informed Functions，MSE）我 们 通 过 所 谓 的 物 理 信 息 函 数 （ physics-informedfunctions，简称Functions）将底层物理信息编码到NN，如下所示：p：= −∂c：=它们是给定偏微分方程的残差这些残差（Δp，Δc）将作为下面定义的损失函数中的额外正则化项因此，我们问题的损失函数为损失：= MSE tr+MSEp +MSE（4）其中边界和初始条件被并入MSEtr中。这里，均方误差（MSE）的值被定义为MSE：=1n（φ（xi，ti）−(a) p= 0。1.一、（b）t= 0时的c。1.一、(c) c在t = 0时。五、（d）t=1时的c。图2：（a）示出了近似压力值p，φh（xi，ti））2，对于给定的函数φ和一个近似函数φh.数值结果在最后一节中，我们通过求解（1）中所示的耦合流和传输系统来实施例1首先，为了测试所提出的算法的准确性，我们将精确解设置为c（x，y，t）：= sin（t+x+y），（5）t= 0。1，（b）-（d）是近似传输值c每次t = 0。1，0。5，t= 1。(a) p= 0。5（b）t= 1时的p。和p（x，y，t）：= cos（t+x+y），（6）对于输运和压力，分别在计算域中，T=（0，1）2（0，1]。在这里，体积力f和g是用给定的解计算的，其中κ被选择为κ= 1，并且狄利克雷边界条件是关于压力和输运的狄利克雷边界条件。图2显示了压力的近似解（p）在时间t = 0时。1和时间t = 0时的运输（c）。1，0。5和t= 1。此外，图3显示了在每个给定时间步长下与直线上的精确解 我们观察到，PINN与给定的损失函数提供了准确的近似的多变量耦合的流动和运输系统。我们注意到，该算法没有时间推进步骤。这里，用于近似初始条件的训练数据点的数量（N（t=0））、边界条件的训练数据点的数量（N）和域内的训练数据点的数量（N）都被设置为1000。隐藏层的数量为4，每层的神经元数量为10。采用二阶有限记忆BFGS方法进行优化，并将训练迭代次数设置为10，000。此外，双曲正切函数用于激活函数。接下来，表1示出了关于超参数（隐藏层的数量）的选择的灵敏度测试(c) c在t = 0时。5（d）t=1时的c。图3：近似压力和输运解p，c与线（0，0）上的精确解的比较。5）-（1，0. 5）。（Nhl）和神经元（Nn））。这里，误差通过以下定义计算（1）A（x，y）=0（|φ（xi，ti）−φh（xi，ti）|）的情况下，其中φ表示精确解，φ h是近似解，在这种情况下，它是压力或输运。此外，对于该测试，用于初始/边界条件的训练点的数量（N（t=0），N）和用于残差的域内的训练点的数量（N）被固定为1000。我们观察到算法确实依赖于这些超参数，但结果并没有太大变化此外，表2给出了算法这里，超参数被固定为Nhl=4，并且××−·t= 0。1，0。三，零。五，零。七比零。9在图5中的同一域中绘制。在这种平流主导的情况下，我们没有观察到任 何 虚 假 振 荡 或 过 度 / 不 足 （ 违 反 最 大 值 原 理 ）（Wang，Teng和Perdikaris2020;Fuks和Tchelepi2020）。表1：根据隐藏层和神经元数量的误差比较上面的桌子是压力的，下面的桌子是运输的。行指示不同数量的隐藏层（Nhl），并且列用于不同数量的神经元Nn。Nn= 20。为了提供一般结果，表中示出了5种不同实现的平均值（N（t=0），N）\N101001000(10，10）1.25e-031.04e-031.44e-03(100 100）1.04e-039.99e-046.40e-04(1000，1000）1.56e-038.02e-041.08e-03（N（t=0），N）\N101001000(10，10）4.73e-032.06e-032.32e-03(100 100）1.23e-031.94e-031.08e-03(1000，1000）1.48e-031.20e-031.20e-03表2：取决于训练点的数量的误差的比较。上面的桌子是压力的，下面的桌子是运输的。 该列表示不同（N（t=0），N），行表示N。实施例2在最后一个例子中，我们通过设置f=g= 0，解决了一个简单的流动和运输问题，在<$T=（0，1）2（0，1]。输运和压力的边界条件如下：（a）t = 0时的p。1（b）t= 0时的c。1(c) c在t = 0时。5（d）t=1时的c。图4：压力p和输运c的解对于每个给定的时间步长。和c= 1，如果x=0，n= 0，否则，p= 1，如果x=0，p= 0，如果x=1，n = 0，否则。图5：c在直线（0，0. 5）（1，0.（5）对于每个时间t = 0绘制。1，0。三，零。五，零。七比零。第九章我们确实观察到了预期的移动阶跃函数输运方程的初始条件设定为c（t= 0）= 0。因此，我们以计算出的速度将c= 1从左边界转移到右边界。这里，超参数被固定为Nhl= 4和Nn= 20，并且Nn （ t=0 ）=Nn=Nn= 1000。图4示出了每个给定时间的压力p和输运c 我们注意到，压力和速度在时域上是恒定的，如图4（a）所示。然而，c的值如预期的那样从左向右传输（图4（b）-（d））。给出了c在直线（0，0. 5）−（1，0. （5）每次结论本文利用PINN求解多物理场问题之一的耦合流动输运系统。给出了神经网络训练参数和PINN损失函数的敏感性检验。 数值实验说明了算法的精度和性能。与现有的数值方法如有限元法的详细比较，以及扩展到考虑非均匀介质中的非线性问题正在进行中。.Nn\Nhl4816102.65e-032.19e-037.79e-04206.23e-041.86e-037.61e-04403.32e-038.89e-041.75e-03Nn\Nhl4816101.47e-033.11e-031.08e-03206.10e-041.05e-039.60e-04405.00e-032.56e-032.89e-03引用Abadi，M.;Agarwal，A.;Barham，P.;Brevdo，E.;陈志;Citro，C.; Corrado，G.; Davis，A.; Dean，J.; Devin，M.;等，2015年。TensorFlow：异构系统上的大规模机器学习。Ahmed，E.; Jones，M.;和Marks，T. 2015.一种改进的深度学习架构，用于人员重新识别。IEEE计算机视觉与模式识别会议论文集，3908-3916。蔡，S.;王志;卢，L.; Zaki，T.一、Karniadakis，G. E.2020. DeepM& Mnet：基于神经网络算子近似的电对流多物理场推断。arXiv预印本arXiv：2009.12935。D'Elia，M.;帕克斯，M。L.的; Pang，G.; Karniadakis，G. 2020. nPINNs：参数化非局部通用拉普拉斯算子的非局部物理信息神经算法与应用技术报告，桑迪亚国家实验室。（SNL-NM），Albuquerque，NM（美国）。弗雷斯角G.地; Papaioannou，A.;和Tchelepi，H. 2020.物理学为多孔介质中的传输提供了深度学习巴克利·莱弗里特问题arXiv预印本arXiv：2001.05172。Fuks，O.;和Tchelepi，H. A. 2020.物理学的局限性为多孔介质中非线性两相输运的Journal of Machine Learningfor Modeling and Computing1（1）.古德费洛岛Bengio，Y.;和Courville，A. 2016. 深度学习MIT Press.他 ， Q.; Barajas-Solano ， D.; Tartakovsky， G.; 和 Tar-takovsky，A. M. 2020年。多物理场资料同化的物理学信息神经网络及其在地下输运中的应用。水资源研究进展141：103610。Hinton，G.;和Salakhutdinov，R. 2006.用神经网络降低数据的维数。science313（5786）：504Jagtap，A. D.的; Kharazmi，E.; Karniadakis，G. E. 2020.守恒律离散域上的保守物理信息神经网络：应用于正问题和 逆 问 题 。 应 用 力 学 与 工 程 计 算 机 方 法 365 ：113028。Kadeethum，T.;Jørgensen，T.;和Nick，H.2020年a。解非线性Biot方程反问题的物理信息神经网络：批量训练。第54届美国岩石力学/地质力学研讨会。Golden，CO，USA：American Rock Mechanics Association.Kadeethum，T.;Jørgensen，T.;和Nick，H.2020年b。解非线性扩散系数和Biot方程的物理信息神经网络. PLoSONE15（5）：e0232683.Karpatne ， A.; Chuanuri ， G.; Faghmous ， J. H.;Steinbach，M.; Banerjee，A.; Ganguly，A.; Shekhar，S.;Samatova，N.; Kumar，V. 2017 a.理论引导的数据科学：从数据中进行科学发现的新范式。IEEE Trans-actions on knowledge and data engineering29（10）：2318Karpatne，A.; Watkins，W.; Read，J.; Kumar，V. 2017b.物理引导神经网络（pgnn）：在湖泊温度建模中的应用。arXiv预印本arXiv：1710.11431。Kharazmi，E.;张志; Karniadakis，G. 2019.变分物理信息 神 经 网 络 求 解 偏 微 分 方 程 。 arXiv 预 印 本 arXiv ：1912.00873.Khodayi-Mehr ， R.; 和 Zavlanos ， M.M. 2019 年 。VarNet：用于求解偏微分方程的变分神经网络。arXiv预印本arXiv：1912.07443。Kutz，N.2017年。流体动力学中的深度学习流体力学杂志814：1-4。LeCun，Y.;Bengio，Y.;和Hinton，G.2015年。深度学习nature521（7553）：436.李，K.;唐，K.;吴，T.; Liao，Q. 2019. D3M：一种求解偏微分方程的深度区域分解方法。IEEE接入。Long，Z.;卢，Y.;和Dong，B. 2019. PDE-Net 2.0：使用数字-符号混合深度网络从数据中学习PDE计算物理学杂志399：108925。卢 ， L.; 孟 ， X.; 毛 泽 民 ; Karniadakis ， G. E. 2019.DeepXDE：一个用于求解微分方程的深度学习库arXiv预印本arXiv：1907.04502。McCulloch，W.;和Pitts，W.一九四三年对神经活动中不 可 或 缺 的 观 念 的 逻 辑 演 算 数 学 生 物 物 理 通 报 5（4）：115Nabian，M.一、Meidani，H. 2018. 高维随机偏微分方程 的 深 度 神 经 网 络 代 理 。 arXiv 预 印 本 arXiv ：1806.02957。Owhadi，H. 2015. 贝叶斯数值均匀化。多尺度建模仿真13（3）：812Pang，G.;卢，L.;Karniadakis，G.E. 2019年。fpinns：分 数 物 理 信 息 神 经 网 络 。 SIAM Journal onScientificComputing 41（4）：A2603-A2626.Raissi ， M.; Perdikaris ， P.; Karniadakis ， G. 2019.Physics-informed neural networks：一个深度学习框架，用于解决涉及非线性偏微分方程的正问题和逆问题。计算物理学杂志378：686-707。Raissi，M.; Yazdani，A.; Karniadakis，G. E. 2020.隐藏的 流 体 力 学 ： 从 流 动 可 视 化 中 学 习 速 度 和 压 力 场 .Science367（6481）：1026Rumelhart，D.; Hinton，G.;和Williams，R. 1986.通过反向传播误差学习表示。nature323（6088）：533Sirignano，J.; Spiliopoulos，K. 2018. DGM：一种求解偏微分方程的深度学习算法。计算物理学杂志375：1339-1364。王，J.;吴，J.;和Xiao，H.2017年。基于DNS数据重建雷诺应力模型差异物理信息机器流体物理综述2（3）.王，N.; Zhang，D.; Chang，H.;和Li，H. 2020.通过理论指导的神经网络对地下水流进行深度学习水文学杂志584：124700。Wang，S.; Teng，Y.;和Perdikaris，P. 2020。理解和减轻物理信息神经网络中的梯度病理。arXiv预印本arXiv：2001.04536。王志; Xiao，D.; Fang，F.; Govindan，R.;疼痛，C.;和Guo，Y. 2018.使用深度学习的降阶流体动力学系统的International Jour-nal for Numerical Methods in Fluids86（4）：255Weinan，E. 2017.通过动态系统进行机器学习的建议。数学与统计通信5（1）：1Weinan，E.;和Yu，B.2018年深度里兹方法：一种基于深度学习的数值算法，用于解决变分问题。数学与统计通讯6（1）：1肖，H.; 吴，J.; 王，J.; 孙河; 和 罗伊 C. 2016.量化和减少雷诺平均纳维尔-斯托克斯模拟中模型形式的不确定性：数据驱动的物理学贝叶斯方法。计算物理学杂志324：115杨湖; Zhang，D.; Karniadakis，G. E. 2020. 随机微分方程 的 物 理 SIAM Journal on Scientific Computing42（1）：A292Zhang，D.;郭，L.; Karniadakis，G. E. 2020. 模态空间中的学习：使用物理信息神经网络解决时间相关随机偏微 分 方 程 。 SIAM Journal on Scientific Computing42（2）：A639Zhang，D.;卢，L.;郭，L.; Karniadakis，G. 2019年a。量化物理信息神经网络中的总不确定性，以解决正向和反向随机问题。计算物理学杂志397：108850。张志;宋，X。叶，S.;王玉;黄，C.; An，Y.;和Chen，Y.2019年b. 深度学习方法在基于DNS数据降阶建模的槽道流雷诺应力模型中的应用。Journal of Hydrodynamics31（1）：58Zhu，Y.;Zabaras，N.;Koutsourelakis，P.-S.的; 和Perdikaris，P. 2019.物理约束深度学习，用于高维代理建模和不确定性量化，无需标记数据。计算物理学杂志394：56