瞬态物理系统的物理引导机器学习模型

--数值求解瞬态物理系统Rishith Ellath Meethal，1 2Leela Sai Prabhat Reddy Kondamadugula，1 2MohamedKhalil，1Bir gitObst，1RolandWüchner21Siemens AG，T RDA SDT MSO-DE，Otto-Hahn-Ring 6，81739 Munich，Germany2慕尼黑工业大学结构分析系主任，80333慕尼黑，德国1 rishith.ellath meethal，leela.kondamadugula，khalil.mohamed，birgit. siemens.com，2wuechner@tum.de摘要我们引入了一个广义的物理信息机器学习工作流程，以准确预测具有增强物理一致性的瞬态物理系统的行为。一个物理引导的机器学习（PGML）模型的开发，以实现这一目标。对于给定的瞬态系统，我们的模型包括两个主要部分：（1）基于物理的数值模型，它用传统的数值方法求解系统，并返回每个时间步的刚度矩阵和力矢量;（2）基于神经网络（NN）的机器学习（ML）代理模型，其使用从系统矩阵和力向量构造的定制物理引导损失函数来预测系统的解。所提出的工作流程导致物理感知的机器学习（ML）模型。这样的训练模型可以用于避免在空间和时间上以期望的分辨率运行瞬态系统仿真的过于昂贵的步骤通过结构动力学的单自由度和多自由度系统算例对模型进行了验证我们的结果表明，该方法预测的模拟结果准确。所提出的工作流程可以直接适用于任何其他物理和数值方法，因为它不是针对特定的物理或数值方法定制的。1介绍控制瞬态物理系统的偏微分方程（PDE）使用诸如有限元法（FEM）（Zienkiewicz等人，2000）和有限差分法（FDM）（Forsythe和Wasow 1960）的数值方法来求解。然而，以期望的空间和时间分辨率长时间运行这些模型的模拟是计算密集型的。当所需的模拟数量很大时，该成本线性缩放近年来，降低这种成本的一种常用技术是使用机器学习（ML）模型作为工程和自然科学学科解决方案的替代品（Reich和Barai 1999;Kutz 2017; Tarca et al.2007年）。然而，ML模型面临两个主要限制：版权所有© 2021，本文由作者所有。根据国际知识共享许可署名4.0（CC BY 4.0）允许使用1. 缺乏训练数据。 可靠的机器学习模型需要大量的数据，这需要巨大的计算资源。它也需要很长的时间来生成结果，因为我们需要以所需的空间和时间分辨率长时间运行模拟。2. 缺乏物理一致性。由于其黑盒性质，独立的基于ML的模型通常无法产生符合物理的结果，并导致泛化能力差。这两个缺点使得研究人员探索将物理定律知识整合到ML模型中的可能性。(von Rueden et al. 2019）介绍了um- brella术语知情机器学习，并调查了将先验知识明确整合到机器学习管道中的不同方法。他解释说，实现知情机器学习的方法之一是将物理定律（以PDE的形式）作为自定义损失术语。最近，（Willard et al.2020）提供了将传统的基于物理的建模技术与ML集成的方法的概述。作者将这些方法分为五类：（i）物理引导的损失函数，（ii）物理引导的初始化，（iii）物理引导的架构设计，（iv）残差建模，（v）混合物理-ML模型。我们提出的模型属于（i）物理指导的损失函数。基于物理引导损失函数的ML模型提供了将先前物理知识协同集成到ML管道中，从而减少了我们证明了我们的方法的帮助下，单自由度和多自由度系统的结构动力学域。单自由度和多自由度体系在外激励作用下的瞬态响应是结构动力学中的经典课题，因为它在许多工程体系中有着广泛的应用。相关工作（Wu和Jahanshahi 2019）使用多级感知器和卷积神经网络（CNN）预测SDOF和MDOF系统的瞬态响应。他们的ML模型预测了SDOF系统中的位移，同时将速度，加速度和激励作为输入。在另一项工作中，（Stinis 2019）阐明了集成技术，以加强物理系统的约束，网络培训网络的部署常参数数值法输入数据Z（系统+时间步长的数值方法参数）训练模型每个时步可变参数数值模型神经网络数值方法的瞬态矩阵K和F预测x输入到系统使用K、F和x自定义损耗预测系统响应x先前预测网损<容忍没有结束时间没有是的是的端训练模型图1：瞬态物理系统的广义物理信息机器学习工作流程概述。 该工作流消除了在模型训练开始之前对ML模型的训练损失函数或其架构的修改，当呈现新的瞬态系统时。监督、半监督和强化学习，用于预测动态系统的流图 他们的模型使用当前状态迭代地预测系统的流程图。在Lorenz系统的预测中，误差修正项和额外的物理最近，（Zhang，Liu和Sun 2020）应用多LSTM神经网络，将激励力映射到系统的响应 它们将自定义模型架构和损失函数结合起来，以表示底层物理，从而产生一个在鲁棒性和准确性方面优于传统数据驱动LSTM模型的模型。最近，（Wang和Wu 2020）设计并提出了一种知识增强深度学习（KEDL）算法，该算法训练神经网络（NN）来预测系统对特定激励的响应。 作者将输入输出数据和先验知识以方程的形式用于NN的训练损失函数。我们的贡献重 要 的是要注意，几乎所有以前的工作都明确定义了给定物理系统的管理PDE作为NN的训练损失函数，或者构成特定于给定物理系统的ML模型架构。这种方法的一个主要缺点是不能推广。 当提供新的瞬态系统时，需要在模型训练开始之前修改ML模型的训练损失函数或其架构。为了克服这个问题，我们引入了一个广义的物理信息机器学习工作流程来解决瞬态问题。所提出的方法具有高度的可推广性，利用物理指导的损失函数，从而产生符合物理和数据效率的ML模型。亲-所提出的方法可以与任何数值方法一起使用，其导致如1中的方程系统的矩阵形式。Kxh=F（1）其中xh是问题的未知数，K，F是所用数值方法、离散方案以及应用的边界和初始条件的矩阵结果。我们从结构动力学的线性单自由度和多自由度系统的时间序列数据分析我们的方法的预测能力2方法考虑一个瞬态物理系统，其特征在于定义在由下式给出的域上的偏微分方程（PDE）：L（x）= 0onx，（2）x=xd，关于ΓD，（3）阿克斯=g onΓN，（4）卢恩其中x d和g分别是由方程3和4给出的Dirichlet和Neumann边界条件。方程2的解可以使用各种方法计算，例如FEM和 FDM 。 在这 篇 文 章 中 ， 我 们 将 讨 论 限 制 在 基 于Galerkin的FEM（Thome′e1984）。在具有给定边界条件的具有n个节点的域上的方程2的有限元公式对于每个时间步将导致如在5中的方程这里，我们假设测试空间和试验空间上的所有必要条件都满足。.Σi=1克不.n，.n，. . ..···kn，n你好好吧t=1Σi=1Σj=1Ki，jx j−Fi不nnk1，1k1，2 ···k1，n100万美元函数对基于物理的FEM模型产生的刚度K（xh）和力F矩阵进行运算它由下式给出：k2，1k2，2 ···k2，nKXnFn（五）2`K（xh）“”F“”其中，T表示用于训练的时间步长的数量其中K（xh）是非线性刚度矩阵，xh是在模型中，n表示未知数的数量，描述离散系统响应（xh）。损失术语离散系统响应，F是力矢量。刚度矩阵和力矢量的元素取决于所用的时间积分、数值方法和空间离散。FDM或FVM的应用也导致这样的系统表示数值方法中方程的残差R 预测误差被K放大，并在某些K很高的物理问题中导致“NaN”。这通过用F范数（用于训练的力矩阵的L2范数）缩放损失项来避免它也带来了所有用矩阵表示的方程该方法它也可以应用于其他数值方法。河的一排排nj=1Ki，j xj−Fi同比例2.1广义物理学ML工作流我们提出了一个广义的物理信息ML工作流程，并避免优化器集中在预测数组因此，最终损失函数由下式给出设计符合ML模型的物理学我们的工作流程ΣΣn巴恩 .Σ.Σ2包括以下步骤（参见图1）：将Z输入到系统的物理系统参数和数值方法的具体参数的问题 对于每个时间步变化的子集是神经网络的输入。损失=t=1i=1j=1Ki，j×xjF范数FiF范数中文（简体）网络1. 传统的基于物理的FEM模型应用一些数值方法来求解PDE并输出：在离散时间间隔处的系统响应xh、刚度矩阵K（xh）和力向量F2. 来自基于物理的FEM模型的矩阵用于基于NN的ML模型的自定义损失函数ML模型是方程2中描述的系统的解决方案的替代 它以最后三个时间步响应作为输入，并预测当前时间步的响应。最后三个时间步响应作为输入，因为大多数常见的时间积分方案使用最后两个或三个时间步。 该模型是在物理指导的损失函数的帮助下训练的。3. 训练完成后，部署训练好的模型，以避免使用con-model的计算代价高昂的步骤3实验和结果本节讨论了所提出的方法在预测结构动力学中单自由度和多自由度系统的瞬态仿真结果方面的结果在这两个示例中，模型将最后三个时间步长值作为输入来预测当前时间步长值。目前，该方法是在未经训练的数据上进行测试的，而不是用于递归预测。即使我们专注于这两个问题，该方法可以直接用于任何瞬态模拟解决任何数值方法。3.1单自由度系统一个简单的振动系统可以用一个连接到弹簧和阻尼器的质量块来表示。 这样的系统被称为单自由度系统，并且由下式给出的单变量二阶微分方程控制：ventional时间积分方案和前向线性求解器来运行瞬态物理系统的模拟在下面，我们测试了训练模型的准确性d2xmdt2+cdx+kx=f（t）（8）DT而不是递归预测。2.2物理引导损失函数在常规训练设置中，将系统的实际响应（x）与ML模型预测的响应进行比较。 这种比较是使用损失（误差）函数完成的，模型试图在训练期间最小化损失函数的输出。均方误差（MSE）是最常见的选择之一。如第1节所述，这种方法有一个主要的缺点我们的方法通过在训练过程中使用自定义物理指导的损失函数而不是传统的MSE损失函数来解决后者。这种自定义的损失其中m是质量，c是阻尼常数，k是刚度，f（t）是激振力。系统的响应可以表示为[x，xstec ，x<$]，其中x是位移，xstec是速度，x<$是系统的加速度。M10公斤C10牛顿/米K1580牛顿/米f（t）1000sin（4πt）N表1：系统参数损失=（六）−我们使用基于物理的求解器来求解方程并计算系统对给定激振力的响应纽马克PGML绝对误差−f（t）的时间积分方法。 时间积分使用的时间步长为Δt = 0。01和β = 0的β。3. 大小为0的时间步长。01已使用 表1列出了用于进行实验的系统参数。方程8中描述的系统有三个未知量-位移x、速度x stec和加速度x？。系统对60402002040605 6 7 8 9 10时间（秒）60402002040605.05.25.4 5.6 5.8 6.0时间（秒）图2a给出了前10秒，图2b示出了较短时间窗口中的响应800600(a) 位移(b) 放大位移800600400400100007500200020020002005000400600400600250008005 67时间（秒）8 9108005.0 5.25.4时间（秒）5.6 5.8 6.0250050007500100000 2 4 6 8 10时间（秒）100007500500025000250050007500(c) 速度(d) 放大速度100007500500025000250050007500(a) 响应100005 67时间（秒）8 910100005.05.2 5.4 5.6 5.8 6.0时间（秒）2000(e) 加速度(f) 放大加速度10000图3：预测位移、速度和加速度图1000200030000.0 0.2 0.4 0.6 0.8 1.0时间（秒）（b）在较短时间内作出反应方法计算（Newmark）的解决方案。Newmark和PGML之间误差的绝对值图也如图3所示。速度和加速度的预测也遵循与位移相同的行为。值得注意的是，所提出的方法能够准确地预测所有三个变量，即使它们的大小在不同的尺度。给出了预测位移、速度和位移的误差分布。图2：外部激励下单自由度系统的响应我们设计了一个基于神经网络的物理引导ML模型（PGML），并在训练过程中使用自定义的物理引导损失函数。该模型我们在前500个时间步的系统响应上训练该模型，并在接下来的500个时间步上测试该模型所提出的神经网络模型将前三个时间步的系统响应作为输入，并预测下一个时间步的响应。使用学习率为1e−4的Adamax优化器进行训练，速度和加速度在图4中给出 将相对误差与出现次数作图。可以看出，所有三个变量的误差都集中在零附近。相对误差的平均值为0。0401，0。0299，0。0033分别为位移、速度和加速度。结果表明，加速度的相对预测误差有很高的标准差，为0。1534年而相对误差的标准差为0。0463和0。位移和速度分别为02003.2多自由度系统结构动力学中多自由度系统的运动方程由下式给出：ing. dropout值为0。2，β1= 0。9，β2= 0。99在网络中使用。图3显示了预测的系统位移d2XdXMdt2+Cdt+KX=F（t）（9）使用经过训练的网络。文中还给出了采用Newmark时间积分格式的物理有限元模型计算的参考解。一个良好的精度之间保持预测（PGML）和数值其中，M、C和K是整体质量、阻尼和刚度矩阵，F是系统上的外力。这里X代表系统所有自由度的集合。我们使用一个20自由度的系统来演示位移（m）速度（m/s）Acceleration（m/s2）位移（m）速度（m/s）Acceleration（m/s2）纽马克PGML绝对误差纽马克PGML绝对误差纽马克PGML绝对误差纽马克PGML绝对误差纽马克PGML绝对误差位移、速度、加速度位移、速度、加速度速度（ms1）加速度（ms2）位移（m）加速度（ms2）位移（m）速度（ms1）平均值：0.0401标准差：平均值：0.0299标准差：密度×−−−−训练网络的50个时间步长训练的模型是40用于预测剩余部分的解决方案30模拟。我们使用Adamax优化器，1e−4的20 20，dropout值为0。3，β1= 0。9，β2= 0。九十九101000.10.0个单位0.1 0.2 0.3 0.4 0.5位移相对误差00.1000.075零点零五0.0250000.025零点零五0.075速度相对误差0.0060.0040.060.04(a) （b）速度误差分布0.0020.0000.020.00布局预测预测0.0020.02平均值：0.003325标准差：0.1534200.0040.0065 67时间（秒）8 9100.040.065 67时间（秒）8 9 101510（a）1x(b) 4x0.00450.0030.080.0601.501.251.000.750.500.250.00零点二五加速度相对误差0.0020.0010.040.02(c) 加速度预测图4：单自由度系统预测相对误差分布0.0000.0010.0020.0035 6 7 8 9 10时间（秒）(c) 5y0.000.020.040.060.085 6 7 8 9 10时间（秒）(d) 6x模型该系统中的每个DOF是系统中10个质量中的一个的x方向或y方向位移施加的外力为F（t）=sin（1. 252πt）N在所有质量上。图5中给出了前10秒系统质量的位移用广义α时间积分0.0060.0040.0020.0000.0020.0045 6 7时间（秒）8 9 100.0080.0060.0040.0020.0000.0020.0040.0060.0085 6 7时间（秒）8 9 10阴谋我们使用的时间步长为Δt= 0。001.图中仅绘制选定的自由度0.10(e) 6y0.01000.0075(f) 7y0.00500.050.00250.000.00000.00250.100.050.050.105 67时间（秒）8 9100.00500.00750.01005 67时间（秒）8 9 10（g）9x（h） 9y0.000.050.1002 4 6 8 10时间（秒）图6：选定自由度的预测位移图图6显示了使用经过训练的网络对接下来的5000个时间步长（5-10秒）的预测。并与采用广义Alpha时间积分方案的有限元法计算的实际解进行了比较. 仅打印20个自由度中的选定自由度。结果显示，图5：多自由度系统在外部激励下的响应桩号图5中的每条曲线表示一个自由度，例如在x方向上的第一质量位移lx和在y方向上的第一质量位移Iy。每个自由度的行为不同，根据系统的属性和施加的力。与单自由度系统相比，这使得多自由度系统使用的PGML模型由具有200个隐藏单元的三层LSTM网络组成。培训使用了第一个5000模型预测值与有限元解的一致性。该模型保持了所有20个自由度的预测精度 尽管不同自由度的位移随时间的变化在尺度和模式上不同，但模型能够捕捉这些变化并做出准确的预测。预测和FEM解之间的误差也绘制在图6中。对于所有的自由度，预测误差接近于零但是，据观察，预测误差是高的一些自由度的响应的波峰和波谷附近我们认为，高梯度的Gen-alphaPGML绝对误差1x5y4x7y9x9yGen-alphaPGML绝对误差Gen-alphaPGML绝对误差Gen-alphaPGML绝对误差Gen-alphaPGML绝对误差Gen-alphaPGML绝对误差Gen-alphaPGML绝对误差Gen-alphaPGML绝对误差1x、4x、5y、7y、9x、9y位移（m）密度密度9x排水量（m）5y位移（m）6y位移（m）1x排水量（m）9y位移（m）6x排水量（m）7y位移（m）4x排水量（m）4030波峰和波谷的位移导致了这种现象。这可以通过将激振力也作为输入参数来解决，因为这是触发位移变化的原因。0.100.05在一长串递归预测中积累起来的误差目前，使用相同模型的递归预测由于误差的累积而发散。为递归预测量身定制的算法和架构也将在未来的工作中使用我们的模型进行测试。所提出的算法只能用于预测模拟以后的时间步，一旦训练与模拟，到目前为止完成。下一步包括训练一个可以产生广义模型的模型，在给定初始条件和系统参数的情况下执行完整的仿真。0.000.050.105 10 15 20 25 30时间（秒）图7：9倍位移，更长时间引用Forsythe，G.E.的; 和Wasow，W.R. 1960年有限差分法偏微分Kutz，J. N. 2017.流体动力学中的深度学习。流体力学杂志814：1纽马克，北M. 一九五九年结构动力学的一种计算方法工程力学学报85（3）：67Reich，Y.;和Barai，S.一九九九年。评估用于工程问题的机器学习模型人工智能在经过训练的网络用于预测较长持续时间（5-30秒）的模拟的解决方案。图7显示了9倍位移的预测。即使位移曲线的振幅和斜率发生变化，该模型也能保持精度其他自由度也是如此。4结论我们引入了一个广义的物理引导的机器学习工作流来训练神经网络进行瞬态仿真。为实现这一目标而开发的PGML模型采用从数值方法构造的系统矩阵和力向量进行训练。 由于所使用的损失函数直接反映了数值方法的残差，因此与传统的“黑箱”神经网络相比，训练后的模型在物理学上是一致的。所提出的模型可以很容易地适用于不同的物理和数值方法。通过结构动力学单自由度和多自由度两个算例验证了该模型的预测能力结果指向一个很有前途的算法训练神经网络工程的瞬态模拟。这样的训练模型可以部署在真实系统中，并且可以将来自真实系统的信号与异常预测进行比较。5今后工作用于实际应用的瞬态仿真通常由大自由度系统组成。这样的系统还涉及随时间变化的复杂输入力所提出的算法需要在如此复杂的场景下进行测试，以确保其鲁棒性。在这种情况下，在神经网络的输入侧可能需要更多的参数，例如力和系统参数。当前实现的另一个缺点是，没有机制来校正工程13（3）：257-272。斯蒂尼斯山口2019年。在监督、无监督和强化学习中对时间序列预测实施约束。arXiv预印本arXiv：1905.07501。Tarca，A. L.的; Carey，V. J.;陈锡铭w.; Romero，R.;和Dr.a.a.ghici，S. 2007年机器学习及其在生物学中的应用PLoSComput Biol3（6）：e116.汤姆·埃，维。一九八四年抛物问题的伽辽金有限元法，第1054卷。斯普林格。von Rueden ， L.;Mayer ， S.;Beckh ， K.;Georgiev ，B.;Giessel-bach ， S.;Heese ， R.;Kirsch ， B.;Pfrommer，J.; Pick，A.; Ra- mamurthy，R.;等人2019年。信息机器arXiv预印本arXiv：1903.12394。王，H.;和Wu，T. 2020.知识增强的深度学习用于风致非线 性 结 构 动 力 分 析 。 结 构 工 程 学 报 146 （ 11 ） ：04020235。Willard，J.;贾，X.; Xu，S.; Steinbach，M.;和Kumar，V.2020。整合基于物理的建模与机器学习：一项调查。arXiv预印本arXiv：2003.04919。吴河，巴西-地T.; 和Jahanshahi，M.R. 2019年。用于结构动力响应估计和系统识别的深度卷积工程机械学报145（1）：04018125.张，R.;刘玉; Sun，H. 2020.用于非线性结构元建模的物理信息多LSTM网络。arXiv预印本arXiv：2002.10253。齐恩凯维奇岛C.的; 泰勒河L.的; 泰勒河L.的; 还有泰勒R. L. 2000. 有限元法：固体力学，第2卷。ButterflyHeinemannGen-alphaPGML9x排水量（m）