连续时间回声状态网络在代理模型生成中的应用

基于连续时间回声状态网络Ranjan Anantharaman1，Yingbo Ma2，Shashi Gowda1，Chris Laughman3，Viral B. Shah2，Alan Edelman1，Chris Rackauckas1，21麻省理工2Julia Computing3三菱电机研究所摘要现代设计、控制和优化往往需要对高度非线性的刚性模型进行多次昂贵的仿真。这些成本可以通过训练完整模型的廉价代理来摊销，然后可以重复使用。在这里，我们提出了一个通用的数据驱动的方法，连续时间回声状态网络（CTESN），用于生成代理的非线性常微分方程的动力学在广泛分离的时间尺度。我们凭经验证明了将加热系统的物理激励可扩展模型加速98倍的能力，同时保持相对误差在0.2%以内。我们展示了这种代理准确处理高度刚性系统的能力，这些系统已被证明会导致常见代理方法（如物理信息神经网络（PINN），长短期记忆（LSTM）网络和离散回声状态网络（ESN））我们表明，我们的模型捕获快速瞬态以及缓慢的动态，同时证明固定时间步长的机器学习技术无法适当地捕获多速率行为。总之，这为CTESN替代者预测和加速高度刚性动力系统的能力提供了令人信服的证据，这些动力系统无法通过以前的科学机器学习技术直接处理介绍刚性非线性常微分方程系统在科学和工程中广泛流行（Wanner和Hairer 1996; Shampine和Gear 1979），其特征在于具有广泛分离的时间尺度的动力学。这些系统需要 高度稳定 的数值方 法来可 靠地使用 非零步长（Gear 1971），并且求解起来往往计算昂贵即使使用最先进的仿真技术，这些系统的设计，控制和优化在许 多 现 实 的 工 程 应 用 中 仍 然 是 棘 手 的 （ Benner ，Gugercin和Willcox 2015）。为了应对这些挑战，研究人员专注于获得系统近似值（称为“替代”）的技术，该系统的前向模拟时间相对较低，同时保持合理的准确 性 （ Willard 等 人 ， 2020; Ratnaswamy 等 人 ， 2019;Zhang等人，2020; Kim等人，2020; van de Plassche等人，2019;2020年）。版权所有© 2021本文由其作者。知识共享许可署名4.0国际（CC BY 4.0）一种流行的传统替代技术是基于投影的模型降阶，例如适当的正交分解（POD）（Benner，Gugercin和Willcox 2015）。该方法计算然而，如果系统是非常非线性的，这种基于线性化的简化模型的计算复杂度可以几乎与原始模型一样高。克服这一困难的一种方法是通过经验插值方法（Nguyen et al. 2014）。产生替代的其他方法通常利用关于高度正则系统的已知结构信息，2010年）。这些方法中的许多方法需要科学家积极地选择对系统执行的近似。相比之下，数据驱动的方法，如物理信 息 神 经 网 络 （ PINNs ） （ Raissi ， Perdikaris 和Karniadakis 2019 ） 和 长 短 期 记 忆 （ LSTM ） 网 络（Chattopadhyay，Hassanzadeh和Subramanian 2020），由于其明显适用于单一自动形式的“所有”常微分方程和偏微分方程，因此已经受到欢迎然而，数值刚度（S？ derlind，Jay和Calv o2015）和多尺度动力学是一个额外的挑战。高度刚性的微分方程可能导致梯度病理，使常见的替代技术（如PINN）难以训练（Wang，Teng和Perdikaris 2020）。为刚性系统创建代理的经典方法是以简单地消除僵硬。计算奇异摄动（CSP）方法（Hadjinicolaou和Gous- sis 1998）已被证明能将化学反应方程分解为快模式和慢模式。然后，快速模式被消除，导致在一个非刚性系统。另一种选择是执行特定于问题的变量转换（Qian et al. 2020; Kramer and Willcox 2019），以更适合于通过传统方法进行模型降阶。这些转换往往是特定的问题，需要科学家在方程式水平上进行干预。最近的研究表明，这种变量消除可能需要处理高刚度方程，因为刚度导致病态优化问题。例如，经典的罗伯逊××××× × ××ABCDE图1：Robertson方程中每个替代项的预测每个图中显示的是数据驱动算法在p = [0. 04，3107，1104]，不在训练数据中的参数集。 通过使用Rosenbrock23求解器求解ODE获得的地面真值（绝对公差为10− 6）显示为蓝色。 PINN使用3层多层感知器和ADAM优化器进行了300，000个epoch的训练，其预测为红色。ESN和CTESN都是在参数空间[0.036，0。044][2。七一七，三。3107][9103，1. 1 104]，使用Sobol采样从其中采样1000组参数CTSEN的预测由Wout（p）的径向基函数预测生成，并以绿色显示。来自ESN的预测是紫色的。金色的LSTM预测是由一个具有3个隐藏LSTM层和一个输出密集层的网络在训练2000个epoch后生成的。（A）y1（t）预测的时间序列图。（B）对y1（t）的surrogate预测的绝对误差。(C) y2（t）预测的时间序列图。（D）对y2（t）的surrogate预测的绝对误差。（一）结果y1（t）+y2（t）+y3（t）。 通过构造，该量的理论值在时间序列上为1。×××∈∈×（ ROBER ） （ Robertson 1976 ） 和 污 染 模 型（POLLU） （Verwer 1994 ） 的刚 性测试 问题 表明，PINN的直接训练失败，需要作者执行准稳态（QSS）假设以进行准确的预测（Ji et al.2020年）。然而，许多化学反应系统需要瞬时活化才能正确地达到总体动力学，使得 QSS 假 设 仅 适 用 于 动 力 学 系 统 的 子 集 （ Henry andMartin 2016; Flach and Schnell 2006; Eilert-sen andSchnell 2020; Turanyi ， Tomlin ， and Pilling 1993;Schuster and Schuster 1989; Thomas，Straube ，andGrima 2011）。 因此，虽然在困难方程上展示了有希望的结果，但在QSS近似方程上的训练需要特定的化学反应网络，并且需要科学家做出难以自动化的近似选择，这降低了PINN的普遍适用性。这项工作的目的是介绍一种通用的数据驱动的方法，CTESN，这是普遍适用的，能够准确地捕捉高度非线性的异质刚性时间依赖系统，而不需要用户训练非刚性近似。 它能够准确地训练和预测高度病态的模型。我们在Roberston方程上展示了这些结果（图1），PINN，LSTM网络和离散时间机器学习技术无法处理这些结果。我们的结果展示了将困难的刚性方程转化为非刚性水库方程的能力，然后将其积分在原始系统的位置时间复杂度O（n）一般刚性常微分方程求解器的尺度行为，由于内部LU-因子分解，通过具有输出数量的线性缩放的替代门得到的近似，我们观察到随着系统变大而增加的加速度 通过这种缩放差异，我们证明了将大型刚性系统加速98倍的能力，同时实现<0。2%误差（图5）。连续时间回声状态网络回声状态网络（ESN）是一个水库计算框架，它从被称为“水库”的固定非线性系统的动态定义的高维空间投射信号（Ozturk，Xu和Prıncipe 2007）。ESN的数学公式如下。对于NR维储层，储层方程由下式给出rn+1=f（Arn+Wfbxn），（1）其中f是所选择的激活函数（如tanh或sigmoid），A是NR NR储层权重矩阵，W fb是NR N反馈矩阵，其中N是我们原始模型的大小。 为了达到我们的原始模型的预测，我们对储层进行投影：xn=g（Woutrn），（2）其中g是输出激活函数（通常是identity或sigmoid），W_out是NNR投影矩阵。在ESN的训练过程中，矩阵A和Wfb是随机选择的常数，这意味着Wout矩阵是唯一需要近似的变量Wout是通过对模型的时间序列使用最小二乘拟合来计算这种使用直接线性求解（诸如QR分解）来计算W的过程意味着在训练过程中不使用基于梯度的优化。由于这个原因，ESN传统上被用作克服消失梯度问题的递归神经网络的 替 代 品 （Ja egeretal. 2007;LukoseviciusandJaeger2009; Mattheakis and Protopapas 2019; Vlachas etal.2020;Chattopadhyayetal.2019;Grezes2014;Evanusa，Aloimonos，andFermüller2020;Butcheretal.2013年）。然而，ESN也被应用于学习混沌系统（Chattopadhyay et al.2019年;Doan 、 Polifke 和 Magri 2019 年 ） 、 非 线 性 系 统 识 别（Jaeger 2003年）、生物信号处理（Kudithipudi等人，2016 年 ） 和 机 器 人 控 制 （ Polydoros 、 Nalpanfan 和 Krüger2015年）。这些都是导数计算不稳定的情况，或者像混沌方程的情况一样，在长时间跨度内没有很好的定义这种处理梯度病理学问题的能力为探索处理刚性方程的水库计算技术提供了直观的理由。然而，刚性系统通常具有跨越多个时间尺度的行为，这难以用均匀间隔的预测区间表示。例如，在我们将要展示的ROBER问题中，一个重要的瞬态发生在10，000秒模拟中的不到10秒然而，这一特征对于捕捉启动长期变化的催化作用非常重要。更多的样本来自T[0，10]将需要比从t[10、10和5]以便准确地捕捉系统的动态这些行为是为什么所有用于处理刚性方程的主要软件，如 CVODE （ Hindmarsh et al. 2005 ） ， LSODA（Hindmarsh and Petzold 2005）和Radau（Hairer andWanner 1999）都是自适应的原因。事实上，这种行为对于刚性系统的稳定处理是如此重要，以至于鲁棒隐式求解将步进行为与系统的隐式处理联系起来，其中系统具有复杂的过程，以便在牛顿收敛速率降低时减少时间步长（Wanner和Hairer 1996; Hosea和Shampine 1996; Hairer和Wanner 1999）。由于这些原因，我们将证明，来自机器学习的经典固定时间步长水库计算方法无法处理这些高度僵硬的方程。为了解决这些问题，我们引入了一种新的ESN变体，我们称之为连续时间回声状态网络（CTESN），它允许底层的自适应时间过程，同时避免训练中的梯度病理。 设N是我们模型的维数，设P是一个参数的笛卡尔空间，模型预期在该空间下运行。油藏尺寸为NR的CTESN定义为：r′=f（Ar+Whyb x（p∈，t））， （3）x（t）=g（Wout r（t）），（4）其中A是NR NR维的固定稀疏随机矩阵，Whyb是NR×N维的固定随机稠密矩阵.术语Whyb x（p≠，t）表示--- −→C+B−→--22联系我们7·将物理信息纳入储层的术语（Pathak et al.2018），即在动力系统的参数空间中的某个点的解。 给定这些固定值，读出矩阵W_out是该网络的唯一训练部分，并且通过储层ODE解相对于原始时间序列的最小二乘拟合来获得。我们注意到在本研究中我们选择f=tanh和g=idfor all of our examples例子.为了获得预测在新物理参数下的动态的替代，将储层投影W_out拟合为在参数p1，. . . 其中n是从参数空间采样的训练数据点的数量。使用这些拟合，可以训练矩阵之间的插值函数W out（p）。因此，通过下式给出针对至少一个物理参数p的预测xk（t）：x（t）=Wou t（p）r（t）。（五）我们的方法的一个很大的优点是它易于实现和易于培训。通过SVD等稳定化方法进行的全局L2拟合对病态具有鲁棒性，从而缓解了在尝试构建此类方程的神经代理时遇到的许多问题。还要注意，在这种特定情况下，读出矩阵与相同的水库时间序列这意味着预测不需要模拟储层，从而提供额外的加速。另一个优点是在训练过程中使用来自求解器的时间步进信息的能力。如前所述，不仅基于将局部误差估计最小化到指定 容差来自适应地选择步长（Shampine 和Gear1979），而且通过将牛顿收敛纳入拒绝框架，它们还适于集中在模型的最刚性和数值困难的时间点周围。因此，这些时间戳为训练最小二乘拟合提供了最重要点的启发式快照，而来自统一时间步长的快照可能会跳过动态的许多关键方面。培训在本节中，我们将介绍用于生成CTESN代理的自动训练过程输入参数-在实践中，这些函数比多次模拟模型的成本要便宜得多预测包括两个步骤：预测最小二乘矩阵和模拟储层时间序列（或者，在这种情况下，仅使用预先计算的连续解，因为储层对于每组参数都是固定的）。最后的预测只是2的矩阵乘法。训练的一个很大的优点是，它不需要研究人员对刚性模型进行手动调查，并且可以称为现成的例程。它允许研究人员进行权衡，计算全刚性模型的一些并行运行，以生成代理，然后可以插入并重复用于设计和优化。我们在Julia编程语言中实现了训练例程和以下模型（ Bezanson et al.2017 ） 利 用 其 对 微 分 方 程 求 解 器（Rackauckas和Nie 2017）和科学机器学习包的一流支持对于本文中的示例，我们使用Sobol低差异序列对高维空间进行了采样（Sobol 'et al. 2011），并使用由Julia包Surrogates.jl（https://github.com/SciML/Surrogates.jl）提供的径向基函数内插W_out矩阵。案例研究在本节中，我们描述两个代表性的例子。 我们证明了CTESN可以通过ROBER的例子处理高度刚性的问题。然后，我们讨论了性能的替代品上一个可扩展的，物理启发加热系统.Robertson方程与高刚度我们首先考虑涉及三种反应物质A、B和C的罗伯逊A-0-。0→4BB+B3×10首先选择距离空间P。这可以是模型的设计空间或操作条件范围。现在n组B+C104A+C参数P1，. . . .. 由于每次运行都是独立的，因此现在可以并行模拟每个样本的完整模型，这导致了常微分方程：ystec1=−0。04y1+104y2·y3（6）每一个系列的用于在每个p处生成时间序列的时间点的选择来自该p处的数值ODE解。然后构造水库常微分方程ystec2=0。04y1−104y2·y3−3·107y2ystec3=3·107y2（七）（八）使用在n个参数x（p≠，t），p≠中的任何一个处的候选解，p1，. . . ，pn，然后被模拟，生成储层时间序列。 由于储层ODE是非刚性的，因此与完整模型的成本相比，该模拟是便宜的。最小二乘投影现在可以计算，从每个解决方案的水库并行。一旦得到所有的最小二乘矩阵，训练插值函数来预测最小二乘投影矩阵。最小二乘拟合和训练插值，其中y1，y2和y3分别是A，B和C的浓度。该系统具有广泛分离的反应速率（0。04，104，3 107），并且众所周知非常僵硬（Gobbert 1996; Robertson and Williams1975; Robertson 1976）。它通常被用作计算刚性常微分方程积分器的例子（Hosea and Shampine 1996）。找到一个准确的替代这个系统是困难的，因为它需要捕捉稳定的慢反应系统和快速瞬变。此外，代理人需要保持一致× × × ××××利用该系统通过从笛卡尔参数空间[0]中采样1000组参数来训练代理。036，0。044] [2。七一七，三。3107][9103，1. 1 104]使用Sobol采样以均匀地覆盖整个空间。我们训练三个国家的时间序列作为输出。最小二乘投影W_out拟合每组参数，然后使用径向基函数在矩阵之间插值。 预测工作流程如下：给定一组期望时间序列的参数，径向基函数预测投影矩阵。然后，以期望30002500200015001000Robertson方程01×1052×1053×105数量的时段时间点，并且与预测的W_out的矩阵乘法给出了期望的预测。图1显示了CTESN、ESN、PINN和LSTM方法之间的比较PINN数据复制自（Ji et al.2020），并且使用从时间跨度均匀采样的101个时间点来训练ESN，而CTESN使用由ODE求解器通知的61个自适应采样的时间点（Rosen-brock 23（Shampine 1982））。CTESN方法能够准确地捕获慢瞬态和快瞬态，并遵守质量守恒 ESN能够在训练的时间点准确预测，但错过了许多功能。均匀步进完全忽略了快速瞬态上升在t= 10− 4，因为均匀间隔不从该时间尺度采样点。另外，t = 100处的第一采样时间点远离y1的浓度下降，这导致在系统稳定到接近稳态行为之前的不准确预测。 如前所述，CTESN使用来自刚性ODE求解器的信息来选择时间跨度上的正确点，从而使用比ESN更少的训练数据准确地捕获多尺度行为。为了比较离散的ESN和连续的结果，用三次样条拟合其101个均匀分布的预测点。PINN是通过在时间跨度上采样2500个几何间隔的点来训练的。使用的网络是一个3层多层感知器，每个隐藏层有 128 个 节 点 ， 高 斯 误 差 线 性 单 元 激 活 函 数（Hendrycks和Gimpel 2016）。这些层使用Xavier初始化（Glorot和Bengio 2010）进行初始化，并使用ADAM优 化器 （Kingma 和Ba 2019） 以 10−3 的 学习 率 进行300，000个epoch的训练，最小批量为128。图2显示了收敛图因为PINN在ROBER方程上训练。LSTM网络使用了与PINN类似的架构，但使用了LSTM隐藏层而不是全连接层。它使用了2500个几何间隔的点，并训练了2000个epoch，直到收敛。图1突出显示了经过训练的PINN如何无法捕获快速和慢速瞬态，并且不考虑质量守恒。 我们的合作者研究了为什么PINNs无法解决这些方程（Ji et al. 2020年）。困难的原因可归因于最近确定的由僵硬引起的训练中梯度病理的结果（Wang、Teng和Perdikaris 2020）。与图2：在Robertson方程上训练PINN：PINN使用ADAMoptimizer训练了300，000个epoch，学习率为10 − 3，此时损失似乎饱和。PINN的超参数可以在案例研究部分找到。由于方程的刚性，在训练过程中高度病态的Hessian，局部优化很难找到一个能做出准确预测的参数。我们还注意到，这种形式的刚性系统可能很难被神经网络直接 捕 获 ， 因 为 神 经 网 络 显 示 出 对 低 频 函 数 的 偏 好（Rahaman et al.2019年）。HVAC系统的刚性感知代理我们的第二个测试问题是工程社区中使用的可扩展基准（Casella 2015）。 它是一个简化的集中参数模型，由一个集中供热器通过一个分布式网络向多个房间供热。每个房间都有一个带有滞后的开关控制器，可提供非常快速的局部动作（Ranade和Casella 2014）。由此产生的方程组是非常僵硬的，无法解决标准的显式时间步进方法。供暖系统的大小由参数N缩放，参数N指的是用户/房间的数量每个房间由两个方程控制，这两个方程对应于房间的温度和开关控制器的状态。向每个房间供热的流体的温度由一个等式。这产生具有2N+1耦合非线性方程的系统。这种“可伸缩性”让我们可以测试CTESN代理如何伸缩。 为了训练代理，我们定义了一个参数空间P，我们希望它在这个空间下运行。首先，我们假设每个房间的设定点温度在17摄氏度和23摄氏度之间。每个房间都是温暖的，导热流体，其设定点在65摄氏度之间75℃。因此，我们期望代理在其上工作的参数空间是由[17<$C，23<$C] [65<$C，75<$C]表示的矩形空间。我们使用3000的储层大小，并使用Sobol采样从该空间采样100组参数，并在每个溶液和储层之间拟合最小二乘投影矩阵W。对于一个有N个房间的系统，损失×10 100400图3：验证具有10个房间的可扩展加热系统的替代物。当使用训练中没有看到的参数进行测试时，我们的代理能够将系统的行为复制到0.01%的误差内。该代理在从[17°C ，23°C][65°C ，75°C]中采样的100个点上进行训练，其中范围表示集合每个房间的点温度和流体的设定点分别为房间供热。此处确认的测试参数为[21°C，71°C]。有关培训的更多详细信息，请参阅案例研究部分。图4：通过参数空间的替代品的可靠性。 我们在超过500个网格点上对网格进行了采样，并通过我们的参数空间绘制了测试误差的热图。我们发现我们的代理执行可靠，即使在我们的空间的边界，误差在0.1%以内图5：替代物在加热系统上的缩放性能。我们将模拟完全僵硬模型所花费的时间与训练的代理进行比较，其中10，20，30，40，50，60，70、80、90、100、200和400个房间。 我们观察到高达98倍的加速。 通过从我们的输入空间中采样100组参数来训练代理，水库大小为3000。在N+1个输出上，即每个房间的温度和导热流体的温度图3表明，训练技术能够准确地找到矩阵W，其在0. 01%的测试参数误差然后，我们拟合插值径向基函数W out（p）。图4表明，插值的W out（p）能够充分捕获整个训练参数空间的动态。最后，图5演示了代理评估的O（N）成本，与一般隐式ODE求解器的O（N3）成本（由于LU因子分解）相比，随着N的增加，求解器性能的差距越来越大。在我们的测试的高端，代理加速801维刚性ODE系统约98倍。今后的工作我们提出了CTESNs，数据驱动的方法生成代理的非线性常微分方程的动态在广泛分离的时间尺度。 我们的方法在选定的参数空间中保持不同参数的准确性，并在物理启发的可扩展模型上显示出随系统大小的有利缩放。这种方法可以应用于任何常微分方程，而不需要科学家在应用代理之前对模型进行，从而大大提高了生产率。在 未 来 的 工 作 中 ， 我 们 计 划 扩 展 公 式 ， 采 取 强 制functions.This需要水库需要模拟每一个单一的时间作出预测，增加运行时间，但我们注意到，数值模拟水库是相当快的，在实践中，因为它是非刚性的，因此技术，按需再生水库将可能不会产生一个主要的运行时间性能成本。我们的方法利用微分方程解的连续性。 混合动力系统，如那些与事件处理（埃里森1981年），可以引入不连续性的系统，这将需要扩展，我们的方法对该方法的进一步扩展将处理Filippov动力系统中存在的导数不连续性和事件（Filippov 2013）。进一步的机会可以探索利用方程中的更多结构来构建更稳健的CTESN或减少水库的必要大小。为了训练本文中的两个示例问题，我们不需要物理知识。 这为训练黑箱系统的代理人提供了机会。确认本文所提供的信息、数据或工作部分由美国高级研究计划能源研究所（ARPA-E）资助。美国能源部，根据授予号DE-AR 0001222和DE-AR 0001211，以及NSF授予号OAC-1835443。作者在此表达的观点和意见不一定代表或反 映 美 国 政 府 或 其 任 何 机 构 的 作 者 感 谢 FrancescoMartinuzzi审阅本文的草稿。引用Benner，P.; Gugercin，S.;和Willcox，K. 2015. 参数动力系统基于投影的模型降阶方法综述。SIAM综述57（4）：483Bezanson，J.; Edelman，A.; Karpinski，S.;和Shah，V.B.2017.朱莉娅：一种新的数值计算方法。SIAM review59（1）：65Butcher，J. B.; Verstraeten，D.; Schrauwen，B.;戴角，澳-地的R.; 和Haycock，P.W. 2013年。用于非线性时间序列数据分析的水库计算和神经网络38：76Casella，F.2015年。Mod-elica中的大规模模型模拟：最新技术和未来前景。 第11届国际Modelica会议论文集，459-468。Chattopadhyay，A.;Hassanzadeh，P.;和Subramanian，D.2020.使用机器学习方法对多尺度Lorenz 96混沌系统进行数据驱动预测：水库计算，人工神经网络和长短期记忆网络。地球物理学中的非线性过程27（3）：373-389。Chattopadhyay，A.; Hassanzadeh，P.; Subramanian，D.;Palem，K. 2019.使用深度学习方法的层次结构对多尺度Lorenz 96混沌系统进行数据驱动预测：水库计算，ANN和RNN-LSTM.Doan，N. A. K.的; Polifke，W.;和Magri，L. 2019.基于物理信息的回声状态网络在混沌系统预测中的应用. 在计算科学国际会议上，192斯普林格。Eilertsen，J.;和Schnell，S. 2020.准状态状态近似再访：酶动力学中的时间尺度、小参数、奇点和正常形式。数学生物科学108339.埃里森，D. 1981.不连续常微分方程的高效自动积分Mathematics andComputers in Simulation 23（1）：12-20.E vanusa，M.; Aloimonos，Y.;和Fer müller，C. 2020年。使用直接反馈对齐的学习隐藏库权重的。arXiv预印本arXiv：2010.06209。Filippov，A. F. 2013. 微分方程与不连续的右手边：控制系统，第18卷。Springer Science Business Media.Flach，E. H.的;和Schnell，S. 2006.准稳态近似的使用和滥用。IEEProceedings-SystemsBiology 153（4）：187-191.Frangos ， M.; Marzouk ， Y.; Willcox ， K.; 和 van Bloe-men Waanders，B. 2010年。 代理和降阶建模：大规模统计逆问题方法的比较[第7章]。吉尔角W. 一九七一年常微分方程的数值初值问题nivp。Glorot，X.;和Bengio，Y. 2010.了解训练深度前馈神经网络的困难。 第十三届人工智能与统计国际会议论文集，249-256。Gobbert，M.K. 一九九六年。Robertson亚利桑那州立大学，技术报告.Grezes，F. 2014. 水库计算。博士毕业论文，博士论文，纽约城市大学。Hadjinicolaou，M.;和Goussis，D. A. 1998.用CSP方法求刚性偏微分方程的渐近解：反应扩散方程。SIAMJournal on Scientific Computing20（3）：781Hairer，E.;和Wanner，G. 1999.用Radau方法求解刚性微分 方 程 。 Journal of Computational andAppliedMathematics111（1-2）：93Hendrycks，D.;和Gimpel，K.2016年。高斯误差线性单位（gelus）。arXiv预印本arXiv：1606.08415。Henry，A.;和Martin，O. C. 2016. 简单和复杂反应网络的弛豫时间短，但瞬态时间长。Journal of the RoyalSociety Interface13（120）：20160388.Hindmarsh，A.;和Petzold，L. 2005. LSODA，常微分方程求解器刚性或非刚性系统。Hindmarsh，A. C.的; Brown，P.N.;格兰特，K. E.的;李 ， S 。 L. 的 ; Serban ， R.; Shumaker ， D. E. 的 ; 和Woodward，C. S. 2005. SUNDIALS：一套非线性和微分/代数方程求解器。ACM数学软件汇刊31（3）：363Hosea，M.;和Shampine，L. 1996. TR-BDF 2的分析与实现应用数值数学20（1-2）：21Jaeger，H.2003年。基于回声状态网络的自适应非线性系统神经信息处理系统的进展，609Ja ege r，H.; Lu kosevicius ，M.; Pop ovici，D.; 和Siewert，U. 2007. 回声状态网络的优化及其应用有漏积分神经元。 神经网络20（3）：335- 352。纪，W.; Qiu，W.;施，Z.;潘，S.;和Deng，S. 2020. Stif-PINN：用于刚性化学动力学的物理信息神经网络。arXiv预印本arXiv：2011.04520。Kim，Y.;崔，Y.;Widemann，D.;和Zohdi，T.2020年。一个快速准确的物理信息神经网络简化模型，带有浅掩码自动编码器。 arXiv预印本arXiv：2009.11990。Kingma，D. P的;和Ba，J.A. 2019.随机优化的一种方法ArXiv 2014. 434.第434章我的世界Kramer，B.;和Willcox，K.E. 2019年。基于提升变换和正交分解的非线性模型降阶AIAA Journal57（6）：2297Kudithipudi，D.; Saleh，Q.; Merkel，C.; Thesing，J.;Wysocki，B.2016年。设计和分析用于生物信号处理的神经记忆神经科学前沿9：502。Lu kosevicius，M.; 和Ja ege r，H. 2009年 研究递归神经网 络 训 练 的 计 算 方 法 。ComputerScience Review 3（3）：127-149.Matheakis，M.;和Protopapas，P.2019年。递归神经网络：爆炸，消失的前体水库计算。Nguyen ， V.; Buffoni ， M.; Willcox ， K.; 和 Khoo ， B.2014.反应流应用的模型简化。International Journal ofComputational Fluid Dynamics28（3-4）：91-105.厄兹蒂尔克湾C.的; Xu，D.;和Prıncipe，J. C. 2007.分析 -回 声 状 态 网 络 设 计 。 Neural Computation19（1）：111Pathak，J.;Wikner，A.;Fussell，R.;Chandra，S.;亨特湾的R.; Girvan，M.;和Ott，E.2018年混沌过程的混合预测：结合基于知识的模型使用机器学习。混沌：非线性科学的跨学科28（4）：041101。Polydoros ， A.; Nalpanestrium ， L.;和 K ruger r， V.2015年。水库计算对机器人控制模型学习的优势和局限性。在IROS机器学习在规划和控制机器人运动，汉堡，德国会。Qian ， E.;Kramer ， B.;Peherstorfer ， B.; 和 Willcox ，K.2020年。Lift Learn：面向大规模非线性动力系统的物理 信 息 机 器 学 习 。 物 理 学 D ： 非 线 性 现 象 406 ：132401。Rackauckas，C.;和Nie，Q.2017年。微分方程。jl-一个开放研究软件杂志5（1）。Rahaman，N.; Baratin，A.; Arpit，D.; Draxler，F.;林，M.; Hamprecht，F.; Bengio，Y.;和Courville，A. 2019.关于神经网络的谱偏差。在国际机器学习会议上，5301-5310。PMLR。Raissi， M.; Perdikaris ， P.; Karniadakis ， G. E. 2019.Physics-informed neural networks：一个深度学习框架，用于解决涉及非线性偏微分方程的正问题和逆问题。计算物理学杂志378：686-707。Ranade，A.;和Casella，F. 2014.多速率集成算法：一条通向超大型系统面向对象模型高效仿真的途径第六届基于方程的面向对象建模语言和工具国际研讨会论文集，79Ratnaswamy，V.; Safta，C.; Sargsyan，K.; 和里丘托，D. M. 2019年。E3SM陆地模式的物理信息递归神经网络替代AGUFM2019：GC43D罗伯逊，H. 1976.具有特殊结构的刚性常微分方程组的数值积分。IMA Journal of Applied Mathematics18（2）：249Robertson，H.;和Williams，J. 1975.刚性微分方程算法的 一 些 性 质 。 IMA Journal of Applied Mathematics16（1）：23Schuster，S.; 和Schuster，R. 1989. Wegscheider条件的 推 广 。 稳 态 性 质 和 准 稳 态 近 似 的 含 义 。 JournalofMathematical Chemistry 3（1）：25-42.尚平湖F. 一九八二年 罗 森 布洛克方法的实施。ACMTransactions on Mathematical Software （ TOMS ） 8（2）：93尚平湖F.地;和Gear，C. W. 1979.解刚性常微分方程的用户观点。SIAM review21（1）：1Sobol’, M.; Asotsky，D.;Kreinin，A.;库切连科，S. 2011. 高 维 Sobol 生 成 元 的 构 造 和 比 较 Wilmott2011（56）：64Soderlind， G.;Ja y ， L.;和 Cal vo ， M. 2015 年 。Stiffness1952BIT Numerical Mathematics55（2）：531Thomas ， P.; Straube ， A. 五 、 和Grima ， R. 2011. 通信：开放生物化学反应网络中Turanyi，T.; Tomlin，A.;和Pilling，M. 1993.关于准稳态近似的误差。物理化学杂志97（1）：163-172。van de Plassche ， K.; Citrin ， J.; Bourdelle ， C.;Camenen，Y.; Casson，F.; Felici，F.; Horn，P.; Ho，A.;Van Mulders，S.; Koechl，F.;等人2020年。融合等离子体中湍流输运的快速代理模型与物理信息神经网络。Verwer，J. G. 1994. Gauss-Seidel迭代法求解化学动力学 刚 性 常 微 分 方 程 。 SIAM Journal on ScientificComputing15（5）：1243Vlachas，P. R.; Pathak，J.;亨特湾的R.; Sapsis，T. P的;Girvan，M.; Ott，E.;和Koumoutsakos，P.2020年。用于复杂时空动态预测的递归神经网络中的反向传播神经网络Wang，S.; Teng，Y.;和Perdikaris，P. 2020。理解和减轻物理信息神经网络中的梯度病理。arXiv预印本arXiv：2001.04536。Wanner，G.;和Hairer，E.一九九六年。解常微分方程2。施普林格柏林海德堡。Willard，J.;贾，X.; Xu，S.; Steinbach，M.;和Kumar，V.2020。整合基于物理的建模与机器学习：一项调查。arXiv预印本arXiv：2003.04919。张，R.; Zen，R.;邢，J.; Arsa，D. M. S.的; Sa