稀疏约束神经网络在偏微分方程模型发现中的应用

稀疏约束神经网络在偏微分方程模型发现中的应用Gert-Jan Both，1 Gijs Vermarieün，2Remy Kusters11巴黎大学，巴黎大学U1284，研究和跨学科中心（CRI），F-75006 Paris，France2荷兰莱顿大学莱顿天文台gert-jan. cri-paris.org，vermarien@strw.leidenuniv.nl，remy. cri-paris.org摘要基于候选特征库的稀疏回归已成为发现时空数据集下偏微分方程的主要方法。这些特征包括高阶导数，将模型发现限制在具有低噪声的密集采样数据集基于神经网络的方法通过构建数据的代理模型来规避这一限制在本文中，我们提出了一个模块化框架，该框架使用任何稀疏回归技术动态确定基于深度学习的代理的稀疏模式。使用我们的新方法，我们引入了一个新的约束的神经网络，并展示了不同的网络架构和稀疏性估计器如何提高模型发现的准确性和收敛性的几个基准的例子。我们的框架可以在https://github.com/PhIMaL/DeePyMoD介绍模型发现的目的是从大规模的时空数据集中发现偏微分方程形式的解释模型。大多数算法应用稀疏回归的一组预定义的candidate条款，最初提出的Brunton等人。使用SINDY的ODE（Brunton、Proctor和Kutz 2016）和Rudy等人使用PDE-find的PDE（Rudy等人2017）。通过将未知微分方程写成：u = f（u，ux，…），并假设右侧是预定义项的线性组合，即， f（u，u x，. ）= au+ bu x+. = Θe，模型发现简化为找到稀疏系数向量θe。众所周知，计算时间导数ut和函数库Θ对于噪声和稀疏数据是困难的，因为它涉及计算高阶导数。由于使用了有限差分或样条插值等数值微分技术，这些术语的误差通常很高，将经典模型的发现限制在低噪声和密集采样的数据集上。基于深度学习的方法通过从数据中构建代理并使用自动重定向来计算特征库Θ以及来自该数字孪生的时间导数ut来这种方法显著提高了时间导数和库在噪声和稀疏数据中的准确性集合，但存在收敛问题，并且迄今为止，不利用高级稀疏回归技术。在本文中，我们提出了一种模块化方法，将基于深度学习的模型与最先进的稀疏回归技术相结合。我们的框架由一个神经网络来建模的数据，从我们构建的函数库。我们方法的关键在于，我们在整个训练过程中动态应用掩码来选择函数库中的活动项，并将网络约束到这些活动项给出的方程的解为了确定这个掩码，我们可以使用任何不可微的稀疏提升算法（见图1）。这使得我们可以使用一个约束神经网络来建模数据，并构建一个准确的函数库，而一个先进的稀疏性促进算法是用来动态地发现基于网络输出的方程。我们提出了三个实验来展示如何改变这些组件提高模型发现的性能。(I)我们取代了基于梯度的优化约束的一个基于普通最小二乘，导致更快的收敛。（II）我们证明了在高噪声数据集上使用PDE-find来寻找活动分量的性能优于(III)我们使用SIREN（Sitzmann et al.2020）而不是标准的前馈神经网络，使我们能够从高度复杂的数据集中发现方程。相关工作稀疏回归稀疏回归作为发现微分方程的一种手段，由SINDY （ Brunton ， Proctor 和 Kutz 2016 ） 和 PDE-find（Rudy等人，2017）开创此后，它们已扩展到自动超参 数 调 整 （ Champion 等 人 ， 2019 a; Maddu 等 人 ，2019）;使用稀疏贝叶斯学习进行模型发现的贝叶斯方法（Yuan等人，2019），参数微分方程的模型描述（Rudy，Kutz和Brunton，2019）以及PDE发现的进化方法（Maslyaev，Hvatov和Kalyuzhnaya，2019）。基于深度学习的模型发现随着物理学的出现，知情神经网络（Raissi，Perdikaris和Copyright 2021，这篇论文由作者撰写允许使用Karniadakis 2017a，b），神经网络已经成为知识共享授权署名4.0国际（CC BY 4.0）创建数据的替代，然后对网络预测执行稀疏回归◦NN2→NN2数据图1：我们框架的示意图（I）函数逼近器构造数据的替代，（II）使用自动微分从其构造可能的项和时间导数的库(III)稀疏性估计器使用稀疏回归选择库中的活动项，并且（IV）函数逼近器被约束到由约束的活动项所允许的解决方案。（Schae f fer2017;Be r gandNystr o？m2019）。另一方面，引入神经ODE来从物理数据集中发现未知的基于改变方向的方法的不同优化策略在（Chen，Liu和Sun2020）中得到了考虑，最近开发了基于图形的（Grey-danus ， Dzamba 和 Yosinski 2019 ） 和 （ Cranmer etal.2020年）来自稀疏选择过程本身的约束。我们首先计算一个稀疏掩码g，并仅通过掩码中的活跃项来约束网络：我们不是用k来约束神经网络，而是用k来约束它，代替eq。1与L=1<$（u−u<$ ）2+1<$（ <$u<$−Θ（θ·g））。（二）分别使用Hamilton和Lagrange框架直接编码神经网络中的对称性最后，自动编码器已被用于建模偏微分方程，并发现Nii i=1Nt ii i=1潜 在 变 量 （ Lu ， Kim ， andSolja ci c'2019;Itenetal. 2020年），但不导致明确的方程，并需要大量的数据。基于深度学习的稀疏回归基于深度学习的模型发现使用神经网络来构建数据u的代理模型u。候选项θ的库是使用从u的自动微分来构建的，神经网络工作被约束到该库允许的解决方案因此，网络的损失函数由两个贡献组成，（i）学习映射（→x，t）的均方误差u和（ii）约束网络的术语，L=1<$（u−u<$）2+1<$（<$u<$−Θ<$）。（一）使用EQ进行训练2需要两个步骤：首先，我们计算g使用稀疏估计器。接下来，我们使用掩码系数向量相对于网络参数最小化它稀疏掩码g不需要可微地计算，使得可以使用任何经典的不可微稀疏估计器该方法具有几个额外的优点：i）它提供了系数向量的无偏估计，因为我们不对θ应用l1或l2正则化，ii）稀疏模式是从完整的库Θ确定的，而不是仅仅从从剩余的活动术语中，允许动态添加以及在整个训练过程中移除活动项，以及iii）我们可以在稀疏估计器中使用交叉验证来找到用于模型选择的最佳超参数。最后，我们注意到稀疏掩码g反映了注意力 在 变 形 金 刚 中 的 作 用 （ Bahdanau ， Cho 和 Bengio2016）。利用这一变化，我们使用四个模块构建了一个基于深度学习的模型发现的通用框架（见图1）。(I)一个函数逼近器构造一个超函数，Niii=1Nt i ii=1门模型的数据，（二）从其中一个库的可能项和时间导数是使用自动稀疏系数向量k与网络参数同时学习，并且起两个作用：1）确定活动（即，基础PDE的非零）分量我们建议通过脱钩将这两项任务分化（III）稀疏估计器构造稀疏掩码以使用一些稀疏回归算法来选择库中的活动项，以及（IV）约束将函数逼近器约束到从稀疏估计器获得的活动项所允许的解功能约图书馆稀疏性确定掩码约束稀疏掩码MSE注册潜在PDE−·ξ |−|培训 我们通常使用A来计算稀疏掩码g外部不可微估计量在这种情况下，更新-在正确的时间使用掩码是至关重要的：在函数近似器合理地近似数据之前，更新掩码会对训练产生不利影响，因为它可能选择错误的项。反之亦然，更新掩码太晚可能会使用过拟合网络中的函数库我们按照“提前停止”的精神实现了一个过程预设值δ。我们通常设置δ=10−6，以确保网络已经学习了数据的良好表示。在第一次更新之后，我们使用稀疏估计器定期更新掩码。在图2中，我们在Burgers方程上展示了这个训练过程，其中有1500个样本，白噪声为2%它显示了面板A中训练集和测试集的损失，面板B中的稀疏掩码和C中的稀疏掩码。在实践中，我们观察到，大的数据集，几乎没有噪音通常发现正确的当系数向量的l1范数保持恒定时，达到最终收敛.损失Package我们在https：//github.com/PhIMAL/DeePyMoD上提供了我们的框架作为基于Python的包，在https：//phonline.org上提供了文档和示例。github.io/DeePyMoD/.与我们的方法相似，每个模型由四个模块组成：函数逼近器，库，约束和稀疏估计模块。每个模块都可以定制或更换，而不会影响其他模块 ， 从 而 可 以 快 速 进 行 实 验 。 我 们 的 框 架 构 建 在Pytorch（Paszke et al. 2019）上，任何Pytorch模型（即递归神经网络）都可以用作近似函数。稀疏估计器模块遵循Scikit-learn API（Pedregosa等人;Buitinck等人2013年），即， 所有内置的Scikit-learn估计器，例如PySindy中的估计器（de Silva etal. 2020）或SK时间（L？ning等人）， 可以使用实验约束方程中的稀疏系数向量1通常通过与神经网络参数θ同时优化来找到。考虑一个参数配置为θ<$的网络，求θ <$的问题可转化为arg minut（θ<$）Θ（θ<$）<$2。这可以在温和的假设下通过最小二乘法解析求解;我们通过每次迭代解决这个问题来计算，而不是使用梯度下降来优化它在图3中，我们比较了Burgers数据集1上的两种约束策略，训练5000个历元，而不更新稀疏掩码2。1我们求解ut = uxx + νuux，初始条件为ν=0。1，对于x=[ 3，4]，t=[0. 5，5]，随机采样2000个点，并添加10%的白噪声。2所有实验都使用了一个5层tanh激活函数的网络，每层30个神经元。 该网络使用ADAM优化器进行优化，学习率为2 10−3，β=（0. 99，0。999）。图2：A）测试集的MSE和训练集的总损失垂直线表示第一次应用稀疏遮罩的时间。B）作为时期数的函数的十二个系数需要恢复两个项uxx和uux。C）训练期间的动态稀疏掩码黄色组件处于活动状态，蓝色组件处于非活动状态。图A）显示，最小二乘方法达到了持续较低的损失。更引人注目的是，我们在面板中显示B) 系数中的平均绝对误差低三个数量级。我们将这种差异解释为随机初始化的结果：网络最初被不正确的系数约束，延长了收敛时间。与最小二乘法相比，随机初始化也会导致结果的更最小二乘法不受初始化的敏感性和一致收敛。稀疏性估计器与神经网络分开实现稀疏性估计器允许我们使用任何稀疏性提升算法。在这里，我们展示了PDE模型发现的经典方法PDE-find（Rudy et al. 2017），可以与神经网络一起使用，在高度稀疏和噪声的数据集中进行模型发现。我们将其与图4 approach（Both et al.2019）中的阈值Lasso3在具有不同噪声量的Burgers数据集4上进行了比较。PDE-find估计器发现3我们使用预设阈值0.1。4见脚注2，仅随机抽取了1 000个点。系数BC掩模−·A列车损失41.00.80.60.460.28时代B系数误差00.00 20 40 60 80 100噪音水平（%）123012345时代1e3图3：A）损失和B）平均绝对误差的系数与梯度下降和最小二乘约束作为一个函数的时期的数量结果已在20次运行中取平均值，阴影区域表示标准偏差。在大多数情况下，即使噪声高达60%-80%，方程也是正确的，而阈值化的lasso大多在40%时失败。我们强调，我们在这里提出的模块化方法更高级的稀疏估计器，如SR3（Champion et al.2019b）可以很容易地包含在这个框架中。我们在图5中示出了基于双曲正切的NN未能收敛于Kuramoto-Shivashinksy（KS）方程5的数据集（图A和B）。因此，系数向量是不正确的（图D）。由于我们的框架对底层函数近似器是不可知的，因此我们使用SIREN6，它能够学习底层动态中非常尖锐的在图B中，我们展示了SIREN能够学习KS方程的复杂动力学，在图C中，它发现了正确的方程7。该示例表明，函数逼近器的选择可以是基于神经网络的模型发现的成功的决定性因素。使用我们的框架，我们还可以探索使用RNN，神经ODE（ Rackauckas et al.2020 ） 或 图 神 经 网 络 （ Seo 和 Liu2019）。图4：正确发现的Burgers方程的分数（10次运行的平均值）作为阈值lasso和PDE-find稀疏估计器的噪声水平的函数讨论和今后的工作在本文中，我们介绍了一个模型发现框架，将经典的稀疏估计与基于深度学习的代理相结合。在此基础上，我们证明了在训练过程中替换函数逼近器、约束或动态应用稀疏估计器可以将模型发现扩展到更复杂的数据集，加快收敛速度或使其对噪声更具鲁棒性这四个组件中的每一个都与其他组件解耦，并且可以独立更改，这使得我们的方法为未来的研究奠定了坚实的基础。目前，函数逼近器简单地使用前馈神经网络学习解决方案。我们怀疑添加更多的结构，例如通过使用递归、卷积或图神经网络，将提高模型发现的性能。正则化约束也可能是有益的以不可微的方式更新稀疏掩码是可行的，因为神经网络能够学习相当准确的代理，而不会对约束施加稀疏性。如果网络无法学习准确的表示，我们的方法就会失败。以可微分的方式更新掩码不会受到这个缺点的影响，我们打算在未来的工作中继续这一点。致谢这项工作得到了国际台研究员的支持，归功于RemyKusters。我们感谢Betten-court Schueller基金会长期合作伙伴关系和NVIDIA在学术资助计划下提供GPU。我们还 要 感 谢 Numpy （ （ Harris et al. 2020 ） ） 、 Scipy（（Virtanen et al. 2020））、Scikit-learn（（Pedregosaet al.））、Matplotlib（（Hunter 2007 ））、Ipython（（Perez and Granger 2007））和Pytorch（（Paszke etal.（2019））通过他们的开放使我们的工作成为可能5我们解出在x= 0之间的tu+uux+uxx+uxxxx=0。源软件。作者声明没有竞争利益。[0，100]，t=[0，44]，随机抽取25000点，加5%白噪音6两个网络都使用8层50个神经元。我们使用ADAM训练SIREN，学习率为2。510−4且β=（0. 九九九，零。（999）7粗体;uux：绿色，uxx：蓝色，uxxxx：橙色引用Bahdanau，D.;周，K.;和Bengio，Y. 2016.通过联合学习对齐和翻译的神经机器翻译。arXiv：1409.0473 [cs，stat]URLhttp://arxiv.org/abs/1409.0473.ArXiv：1409.0473。毕业desc.等等。平方毕业desc.等等。平方阈值PDE查找Log MAE分数正确原木成本仓本-希瓦辛斯基BMSE101C警报01021035丹100104X电话：0512 - 8888888传真：0512-88888888时代1e410电话：0512 - 8888888传真：0512 -88888888时代1e4图5：A）KS方程的解下图显示了最后时间点的横截面：t=44。B）作为基于tanh的NN和SIREN NN的时期数的函数的MSE系数作为C）SIREN的历元数的函数以及D）基于双曲正切的神经网络。面板C和D中的粗体曲线是KS方程分量中的项;绿色：uux：，蓝色：uxx和橙色：uxxxx。只有SIREN才能发现正确的方程。Be r g ， J.;和 Nystr o？ m ， K. 2019 年 。Data-drivendiscoverof PDE in complex datasets. 计 算 物 理 学 杂 志384：239-252。ISSN 00219991。doi：10.1016/j. jcp。2019.01.036.网址http://arxiv.org/abs/1808.10788。ArXiv：1808.10788。两个都是G J.道：Choudhury，S.; Sens，P.;和Kusters，R.2019. DeepMoD ： 噪 声 数 据 中 的 模 型 发 现 深 度 学 习arXiv：1904.09406[physics，q-bio，stat]URLhttp://arxiv.org/abs/1904.09406.ArXiv：1904.09406。Brunton，S. L.的; Proctor，J. L.;和Kutz，J.N. 2016.用非线性动力系统的稀疏辨识从数据中分离覆盖控制方程. 美国国家科学院院刊113（15）：3932-3937。ISSN 0027-8424，1091-6490。doi：10.1073/pnas.1517384113。URLhttp://www.pnas.org/lookup/doi/10.1073/pnas.1517384113的网站。Buitinck ， L.;Louppe ， G.;Blondel ， M.;Pedregosa ，F.;Mueller，A.; Grisel，O.; Niculae，V.; Prettenhofer，P.;Gramfort ， A.; Grobler ， J.; 莱 顿 ， R.;Vanderplas ， J.;Joly，A.; Holt，B.;和Varoquaux，G. 2013.机器学习软件的API设计：scikit-learn项目的经验。arXiv：1309.0238[cs]URLhttp://arxiv.org/abs/1309.0238.ArXiv：1309.0238。Champion，K.; Lusch，B.; Kutz，J. N.; Brunton，S. L.2019年a。数据驱动的坐标和控制方程的发现。arXiv：1904.02107[stat]URLhttp://arxiv.org/abs/1904.02107.ArXiv：1904.02107。Champion，K.;Zheng，P.;Aravkin，A.Y的; Brunton，S.L.的; 和Kutz，J.N. 2019年b.一个统一的稀疏优化框架，用于从数据中学习简约的物理模型。arXiv：1906.10612[physics] URL http://arxiv.org/abs/1906. 10612 ArXiv ：1906.10612。陈志;刘玉;Sun，H.2020年。物理的深度学习从稀缺的数据。arXiv：2005.03448 [physics，stat] URLhttp://arxiv.org/abs/2005.03448. ArXiv：2005.03448。Cranmer ， M.;Greydanus ， S.;Hoyer ， S.;Battaglia ，P.;Spergel，D.;和Ho，S. 2020.拉格朗日神经网络arXiv：2003.04630[physics，stat]URLhttp://arxiv.org/abs/2003.04630. ArXiv：2003.04630。de Silva，B. M.; Champion，K.; Quade，M.; Loiseau，J.C.的; Kutz，J. N.; Brunton，S. L. 2020. PySINDy：一个Python包，用于从数据中稀疏识别非线性动力学。arXiv：2004.08424[physics]URLhttp://arxiv.org/abs/2004.08424. ArXiv：2004.08424。Greydanus ， S.; Dzamba ， M.; 和 Yosinski ， J. 2019 。Hamilton神经网络arXiv：1906.01563 [cs]URL http：//arxiv.org/abs/1906.01563. ArXiv：1906.01563。哈里斯角，澳-地的R.; Millman，K. J.道：van der Walt，S. J. 道 ： Gommers ， R.; Virtanen ， P.;Cournapeau ，D.;Wieser，E.;Taylor，J.;伯格，S.的; 史密斯，N。J.道：Kern，R.;Picus，M.;Hoyer，S.;vanKerkwijk，M. H. 的 ; Brett ， M.; Halcester ， A.; del R'ıo ， J. F.;Wiebe ， M.; Peterson ， P.;Gérard-Marchant ， P.;Sheppard，K.; Redd y，T.; Weckesser，W.; Abbasi，H.;Gohlke ， C.; 和 Oliphant ， T. E. 2020. 用 NumPy 编 程 。Nature585（ 7825）：357-362. ISSN 0028-0836，1476-4687 。 doi ： 10.1038/s41586-020-2649-2 。 网 址http://www.nature.com/articles/s41586-020-2649-2。亨特，J.D. 2007. Matplotlib：一个2D图形环境。计算机科 学 工 程 9 （ 3 ） ： 90-95 。 ISSN 1558- 366X 。 doi ：10.1109/MCSE.2007.55。会议名称：计算机科学与工程.Iten ， R.;Metger ， T.;Wilming ， H.;del Rio ， L.; 和Renner，R.2020.用神经网络发现物理概念。物理评论快报124（1）：010508。ISSN 0031-9007，1079-7114。doi：10.1103/PhysRevLett.124.010508。网址http：//arxiv.org/abs/1807.10300. ArXiv：1807.10300。警笛Tanhu不Lu，P. Y的; Kim，S.; 和Solja ci c′，M. 2019年。利用无监督学习从时空系统中提取不可预测的物理参数arXiv：1907.06011[physics，stat]URLhttp://arxiv.org/abs/1907.06011. ArXiv：1907.06011。L？ning，M.; Bagnall，A.; Ganesh，S.; 和Kaza kov，V. 你说什么？sktime：一个使用时间序列进行机器学习的统一接口10。Maddu，S.;奇斯曼湾L. 的; 斯巴尔扎里尼岛F .地; 和Müller，C. L. 2019. 稳定性选择使得能够从有限的噪声数据中鲁棒地学习偏微分方程。arXiv：1907.07810 [physics]URLhttp://arxiv.org/abs/1907.07810。ArXiv：1907.07810。Maslyaev，M.; Hvatov，A.;和Kalyuzhnaya，A. 2019.数据驱动的PDE发现与进化方法。arXiv：1903.08011 [cs，math]11540：635-641. doi：10.1007/61. casino 网址http://arxiv.org/abs/1903.08011。ArXiv：1903.08011。Paszke，A.; Gross，S.; Massa，F.; Lerer，A.; Bradbury，J.; Chanan，G.; Killeen ，T.; Lin ，Z.; Gimelshein ，N.;Antiga，L.; Desmaison，A.; Kopf，A.; Yang，E.; De Vito，Z.; 赖森，M.;泰贾尼，A.; Chilamkurthy，S.; Steiner，B.;芳湖;白，J.;和Chintala，S. 2019. PyTorch：一个命令式的高性能深度 学 习 库 。 arXiv ： 1912.01703 [cs ， stat] URLhttp://arxiv.org/abs/1912.01703. ArXiv：1912.01703。Pedregosa，F.; Varoquaux，G.; Gramfort，A.; Michel，V.;Thirion，B.; Grisel，O.; Blondel，M.; Prettenhofer，P.;Weiss，R.; Dubbillet，V.;Vanderplas，J.;Passos，A.;和库纳波，D. 你说什么？Scikit-learn：Python中的机器学习Python中的机器学习6.Perez，F.; Granger，B. E. 2007. IPython：一个系统交互式科学计算Computing in Sci-ence Engineering9（3）：21-29. ISSN 1558-366X。doi：10.1109/MCSE.2007.53。Rackauckas ， C.; 马 ， Y.; Martensen ， J.; Warner ， C.;Zubov，K.; Supekar，R.; Skinner，D.;和Ramadhan，A.2020. 科 学 机 器 学 习 中 的 一 元 微 分 方 程 。 arXiv ：2001.04385 [cs，math，q-bio，stat]URL http：//arxiv.org/abs/2001.04385. ArXiv：2001.04385。Raissi，M.; Perdikaris，P.; Karniadakis，G. E. 2017年a。物理学深度学习（第一部分）：非线性偏微分方程的数据 驱 动 解 。 arXiv ： 1711.10561[cs ， math ，stat]URLhttp://arxiv.org/abs/1711.10561.ArXiv：1711.10561。Raissi，M.; Perdikaris，P.; Karniadakis，G. E. 2017年b。物理学深度学习（第二部分）：数据驱动的非线性偏微分 方 程 发 现 。 arXiv ： 1711.10566 [cs ， math ，stat]URLhttp://arxiv.org/abs/1711.10566.ArXiv：1711.10566。Rudy，S. H.的; Brunton，S. L.的; Proctor，J. L.;和Kutz，J.N. 2017. 偏 微 分 方 程 的 数 据 驱 动 发 现 。 ScienceAdvances3 （ 4 ） ： e1602614. ISSN 2375-2548 。 doi ：10.1126/sciadv.1602614。网址http://advances.sciencemag。org/lookup/doi/10.1126/sciadv.1602614.Rudy，S.H.的; Kutz，J.N.的; Brunton，S.L. 2019年。具有时间步进约束的动态和信号噪声分解的深度计算物理学 杂 志 396 ： 483-506 。 ISSN 00219991 。 doi ：10.1016/j.jcp.2019.06.056。网址http://arxiv.org/abs/1808.02578。ArXiv：1808.02578。Sanchez-Gonzalez，A.;Heess，N.;Springenberg，J.T.;Merel，J.; Riedmiller，M.; Hadsell，R.; Battaglia，P.2018.图网络作为可学习的物理引擎进行推理和控制。arXiv：1806.01242[cs，stat]URLhttp://arxiv.org/abs/1806.01242.ArXiv ：1806.01242。Schaeffer，H. 2017.通过数据发现和稀疏优化学习偏微 分 方 程 。 Proceedings of the Royal Society A ：Mathematical ， Physical and Engineering Sciences473（2197）：20160446.ISSN 1364-5021，1471-2946。 doi：10.1098/rspa.2016.0446。 网址https：//royalsocietypublishing.org/doi/10.1098/rspa.2016.0446.Seo，S.;和Liu，Y. 2019.可区分的物理信息图网络。arXiv：1902.02950[cs，stat]URLarxiv.org/abs/1902.02950. ArXiv：1902.02950。Sitzmann，V.;Martel，J.N. P的; Bergman，A.W的;Lindell，D.B.人; Wetzstein，G.2020年。具有周期激活函数的隐式神经表示arXiv：2006.09661 [cs，eess]URLhttp://arxiv.org/abs/2006.09661.ArXiv：2006.09661。Virtanen ， P.; Gommers ， R.; Oliphant ， T.E. 的 ;Haberland ， M.; Reddy ， T.; Cournapeau ， D.;Burovski，E.; Peterson，P.; Weckesser，W.;Bright，J.;van der Walt ， S.J. 道 ： Brett ， M.;Wil- son ， J.;Millman，K. J.道：Mayorov，N.; Nelson，A. R. J.道：琼斯，E.的; Kern，R.;Larson，E.;凯里角J.道：Polat，Feng，Y.;摩尔，E. W的; VanderPlas，J.; Laxalde，D.; Perktold，J.;Cimrman，R.; Henriksen，I.;Quintero，E.一、哈里斯角，澳-地的R.; 阿奇博尔德A. M.;里贝罗A. H.的; Pedregosa，F.; van Mulbregt，P.;贡献者，S。2020. SciPy 1.0Python中的科学计算Nature Methods17（3）：261-272.ISSN1548-7091 、 1548-7105 。doi：10.1038/s41592-019-0686-2. 网 址 http://arxiv.org/abs/1907.10121 。ArXiv：1907.10121。袁，Y.;Li，J.;Li，L.;江，F.;唐，X.;张，F.;Liu，S.;Goncalves，J.;沃斯，H。★、李，X.; Kurths，J.;和Ding，H. 2019.时空数据中偏微分方程的机器发现。arXiv：1909.06730[physics，stat]URLhttp://arxiv.org/abs/1909. 06730. ArXiv：1909.06730。