深度神经网络在有限数据下的函数逼近和偏微分方程解中的效果及优化

D›→∈V∈ U <$∈VV使用深度神经网络从有限数据Ben Adcock1，Simone Brugiapaglia2，Nick Dexter1，Sebastian Moraga1西蒙弗雷泽大学数学系，加拿大，本拿比，BC V5A2数学统计系，ConcordiaUniv ersity，Montre′ al，QCH3G1M8，Canadabenadcock@sfu.ca，simone. concordia.ca， nicholasdexter@sfu.ca，smoragas@sfu.ca摘要深度学习（DL）技术在许多应用中取得了成功，在底层数据或问题域的维度很大的问题上取得了最令人在本文中，我们描述了通过深度神经网络（DNN）进行标量和希尔伯特值函数逼近的最新结果。这个问题出现在许多 工 程 问 题 中 ， 特 别 是 那 些 涉 及 参 数 偏 微 分 方 程（PDE）的解决方案。这样的问题是具有挑战性的，因为逐点样本的获取是昂贵的，并且函数通常是高维的。首先，我们考虑一个DNN架构和训练过程，保证所得到的DNN的执行以及当前最好的同类计划的全形态，标量或希尔伯特值函数的多项式逼近的基础上。这个结果证明了DL对这个问题的有效性，并明确了所有误差源的影响，包括底层希尔伯特空间的离散化误差和测量误差。其次，我们提供了几个数值结果，说明DNN的性能上的实值函数和解决方案的参数偏微分方程。这些结果表明，通过仔细调整DNN架构和训练算法可以实现更好的近似。1介绍基于在大型数据集上训练DNN的现代机器学习方法在几个重要的科学计算应用中的高维问题上取得了令人印象深刻的结果，包括成像中的逆问题（Adcock和Hansen 2021; Ongie 等 人 2020 ） ， 分 子 动 力 学 模 拟（Faber等人2017），偏微分方程（PDE）（Be r g和Nyst r？m2018）以及工程中用于不确定性量化（UQ）的参数化PDE（Cyr et al. 2020; Dal Santo，Mexis，andPe- golotti 2020; Geist et al. 2020; Khoo，Lu，and Ying2020; Laakmann and Petersen 2020）。最近关于DNN表达性的理论结果多项式、小波或自由节点样条。对于光滑函数，指数收敛率已被证明完全-版权所有© 2021本文由其作者。根据知识共享许可协议署名4.0国际（CC BY 4.0）允许连 接 的 ReLU DNN 架 构 （ Opschoor ， Schwab 和 Zech2019）。虽然这些结果是令人印象深刻的，许多重要的问题，DL技术的应用问题，在科学计算仍然存在。这项工作（Adcock和Dexter 2020）提出了关于当前训练方法的关键问题，这些方法阻止DNN在平滑函数近似任务上实际实现高精度近似。在（Antun等人，2020;Gottschling等人，2020）中还证明，经过训练以解决成像中的逆问题的DL模型可能无法恢复图像中的小结构变化，并且小扰动可能导致数值伪影。换句话说，DNN可能导致不稳定的方法，除非它们被仔细构造。因此，为了使这些工具被接受并应用于具有严格容错性的科学计算中的关键任务，例如，对于机械工程中的UQ问题，有必要建立DNN稳定性和收敛性的理论基础，以及了解如何训练它们以确保这些属性。在这项工作中，我们展示了DNN从有限数据集中学习高维标量和希尔伯特值函数的结果。虽然大多数以前的研究都考虑了标量值函数，但希尔伯特值函数出现在各种重要的应用中，例如涉及偏微分方程的UQ问题。这类问题通常用微分算子x表示，其中x包含空间和时间变量，目标是对所有yRd找到一个解u得Hilbert或Banach空间，满足Dx（u，y）= 0，（1）但须符合适当的边界条件。 现有的解决这些问题的技术实现了无限维参数到解映射y u（y）的离散化通过将空间离散化，例如，有限元或差分方法，具有 全 局 多 项 式 近 似 ， 通 过 Galerkin 投 影 （ BabusReplika，Tempone和Zouraris 2004），稀疏网格上的分层插值（Numbers，Tempone和Webster 2008 a），离散最小二乘法（Chkifa等人，2015）或基于压缩传感的方法（Adcock，Brugiapaglia和Webster 2017; Dex- ter，Tran和Webster 2019; Doostan和Owhadi 2011; Hampton和Doostan 2015）实现。0k=1≤≤√i=10V ∈VV∈⊆2QęQ U VVVQVVU → V挑战形式问题的大的潜在维度2预赛我们首先需要一些符号。对于d∈N，我们写Nd：=(1)在实际应用中提出了重大挑战的{ν=（νk）d：νk∈N0}对于非负整数集维数灾难表明，构建近似所需的数据量和计算工作量可能随着问题维数呈指数增长。在科学计算和UQ中出现的许多现实问题中，参数尺寸d 1，作为参数用于模拟各种材料特性，强迫项和边界信息。在这种情况下，上述技术的简单应用可能导致计算效率低下的方案或关于样本复杂性的次优近似，即，构建近似值所需的样本数量以前的工作DNN最近已经针对这些问题进行了研究，多指标不等式μ v是按组成来理解的。我们写0和1的多指标组成的所有零和所有的1分别。我们还用A4B表示存在一个与A和B无关的数值常数c >0，使得AcB，对于A4B也是如此。设置设V是域R上的可分Hilbert空间，其内积为V·，·V·，且对应范数v设VN是长度为N的Hilbert值向量的向量空间，即u =（ui）N，其中ui∈ V，i= 1，. . .、N.（Kutyniok et al. 2020），其中，在保证解流形的低维性的 假 设 下 ， 通 过 将 DNN 连 接 到 约 化 基 近 似 和KolmogorovN宽度理论，建立了快速的、与维数无关的收敛速率工作更一般地，令ΛNd表示（可能是无限的）多指标集。我们写v=（vν）νΛ为序列，- 有价值的条目，vv。我们将空间l2（Λ i）定义为那些序列的集合，对于这些序列，对应的范数（Geist et al.2020）数值测试了DNN在一系列维度上近似求解参数扩散方程的准确性，发现误差与v.νΣ∈Λv1/2< ∞.问题的内在复杂性，折痕，但观察到的缩放不是指数的。 其他工作，如（Cyret al. 2020; Dal Santo ， Pegolotti 和 Pegolotti 2020;Khoo，Lu和Ying 2020; Laakmann和Petersen 2020）也证明了DNN方法用于参数PDE的潜力。此外，人们希望DNN可以克服标准多项式方法的一些这些方法需要对底层参数化PDE问题进行强光滑假设，以便快速对于参数域，我们考虑超立方体配备统一概率测度U =[− 1，1]d，dQ（y）= 2−ddy.（二）当1≤p≤∞时，记Lp（U）为相应的Lebesgue空间，记Lp（U）为它们的范数.其次，我们定义Bochner空间Lp（;）为由强Q-可测函数f：U → V（的等价类）组成的空间，其中收敛速度然而，通常在工程或科学应用中发现的问题很少能满足所有f. .简体中文f（y）<这些假设（Smith 2013）。另一方面，DNN已被证明可以达到最佳的近似率无量纲supy∈U<$f（y）<$Vp=∞分 段 光 滑 函 数 的 方 法 （ Petersen 和 Voigt-laender2018），这表明比基于多项式的方法具有更大的灵活性。数值研究还证明了DNN在近似不连续（标量值）函数方面的效率（Adcock和Dexter 2020），而基于多项式的方法无法收敛。一般来说，我们不能直接处理无限维的输出空间。因此，我们引入离散化（例如有限元离散化）。这是一个维数为K的有限维子空间= dim（Vh）. 我们让Ph：VK → Vh是正交的-最终投影到Vh和{k}k=1是a（不一定正交）基。此外，对于f∈L2（U;V），我们设Phf∈L2（U; Vh）是几乎每个-这项工作这项工作的目的是描述最近的结果（Ad-cock和Dexter2020; Adcock等人，2020年），DNN约-其中asQ（Phf）（y）= Ph（f（y）），n ∈ U.标量和希尔伯特值函数模拟及其在参数偏微分方程中的应用 虽然DNN已经显示出对不连续函数的一些承诺，但在这项工作中，我们专注于光滑的情况，其中与基于多项式的方法进行直接比较是有效的。特别是，我们专注于以下问题：DNN方法在多大程度上（理论上和经验上）优于当前同类最佳的基于多项式的方法？全纯与多项式逼近本文的重点是光滑函数f：的逼近。注意，f可以是标量值，例如=R或希尔伯特值，在这种情况下是可分离的，但可能是无限维的希尔伯特空间。 所谓光滑，我们的意思是f有一个合适的复区域O的全纯扩张，其形式为U<$O <$Cd。.一2{\fnMicrosoftYaHei}U → V哈哈j=1J∈HA2Ni=1ˆ2i=1i=1k=1Σk=1F fs（一）+<$f − Ph（f）<$L∞测量误差项数值解算器- -ę具体地说，我们把这些区域看作伯恩斯坦多元弹性体。给定参数ρ>1，它们具有以下形式：Eρ= Eρ1×···×Eρd，其中，对于ρ >1，Eρ ={1（z+z−1）：z ∈ C，1≤|z|≤其中ρ是激活函数，l是仿射映射。给定这样的DNNΦ，得到的f的近似值为：Σf（y）<$fΦ（y）=k=1（Φ（y））k∈Vh.ρC是经典的Bernstein椭圆。注意伯尔尼-与经典的Bernstein椭圆非常相似，stein多椭圆与多元多项式逼近密切相关（Chkifa，Cohen，and Schwab 2015;Cohen and De-Vore 2015; Cohen ， DeVore ， andSchwab 2011）。准确地说，在这项工作中，我们考虑函数的类=（γ，ε，d），其中γ>0和ε >0是常数。这个类由函数f组成：全纯延拓到Bernstein多椭圆Eρ和满足<$f<$L∞（Eρ;V）≤1，其中参数注意，当V = R时，即f是标量值的，这样的考虑是不必要的，因为Vh= V = R，我们简单地有f（y）<$Φ（y）。3学习全纯，希尔伯特值通过DNN的我们现在提出一个理论结果，证明DNN可以学习有效地近似全息函数。注意（Opschoor，Schwab和Zechρ=（ρj）d也满足2019）之前已经表明，存在一个DNN，它可以达到与最佳s相同的近似率（4）。1.一、d！Qdlog（ρ）1/d项多项式逼近在下面的结果中，我们D+ 11 +1≥γ。（三）表明这样的DNN也可以通过标准训练策略从数据（5）中有效地学习由于这一定义的动机如下。对于任何f（γ，γ，d），它在Lq-正交多项式（归一化的张量Leg-endre多项式）中的最佳s-项多项式逼近fs在s中指数快速由于篇幅所限，我们省略了一些细节。完整的细节和证据可以在（Adcock et al. 2020年）。定理3.1设m≥2，M2ǁ − ǁ1/d（四）λ：=cm/（log（m）min{log（m）+d，log（m）log（2d）}），使得m≥随机抽取，d和{y}mę˜2ii=1其中，s<$（d，n，ρ）是常数（Opschoor，Schwab和Zech2019年）。这是我们试图通过DNN AP获得的速率-近似问题陈述设f：U → V是一个全纯的和潜在的Hilbert-依赖于Q。那么，很有可能，• - 一类神经网络，其大小、最大深度和可训练参数的数量至多是多项式（可以指定增长率以及对d的依赖性），• 正则化泛函J：N →[0，∞），基于值函数我们假设m个样本点 YIMare根据统一度量Q独立且相同地绘制。对于每个yi，我们假设一个近似的可训练参数的一定范数，使得对于每个f∈ HA（γ，ε，d），(5)，正则化训练问题的任何极小化器Φf（yi）的值在空间Vh中计算。因此，该方法-f的保证是最小化。1MfΦ（yi）i+λJ（Φ），（6）di= f（yi）+ni∈Vh， i = 1，. . . ，m.（五）Φ∈Nmi=1五、2请注意，这包括这样的事实，例如，在第满足，对于e=（ni）m/m，并且对于足够大的m度量PDE，f（yi）经由黑盒数值例程（例如，一个数值偏微分方程解），当然，我包含由nu导致的错误<$f −fΦ<$<$L2（U;V）4exp（−γm<$1/（2d）/2）+eV，2（b）第（1）款返回有限维空间中的值。因此，`我们的目标是从测量值中近似出f{di}m使用DNN。把投影Phf写成`（c）x的基K为K最近的许多研究表明，DNN可以有效地近似不同类别的函数（Ad-f ∈（P hf）（y）=ck（y）<$k.k=1我们的目标是逼近向量值映射Rd→ RK，cock and Dexter 2020; Petersen and Voigtlaender 2018;Op-schoor ， Schwab ， and Zech 2019; Grohs et al.2019）及其参考文献）。这些结果是存在性定理的形式，即他们断言DNN的存在，y<$→（ck（y））K，其中DNNΦ≠：Rd→RK。我们认为一种具有良好逼近性质的–前馈DNN架构，即Φφ（y）=AL+1（ρ（ AL（ρ（···ρ（A0Kj=1L2（U;V）X-ray（γs）的情况下，Ss<$（d，n，ρ），≤−∀≥（y））···），L≥12019）表明DNN的存在与最佳s项多项式近似具有相同的近似˜m×U×k=1kQ但是没有用于学习它的建设性手段，也没有关于这样做所需的样本的数量和类型我们称定理3.1为实际存在定理，因为它断言：10-2100不仅存在这样的DNN，而且它可以被训练。此外，通过误差界中的第一项（a），其在m中呈指数小，这表明DNN可以以样本有效的方式进行训练它表明，这样的DNN实现了与最佳s项多项式近似相同的误差，样本复杂度以s为单位进行二次缩放。事实上，这与基于多项式的com实现的样本复杂度完全相同10-410-6500100015002000十比一10-2500100015002000全纯函数近似的压力传感方法（Adcock，Brugiapaglia和Webster 2017; Dexter，Tran和Webster 2019）。因此，（a）断言DNN过程实现了以m为图1：近似（左）f1（y）和（右）f2（y）的误差d = 8。目前最好的方案。非常精确。对于训练，我们使用标准的l2损失函数-除此之外，定理3.1还明确了培训过程中的三大误区首先，近似误差（a），其取决于样本数量.第二，采样误差（b），即数值PDE求解中的误差。第三，离散化误差（c）。这个误差是由于在有限维空间Vh而不是V中工作。然而，关键是它与正交投影 Ph（f）的误差成正比，即由Vh到f的最佳逼近。4数值实验这一结果证明了DNN方法对希尔伯特值函数逼近的潜在功效。也就是说，DNN方法可以与基于压缩感知的当前同类最佳方案一样用于全纯希尔伯特值函数逼近。但是我们要提醒的是...和Adam优化器（Kingma和Ba 2014）。我们训练最多50，000个epoch，或者直到达到容差εtol= 5 10−7。权重和偏差初始化为均值为0、方差为0的正态随机变量。01.压缩感知方案遵循（Adcock，Brugiapaglia和Webster2017）的设置，并且基于双曲交叉索引中的勒让德多项式集合，与L1最小化或加权L1最小化（已知后者提供改进的性能）相结合。 这些实验使用SPGL 1求解器在Matlab中以双精度进行（van den Berg和Friedlander 2019，2009）。 近似误差被视为相对L2（）误差，并使用高阶各向同性Clenshaw-Curtis稀疏网格求积规则计算，该规则大致由1。9 106点。图1，我们考虑两个不同的光滑，标量值功能：orem 3.1预计不会导致DNN执行.dcos（yk）−好点了它的证明在很大程度上利用了DNN和多项式以及损失函数最小化，f1（y）=expk=1，8个d压缩感知的标准优化问题对另一方面，全连接DNN的通用性f（y）=.Qd/21 +4ky21/d.体系结构允许它们应用于以下问题：2个dk=d/2+1 100 + 5yk已知多项式近似失败，例如，不连续或低参数规则性的函数。这激发了对数值实验的需求，数值实验将DNN训练的实际性能与标准架构和损失函数与其他方案（如基于多项式的压缩感知）进行了比较。标量值函数逼近在本节中，我们考虑标量值函数逼近。 我们的目的是将标准DNN训练与同类最佳压缩感知方案进行比较。有关研究的进一步详细信息和其他实验，请参见（Adcock和Dexter 2020）。我们关注两个因素。首先，样本复杂度，即误差随m变化的行为，以及第二，测量中噪声的影响。我们考虑ReLU DNN架构，每层具有固定数量的节点N和深度L。我们改变比率β：=L/N，以试图获得最佳近似。 我们使用TensorFlow并在单个该实验证明了实际存在定理（定理3.1）与DNN在使用标准架构和优化器训练时的实际第一个函数是非常光滑的，因此具有近似稀疏的多项式系数。尽管有定理3.1，图1表明压缩感知明显优于DL方法。另一方面，函数f2不太有利地近似为多项式，并且DL方法实现了与压缩感知的竞争性能。 这表明DL对于更广泛的函数类的有效性。请注意，这两个实验也是在30个不同深度和宽度的替代ReLU DNN架构上完成的，结果相似。接下来，在Fig.2、考虑噪声的影响 这些实验表明，经过训练的DNN在数值上是稳定的，噪声对总体误差的贡献是线性的。与上面在近似误差中确定的间隙不同，这种行为与定理3.1非常一致Σ∇∈∈ U∈ × V×∅∈ U ∈∈k=1−2ΣΣ10510010-550010001500200010210010-2500100015002000等2020），以获取更多详细信息）。接下来我们定义希尔伯特空间H（div; div）：={τ∈[L2（div）]2：div（τ） ∈L2（div）}，并且，类似于（Gatica 2014，第4.2节）的分析，我们引入σ（y）=u（y）H（div; n）作为额外的未知数。由于篇幅限制，我们现在简单地陈述混合公式，并参考其适定性（Gatica2014，第4节）。以这种方式，定义H=[L2（λ）]2，Q={τ∈[H（div; n）]2：τ·n= 0 in ΓN}，图2 ： 两个性 能最 好的ReLU DNN 在 d = 8 维 中近似（左）f1（y）和（右）f2（y）的误差，有和没有N（0，σ2）噪声。得到混合变分公式：给定y∈U，找到（u（y），σ（y））∈H×Q，使得混合边界条件下的参数偏微分方程<$σ，τ<$L2（n）+<$u，<$u·τ<$L2（n）=<$τ·n，h<$rD<$K·σ，v<$L2（）+<$Kv，σ< $L2（）=−<$f，v<$L2（）（七）最后，我们应用DL参数偏微分方程问题。具体地说，我们考虑了一个非平凡的，二维希尔伯特值函数逼近问题的混合边界条件的参数偏微分方程的解决方案。参见例如 （ Adcock et al.2020; Geist 等 人 2020 ） ， 对 于Dirichlet边界条件的参数偏微分方程问题。在这里，我们的目标是检查DNN方法对非标准参数PDE的有效性对于所有的（v，τ）H Q.请注意，在这种情况下，=L2（）H（div; div）。为了离散化这个问题，我们考虑一个均匀离散化，这意味着一个任意的有限维子空间，其中通常的[P1]2-Lagrange有限元用于H，Raviart-Thomas[RT2] 2用于Q。此外，给定y，我们定义u（y）= [u1，u2]T（y）的有限元（FE）和DNN近似：设R2是一个给定的有界区域，其K为多面体边界线n = r，使得r = rD<$rN且rD<$rN=1uh，j（y）=cj，k（y）k，uΦ，h，j（y）=1 （Φ（y））k，j∈k，. 我们重点讨论以下具有混合边界条件的参数扩散k=1k=1对于j ∈ {1，2}，其中（k）K1 有基础− k·（K（x，y）<$u（x，y））=f（x，y）x∈k，y ∈ U，u（x，y）=h（x，y）x∈ΓD，y∈ U，k=1P1. 类似地，为RT2-空间n=0x∈ΓN，y ∈ U，其中，给定y，f（y）[L2（r D）]2和h（y）[H1/2（rD）]2，它们的分量在H1（r D）中函数的迹空间中.我们定义K=diag（a），其中向量a= [a1，a2]T.为了保证适定性作为（σ）K2，我们可以类似地定义对σ的FE和DNN近似。我们省略进一步的细节。我们考虑不同类型的DNN架构来近似有限元基的系数。 在这项研究中，我们使用相同的有限元离散化生成样本训练和测试数据。我们认为有限的和解u的参数正则性，我们需要对K的每个分量进行统一有界性假设，更多细节请参见（Cohen，DeVore和Schwab 2011）。也就是说，存在aj，max≥aj，min>0，使得ajmin≤ aj（x，y）≤ aj ，max，<$x ∈ N，<$y ∈U，j ∈ {1，2}.在我们的例子中，我们设置了n =（0，1）2，并定义了Dirich-在h= 2/32的网格上进行单元离散，给出总共22,914个自由度为了比较，我们考虑了Leaky-ReLU和双曲正切激活函数。为了训练DNN，我们使用Adam优化器以及指数衰减学习率，最小化标准的l2均方误差。DNN的训练数据是通过求解(7)在一组均匀随机点{y}m<$U处，其中let和Neumann边界ΓD={x∈[0，1]2：x1= 0，x1=1}，ΓN={x ∈ [0，1]2：x2= 0，x2= 1}.精确解由u1（x，y）=ii=12接下来，我们定义一致正张量K，a1（x，y）= 3 +x1y1+x2y2，a2（x，y）= exp（1 + y1（ππL）1/2+ λ sin（πx1）y2）.这里，第一个是简单的仿射系数，第二个是具有一维（分层）空间依赖性的扩散系数（参见（Adcock1sin（π（y1+y2））（cos（πx2）exp（x11）+cos（πx1）），u2（x，y）=cos（π（y1+ y2））（cos（πx2）exp（x2−1）+sin（πx1））。图3显示了使用不同损失函数的训练结果。一般来说，使用Leaky-ReLU的网络在双曲正切上实现了较小的训练损失。此外，数值结果表明，更深和更宽的网络训练速度更快，这意味着它们可以在固定数量的epoch后实现更小的训练损失误差另一方面，有趣的是，∇×∇∇−图3：显示了不同DNN架构近似混合参数PDE问题的性能，使用批量大小m/2，L隐藏层和每层N个节点，L/N= 0。1. （左）在m=200（均匀随机样本）上训练l2损失函数的比较。（右）分别显示函数uΦ，h，1的测试误差Bochner范数及其梯度σΦ，h，1、正方形和三角形标记的对于不同的架构来说并没有太大的不同，其中表现最好的两个Leaky-ReLU和双曲正切网络给出了类似的结果。有趣的是，即使为每个DNN训练单独的DNN（由于混合公式），u1的测试误差也比其梯度u 1的测试误差小得多（几个数量级）。除此之外，我们还绘制了DNN产生的u和σ的最佳近似图4示出由在m = 200个样本上训练的DNN实现的近似误差为6。3699 10−6在2900个训练时期后的损失，并在输入参数值y =[0，0. 707106]。值得注意的是，对u1的近似略好于对u 2的近似。在图5中，我们还比较了u2的DNN解与FE近似。图4：具有双曲正切激活函数的DNN近似的可视化，L=5个隐藏层，每个隐藏层N=50个节点 颜色表示uh，j的近似值，白色箭头表示σh，j的近似值（左j=1，右j=2）。那些多项式表现不好的，例如，非光滑函数最后，我们也给出了混合边界条件下参数偏微分方程DNN逼近的新结果。 这些结果突出了DNN方法的潜力，尽管需要进一步的工作来调整架构以获得最佳性能-包括更好的梯度近似-并确定该方法的有效性，特别是与当前基于多项式近似的同类最佳方案相比。五、结论深度神经网络为有效学习标量和希尔伯特值函数提供了许多优势，特别是参数PDE问题的解决方案与实际上每种基于多项式的方法不同，在应用DNN时不需要选择基或字典它们还提供了解决具有挑战性的UQ问题的能力，这些问题具有导致低参数正则性的不连续性，诸如通过压缩感知的稀疏多项式近似等方法不太适合的问题。在这项工作中，我们提出了一个理论结果，证明了DNN方法对光滑函数逼近的有效性。然而，正如我们在第一次图5：DNN的输出比较实验并在（Adcock和Dexter 2020）中进一步阐述，这种理论速率在实践中可能无法满足，图4为近似U−32，h（y）。这里的测试错误是标准架构设计和培训。这表明第六章7321 ·10，黄/绿颜色的FE近似，进一步修改DNN架构和训练程序以在一系列具有挑战性的高维问题上实现卓越性能的可能性很大，包括蓝色/红色是DNN近似。我们省略了u1的可视化，因为它与FE近似无法区分。引用Adcock，B.; Brugiapaglia，S.; Dexter，N.;和Moraga，S.2020.深度神经网络可以有效地从有限的数据中学习高维希尔伯特值函数。预印本。Adcock，B.; Brugiapaglia，S.;和Webster，C. G. 2017.高维函数多项式逼近的压缩感知方法In Boche，H.;Caire，G.;Calderbank ， R.;Maürz ， M.; Kutyniok ， G.;和Matha r，R.，编辑，压缩感知及其应用：2015年第二届国际数学会议，应用与 数值谐波分析，93-124。Cham：Birk häuser.Adcock，B.;和Dexter，N.2020年。深度神经网络函数逼近理论与实践之间的差距arXiv：2001.07523。Adcock，B.;和Hansen，A. C. 2021. 压缩成像：结构，采样，学习。剑桥：剑桥大学出版社.Antun，V.;Renna，F.;Poon，C.;Adcock，B.;汉森，A. C. 2020.深度学习在图像重建中的不稳定性和人工智能的潜在成本。美国国家科学院院刊。Babus Replika ， I.; Tempone ， R.; 和 Zouraris ， G. E.2004.随机椭圆型偏微分方程的Galerkin有限元逼近SIAM J. 编号。Anal. 42（2）：800Be rg，J.; 和Nyst rom，K. 2018年复杂几何中偏微分方程的统一深度人工神经计算317：28Chkifa，A.; Cohen，A.; Migliorati，G.; Ningbo，F.;和Tem，R.2015年。离散最小二乘多项式逼近与随机评价-应用于参数和随机椭圆偏微分方程。ESAIM数学模型。编号。Anal. 49（3）：815-837。Chkifa，A.; Cohen，A.;和Schwab，C. 2015.打破参数偏微分方程稀疏多项式近似的维数灾难 J. 数学纯应用103（2）：400-428。Cohen，A.; DeVore，R.;和Schwab，C. 2011. 参数和随机椭圆偏微分方程的解析正则性和多项式逼近。分析和应用9（01）：11-47。Cohen，A.;和DeVore，R.A. 2015年。高维参数偏微分方程的逼近Acta编号 .Cyr，E. C.的; Gulian，M.一、帕特尔河，巴西-地G.地;Perego，M.;和Trask，N. A. 2020.深度神经网络的鲁棒训练和训练：自适应基础观点。In Lu，J.;和沃德，R.，编辑，第一届数学和科学机器学习会议论文集，机器学 习 研 究 论 文 集 第 107 卷 ， 512-536 。 PrincetonUniversity，Princeton，NJ，USA：PMLR.Dal Santo，N.; Escherichia，S.;和Pegolotti，L. 2020.用缩减基和神经网络对参数化偏微分方程进行数据驱动逼近 J. Comput. Phys. 416：109550。Dexter，N.;Tran，H.;和Webster，C.2019年。参数偏微分方程稀疏同时逼近的混合l1 数学模型编号。Anal. 53：2025Doostan，A.;和Owhadi，H. 2011.具有随机输入的偏微分方程的非适应稀疏逼近 J. Comput. 230（8）：3015-3034。Faber ， F. 一 、 Hutchison ， L.; 黄 ， B.; Gilmer ， J.;Schoen-holz ， S. S. 的 ; Dahl ， G. E. 的 ; Vinyals ， O.;Kearnes，S.; Riley，P. F.;和von Lilienfeld，O.A. 2017年。分子机器学习模型的预测误差低于混合DFT误差。Journal of Chemical Theory and Computation13（11）：5255-5264.加蒂卡湾2014年。混合有限元法简介理论与应用。SpringerBriefsin Mathematics.施普林格山 .Geist，M.; Petersen，P.; Raslan，M.; Schneider，R.;和Kutyniok，G. 2020.参数扩散方程的深层神经网络数值解。arXiv：2004.12131。Gottschling，N. M.; Antun，V.; Adcock，B.; 汉森，A. C. 2020年。麻烦的内核：为什么逆问题的深度学习通常不稳定arXiv：2001.01258。Grohs，P.; Perekresten ko，D.; Elbra¨chte r，D.; 和博伊尔奇凯，H. 2019. 深度神经网络近似理论。arXiv：1901.02220。Hampton，J.;和Doostan，A.2015年。多项式混沌展开的压缩采样：收敛性分析和采样策略。J.计算机Phys.280：363-386。Khoo，Y.;卢，J.;和Ying，L.2020年。用人工神经网络求解参数偏微分方程。European J. Appl.Math.（in press）.Kingma，D. P的;和Ba，J. 2014。Adam：一种随机优化方法。arXiv：1412.6980。Kutyniok，G.; Petersen，P.; Raslan，M.;和Schneider，R. 2020.深度神经网络和参数偏微分方程的理论分析。arXiv：1904.00377。Laakmann，F.;和Petersen，P.2020年。通过ReLU DNN有效逼近arXiv：2001.11441。Ningbo，F.; Tempone，R.;和Webster，C. G. 2008年a。随机输入偏微分方程的稀疏网格随机配置法。 SIAM J.编号。Anal. 46（5）：2309Ningbo，F.; Tempone，R.;和Webster，C. G. 2008年b。随机输入偏微分方程的稀疏网格随机配置法。SIAMJournal on Numerical Analysis46（5）：2309Ongie，G.; Jalal，A.;梅茨勒角一、巴拉纽克河G.地; Di-makis，A. G.地;和Willett，R. 2020.深度学习技术用于成像中的逆问题。Opschoor，J. A.一、Schwab，C.;和Zech，J. 2019。全纯映射的指数ReLU DNN表示高 维 度 。技 术 报 告 35 ， ETH ： 苏 黎 世 。 doi ：https://doi.org/10.1142/S0219530518500203网站。Petersen，P.;和Voigtlaender，F.2018年使用深度ReLU神经网络对分段光滑函数进行最佳逼近。神经网络108：296史密斯河2013年。不确定性量化：理论、实现与应用。计算科学与工程。暹罗。van den Berg，E.;和Friedlander，M.P. 2009年 探索帕累托边界的基础追求解决方案。SIAM J.Sci. 算-算。31（2）：890-912。van den Berg，E.;和Friedlander，M. P. 2019. SPGL 1：大 规 模 稀 疏 重 建 的 求 解 器 。 网 址 ： http ：//friedlander.io/spgl1