人工智能在地球科学中基于亥姆霍兹方程约束的机器学习函数波场建模的应用

地球科学中的人工智能2（2021）11由Helmholtz方程约束的机器学习函数波场Tariq Alkhalifaha，*，Chao Songa，Umair bin Waheedb，Qi Haoca阿卜杜拉国王科技大学物理科学和工程系，Thuwal，23955，沙特阿拉伯b沙特阿拉伯法赫德国王石油和矿产大学地球科学系，邮编：31261c沙特阿拉伯法赫德国王石油和矿产大学综合石油研究中心，邮编：31261A R T I C L E I N F O关键词：亥姆霍兹方程波场建模神经网络深度学习A B S T R A C T当我们试图用记录的地震数据来描述地球时，求解波动方程是我们面临的最基本的问题之一。亥姆霍兹方程提供了波场解，与时域相比，每个频率在维度上减少，这对于许多应用都很有用，比如全波形反演。然而，我们获得这种波场解的能力往往取决于模型的大小因此，我们在这里使用一个最近推出的框架，基于神经网络预测功能的解决方案，通过设置底层的物理方程作为一个损失函数，以优化神经网络（NN）的参数。对于模型空间中某个位置给定的输入，网络学习预测该位置的波场值，并使用称为自动微分的概念来拟合其偏导数，在我们的情况下，这是亥姆霍兹方程的一种形式 我们特别寻求散射波场的解决方案，考虑一个简单的均匀背景模型，允许背景波场的解析解。 为NN提供来自模型空间的合理数量的随机点，最终将训练一个完全连接的深度NN来预测散射波场函数。网络的大小主要取决于所需波场的复杂性，这种复杂性随着频率的增加和模型复杂性的增加而增加。然而，较小的网络可以提供更平滑的波场，这可能对反演应用有用。初步测试的两波X形散射体模型与源在中间，以及，Marmousi模型与源在表面上展示了这种应用的NN的潜力。在3D模型上的附加测试证明了该方法的潜在通用性。1. 介绍使用地面地震记录数据照亮地球的一个基本部分是求解波动方程（Claerbout，1985）。在地震建模、成像和波形反演等应用中，数值求解波动方程构成了计算成本和复杂性的主要部分波动方程的时域解在地震应用中占主导地位，因为它们通常是有效的，并且符合我们对波演化的自然理解（Alterman和Karal，1968;Richards和Aki，1980）。然而，随着波形反演的兴起，提供降维的频域解最近获得了更多关注（Pratt，1999 ; Sirgue和Pratt，2004）。这样的解决方案是通过反演刚度随着模型尺寸的增加，这种矩阵求逆的复杂性是不可容忍的，例如对于高频或3D应用（C l′e ment等人， 1990），或者波动方程很复杂，就像各向异性介质中的波动方程一样（Wu和Alkhalifah，2018 a）。这导致（Sirgue等人，2008）建议使用时域建模来获得用于波形反演应用的频域中的波场。然而，这种解决方案容易受到色散和稳定性误差的影响（Wu和Alkhalifah，2018 b）。近年来，我们领域的研究人员已经利用机器学习算法来预测和分类断层位置、层位、盐边界、相以及速 度 模型（Roth 和Tarantola ，199 4;Wrona 等 人 ，2018; Araya-Polo 等 人 ，2019; Holm-Jensen 和Hansen，2020）。无论是有监督、半监督还是无监督训练，神经矩阵X亥姆霍兹波动方程。 然而，成本和网络在适应各种环境方面表现出令人难以置信的灵活性，* 通讯作者。电子邮件地址：tariq. kaust.edu.sa（T. Alkhalifah）。https://doi.org/10.1016/j.aiig.2021.08.002接收日期：2021年6月2日;接收日期：2021年8月13日;接受日期：2021年8月17日2021年9月8日网上发售2666-5441/©2021作者。出版社：Elsevier B.V.代表科爱通信有限公司公司这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。可在ScienceDirect上获得目录列表地球科学中的人工智能杂志主页：www.keaipublishing.com/en/journals/artificial-intelligence-in-geosciencesT. Alkhalifah等人地球科学中的人工智能2（2021）1112¼¼vv0rv2¼vδu1/4-ω δm u0：（2）. r2202-203- 204022040地球物理任务。监督学习有助于预测低频以帮助全波形反演（FWI）收敛到准确的解（Ovcharenko等人，2019年）的情况。还利用深度学习来从井信息开发“先验”模型以用于FWI（Mosser等人，2018; Zhang和Alkhalifah，2019）。甚至波传播和波动方程的解决方案是使用深度神经网络（Sorteberg等人， 2018; Hughes等人， 2019年）的情况。在利用深度神经网络作为通用函数逼近器（Liu和Nocedal，1989）的框架内，并在物理信息神经网络（PINN）的旗帜下，Raisse等人。（2019）证明了网络在学习如何利用自动微分的概念提取非线性偏微分方程的所需函数解方面的灵活性（Baydin等人，2018年）。PINN在求解偏微分方程（线性和非线性方程）方面已经发现了相当大的牵引力，从心脏激动标测（Sahli Costabal等人，2020）到稳态Navier-Stokes方程（Dwivedi等人， 2021年）。 即使在一维波传播的框架内，PINN也用于建立波动方程的可伸缩域解（Kissas等人， 2020年）。 在所有这些应用中，预测的解决方案是平滑的，这是NN作为通用函数逼近器的要求（Pinkus，1999）。波场通常是平滑的，但它们在本质上往往比其他物理现象更复杂。波场的复杂性在源处增加，因为它代表解中的奇点因此，使用ML来预测波场解将需要更大的神经网络，这最终将需要更大的计算资源。与大多数数值方法一样，它也需要对源区进行仔细的采样因此，Song et al. （2021）建议我们寻求这样的NN函数的散射波场，而不是全波场。特殊由于其线性性质，波动方程可以很容易地在频域中公式化。 在这种情况下，所得到的亥姆霍兹方程可以在每个频率下求解，而不需要频率采样，从而允许波场解的维数降低。由速度v描述的声学、各向同性、恒定密度介质中的亥姆霍兹方程由下式给出：ωk uxf x;其中k：（1）v在这种情况下，这样一个方程的解是一个复波场，u{ur，ui}，定义在欧几里得空间中，x{x，y，z}和角频率ω的函数。因此，我们的时域解只不过是频域解的叠加源函数f的点源性质允许波场解在点源位置处具有奇点。这样的奇异性往往导致不准确的数值解的亥姆霍兹方程附近的源。 正如Song et al.（2021），这种限制可以通过求解波动方程的李普曼-施温格形式（李普曼和施温格，1950）来解决。这个方程是精确的，因为我们没有应用玻恩近似，因为我们保持了方程右侧的真实速度。因此，为了在一定程度上减轻源奇异性，我们求解散射波场δu^u-u0，其中u0是满足相同条件的背景波场。波动方程（方程（1））的背景速度v0。定义速度模型扰动δm¼1-1，散射波场满足.2ω2Σ2通常，为了避免神经网络（NN）需要自适应训练点来处理预期的源奇异性偏差，它们在频域中求 解 散 射 波 场 ， 因 此 ， 利 用 相应的 Lippmann-Schwinger方程作为损失函数来训练深度完全连接的神经网络，其输入由空间（感兴趣域内）中的（随机选择的）点给出，输出由这些点处的复散射波场给出。在他们的实现中，他们专注于他们的方法在各向异性介质上的应用。 我们在本文中的目标是评估什么样的神经网络可以预测的波场解决方案，特别是在一个合理的成本，可以在实际应用中使用。因此，在这里，我们专注于模型大小，求解器和波场频率在预测这种散射波场解中的作用。 我们将首先比较亥姆霍兹方程（McFallandMahan，2009）的解与在相同网络规模和超参数下亥姆霍兹方程的分散版本的解。我们将比较两种不同频率下的解决方案，以评估NN模型处理更高频率的能力。其次，通过评估预测波场的相应速度，研究NN模型大小在平滑波场解中的作用。我们测试的性能的神经网络上的两个盒X形散射体模型，以及，Marmousi模型，并在这个过程中显示的敏感性的方法模型的大小和频率。3D上的进一步测试将展示NN参数优化器的作用2. 亥姆霍兹方程波动方程通常在时域中求解，通过模拟自然界中发生的情况，对波场进行时间外推，即可获得此类解（Richards和Aki，1980）。然而，时域中的波场很大，因为对于给定的源，它们由3D介质中的四维函数或2D介质中的三维函数给出。此外，时间轴通常需要精细采样以避免混叠，并且在使用有限差分法求解波动方程时需要更精细的时间采样以避免不稳定性（Courant，1928）。对于散射波场，源函数不再像点源那样局限于空间。 它现在取决于微扰模型，它可以扩展整个空间域。为了有效地评估背景波场，我们认为背景速度v0是常数。 对于海洋采集，我们可以选择该恒定速度来等于水速度，以进一步减小源奇异性的影响。对于恒定速度和位于xs处的点源，三维声各向同性介质中的波场由下式给出eiωjx-xsju0x4πjx-xsj;（ 3）其中i是假想的恒等式。对于2D应用，声学各向同性介质的解由下式给出：u0xiH2。ωjx-xsj;（ 4）其中H 2是第二类零阶汉克尔函数，这里X{x，z}（Richards和Aki，1980）。求解散射波场将允许我们稍后利用空间域的随机样本来训练神经网络，以提供表示频域中散射波场的函数解。背景波场的解析解使我们能够在感兴趣的域中的任何随机点处立即评估波场。接下来，我们将确切地看到这些公式如何帮助函数神经网络（NN）的训练3. 神经网络解决方案基于Raissi等人提出的物理信息神经网络（PINN）框架。（2019），我们利用神经网络架构，使用完全连接的层来评估函数。 该函数是方程（2）的散射波场解。 Hornik等人（1989年）。显示了神经网络在逼近函数方面的能力T. Alkhalifah等人地球科学中的人工智能2（2021）1113Þ2jðjNRRr02我我我02平滑的，就像我们在解波的时候v2xω2ux x其中uxu xux（六）方程网络的输入，就像一个函数，是空间中的一个位置，在2D中由x和z坐标值给出，在3D中由x，y和z坐标值给出。约为1000 Rfx x-r2ux;10. The method of claim10，wherein said step（a）comprises：纵坐标值。网络的输出由输入位置的复散射波场的实部 图 1显示，详细，PINN的概念，为我们的应用。我们使用网络来评估波场及其在x和z上的二阶偏导数，这是评估拉普拉斯算子和损失函数所需的因此，为了用等式（2）训练网络，我们使用以下损失函数：NδuNN是预测的神经网络散射波场解，R对应于实部。求解方程（6）的过程必须小心处理，有很多方法可以做到这一点，包括将分子和分母与分母的复共轭相乘，并向分母添加一个小正数以避免除以零（Song和Alkhalifah，2020）。4. 测试NNf¼1Xj1. ω2 m r2 δuω2 δm。2英里。ω2mjδujδuωδm 联合（五）使用源在中间的两个BOX形散射体模型，我们看看预测对频率的依赖性然后我们其中N是训练样本的数量，j是训练样本索引。损失函数中的两项对应于散射波场的实部（δu r）和虚部（δu i）的损失，使用背景波场的实部（u r0）和虚部（u i0）。 对于损失函数，我们选择了足够简单（均匀）的背景模型，以便可以对背景波场进行解析计算。完全连接的深度网络的细节将在示例中分享在所有示例中，除了最后一层之外，层之间的激活函数是反正切。连接到输出层的最后一个隐藏层是线性的。我们选择使用Adam优化器优化损失函数，然后使用有限内存的BFGS迭代，所有全批，基于梯度的优化算法（Liu和Nocedal，1989）。 L-BFGS允许以更高的成本进行更平滑、更强大的更新。稍后我们将分别展示这两种优化器的性能以进行比较。NN泛函提供了波场的连续表示，而不是基于网格的表示，这种连续表示提供了许多好处。我们可以在任何点上得到解，不需要插值，覆盖域可以是任何形状。这在地形存在的情况下可能是有益的然而，这种连续函数表示有其局限性，主要出现在波场复杂的时候，需要更大的网络和更高级的训练。当我们有强散射和高频率时，似乎就是这种情况因此，在下面的测试中，当我们介绍该方法时，我们将重点关注较低的频率和平滑模型。然而，当我们计算对应于预测散射波场的速度模型时，我们也将证明这些限制。这可以通过求解速度模型的波动方程来实现，并且根据方程（1），这意味着：将该方法应用于Marmousi模型，并测试了神经网络规模对解的依赖性最后，我们将该方法应用于一个小型3D模型，并专注于优化器的作用这些测试的目的是研究NN学习散射波场而不是波场本身的波动方程的函数解的能力4.1. 双散射体模型在第一个模型中，我们在一个均匀的背景中放置两个BOX形扰动，如图所示。 2（a）. 该模型在x和z方向上都有100个样本，采样间隔为20m。图2（b）中显示了模型中心点源（δ函数，一个样本）的5 Hz波场的相应（实部）。背景模型由2 km/s的恒定速度给出，对于相同的源和频率，相应的波场如图所示。2（c）. 如果我们将这两个波场相减，我们就得到了真实的散射波场，其实部如图2所示。图3（a），其中，如所预期的，能量反映来自两个长方形散射体的散射。 使用等式（5）中的损失函数，我们训练一个8层深度全连接神经网络，每层20个神经元，以表示散射波场解。我们从空间域（x i，z i）中随机选择5000个样本进行训练，并训练100000次Adam更新和20000次LBFGS更新。所用的样本数量代表了用于求解亥姆霍兹方程的网格样本的四分之一，并且有必要得出图1所示的散射波场解。 3（b）. 真实散射波场和NN预测值之间的差异如图所示。3（c）. 有差异，但一般都很温和。散射波场的虚部（此处未显示）具有类似的精度。Fig. 1. 神经网络架构（左侧虚线框X），输入（x，z）和输出由（散射）波场的实部和虚部给出。使用由散射波方程（右侧虚线框X）给出的损失函数来训练网络，其中使用NN的自动微分来评估拉普拉斯分量（δur，xx.δur，zz，δui，xx，δui，zz）损失函数可以由边界条件支持我们将首先在两个2D示例上测试这个NN框架，试图突出它的一些功能和弱点。在第一个例子中，我们T. Alkhalifah等人地球科学中的人工智能2（2021）1114图二、a ）双散射模型。b）5 Hz波场的实部，其速度在（a）中，对于中间的源，数值计算，并认为是真的。c）背景模型的5 Hz波场的实部，速度为2 km/s，解析计算图三. a）由图2（b）和（c）中两个波场（真实波场和背景波场）之差给出的散射波场。b）NN在规则网格上预测散射波场。c）实际散射波场与预测散射波场之间的差异。为了证明直接使用亥姆霍兹波动方程反演散射波场而不是波场的合理性，我们使用相同数量的随机选择的训练样本重复精确的实验。在这种情况下，损失函数由亥姆霍兹波动方程给出，为了减少点源偏差的影响，我们使用方差为2.5的各向同性高斯源 图图4（a）和（b）分别显示了图2所示双散射体模型的真实波场的实部和虚部。 2（a）. 图图4（c）和（d）分别显示了同一模型的NN预测波场的实部和虚部。差异很大，这归因于亥姆霍兹方程中的源奇异性，这需要对训练数据中的源区域进行更好的采样对于8 Hz的波场，我们使用一个更大的网络，每个网络由8层中的40个神经元组成，我们在训练中使用10000个样本预测的散射波场的实部如图所示。 5（a）. 这个预测的波场和所考虑的真实数值解之间的差异，以与图1中相同的比例绘制。 5（a），是小如图所示。 5（b）. 为了达到这个解决方案，我们使用了150000次Adam更新和20000次LBFGS更新，如图所示。 5（c）. 我们在最后使用LBFGS，因为它允许我们可以依赖的更平滑的更新，但它通常更昂贵。损失曲线行为的突然变化反映了从Adam到LBFGS的转变。尽管与5Hz的情况相比，网络更大，并且增加了额外的时期，但成本增加不到100%，这比我们使用有限差分方法解决高频问题时所经历的额外成本要小得多，后者往往呈指数级增长。4.2. Marmousi模型现在，我们测试了NN PDE在求解轻微平滑的Marmousi模型的波场时的利用率（图1）。 6（a））。这一次，点源我们数值求解亥姆霍兹方程，以获得3 Hz频率的波场。背景模型是均匀的，速度为1.5 km/s，我们可以解析地求解波场真实波场和背景波场之间的差异，构成散射波场，如图所示。6（b）（实部）和6（c）（虚部）。背景波场和模型扰动（真实模型和均匀背景之间的差异）被用于由等式（5）给出的成本函数中，以反演NN参数。这一次，我们使用了一个10层网络，每层分别有{128，128，64，64，32，32，16，16，8，8}个神经元。 我们发现，这种配置，由更大的维度层早期给出，通常更有效。 我们使用10000个随机样本点进行训练，在20000个训练时期内产生的损失如图所示。 7（a）. 然后，训练好的网络用于评估规则网格上的散射波场，得到的实部如图所示。 7（b）和虚部显示在图。 7（b）.真实散射波场和NN预测值之间的差异如图所示。8（a）（实部）和8（b）（虚部）。这个差别一般来说还是很小的，但是在这里，它似乎包含了更多的相干能量，对应于一些散射。换句话说，所得到的NN预测散射波场比真实波场更平滑。 当我们避免过度拟合时，这是NN的预期特征，网络充当平滑器（Neal et al.，2018年）。我们可以通过使用波动方程（方程（6））来计算对应于预测波场的速度模型，进一步验证这种平滑特性，如图10所示。 8（c）.如果我们使用一个较小的8层网络，从左到右的层中有{64，64，32，32，16，16，8，8}个神经元（我们从前一个网络中删除了前两层），并使用相同数量的epoch，则预测散射波场的实部往往会更平滑，如图所示。 9（a）。 预测和真实散射波场之间的差异如图所示。 9（b）以相同比例绘制。这种差异包括比以前更多的能量。波场平滑度的增加可以通过所得到的速度来验证T. Alkhalifah等人地球科学中的人工智能2（2021）1115图四、a ）真实波场的实部。b）真实波场的虚部。c）NN预测波场的实部。d）NN预测波场的虚部。 波场对应于图1中的速度模型。 2（a）.图五. a）NN预测了中间源的散射8Hz波场。b）预测的散射波场与数值计算的散射波场（真实）之间的差异，以与a）中相同的比例绘制。c）NN训练损失函数，它使用Adam和LBFGS显示损失根据波场计算的模型，如图所示。9（c）。与真实模型相比，速度模型是平滑的，反映了波场的平滑性质。另一方面，如果我们实际上使用一个12层网络，在原始网络的开头增加两层，每层有256个神经元，我们最终得到一个由{256，256，128，128，64，64，32，32，16，16，8，8}个神经元组成的网络，从左到右。在空间中相同随机样本的训练中使用相同数量的历元，我们最终得到预测的散射波场，其实部如图所示。10（a）. 预测和真实散射波场之间的差异如图所示。 10（b）以相同比例绘制。它包含的能量更少，这一点也可以通过从波场计算得到的速度模型来验证，如图11所示。 10（c）.的速度模型明显更清晰，它合理地接近真实的速度模型，如图所示。第6（a）段。因此，更大的网络可以提供更精确的波场，但对于速度模型更新的梯度计算应用，不需要完美的散射波场尽管网络模型参数增加了4个，但12层网络的训练成本比10层网络高50%同时，训练8层网络的成本是训练10层网络的成本的三分之二，而网络参数的数量是10层网络的四分之一。因此，总的来说，使用这种网络架构，训练的成本将增加约50%，增加两层，其大小是第一层（最大）的两倍，我们最终得到更高分辨率的波场。T. Alkhalifah等人地球科学中的人工智能2（2021）1116见图6。 （a）马穆西模式。b）对于位于中间的表面上的源，所产生的3 Hz波场的实部。（3）虚部波场。见图7。 a）用于NN训练的损失函数。b）来自NN网络的预测散射波场的实部。（3）虚部。图八、（ 一）图的区别。6（b）和7（b）（散射波场的真实和预测实部）。（二）图的区别。图6（c）和7（c）（散射波场的真实虚部和预测虚部）。c）根据预测波场计算的速度模型。图第九章a ）使用8层网络预测的散射波场的实部。（二）图的区别。6（b）和9（a）（散射波场的真实和预测实部）。c）根据预测波场计算的速度模型。T. Alkhalifah等人地球科学中的人工智能2（2021）1117图10. a ）使用12层网络预测的散射波场的实部。（二）图的区别。6（b）和10（a）（散射波场的真实和预测实部）。c）根据预测波场计算的速度模型。4.3. 3D示例和优化器我们考虑从SEG/EAGE逆掩模型中提取的3D立方体（Aminzadeh等人，1994年）和轻微平滑，如图所示。 11（a）. 在这个测试中，我们还测试了两个NN优化算法的性能，特别是Adam和LBFGS。背景均匀模型的速度为3.2 km/s。10Hz的亥姆霍兹计算波场与相同频率的背景波场之间的差异为我们提供了位于中间的源的真实散射波场，该散射波场的实部如图所示。11（b）. 正如我们前面看到的，由于Adam优化器允许湍流损失函数，因此对于本例，我们将分别测试两种网络优化算法的性能：Adam优化器和有限内存BFGS算法。 在这个比较中，对于Adam优化器，我们使用150000个epoch，对于LBFGS，我们在训练中使用50000个epoch，8个隐藏层中的每一个中的神经元是{64，64，32，32，16，16，8，8}，如图所示。 11（c）.亚当优化器的损失函数如图所示。 12（a），平均而言，每个时期的损失减少，但对于Adam，我们注意到损失函数是颠簸的，这已经被其他人在PINN的应用中实现。 考虑到垂直轴的对数标度，图中略微夸大了这种变化。Adam更新可以通过使用较小的学习率来变得更平滑，但这会增加epoch的数量。 所得预测散射波场的实部如图所示。12（b），它与真实散射波场之间的差异如图所示。12（c）. 以与散射波场相同的比例绘制的差异很小。另一方面，使用LBFGS优化器，损失函数更平滑，如图13（a）所示，并且似乎允许更低的损失。然而，从网络预测的散射波场，如图所示。 13（b），看起来几乎相同的一个从亚当优化器。 这可以通过观察预测的散射波场与图1所示的真实散射波场之间的差异来进一步验证。 13（c），再次以相同比例绘制。错误似乎与Adam优化器观察到的类似因此，损失的有效差异对波场的影响有限。考虑到使用Adam和LBFGS优化器的结果是相似的，并且由于LBFGS优化器根据内存参数而更昂贵，我们建议，如Raissi等人。（2019）建议，最初使用Adam优化器，这在ML优化中非常流行。5. 讨论机器学习提供了一个平台，用于通过训练过程主要识别输入的相应模式来预测输出。根据定义，波场是平滑的且可微的，而不是在源处，这是函数NN解输出的要求（Hornik等人， 1989年）。所提出的神经网络的输入是空间中的一个位置，输出是满足亥姆霍兹方程或其变体给出的成本函数的波场（或散射波场）。 这些方程依赖于速度和源函数，或者在我们的实现中，依赖于背景波场和速度扰动。 因此，神经网络的权重和偏置被期望吸收速度和源信息，以努力学习预测波动方程的解。 当神经网络试图学习波场时，震源位置尤其重要，因为它决定了波场的震中。与震源位置相比，速度通常对波形有二阶影响同时，频率主要控制波长。这些事实可以帮助我们决定如何将网络用于任何连续波场解。例如，可以从任何速度模型更新过程（如偏移速度分析或全波形反演）提取的任何附加速度扰动的解。具体来说，当前NN模型可以用作初始模型，用于对更新的速度进行训练。通过使用玻恩（通过使用波动方程而不是Helmholtz求解器，我们避免了在网络训练中更好地采样源区域所需的偏差，这是减轻源奇异性影响所必需的因此，通过使用均匀背景模型，其中波场可以是图十一岁a）3D模型。b）对于位于中间的表面上的源，所得10 Hz波场的实部c）NN架构，其8个隐藏层的维度由（64，64，32，32，16，16，8，8）从浅到深给出。T. Alkhalifah等人地球科学中的人工智能2（2021）1118图12个。a ）使用Adam优化器训练NN的损失函数。b）NN预测散射波场的实部c）图中预测的波场与真实波场之间的差异。 11（b）.图13岁a）使用LBFGS优化器训练NN的损失函数。b）NN预测散射波场的实部c）图中预测的散射波场与真实散射波场之间的差异。 11（b）.解析地（并且即时地）求解，扰动（真实模型和背景模型之间的差异）通常将扩展模型域，并且模型空间的随机样本可以用于训练。为了从散射波场中消除源奇异性的特征，背景速度应选择为等于源处的速度对于海洋数据，这是由近似x x的速度给出的。1.5公里/秒。通常，预测波场的准确性主要取决于波场的复杂性。 在震源附近，波场是复杂的，但在许多其他区域也可能是复杂的，这取决于速度模型。在这种情况下，我们将需要一个更大的神经网络模型，以及对这些复杂区域的更好采样。随机训练点通常会对域进行合理的采样，但它没有考虑波场的复杂性。根据我们的观察，特别是Marmousi模型，对于固定的神经网络模型大小和随机采样的训练，NN提供了一个均匀平滑的波场。我们还可以利用搭配点的概念，以及在需要更多强调的区域中自适应地添加点（即，残差较高）（McFall和Mahan，2009年）。 这些选择都有自己的成本。用于训练NN以预测散射波场的训练样本数量是一个微妙的问题（Zhou和Wu，2011）。 它直接影响训练的成本，但我们必须有足够的样本来准确地训练网络来预测波场。训练示例及其对训练的影响是机器学习社区正在进行的研究课题。使用成本函数进行NN训练的另一个特征，如Raissi等人。（2019），我们可以将边界条件甚至数据作为目标的一部分，因此在成本函数中包含两个或更多项。对于数据拟合的情况，这相当于类似于波场重建方法（Van Leeuwen和Herrmann，2013），其也在频域中解决，并且在数据和模型大小方面面临类似的挑战（Song等人， 2021年）。因此，重要的这种神经网络波场解决方案的特征是固定的存储器需求，主要由网络的架构控制。因此，它与网格速度模型的大小无关。 正如我们所看到的，与减小网络大小相关的误差不是色散类型的，就像考虑速度模型离散化的传统数值求解器一样，但是它们在平滑波场时表现出来。训练神经网络的成本取决于训练中使用的随机样本的数量（训练集），以优化网络参数，以及网络的大小。当训练好的神经网络试图拟合波动方程或其玻恩形式和任何边界条件给出的损失函数时，网络的大小，包括层数和神经元的数量，定义了预测波场的细节。正如我们所看到的，较小的网络，训练成本更低，允许更平滑的波场。因此，神经网络的大小将取决于应用和应用中涉及的目标对于更精确的波场，成本可能比传统的数值方法高得多，因为我们正在解决从随机初始化开始的优化问题迁移学习，即我们使用预先训练好的网络作为初始NN模型，用于由于源位置的微小变化或速度模型的变化而稍微更新的波场，可以降低部分成本（Song和Alkhalifah，2021）。另一方面，当我们建立背景低波数模型时，像波形反演这样的应用可能需要在早期迭代中更平滑的波场，因此，神经网络波场可以帮助我们获得更平滑的速度和/或梯度，而无需平滑或空间滤波。直觉上，波场越平滑，我们需要的NN参数就越少，这对有效的低频来说是个好兆头。有趣的是，扩大网络以预测更高频率的波场的成本增加，比有限差分方法所需的成本增加要少。然而，我们注意到，对于高频率，训练更难，因为我们使用反正切激活T. Alkhalifah等人地球科学中的人工智能2（2021）1119函数来开发正弦波场。另一种方法是使用正弦激活函数，我们计划在不久的将来进行研究。虽然，在使用这种功能ML解决方案的早期阶段，成本可能不足以取代2D甚至3D各向同性示例的常规Helmholtz求解器，但该方法的潜力和灵活性将引发更多有趣的应用。这包括对更复杂的物理学的应用，如各向异性（即，（Song等人，2021））和弹性，其中常规亥姆霍兹求解器变得不切实际。这包括涉及三维复杂波场的应用，如正交各向异性，即使扰动很小。 传统的频域解决方案，这样复杂的物理是困难的，有些超出了我们的能力，特别是如果模型的大小是大的。机器学习是解决大问题和大数据的最佳平台，因为它可以适应这一目标，并通过识别模式来学习适当的解决方案因此，对于复杂的物理学，我们的代价函数将改变，并且可能包括更多的项，但是训练机制是相同的，并且不涉及求解大矩阵X的逆。6. 结论我们训练了一个神经网络来提供亥姆霍兹方程的函数解。 为了避免点源奇异性，我们使用了一个完全连接的网络，该网络在感兴趣的域中获取空间坐标，并在频域中输出散射（而不是全）波场的实部和虚部。背景速度是均匀的，这允许背景波场的解析解。通过自动微分，该网络还能够计算散射波场的偏导数，以计算波动方程的李普曼-施温格形式给出的损失函数。该损失函数用于更新网络参数。利用与跨越空间域的扰动相对应的散射波场，可以用较少的随机样本来执行然而，网络和样本的数量应该随着频率的增加而增加这种成本的增加远远小于我们在有限差分方法的频率增加的情况总的来说，输出波场比精确波场更平滑，这可以归因于我们相对较小的网络的折衷特性，该特性可能对波形反演等应用有用。实际上，网络越小，输出的散射波场越平滑。竞合利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。致谢我们感谢KAUST和KFUPM的支持，以及地震波分析小组（SWAG）的建设性讨论。附录A. 补充数据本文的补充数据可以在i.org/10.1016/j.aiig.2021.08.002上找到。引用Alterman，Z.，小卡拉尔F.、1968.弹性波在层状介质中传播的有限差分法。Bull. Seismol。Soc. Am. 58，367- 398。Aminzadeh，F.，Burkhard，N.，Nicoletis，L.，Rocca，F.，Wyatt，K.，1994.SEG/EAGE 3-D建模项目：第二次更新。线索了 边缘13，949- 952。Araya-Polo，M.，Farris，S.，Florez，M.，2019.深度学习驱动的速度模型构建工作流程。线索了边缘38，872 a1- 872 a9。Baydin，A.G.，Pearlmutter，文学士，Radul，A.A.，Siskind，J.M.，2018. 机器学习中的自动微分：综述。J. 马赫学习. Res. 十八岁Claerbout，J.F.，一九八五年地球内部的图像，卷。1.一、布莱克威尔科学出版物O X福特。C l'ement，F.，Kern，M.，Rubin，C.，1990年 求解三维Helmholtz方程的共轭梯度型方法。第一届Copper MountainConference on Iterative Methods会议论文集柯朗河，一九二八年关于数学物理中的偏差分方程数学Ann.100，32Dwivedi，V.，Parashar，N.，Srinivasan，B.，2021年 分布式学习机用于求解偏微分方程的正问题和反问题。神经计算420，299- 316。Holm-Jensen，T.，汉森，T. M.，2020.使用机器学习算法的线性波形层析成像反演。数学吉奥西。52，31- 51。Hornik，K.，Stinchcombe，M.，怀特，H.，1989.多层前馈网络是一种通用的逼近器。神经网络的2，359- 366.休斯，T.W.，威廉姆森，洛杉矶，Minkov，M.，Fan，S.，2019.波动物理学作为一个模拟递归神经网络。 科学进步5，eaay6946。Kissas，G.，杨，Y.，Hwuang，E.，Witschey，W.R.，Detre，J.A.，Perdikaris，P.，2020. 心血管脑血流建模中的机器学习：使用物理信息神经网络从非侵入性4D脑血流MRI数据预测动脉血压。Comput.方法应用机械工程358，112623。Lippmann，B.A.，Schwinger，J.，1950.散射过程的变分原理。I. 《物理学评论》79，469。Liu，D.C.，Nocedal，J.，1989.大规模优化的有限记忆BFGS方法。数学课程。45，503-528。McFall，K.S.，马汉，J.R.，2009.解任意边界条件精确满足的边值问题的人工神经网络方法。IEEE Trans. Neural Network. 20，1221- 1233.莫瑟湖Dubrule，O.，布朗特，M.J.，2018.生成对抗网络对一个鲕状灰岩的随机重构。运输多孔介质125，81- 103。Neal，B.，Mittal，S.，Baratin，A.，Tantia，V.，Scicluna，M.，Lacoste-Julien，S.，米利亚卡斯岛2018年A Modern Take on the Bias-Variance Tradeoff in NeuralNetworks，arXivPreprint arXiv：1810.08591.Ovcharenko，O.，Kazei，V.，Kalita，M.，Peter，D.，Alkhalifah，T.，2019.多偏移距地震数据低频外推的深度学习。地球物理84，R989- R1001。Pinkus，A.，1999. MLP模型的近似理论。Acta Numerica 1999 88，143- 195.普拉特，R.G.，1999.频域地震波形反演，第1部分：物理比例模型中的理论和验证。Geophysics 64，888- 901.Raissi，M.，Perdikaris，P.，Karniadakis，G.E.，2019. Physics-informed neuralnetworks：一个深度学习框架，用于解决涉及非线性偏微分方程的正问题和逆问题。J.Comput. Phys. 378，686- 707。Richards，P.G.， Aki，K.，1980.定量地震学：理论与方法，卷。859弗里曼，纽约。Ro th，G.，Tarantola，A.，一九九四年神经网络与地震资料反演 J. 地球物理学家。决议： 固体地球99，6753- 6768。SahliCostabal，F.，杨，Y.，Perdikaris，P.，Hurtado，D.E.，Kuhl，E.，2020年。用于心脏激动标测的物理信息神经网络。物理学前沿8，42。锡尔格湖普拉特，R.G.，2004.有效的波形反演和成像：选择时间频率的策略。Geophysics 69，231- 248.锡尔格湖Etgen，J.，阿尔贝廷大学，2008.时域有限差分法三维频率域波形反演In：70thEAGE Conference and E X ExperimentatingSPE EUROPEC 2008.欧洲地球科学家&工程师协会。宋，C.，Alkhalifah，T.A.，2020.带外迭代和全变差约束的有效波场反演IEEE地球科学学报雷姆传感器58，5836 - 5846。网址：http：//doi.org/10.1109/TGRS.2020.2971697宋，C.，Alkhalifah，T.，2021.通过物理信息神经网络进行波场重建反演，arXiv。宋，C.，Alkhalifah，T.，瓦希德，不列颠哥伦比亚大学2021.使用物理信息