基于深度学习的表面波速度预测模型及影响因素分析

地球科学中的人工智能3（2022）209使用剪切波和深度学习进行用合成数据训练的U型网络TaneeshGupta a，Paul Zwartjes b，*，Udbhav Bamba a，Koustav Ghosal a，Deepak K. 古普塔a荷兰人工智能研究中心b荷兰代尔夫特阿美研究中心A R T I C L EI N FO保留字：近地表频散曲线瑞利波速度U-NetA B S T R A C T在复杂的近地表条件下估计良好的速度模型仍然是一个正在进行的研究课题。我们建议使用深度神经网络以数据驱动的方式从转换为相速度-频率面板的表面波预测近地表速度剖面。这是一个不同的方法，从许多最近的作品，试图估计速度直接反射体波或导波。第二个目标是分析各种常用的深度学习实践对预测准确性的影响，例如迁移学习和数据增强。通过对合成数据和真实地球物理示例的数值实验，我们证明了在使用深度学习进行速度估计时，迁移学习和数据增强是有帮助的。第三个也是最后一个目标是在我们的问题背景下研究深度学习模型对分布外（OOD）数据缺乏泛化能力，并提出一种新的方法来解决这个问题。我们提出了一种用于训练深度学习模型的域自适应网络，该网络使用速度值范围的先验知识来约束输出的映射。对现场数据（不属于训练数据的一部分）的最终比较表明，深度神经网络预测与通过频散曲线反演工作流程获得的传统速度模型估计1. 介绍自从深度学习出现以来，几乎所有的科学工程学科都从这项技术中受益--无论是在各自的性能指标上提高性能，还是通过减少对计算资源的需求 一些典型的示例包括加速计算流体动力学（Kochkov等人，2021），高效的设计优化（Sosnovik和Oseledets，2019），高度准确的蛋白质结构预测（Tunyasuvuna-kool等人，2021年）等。物理学领域也不例外，深度学习解决了各种各样的问题。有关最新发展的概述，请参阅Yu和Ma（2021）的评论文件。深度学习在地震处理中的应用大致有四类，尽管这些类别之间的界限是不透明的。 第一类也是最成熟的一类深度学习应用涉及各种类型的基于机器视觉的地震解释，例如断层检测（Yang et al.， 2020）、地震相分类（Alsinan等人， 2021）和初裂采摘（Yuan等人， 2022年）。 第二类应用包含信号处理任务，诸如地震去噪（Bhowmick等人，2018年）、去混合（Baardman和Hegge，2020年）、Droll衰减（Pham和Li，2022年）和地震预处理（Ravasi，2021年）。第三类涉及岩石性质的参数反演（Das和Mukerji，2020年）或地震阻抗（Das等人，2019年）。第四类也是最后一类深度学习应用包括所谓的物理信息神经网络（PINN）。这些PINN采用标准的前馈神经网络与偏微分方程的参数明确编码到网络中。其中一个例子是使用深度神经网络进行波场建模（Huang和Alkhalifah，2021）。在下一节中，我们将简要介绍根据面波估算近地表速度的传统方法。在此之后，我们介绍了我们基于深度学习的方法，包括迁移学习，人工增强和我们的领域适应策略的简要描述。然后，我们评估的方法上的合成数据集以及真正的陆地地震线。最后，我们提出了本文的结论，其次是局限性和方法，以circumm-vent他们。* 通讯作者。电子邮件地址：paul. aramcooverseas.com（P。Zwartjes）。https://doi.org/10.1016/j.aiig.2023.01.001接收日期：2022年9月26日;接收日期：2023年1月4日;接受日期：2023年1月5日2023年1月11日在线提供2666-5441/© 2023作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表地球科学中的人工智能杂志主页：www.keaipublishing.com/en/journals/artificial-intelligence-in-geosciencesT. Gupta等人地球科学中的人工智能3（2022）209210×1.1. 深度学习在地震速度估计中的应用本文着重研究了由地震炮集估计近地表速度的问题，传统上这是一个参数反演问题。地球物理反问题是非常具有挑战性的，因为他们往往是不适定和计算昂贵。深度学习用于逆问题的一个潜在优势在计算方面，现在已经充分证明了训练的神经网络的应用在计算上是绝大多数计算工作转移到训练阶段，可以在生产处理之前执行。近年来，发表了几篇论文，涉及使用深度学习从反射地震数据中估计Vp速度在地球物理数据处理中，Vp和Vs的速度定义范围很广。在频谱的一端，我们有岩石物理学定义的速度，用于介质参数的定量反演。在这里，Zheng等人（2019）使用监督学习来训练CNN以执行叠前弹性反演，使用1D地球模型作为标签从2D炮集估计1DVp，Vs Biswas等人（2019）应用类似的策略来估计1D弹性剖面，但使用角道集而不是CMP道集，建议根据估计的一维剖面建立明确的正演模型，确保物理驱动的神经网络解决方案。在速度谱的另一端是各种“处理速度”。Fabien-Ouellet和Sarkar（2020）使用递归神经网络在逐道集基础上估计1D RMS Vp速度剖面，基本上取代了传统的基于相似性的工作流程。Kazei等人（2021）有类似的方法，但使用CNN。更具有挑战性的任务是从炮集估计二维速度模型。Dahye和Dahl（2019）使用随机2.5D合成P波速度模型来生成声学建模数据，然后将其用于训练网络，以直接从炮集估计这样的Vp速度模型，并得出结论，该方法可用于生成平滑模型。Duque等人（2019）有类似的方法，但使用生成对抗网络。Yang和Ma（2019）更进一步，旨在从一组炮点而不是单个炮点估计2D（声学）Vp速度剖面。在另一个领域，Araya-Polo等人（2018）表明，可以直接从表面图中估计网格化的Vp速度模型。所有这些论文中的合成数据的结果都非常令人鼓舞，只要测试数据与训练数据相似。这也是一个挑战，因为很少有论文成功地解决了推广问题和实际应用领域的数据。深度神经网络也被用于从频散曲线预测表面波速度在地震学领域，等人（2022）和Wang et al. （2022）使用CNN预测速度在全球地震学问题中，从实际频散曲线反演速度剖面，取代了从频散曲线到速度剖面的实际反演。对于地震炮点记录，这留下了从噪声谱实际获得这些频散曲线的挑战。其他作者已经提出了使用分段神经网络从相速度与频率面板估计频散曲线的方法，例如Dai等人。（2021）或直接来自炮集（Chamorro等人， 2022年）。本文尝试用神经网络从相速度-频率振幅谱直接估计近地表Vp和Vs速度。本研究的目标主要是分析不同深度神经网络训练操作（如迁移学习和不同增强）对速度模型预测的影响。我们首先分析了深度学习架构的预训练对近地表速度估计整体性能的影响。为此，我们比较了在地球物理数据上从头开始训练的网络如何与首先在流行的ImageNet数据集上以传统方式训练的网络进行比较（Deng et al.，2009），然后进一步优化我们的地球物理数据集。深度学习问题的一个重要限制是它们的差分布外数据集的泛化。我们针对我们的速度估计问题研究了这方面的问题，并对分布内和分布外的样本进行了分析。为了丰富我们的训练集，存在几种流行的扰动方法，包括几何变换、颜色空间增强、核滤波器、混合图像、随机擦除、特征空间增强、对抗训练（Bai等人，2021）和神经风格转移（Gatys等人，2016年）。这些方法已被证明有助于显着提高传统计算机视觉问题的网络性能。其中，我们调查的几何变换对我们的地球物理问题的影响。具体的变换包括随机裁剪、平移、旋转、膨胀和随机掩蔽。由于能量在相速度谱中的绝对和相对位置至关重要，我们还在输入数据中包括两个额外的通道，即频率和相速度坐标。深度学习方法的一个众所周知的问题是，在分布内样本上的性能良好，在分布外样本上的性能较差。为了避免这个问题，我们还提出了一种CNN的域自适应策略，该策略使用关于地震速度界限的先验信息来提高分布外样本的泛化能力。1.2. 用面波估计近地表速度而参考作品使用垂直传播的P波和反射地震来估计深部速度剖面，我们使用水平传播的表面波，并专注于近地表的Vp和Vs速度，下至约80米的深度。近地表的知识对于岩土工程分析（Socco和Strobbia，2004年）以及深层地震勘探（Keho和Kelamis，2012年）都很重要。在前一种情况下，目标可能是在施工前绘制底土特性的几何分布图或分析土壤稳定性。在后一种情况下，重要的是，近地表的非均匀性占，无论是通过源和接收器的静态或通过更动态的校正，使用详细的近地表速度模型。如果不考虑近地表速度变化，可能会导致更深层的结构变形，从而高估或低估所含储层流体。面波是由地震源发射的主要能量。有各种类型的表面波，但近地表模型最常使用瑞利波构建（根据Socco等人（2010），83%的时间）。瑞利波在靠近表面的有限层中水平传播，该层的厚度大致等于一个波长。瑞利波速度Vr略低于横波速度Vs（Vr~0.9Vs）。对表面波传播理论的完整描述超出了本文的范围，但是，Socco和Strobbia（2004）给出了介绍。在这篇论文中，本文通过写出横向均匀介质的运动方程，假定平面应变场，在具有自由表面的半空间中施加波的边界条件，并在层界面处施加应变和应力的连续性，得到了一个线性微分特征值问题。在该公式中，由两个位移特征函数和两个应力特征函数形成的向量f与取决于土性质的垂直分布的4 ×4矩阵A由以下方程df（z）/dz=A（z）f（z）（ 1）这表达了一个线性微分特征值问题，该问题仅对波数的特殊值有非平凡解。由此产生的方程被称为瑞利长期方程，并且可以以隐式形式写为：FR[Vr （ z ） ， Vp （ z ） ， Vs （ z ） ， ρ （ z ） ， kj ， f]=0（ 2）其中k是波数，f是频率，Vr（z）是瑞利波T. Gupta等人地球科学中的人工智能3（2022）209211=相速度，Vp（z）和Vs（z）为纵波和横波速度，ρ（z）为质量密度。一般情况下，不可能求解Eq。（2）需要解析和数值方法。给定一组模型参数（Vp（z）;Vs（z）;ρ（z））和特定的频率f，方程（1）的根可以被表示为：（2）是相速度Vr（z）。在垂直非均匀介质中，该解是代表模态曲线的频率的多值函数。在许多情况下，只考虑基本瑞利模式的最大值的坐标，这为我们提供了称为“色散曲线”的运动学信息。在经典的频散曲线反演中，假设基模占主导地位，忽略能量信息。然而，能量信息在很大程度上取决于地层，因此包含额外的信息（Socco和Strobbia，2004年）。瑞利波速度主要取决于剪切波速度和层厚。体积密度和P波速度或泊松比的影响较小，并且它们通常被假定为已知的并且在反演中保持恒定（Xia等人，1999年）。由于这些性质的瑞利长期功能在方程。（2），表面波最自然地通过谱分析来分析，谱分析是一种可以追溯到七十年代（Nolet和Panza，1976）的方法，并且在所谓的“表面波的多通道分析（MASW）”方法中达到顶峰（Park等人，2007年）的报告。该方法可以在f-k域、倾斜叠加的f-p域或Vph频率域进行分析，其中Vph频率域的相速度为2π f/k。频谱分析方法显然需要沿空间轴进行适当的采样，以便无混叠地记录表面波，但在预处理方面相对容易。预处理主要是在x-t域和f-k域进行一定的静音，以抑制噪声和低信噪比数据。如上所述，传统的方法是选取定义为每个频率的绝对最大值集合的色散曲线。这是用于通过反演导出S模型的信息（Socco等人，2010年）。人工拾取是耗时的、高度主观的，并且对于现代大型地震勘测而言代表了繁琐的任务。已经做出努力来自动化色散曲线拾取，包括机器学习技术。Zheng和Miao（2014）提出了一种基于二值化和细化的频率-相位速度谱中频散曲线的自动拾取方法（Zheng和Miao，2014）。Rovetta等人。（2020）讨论了使用聚类算法的色散曲线拾取。尽管在频散曲线拾取方面取得了进步，但该方法仍然依赖于描述地下所需的信息存在于瑞利波基模中的假设，即使该假设是正确的，也会被可能与基模交叉和重叠的更高模式所复杂化。此外，基本模式并不总是具有最高振幅，这可能会混淆基于振幅的拾取器。在频散曲线反演中，在分层模型反演的情况下，模型参数是剪切速度和层厚度，或者在网格反演的情况下，仅是剪切速度。低频通常感测地下的浅部以及较深部分。较高的频率只穿透地下的浅部。因此，反演问题是由miX决定的.并非所有数据都能看到我们模型的所有部分。Socco和Strobbia（2004）表明，没有必要在层数方面过度参数化模型，因为五层模型可以表现出与35层模型相同的基模色散曲线。这也解释了为什么反向剪切速度模型通常比实际速度模型平滑得多。最大穿透深度取决于波长，根据经验，深度限于最大波长的一半（Shtivelman，1999年）。注意，大波长出现在不确定性大的低频处，因此降低了深层的可靠性。近地表特征的谱分析方法虽然有着悠久的历史和成功的经验，但也存在一些不足。这些都与色散曲线反演的本质有关，即各个模式可以被唯一地识别和拾取。 此外，在单一或基本模态分析可能发生高阶模态交叉和重叠或强于基本模态的情况。理想情况下，我们根本不希望拾取频散曲线，而是将整个f-k或f-Vph道集提供给反演或预测算法。这当然是全波形反演（FWI）试图解决的问题。然而，FWI有其自身的挑战，并且在计算上非常昂贵，特别是弹性FWI在应用于有噪声的陆地地震数据时。因此，我们着手评估深度神经网络是否可以弥合频散曲线反演和FWI之间的差距，并可以通过监督学习从整个相速度谱中的“看到”学习，从而了解2. 方法本研究的目标是研究深度学习在近地表速度估计任务中的应用。深度学习策略如图所示。1.一、对于传统方法以及提出的深度学习方法，我们使用幅度频谱。这与最近的一些工作不同，这些工作使用炮集作为CNN模型的直接输入并试图估计速度。对于图1所示的常规方法，通常先估计频散曲线，然后使用频散曲线反演来估计Vp和Vs曲线，如前一节所述。我们的深度学习方法通过以数据驱动的方式学习它的prox y来证明估计色散曲线的必要性。拟议的管道如下。首先是相速度Vs。幅度谱通过增强模块，该增强模块在图像上应用几种不同的变换以创建新的变体。请注意，与输入图像一起，我们还传递包含频谱每个点的速度和频率坐标的网格信息。这种保留空间信息及其益处的方法先前已由Liu et al.（2018）研究。对于相速度谱，图像上的每个点都可以由一组值（f; v）表示。该网格信息以附加通道的形式融合，并与幅度谱结合，形成变换模块的3通道输入。要了解这一点，请参阅本文附录中图A-1优点在于，即使在应用变换之后，与图像的每个像素相关的空间信息仍然被保留。然后将变换后的输入馈送到CNN主干中，然后从CNN主干回归Vp和Vs曲线。 根据是否与域相关的信息-当要输入信息时，激活域自适应模块。 的端到端深度学习流水线使用几个输入-输出组合进行训练，使得速度曲线上的回归损失得到优化。有了一组不同的数据样本，我们希望网络能够足够强大，可以概括看不见的输入。2.1. 迁移学习深度学习方法擅长于从大量的监督示例中学习，然而，这些方法通常不能很好地推广到较小的数据集。在这种情况下，迁移学习通过促进知识从一项任务转移到另一项任务来提供帮助。这种知识转移以初始化网络权重的形式发生，其值是从先前在通常更复杂的任务中学习的值中提取的。更复杂的数据集有助于学习更多样化的判别特征集，从而使表示空间更丰富。这通常有助于计算机视觉，因为初始卷积层中的内核学习生成通常在任务中常见的高级特征（Yosinski等人， 2014），并且重用它们有助于更快更好地进行优化。对于本文研究的地球物理问题，我们使用来自ImageNet任务的预训练神经网络权重和偏差（Russakovskyet al.，2015年），使用分为1000个类别的自然图像。在ImageNet上训练的网络通常在功能方面很丰富，T. Gupta等人地球科学中的人工智能3（2022）209212Fig. 1. 根据炮集估算Vp和Vs的示意图，基于标准管道，包括估计频散曲线，然后进行额外的地球物理处理和反演步骤，以及我们基于深度学习的数据驱动管道。这里请注意，域自适应模块是可选的，并且仅是必需的，我们在本文中讨论了使用和不使用它的两种情况已经被部署用于各种应用（Razavian等人，2014; Liuand Deng，2015）.虽然地震数据和自然图像在空间分布方面存在显著差异，但探索它们的潜在空间是否有任何重叠以及ImageNet的迁移学习是否有助于我们的事业是很有意义的。2.2. 人工图像增强深度神经网络严重依赖大数据来避免过度拟合问题。不幸的是，对于大多数应用程序，包括电子物理学，标记的数据是相对稀缺的，数据增强作为一个数据空间的解决方案，以克服这个问题。对于我们的问题，它被称为图像增强，它是一种在现有图像中创建变化以人为地增加数据集大小的技术。我们将仿射变换应用于图像，使得地面实况不受影响。我们在本文中探讨的增强技术是随机裁剪，随机平移，随机膨胀，随机旋转和随机掩蔽。这些通过提高泛化能力来帮助深度学习模型，从而减少过度拟合。我们在下面简要讨论这些增强。2.2.1. 随机裁剪这是一种增强技术，其中从原始图像创建随机子集。将输入图像缩放到更大的尺寸，然后随机裁剪等于原始尺寸的部分一个示例如图2（b）所示。在传统的计算机视觉问题上，这种方法有助于模型更好地泛化，因为我们的模型要学习的感兴趣的对象并不总是在图像中完全可见，或者在我们的训练数据中以相同的尺度可见。在这种情况下，随机作物是学习的好选择2.2.2. 随机掩蔽它涉及向原始图像添加空值或0值的随机补丁，以掩盖这些部分中的信息。图2（c）中示出了一个示例这有助于网络在某些区域上不过度，并有效地使用整个特征空间。具体而言，对于该示例，它充当额外的去噪方法，因为只有色散曲线之后的高振幅值包含关于地下模型的预测信息（红色）。绿色/黄色/蓝色是与速度预测不太相关或不相关的较低幅度值。2.2.3. 随机翻译这种变换涉及简单地沿f-或v-方向或两者在f-v网格空间上移动原始图像。从一般的角度来看，与图像相关的重要特征可能不会仅在图像的某一部分中局部化，因此迫使CNN在图像的所有部分中环顾四周是一个很好的策略。引入人工增强来丰富训练数据集有助于这一原因。在数学上，该操作可以表示为：图二、用随机裁剪、随机掩蔽和随机旋转获得的E X样本原始幅频谱及其增强变化。T. Gupta等人地球科学中的人工智能3（2022）209213nni=1SSf新⎡10txf新在数学上，p-CNN的实现可以表示为：v新第1001章：新的一天（3）100 112.2.4. 随机旋转输入图像围绕其中心在顺时针或逆时针方向上旋转随机角度θ以产生如2（d）中所示的增强图像。需要注意的是，此操作不会保留原始图像的尺寸。如果你的图像是一个正方形，将其旋转成直角可以保持图像的大小。如果它是一个矩形，将其旋转180度将保持大小不变。为了避免这个问题，从旋转的图像中截取原始大小的裁剪，并且用零填充空区域。在数学上，旋转操作可以定义为：[f new]=[cos θ-sinθ]。[fold]（4）低点。对于前面提到的训练数据集D， p-CNN学习映射函数g（.）使得g（x，ymin，ymax）=y，（ 5）其中x和y分别表示网络的输入和输出，ymin和ymax分别表示输出的下限和上限。如前所述，假设ymin和ymax用作从其他来源获得的先验信息，并用于迫使模型预测边界内的可行局部解2.4. 合成训练数据集合成数据集由7000炮集组成，提供了7000幅相速度谱图像。将数据vnewsinθcosθ vold用2D弹性有限差分建模生成（Thorbecke和Draganov.， 2011）从具有随机层数的1D模型，2.2.5. 随机扩张这种变换涉及到向内或向外缩放原始图像。对于向外缩放，图像的最终图像大小大于原始图像大小。在此之后，原始图像被裁剪。同样，向内缩放会减小原始图像的大小。在这种情况下，边界周围的空像素请注意，所有上述增强方法也适用于坐标通道，因此无论旋转和膨胀如何，输入数据的绝对和相对位置都将保留。2.3. 域适应深度神经网络的一个非常常见的问题是它们在分布外的数据集上缺乏通用性。换句话说，即使是在非常大的训练数据上训练的模型，如果验证集的分布与训练集不同，仍然很容易失败。如前所述，传统深度学习管道的一个常见假设是训练集和测试集的底层分布是相似的。从实践的角度来看，这意味着训练集应该足够丰富，并且应该包括来自所有可能场景的样本。但是，对于地球物理问题，不太现实由于来自不同调查的数据样本可能显著随机厚度层被分配随机间隔Vp值。指定的层段Vp速度值被定义为Vp速度趋势随深度的随机扰动。这些速度趋势是基于我们在沿实际地震测线采集的微测井数据上观察到的平均Vp值。我们在图3所示的范围内为每层随机分配一个Vp/Vs比，这用于定义一个间隔Vs。在这个数据集中，我们使用5600个镜头进行模型训练，其余1400个用于验证。由于该验证集是使用7000个样本的随机分割创建的，因此其对应于分布（ID）数据集。训练和ID验证集分别包含349-1950 m/s和223-1327 m/s范围内的Vp和Vs值。此外，我们还使用了一个out-of- distribution（OOD）验证集。ID和OOD基于相应数据集中的Vp/Vs值的范围来定义。图3示出了在不同温度下， ID和OOD样本，ID和OOD之间的区别是明确的，从Vp/Vs分布。2.5. 评估指标为了评估经过训练的深度学习模型的性能，我们使用两个评估指标：均方误差（MSE）和平均绝对误差（MAE）。在数学上，MAE可以表示为n与用于训练模型的数据不同。 我们在此建议，Mae1∑<$VpredVgt（六）域适应策略，用于训练我们的深度学习网络，这使得我们的网络能够相对更好地适应外部环境。Vp=ni=1n布吕普-p分布式（OOD）样本，代价是性能MAEVs=1∑Vpred-Vgt（7）SS分销中（ID）样品。 简称为p-CNN，这种方法采用关于Vp和Vs的允许范围的先验知识，ni=1额外的输入来学习卷积神经网络（CNN）的映射函数该输入可以在数据分布中显著变化，并且将其作为附加输入提供给CNN，相对于Vp和Vs的映射范围引入CNN的不变性，同时保留MAEtotp=MAEVp+MAEVs（8）这里，MAEtot表示组合的p波和s波速度的总MAE分数。同样，对于均方误差，我们有输出的总体空间趋势。对这一点的理解可能是MSE1∑（VpredVgt）2（9）从图1所示的示意图中获得。 我们后来在本文的附录中描述这些信息是如何嵌入原始网络的。提出了两项修改，Vp=ni=1np- -p的值原网在这方面。 首先，我们减轻了一对一的通过添加随机移位在输入和输出之间映射MSEVs=1∑Vpred-Vgt（10）在输出Vp和Vs曲线中。这迫使网络不能很好地学习严格限定了每一输入相速度谱的Vp和Vs相反，重点只是学习的整体趋势，MSEtotp=MSEVp+MSEVs（十一）输出曲线其次，将Vp和Vs的近似范围明确提供给网络，并且网络在训练过程中学习以在这些范围内拟合输出曲线。通过这种修改，我们希望如果网络已经学习了输出曲线的趋势，那么当向其提供有关范围的附加信息时，它也可以映射到分布外的样本。2.6. 实现细节2.6.1. 模型架构这个想法的第一个应用是使用编码器类型的剩余块序列，然后是T. Gupta等人地球科学中的人工智能3（2022）209214Zwartjes（2020）中描述的完全连接的神经网络。我们通过预先训练T. Gupta等人地球科学中的人工智能3（2022）209215图三. 直方图显示分布内（ID）（顶部）和分布外（OOD）（底部）验证样品的Vp、Vs和Vp/Vs分布注意，ID和OOD样本是基于Vp/Vs与训练样本的重叠来选择的，其中ID样本是从训练集中随机选择的，并且具有相似的分布。ResNet-18架构。对于我们所有的实验，我们使用残差网络（He等人， 2016年）。这些被选为骨干学习高维特征，由于他们的能力，解决梯度消失问题与使用跳过连接。欲了解剩余网络成功的潜在机制，请参阅本文的附录我们有一个18层的剩余网络作为我们的骨干，贡献了18亿次FLOP。为了适应我们的任务，我们已经用两个线性层分别替换了我们的主干的全连接层，分别为Vp和Vs，每个输入和输出维度分别为512和50。本文中的所有实验都使用ResNet18，并在最后使用定制的全连接层来预测Vp和Vs。更多细节可从图A-1所示的示意图中获得。对于域自适应模块，架构略有不同，我们将在下面对其进行描述。2.6.2. 域自适应架构对于这个任务，骨干架构也是ResNet18。为了增加关于Vp和Vs界的先验知识，我们有两个Meta架构。每个层都包括一个线性层、一个批量规范化层和一个ReLU激活模块。 对于Vp和Vs，输入分别包括2个神经元，表示上界和下界，相应的元架构将它们编码为50个神经元。然后，来自两种架构的输出50个神经元被连接到CNN主干的输出，并被馈送到两个线性头中以计算Vp和Vs。2.6.3. 训练和推理对于训练和推断，我们使用3通道图像，其中第一通道包括炮集的幅频谱，另外两个通道包含x和y相关的网格信息。为了结合迁移学习，我们使用预训练的ResNet-18，并在ImageNet数据集上进行添加了两个回归头，预测V p和V s，每个都包含50个神经元。对于优化，我们使用Adam优化器，超参数设置为β1=0.9，β2= 0.99，ε= 10 - 8。学习率初始化为10- 3，根据“ReduceLROnPlateau”策略进行更新所有模型都经过500个epoch的训练，每当在ID验证集上观察到改进时，都会保存一个新模型在推理过程中，不使用增广。对于域自适应模块，以不同的方式执行训练和推理在训练过程中，我们取Vp和Vs的最小值和最大值，并使用高达100 m/s的加性噪声对其进行扰动此外，高达500 m/ s的恒定位移被添加到Vp和Vs的采样值的80%，以诱导网络中的不变性。在推理过程中，Vp和Vs的最小值和最大值直接用作网络输入的边界3. 结果3.1. 基线模型30 Vs速度剖面的结果如图4所示。这些图显示了作为深度的函数的间隔Vs速度，从每个图的左手侧的表面到右手侧的底部。结果表明，每个剖面的趋势捕捉得很好，但网络只能预测真实模型的平滑版本，完全错过了层速度与深度的高频变化。本研究的另一个目标是证明深度学习以及增强和迁移学习等附加操作有助于以数据驱动的方式估计近地表速度。在这方面，只要表明预测误差低于随机基线误差就足够了。因此，我们使用每个点的样本值的平均值作为基线，并将其称为随机基线。我们在下文中讨论了分销（ID）以及T. Gupta等人地球科学中的人工智能3（2022）209216见图4。30个合成实例的真实（蓝色）与预测（橙色）Vs速度剖面。这些图显示了从每个剖面的表面到底部（从左到右）的作为深度函数的层段Vs速度。每个速度剖面的趋势都能很好地捕捉到，但网络只能预测真实模型的平滑版本，完全错过了层速度与地层速度的高频变化深入模拟数据集的分布外（OOD）样本。相关结果见表1。与随机基线相比，我们发现，所提出的深度学习模型的所有变体在预测速度的MAE和MSE方面都有显着改善。这证实了确实可以学习从幅频频谱到Vp和 Vs的映射，并且对于MAE，误差的这些减少通常超过70%，对于MSE，误差减少多达80%的事实证实了模型能够很好地学习这种映射。这从图8中呈现的示例进一步明显。我们在这里看到，虽然随机基线只是序列中每个点的训练数据样本的平均值，但深度学习的结果往往会模拟固有趋势表1的数据。在后面的结果中，我们分析了深度学习解决方案的不同变体如何影响整体预测。3.2. 迁移学习迁移学习的案例在表1中被报告为可以看出，当模型首先在ImageNet数据集上训练时，我们数据集上的结果略有改善，这对于OOD样本来说更为突出。正如前面提到的，ImageNet是一个非常多样化的数据集，有助于学习丰富的特征集。这些增加的知识有助于提高模型在我们数据集上的收敛性，从而更容易在OOD上进行更好的用平均绝对误差（MAE）和均方误差（MSE）表示的误差度量，用于使用分布内（ID）和分布外（OOD）数据集的深度学习模型的几种变体从幅度谱预测Vp和Vs这里报告的所有CNN模型都使用ResNet-18架构。SuffiX对于预训练的案例，使用了在ImageNet数据集上训练的模型。此外，前缀"接近分销中数据和分销外数据Vp（mae）Vp（mse）Vs（mae）Vs（mse）Vp（mae）Vp（mse）Vs（mae）Vs（mse）随机基线16440,92011320,28817043,92120957,485CNN56550130160710021,871759956CNN-aug5146302713519220,041708925CNN（预训练）5552602915499420,359739245CNN-aug（预训练）5045572613249219,999647225p-CNN626363331858758772524914p-CNN-aug616179331815697619433408p-CNN（预训练）616230321821728312433148p-CNN-aug（预训练）575535301608667147422994T. Gupta等人地球科学中的人工智能3（2022）209217样品3.3. 增强系统从表1中误差的减少可以清楚地看出人工增强的效果。与非增强版本相比，我们看到在训练过程中添加增强可以提高模型在所有场景下的性能。我们看到几乎所有情况下的相对减少都超过5%。它清楚地表明，在训练过程中添加增强使模型更加鲁棒，从而提高了其在测试集上的泛化能力。反映这一改进的实例如图所示。 八、3.4. 域适应我们在这里讨论的结果有关使用域信息的模型。如表1所示，添加域信息将ID样本的性能降低了一小部分，然而，这又导致OOD样本的性能显著提高，其中对于每种情况，相对误差降低约为35%作为如图8所示，添加域信息有助于使预测速度更接近地面实况，同时还准确地预测正确的形状。3.5. 1D与2D地球模型如第1.2节所述，根据相速度与频率面板估算Vp和Vs合成训练数据是通过弹性有限差分建模创建的，使用一维横向均匀地球模型作为输入。作为鲁棒性的测试，我们沿着一个简单的，2D横向不均匀的介质，包括4层模拟地震炮集。三个层是横向均匀的，而从顶部的第二层具有从500到800 m/s的沿线增加的速度。图5中的顶行示出了通过将训练的神经网络应用于从合成炮集导出的每个相速度与频谱而获得的真实速度剖面和预测速度剖面。底行显示了模型中心的1D垂直剖面，在每个深度处都有速度范围的BOX图取样深度为2m。图五. 从横向不均匀地球模型生成的地震数据的真实（左）和预测（右）速度剖面。从顶部算起的第二层是横向不均匀的，而其他层都是恒定值。神经网络的训练数据产生的一维地球模型，但被施加到400相速度与频谱来自模拟地震数据。底行显示了模型中心的1D垂直剖面，在每个深度处都有速度范围的BOX图取样深度为2m。T. Gupta等人地球科学中的人工智能3（2022）209218=建模中使用的小波对于训练数据和测试数据是相同的。虽然预测比真实模型显示出更多的变化，但预测值的趋势和范围接近真实值。3.6. 真陆地地震测线在这项研究中使用的实际数据对应于一个80公里的陆地地震线，由6104炮间隔25米。每次发射的接收器间距为15米。沿着这条线，在五个位置记录了井口速度测量值。将其转换为Vp层速度与神经网络预测进行比较。应用于地震测线的预处理是一个简单的t0.25增益和偏移被限制在2000米，使我们有133个通道每炮。 相位速度使用2D傅立叶变换并使用vω/k拉伸k轴来构建相对于频率面板。面板中使用的最大频率为25 Hz，最大相速度为1850 m/s。随后，相速度Vs。频率面板与运行平均31杆（775米）。 图图6示出了地震炮以及原始和处理后的相速度与频率的关系图。图7示出了训练数据和预测数据的间隔Vp、Vs和Vp/Vs用于创建训练数据的速度范围由井口测量所建议的速度确定。图9显示了沿地震测线的预测Vp、Vs和Vp/Vs在预测过程中使用从输入数据获得的每个道集的最小预期Vs被定义为输入数据中的最小观测相速度，而最大Vs速度被简单地设置为高1000m/s的值。Vp约束被定义为Vs约束的1.8倍，这是该地区其他近地表工作获得的数值。图10显示了图9中预测的Vp与Rovetta等人（2020）研究中通过“常规”色散曲线反演工作流程预测请注意，在速度值的整个范围的横向和垂直速度变化方面，两种方法图10中的底部图像示出了使用在没有速度约束的情况下训练的网络的神经网络Vp预测的这些预测缺乏横向速度变化，并显示出预测速度范围的不匹配最后，图11示出了相速度Vs。在位置文中还给出了由微测井深度和微测井时间对导出的微测井层虽然没有一个完美的匹配，我们看到总体上从约束网络和井口速度的预测之间的协议更好4. 讨论在这篇文章中，我们探讨了从面波的相速度-频谱预测浅层一维速度剖面的可行性。结果表明，这是可行的，但将预测一个平滑版本的层速度。这与传统频散曲线反演技术的结果相似，因为Socco和Strobbia（2004）表明，反演的剪切速度模型通常比实际速度模型平滑得多。而不是在预测层速度剖面时，我们应该以预测平均速度剖面为目标，因为平均速度剖面根据定义是平滑的。虽然训练数据是从1D地球模型创建的，但我们在应用于从具有在水平方向上逐渐变化的速度层的我们在设计训练数据时非常小心，以保持接近真实地震测线上预期的速度剖面。众所周知，神经网络通常泛化能力很差，只有当新数据与训练数据相似时才表现良好。在这个意义上，神经网络方法缺乏基于模型的反演方法的灵活性。与其尝试使用蛮力建模来满足所有可能的1D地球模型，我们将提倡一种基于物理的方法，其中包括一个额外的循环来验证预测的模型是否在物理上是真实的。作为一种中间解决方案，我们探索了使用数据增强技术来提高模型的鲁棒性。 这些增强技术在计算机视觉领域中是常见的，并且导致改进的预测度量。进一步的改进可以通过模拟启发的增强来获得，例如噪声、频率内容、地震子波等的变化。我们的第一个架构是编码器风格的卷积网络，但是使用标准ResNet-18网络获得了更好的结果。可以通过探索更优的神经网络架构来获得额外的改进。5. 结论在本文中，我们提出了一种深度学习方法，以数据驱动的方式从炮集估计近地表速度。我们已经从相速度-频率面板计算出它们。我们分析了深度学习中常用的一些流行操作（如迁移学习、数据增强）对速度估计问题的影响。通过对模拟合成数据集的数值实验，我们证明了在使用深度学习进行速度估计时，迁移学习和数据增强是有帮助的。我们进一步解决了在所提出的问题的背景下缺乏对分布外样本生成深度学习模型的关键问题。通过数值实验，我们证明了利用速度界的先验信息有助于提高OOD样本学习过程的收敛性。我们应用所提出的方法从一个真正的陆地地震线的相速度谱，并产生了一个近地表的速度模型，这是类似于通过常规的频散曲线反演获得的速度模型。我们的研究结果是令人鼓舞的，并表明，这种方法可能是其他地球物理问题的价值，以及经验模型的应用程序在新的OOD数据集一直是一个挑战。 总的来说，根据结果 和 的 关联 讨论 提出 在 的 本文得出的结论是，深度学习可能是一种潜在的工具，可以创建用于近地表速度估计的PROXy模型，并且应该对该方向的更多研究