地震学中深度卷积自编码器作为通用特征提取器

地球科学中的人工智能2（2021）96深度卷积自编码器作为地震学应用中的通用特征提取器放大图片作者：QingkaiKong*，AndreaChiang，AnaC. Aguiar，M. 作者：StephenC. 作者：Donald D.卢卡斯美国劳伦斯利弗莫尔国家实验室A R T I C L E I N F O关键词：机器学习自动编码器A B S T R A C T使用深层自动编码器对地震波形特征进行编码，然后将其用于不同的地震学应用的想法很有吸引力。在本文中，我们设计了测试来评估使用自动编码器作为不同地震学应用的特征提取器的想法地震对噪声波形、地震对爆炸波形）和相位拾取。这些测试涉及在大量地震波形上训练自动编码器，无论是欠完整还是过完整，然后使用训练过的编码器作为后续应用层（全连接层或卷积层加全连接层）的特征提取器通过将这些新设计的模型的性能与从头开始训练的基线模型进行比较，我们得出结论，自动编码器特征提取器方法可能仅在某些条件下优于基线，例如当目标问题需要与自动编码器编码特征相似的特征时，当相对少量的训练数据可用时，以及当使用某些模型结构和训练策略时。在所有这些测试中效果最好的模型结构是一个过完备的自动编码器，它具有卷积层和全连接层来进行估计。1. 介绍机器学习模型，特别是最近开发的深度学习模型，具有从图像、文本、时间序列和许多其他类型的数据中提取特征的能力，这些特征是所研究现象的可测量属性或特征（Goodfellowet al.， 2016; LeCun等人，2015年）。 许多好的评论描述了深度学习在地震学和广泛的地质科学中的应用（Bergen et al.， 2019; Karpatne等人， 2019年; Kong等人，2019; Lary等人， 2016年）。特别是在地震学中，在事件检测和识别方面已经取得了很好的性能（Kong等人，2016年; Li等人， 2018; Linville等人， 2019; Meier等人， 2019; Perol等人， 2018），地震相位拾取（Mousavi等人，2020; Ross等人，2018年; Zhou等人， 2019; Zhu和Beroza，2019），去噪（Chen等人，2019; Saad和Chen，2020; Tibi等人，2021年; Zhu等人，2019）和实验室实验预测（Rouet-Leduc etal.， 2017年）。 为了突出与这里提出的工作相关的一些应用，Ross et al.（2018年）和Zhu和Beroza（2019年）开发了基于深度学习的相位拾取方法，现在广泛用于估计P和S到达（Chai例如， 2020; Graham等人， 2020; Park等人， 2020; Wang等人，2020年a）。他们设计了深度学习模型，可以自动提取区分P相、S相和噪声的波形特征，以确定地震波形上的P波和S波到达在用大量地震数据训练后，这两个模型在新输入数据下具有很好的泛化能力 Linville等人（2019）探索了使用卷积和递归神经网络来区分局部距离的爆炸源和构造源，他们表明开发的模型可以成功地确定事件的源类型，准确率超过99%。自动编码器是一种机器学习模型，可用于从一组数据中学习有效的表示（编码），然后从这些编码表示中恢复数据 深度自动编码器已经用于许多不同的应用中，例如压缩、去噪、降维和特征提取（Baldi，2012; Liu等人， 2017年）。特别地，使用自动编码器来提取用于不同任务的特征显示出很大的希望（Ditthapron等人， 2019; Gogna和Majumdar，2019;Kunang等人，2018; Xing等人，2015年）。在地震学中，应用程序使用自动编码器来提取压缩的特征表示，* 通讯作者。电子邮件地址：kong11@llnl.gov（Q. Kong）。https://doi.org/10.1016/j.aiig.2021.12.002接收日期：2021年10月22日;接收日期：2021年12月13日;接受日期：2021年12月13日2021年12月16日网上发售2666-5441/©2021作者。出版社：Elsevier B.V.代表科爱通信有限公司公司这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。可在ScienceDirect上获得目录列表地球科学中的人工智能杂志主页：www.keaipublishing.com/en/journals/artificial-intelligence-in-geosciencesQ. Kong等人地球科学中的人工智能2（2021）9697不同的用途，例如聚类和回归（Bianco等人， 2020; Jenkins等人，2021; Mousavi等人，2019 b; Snover等人， 2021; SpurioMancini等人， 2021年）。例如，Snover et al. （2021）使用卷积自动编码器来从来自长滩密集地震阵列的环境地震噪声数据的频谱图学习潜在特征，然后使用深度聚类算法来识别不同聚类的源。Mousavi等人（2019 b）使用从自动编码器提取的特征来区分局部波形与局部波形，并确定第一运动极性。受这些应用的启发，我们测试了自动编码器的编码特征是否可以随后用于地震学兴趣的应用，例如事件识别和相位拾取等应用。与从头开始训练深度学习模型相比，采用这种方法有以下好处：首先，以这种方式提取特征将简化处理管道并提高这些深度学习模型的使用率，因为我们只需要一个大的通用波形数据集用于自动编码器模型，该模型以无监督的方式学习波形特征（因为它只重建波形）。其次，在训练之后，该模型可以用于许多不同的应用，其中标记的训练数据是稀疏的。我们只需要一个小的数据集进行微调，以适应新的用例。 从某种意义上说，这是迁移学习的一个特例（Bengio，2012;Shin等人，2016; Tan等人，2018年），我们在一个具有大量数据的问题上训练深度神经网络模型，期望通过微调新添加的层或以前学习的层，提取的特征可以转移到其他任务中。在这种情况下，我们使用深度卷积自动编码器的编码器部分将学习到的特征转移到不同的问题。为了测试提取和传递地震特征的有效性，我们使用不同的数据集系统地评估了该方法用于三种不同的地震学应用：噪声与地震分类，P波到达拾取和爆炸与地震判别。 我们测试了过完备和欠完备自动编码器的使用，在主编码器层中使用不同数量的特征映射，在全连接层之前添加额外的卷积层来做出决定，并使用不同的方法进行训练以评估性能。 通过将这些新设计的模型的性能与从头开始训练的基线模型（相同结构）进行比较，我们得出结论，自动编码器特征提取器方法在某些情况下可能具有优势：例如当目标问题需要与自动编码器特征相似的特征时，当相对少量的训练数据可用于目标问题时，以及当使用某些模型结构和训练策略时。 在所有这些测试中效果最好的模型结构是一个过完备的自动编码器，它具有卷积层和全连接层来进行估计。在几乎所有其他情况下，一个专门为问题训练的模型（也称为 基线模型）优于基于自动编码器的方法。2. 方法2.1. 概述本文背后的想法是首先在大量地震波形上训练自动编码器来编码特征，然后重建地震波。Fig. 1. 工作流程如下：上面的蓝色实心框显示了所设计的自动编码器的结构。层顶部的黑色文本标签表示过完备自动编码器，底部的橙色文本标签表示不完备自动编码器，输入层和瓶颈层周围的蓝色虚线框m× 1@n中的文本格式表示特征图（或输入）宽为mPIX el，高为1PIX el，具有n个通道（或特征图的数量编码器输出（绿色块）包含从所谓的瓶颈层学习的特征这些习得的特征被馈送到包含可选卷积网络（CNN）的应用层，该卷积网络提供另一层特征提取（测试有和没有），具有100个神经元的全连接（FC）层被应用于被关注的特征，以及用于不同应用的sigmoid或ReLU激活函数。Q. Kong等人地球科学中的人工智能2（2021）9698××××-信号. 经过训练的编码器应该捕获地震波形的主要特征，因此可以作为特征提取器工作通过将更多的卷积层和/或全连接层（所谓的应用层）连接到编码层，组合模型可以用于不同的应用。图图1显示了该方法的整个工作流程。图中顶部的蓝色大实心框。 1示出了这里使用的自动编码器结构。在训练之后，自动编码器的编码器部分（即，从输入到瓶颈层的层（蓝色虚线框X）被剪切并与应用层组合，应用层包含一个可选的卷积层，一个全连接层和一个使用S形或矩形线性单元（ReLU）进行决策的决策层 为了能够将这种方法应用于不同的应用程序，我们使用了两种不同的训练方法。 在第一种方法中，只训练了模型末尾的应用层，所有编码器层都被锁定。在第二种方法中，应用层和编码器层都以比最初使用的小得多的学习率进行了调整以下各节将更详细地解释这些培训方法。2.2. Autoencoders自动编码器是一种神经网络，其被训练以尝试将其输入复制到其输出（Goodfellow等人， 2016年）。它通常包括两部分，编码器和解码器。编码器通常包含一系列层来提取输入的特征，并将这些特征传递给另一系列层，即解码器，以重建输入。 为了使自动编码器在学习特征时有用，而不是简单地将输入复制到输出，我们可以遵循两条路径。一种方法是将最后一个编码器层约束为具有比输入尺寸更小的总尺寸，本质上在整个自动编码器的中间形成瓶颈例如图1，我们的输入维度是1620（5403），而瓶颈层维度是544（68 8），这基本上将数据压缩到输入维度的三分之一左右。这种类型的自动编码器被称为不完全自动编码器，因为瓶颈层小于输入维度。以这种方式压缩维度会迫使自动编码器捕获训练数据中最有用的特征另一种方法是使用过完备自动编码器，它扩展了编码器的瓶颈层，使其具有比输入更多的维度，在我们的例子中，1620个输入与8704（68 128）个输出维度，但添加了正则化项以迫使瓶颈层稀疏，从而限制自动编码器学习有用的特征，而不是简单地复制输入。我们在瓶颈层使用L1正则化项（10 e-5）相反，已经开发了过完备自动编码器，因为它们在存在噪声的情况下具有更大的鲁棒性，并且在从数据学习有用特征时具有更大的灵活性（Goodfellow等人， 2016年）。在我们的模型中，编码器层使用2D卷积运算，内核大小为（3，1），步长为（2，1），将特征映射的大小缩小到第一个轴的一半解码器使用具有（3，1）的内核大小和（2，1）的步幅的转置2D卷积层来放大特征图的大小，以将波形重建到5403。为了训练模型，我们使用了Adam优化器（Kingma，2015），将平均绝对误差作为损失函数，并实施了早期停止标准以避免过度拟合：如果性能在20个时期内没有改善，则停止训练2.3. 应用层训练后，编码器（图中的蓝色虚线框）1）可以作为通用的特征提取器。通过将编码器与应用层相结合，我们可以测试提取的特征是否对不同的问题有用本质上，这里使用的模型的结构类似于使用具有更深层的收缩维度的标准卷积神经网络的一些现有模型（Ross等人， 2018年）。它们之间的区别在于培训过程，我们在这里设计了一个模型，使用了像迁移学习这样的训练方法我们测试了应用层的两种架构：第一种架构有一个完全连接的层，其中100个神经元被添加到编码器中，编码器的输出作为输入。第二个在全连接层之前有一个卷积层，有32个内核如果我们不使用这个CNN层，直接从编码器中提取的特征将用于决策。 通过添加CNN层，它提供了另一种机制来更新和提取特征，使其更适应新问题，从而实现更好的结果，如结果部分所示。 sigmoid或ReLU激活函数被用作输出，这取决于它是分类还是回归问题。2.4. 基线模型基线模型是指可以作为性能参考的简单或现有模型在这种情况下，我们使用与编码器和应用层具有相同结构的模型，但从头开始训练，而不是依赖于预训练的编码器，作为我们的基线模型。2.5. 训练设置测试了两种训练模式：（1）仅训练应用层，因此编码器参数被锁定。这类似于标准的迁移学习方法（Tan等人， 2018），或者是迁移学习的特殊情况，只调整最后一个完全连接的层。这种方法假设在大量数据上训练的锁定层被认为是良好的特征提取器。 在这种情况下，调优最后一层将有助于模型适应新数据集中的新模式。当从锁定图层中提取的特征与新数据集中的特征相似时，这种方法通常效果很好，如果问题相似或相同，则效果最好（2）在调整应用层之后，我们还微调编码器层的参数（即， 解锁它们），使用非常小的学习率。 在不同的数据集或任务上训练的特征可能与新问题中的特征非常不同，以至于用非常小的初始学习率微调这些预训练层可以帮助提高模型性能。一些选定的训练参数如表1所示。3. 数据为了测试三个不同的应用程序，以及构建自动编码器，我们使用了来自多个来源的数据。在本节中，我们将详细描述应用程序中使用的数据。示例波形示于图1中。 二、3.1. Autoencoder用于训练自动编码器的数据来自STEAD数据集（Mousavi等人，2019年a），其中包含约120万个本地地震波形（带有P和S到达标签）。 我们只用地震波形来训练自动编码器。 地震波形被重新采样为每秒20个样本，总长度为540（27秒），振幅从1归一化为1。576434、144109和308805波形分别用于训练、验证和测试目的。震级、距离和深度分布见图1A和1B。S17-S19（蓝色条），有关数据集的更多详细信息，请参阅Mousavi et al. （2019a）中所描述的。3.2. 噪声与地震对于这个问题，我们利用LEN_DB数据集（Magrini等人，2020年），其中包含由304，878个本地事件和615，847个噪声波形产生的629，095个三分量地震波形。随机选择LEN_DB数据集中的噪声记录Q. Kong等人地球科学中的人工智能2（2021）9699表1使用Adam优化器训练模型参数。我们只保存基于监控指标的最佳模型与相应的模式，使用的批量大小为n/100，即训练样本的1%数量验证数据集是总训练数据的20%，在每个Epoch中使用shuf训练早期停止被用作正则化以避免过度拟合，20个epoch作为耐心参数，这意味着如果监测的指标在20个epoch内没有改善，我们将停止训练。训练基线是从头开始的模型训练，模式1是仅微调最后一层的模型，而模式2包括微调编码器层。问题培训监控指标监测模式学习率优化器和损失噪声与EQ LEN_DB基线验证精度Max0.01Adam优化器稀疏类别交叉熵schema10.01模式20.00005EX爆破与EQ Multiple基线验证精度Max0.01Adam优化器稀疏类别交叉熵模式10.01模式20.00005P相位拾取STEAD基线验证损失min0.01Adam优化器平均绝对误差模式10.01模式20.00005从台站附近没有发生地震事件的时期（参见Magrini等人，2020年为标准）。每个波形以每秒20个样本进行采样，总共有540个数据点。震级、距离和深度分布见图1A和1B。 S20-S22。3.3. 爆炸与地震该数据集由3个不同的实验组成：SPE（源物理实验）第一阶段（Pyle和Walter，2019），iMUSH/MSH（图片来源：Magma Under St.Helens）（Hansen和Schmandt，2015年）和BASE（大角拱地震实验）（Wang等人，2020年b）。总的来说，它有9728个三分量爆炸记录和23,645个地震记录。2011年至2016年进行的SPE第一阶段是在各种尺寸和深度的饱和花岗岩中进行的一系列地下化学高爆引爆。有五次钻孔爆破（ML1.2-2.1，爆炸当量在0.1和5吨TNT当量之间（Snelson等人， 2013年）。 MSH数据集包含23个爆炸源（ML0.9-2.3）和91个地震（ML1.5-3.3），范围为75km。图二、三 个示例的输入波形示例。（a）和（b）用于地震与噪声问题，其中（a）中的地震波形来自AE台网319A台在36.7 km处记录的M3.0地震（c）和（d）用于地震与爆炸问题，其中（c）是MSH实验中在SWF2站58.7 km处记录的M2.2地震的波形，（d）是BASE实验中在SM34站22.5 km处记录的M1.3爆炸的波形（e）是由TA（可移动阵列）网络中的109C站在75.8km处记录的来自M3.7地震的波形Q. Kong等人地球科学中的人工智能2（2021）96100-2014-2016年iMUSH项目期间的火山（Hansen和Schmandt，2015年;Wang等人，2020年b）。 爆炸事件为浅孔炮，在该区分布较均匀。BASE实验（Worthington等人，2016; Yeck等人，2010年，在怀俄明州拍摄了大角拱门。数据集中有21个爆源（ ML0.7- 1.7，载荷113-907 kg）和19个地震（ML0.3-2.7），由90个宽频带台站和180个短周期台站记录。 这些爆炸记录具有不同的P/S比（Pyle和Walter，2019）和本地/代码震级（Koper等人，2021年，自然地震。 为了使数据与每秒20个样本（540个数据点）一致，我们首先以10 Hz对数据进行低通滤波，然后将其重新采样为每秒20个样本。对于这些记录，我们将原始爆炸波形切割10次，将地震记录切割4次，从22.5s到地震起源随机选择开始时间以增加数据。为培训目的，共获得了97 280个爆炸记录图 S23-S25显示了这些记录的震级、距离和深度分布。3.4. P相位拾取根据STEAD数据集（Mousavi et al.， 2019a），我们选择了100km范围内震级大于M2.0的所有地震波形。对于每个地震波形，我们首先以10 Hz对数据进行低通滤波，然后将其重新采样为每秒20个样本然后，我们在P波到达之前随机选择开始时间，切割540个数据点的窗口（因为原始波形更长）这个过程返回了168，859个波形用于训练和测试目的。请注意，我们还测试了更多的数据，如后面的结果部分所示。在这次测试中，我们使用了200公里范围内震级大于M1.5的数据，返回了425，552个波形。震级、距离和深度分布见图1A和1B。S17-S19为绿色和橙色条。4. 结果4.1. 自动编码器结果测试数据的平均绝对误差结果和自动编码器架构如图3所示。在这个图中，我们可以观察到四个主要结果：（1）当模型具有较少的层时，性能会变得更好（即，它在瓶颈层具有较大的特征图维度由于瓶颈提取的特征是解码器重建波形的构建块，因此在相同数量的特征图下，较大的特征图更容易用于模型重建。（2）具有更多层的模型提取更小的特征，因此，我们需要更多的特征图来重建信号，与第1点一致因此，当我们增加特征图的数量时，我们会看到更好的性能（红线是错误最少的最佳性能，而紫线是最差的性能）。(3)过完备模型的性能优于欠完备模型，因为在瓶颈层中可以提取更多的特征。(4)我们还注意到，当特征图的数量小于32时，例如蓝色和紫色线，与其余模型相比，线的图案发生了变化曲率的方向 我们认为这是由于瓶颈层中使用的特征图数量较少，这限制了组合这些提取特征的能力，但这需要进一步测试来确认。 为了比较欠完备和过完备模型的重建性能，图。 4显示了与输入比较的自动编码器输出。 我们可以看到，过完备模型的重构波形与输入波形的匹配度优于欠完备模型，这说明从过完备模型中提取的特征捕捉了波形的更多特征。4.2. 应用结果为了在性能和计算成本之间实现良好的平衡，我们为欠完备和过完备模型选择了128个特征图进行测试。我们测试了瓶颈特征图维数为68和34时的模型，使用不同的训练数据量。对于每个特定于模型的配置，我们运行了5个不同的训练/测试实例，改变了模型权重的初始化以及训练数据的恢复个别任务的主要平均结果总结于图11和图12中。5- 7，并在以下段落中讨论（对于具有不确定性的单个测试曲线，图3. 使 用 各种训练的自动编码器的平均绝对误差的测试数据性能。实线来自过完整自动编码器，而虚线模型来自不完整自动编码器。在瓶颈层中具有17、34和68个特征图维度的模型被测试。x轴标签中的第2行显示编码器中使用的层数不同颜色的线代表第三层和更深层中使用的特征图的数量Q. Kong等人地球科学中的人工智能2（2021）96101见图4。来自瓶颈尺寸为68的自动编码器的波形，蓝色和橙色波形分别是输入和输出（重建）。每个面板中的三行是东西、南北和垂直分量。（a）欠完整自动编码器的输出（b）过完整自动编码器的输出请参考图S2、S3、S4和S5（见本文件所附补充材料）。我们选择在这里的应用层中显示具有额外CNN层的模型的结果，因为它们执行好多了 来自应用层中没有CNN层的模型的结果在图S6到图S8中。 S11。从图 5-7，我们可以看到一些有趣的共同趋势。（1）作为图五、二进制分类测试数据集的平均准确度，即噪声与地震，设计的模型针对不断增加的训练数据进行训练（相应的训练数据百分比也显示为最大数据数为100%）。噪声样本的测试数据大小为492，759，而地震数据大小为503，194。每个数据点代表了五次训练运行的平均值，其中对训练数据进行了不同的采样，并重新启动了所有权重。图（a）比较了不完全模型的结果，而图（b）显示了过完全模型的结果不同的颜色代表不同的训练方法，实线和虚线代表瓶颈尺寸68和34。面板（c）和（d）示出了从瓶颈维度的角度来看的结果，其中（c）比较具有瓶颈特征映射维度34的模型，以及（d）比较具有维度68的模型。不同的颜色代表不同的训练方法，实线和虚线分别代表过完备和欠完备模型X轴为对数标度。Q. Kong等人地球科学中的人工智能2（2021）96102见图6。二进制分类测试数据集的平均精度结果，即爆炸与地震，基于自动编码器的模型针对不同数量的训练数据进行训练（训练数据的百分比也显示为最大数据数量为100%）。爆炸和地震的测试数据量分别为23，601和26，603。图（a）比较了不完全模型的结果，而图（b）显示了过完全模型的结果。不同的颜色代表不同的训练方法，实线和虚线代表瓶颈尺寸68和34。面板（c）和（d）示出了从瓶颈维度的角度来看的结果，其中（c）比较具有瓶颈特征映射维度34的模型，以及（d）比较具有维度68的模型。不同的颜色代表不同的训练方法，实线和虚线代表过完备和欠完备模型。X轴为对数标度。预计，随着更多的训练数据，训练模型的性能更好。（2）在几乎所有的测试用例中，训练编码器和应用层的性能都不如直接使用可用的训练数据集来训练具有相同结构的模型。唯一的例外是当两个分类问题的训练数据很小时，特别是当训练数据集限于少于1500个波形时。这表明，从自动编码器提取的特征，虽然对波形本身是通用的，但可能无法最佳地提取特定应用的所有相关信息。 当训练数据集很小时，从编码器中提取的特征为直接从明显训练不足的基线模型中提取的特征提供了额外的信息，因此我们看到了更好的性能。(3)一般来说，在（c）和（d）的所有面板中，过完备模型优于欠完备模型（绿色和橙色实线比相应的虚线更好由于瓶颈提取的特征图是各种应用程序的构建块，因此提取更多特征图的模型（过完备模型）更有可能包含对后续应用程序有用的特征(4)总体而言，微调所有层的训练方法优于仅更新最后一个应用密集层的方法，即，与橙色线相比，绿色线的性能更好这是有意义的，因为微调所有编码器层有助于特征提取层适应新的数据集和不同的应用程序。（5）不清楚瓶颈尺寸34是否优于68。虽然所有图（a）和（b）中的实线都略好于虚线，但差距很小。接下来的几段将讨论这些问题。个别地，并突出它们的差异。图 5显示了噪声与 地震分类首先，从图（a）和（b）中，我们可以看到使用34或68的瓶颈对不完全模型（相同颜色的实线和虚线之间的间隙）有更大的影响。此外，当训练数据增加时，与过完备模型相比，欠完备模型的改进很小我们认为这是由于不完全模型中学习的特征图数量较少，这限制了它们的性能。对于面板（c）和（d），我们可以看到，对于过完备模型，即使当仅调整应用层时，性能也可以比在欠完备模型中调整所有编码器层的情况更好。这是额外的证据表明，过完备模型可以比欠完备模型学习更多的特征 我们还可以从这些面板中看到，性能改进最初增长得更快，但进入一个缓慢增长的区域，然后在训练数据大小超过15，000时进入平稳期。同样，图。 6总结了爆炸与测试数据集的地震分类精度。虽然这是一个类似于噪音与地震的分类问题，但区分这两类的基本特征却有很大的不同，爆炸和地震波形之间有更微妙的在图（b）中，过完备模型的性能非常相似。这表明来自过完备模型的编码器在提取可用于区分地震和爆炸的特征方面做得很好，因此微调所有层并没有改善结果。 在这个应用程序中，我们也没有像以前那样看到性能平台，Q. Kong等人地球科学中的人工智能2（2021）96103见图7。回归问题的绝对估计误差的平均标准偏差，即P到达估计，其中基于自动编码器的模型针对不同数量的训练数据进行训练（训练数据的百分比也以最大数据数量作为100%显示测试数据大小为50，658。图（a）比较了不完全模型的结果，而图（b）显示了过完全模型的结果不同的颜色代表训练方法，实线和虚线代表瓶颈尺寸68和34。面板（c）和（d）示出了从瓶颈维度的角度来看的结果，其中（c）比较具有瓶颈特征映射维度34的模型，以及（d）比较具有维度68的模型。不同的颜色代表训练方法，实线和虚线代表过完备和欠完备模型。X轴为对数标度。可以观察到，在对数标度中，准确度的提高几乎是线性的图7示出了回归问题的测试结果，即，P波到达的估计值此问题中使用的特征比前两个示例更本地化我们使用误差的标准差作为性能的度量有了足够的数据，误差分布的平均值接近于零（见图4和5中的图d）。补充材料中的S2-S5），因此标准偏差是性能的良好估计。 我们可以从图中看到。如图7（d）所示，当训练数据集小时，在特征图维度为68的过完备模型中，所设计的编码器加上应用层的性能不超过基线模型的性能，如前两个分类示例，但差异不大。图S3（c），我们还可以看到绿线的阴影区域（5个测试的标准差）低于蓝色基线，这意味着五次运行中有一些情况比基线模型表现得更好。 我们还可以看到，随着更多的训练数据可用，对所有层进行微调的模型的性能越来越接近基线性能，直到有一个恒定的差距。 在图的面板（c）和（d）中有一个有趣的事情。 当数据量很大时，所有层都进行了微调的欠完备模型与过完备模型的性能相当，这与两种分类情况不同。我们将此归因于相关特征在P相位拾取问题中更局部化，并且可以用更少的特征图来捕获因此，在过完备模型中更多的如果与所有层都进行微调的不完全模型进行比较，结果会更从图7、我们可以看到误差似乎还在减少。由于我们在STEAD中有更多的训练数据，我们继续训练更多的数据，最多300，000。 图图8显示了模型在具有更多训练数据的测试数据上的性能（注意，在这种情况下，x轴是线性标度，以避免标签重叠）。 正如预期的那样，图中的绿线（所有层的微调）和蓝线（基线）。 8显示了进一步的改进，尽管与100，000的训练数据大小相比，改进率较小。此外，绿线和蓝线之间的差距继续缩小。 图9还显示了不同训练数据大小的估计误差（预测时间标记时间）的分布。 我们可以看到，随着更多的训练数据可用，对所有层进行微调的模型的性能正在接近基线模型。我们还看到，仅对最后一层进行微调的模型性能提高缓慢。我们还测试了SNR（信噪比）是否会影响结果，即，当使用大量训练数据时，基于自动编码器的模型是否可以在SNR较低（或噪声较大的数据）时优于基线模型。 图 S26示出了测试数据上的绝对误差与SNR的STD，并且我们没有看到基于自动编码器的模型对于噪声数据表现得更好。如图7、当训练数据很小时，基于自动编码器的模型将比从头开始训练的基线模型表现稍好。 这可以在图中看到。 S27也是Q. Kong等人地球科学中的人工智能2（2021）96104≥图八、 使用STEAD（震级1.5，距离在200 km以内），使用更多数据进行P波到达估计训练时绝对误差的标准差。每个点是用不同初始化权重和随机采样的训练数据训练的五个模型的平均值，阴影区域代表一个标准差。x轴是线性标度。图第九章具 有不 同 训练 数据 大 小的 测 试数 据上 的 P波到达时间误差（预测-标签）分布，每个面板的测试数据大小为106，388。测试误差分布：（a）训练数据大小500;（b）训练数据大小5000;（c）训练数据大小25,000;（d）训练数据大小50,000;（e）训练数据大小100,000;（f）训练数据大小300000。4.3. 计算成本图图10显示了使用各种训练数据大小训练不同类型模型的计算成本。由于训练过程占用了大部分时间，而测试只需要几秒钟就可以在单个波形上运行，因此我们在这里只显示训练的计算成本在两个NvidiaQuadro RTX 6000 GPU上测量了从训练开始到模型收敛的时间（验证精度或损失在20个时期内没有改善时间大致呈指数增长当数据大小相对较小时，不同的方法具有相似的定时成本（或小的差异）。事实上，许多编码器加上应用层模型比基线模型收敛得更快（更多细节请参见补充材料中的图S16）。当数据大小变得当它更大时，大约在8,000左右，我们开始看到训练时间急剧增加，特别是对于具有微调的编码器模式总体而言，正如预期的那样，对所有层进行微调，以较小的学习率需要最长的时间来收敛，而训练基线模型在所有这些模型中消耗的时间最少。5. 结论我们评估的想法，使用自动编码器作为一个通用的特征提取不同的地震学应用。 主要结论是，使用过完备模型结构的自动编码器在应用层中具有额外的卷积层，在对所有层进行微调的情况下进行训练时，可以实现最佳性能。在大多数情况下，自动编码器方法的性能并不优于基线模型，Q. Kong等人地球科学中的人工智能2（2021）96105见图10。模型收敛的总时间（以秒为单位）（如果验证性能在20个epoch内没有改善，则训练过程停止），点是平均值，阴影区域是五次运行的一个标准差这些模型在2个Nvidia Quadro RTX 6000 GPU上训练顶行图（a）、（b）和（c）中显示了过完整模型，而底行图中显示了不完整模型噪声与地震问题见第一栏，图（a）及（d）。EX爆破与地震问题显示在第二栏，图（b）和（e）中。P到达估计问题显示在最后一列，面板(c)和（f）。出于比较目的，我们在所有测试中使用了256个固定批量根据具体应用而定制。然而，当训练数据集很小时，基于自动编码器的模型可以比基线模型表现得稍好。竞合利益作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。致谢文章中表达的观点不一定代表美国的观点能源部或美国政府的 这项研究由国家核安全管理局国防核不扩散研究与发展（NNSA DNNR &D）资助。 作者感谢与洛斯阿拉莫斯国家实验室（LANL）、劳伦斯利弗莫尔国家实验室（LLNL）、任务支持和测试服务有限责任公司（MSTS）、太平洋西北国家实验室（PNNL）和桑迪亚国家实验室（SNL）的科学家和工程师进行的重要跨学科合作。这项研究部分是在美国政府的赞助下进行的LLNL根据合同号DE-AC 52 - 07 NA 27344向能源部提供。这是LLNL贡献LLNL-JRNL-828227。我们还感谢本研究中使用的数据集的作者，包括STEAD、LEN_DB、SPE、BASE和iMush，特别感谢Brandon Schmandt和Ruijia Wang为SPE提供了一个完整的数据集（h tt ps：//w ww. ns s.gov/docs/fact_sh ee t s/N NSS-SP E-U-003 4-Rev01。pdf），B ASE（https：//ww w. passcacal. nm t。e du/co nt t/bighorn-ar ch-s ei sm ic-e xperiment-result s），anddiMush（h tt p：//goprisms s. 或g/e ducat ion/repo rt-from-the-f i e ld/imu sh-s pring2015/）。 我们都有自己的想法。是的。为了研究目的而保存地震数据。我们感谢劳伦斯利弗莫尔国家实验室的比尔沃尔特的有益讨论 所有的分析都是在Python中完成的，这里使用的深度学习框架是Ten-sorFlow（Abadi et al.， 2016），地震学相关分析使用Obspy（Beyreuther等人，2010; Krischer等人，2015），我们感谢优秀的Python社区让一切都公开可用。附录A. 补充数据本文的补充数据可以在i.org/10.1016/j.aiig.2021.12.002上找到。引用Abadi，M.，Barham，P.，陈杰，陈志，Davis，A.，Dean，J.，例如，2016年。TensorFlow：一个大规模机器学习系统。第12届USENIX操作系统设计与实现研讨会（OSDI 16）265-283.检索自。https://www.useniX.org/system/files/conference/osdi16/osdi16-abadi.pdf。Baldi，P.，2012.自动编码器、无监督学习和深度架构。在：无监督和迁移学习的ICML研讨会论文集。37-49. JMLR研讨会和会议记录。检索自。http：//proceedings. mlr.press/v27/baldi12a.html.本焦，Y.，2012年。无监督学习和迁移学习的表示深度学习在：无监督和迁移学习的ICML研讨会论文集。十七比三十六JMLR研讨会和会议记录。检索自。http：proceedings.mlr.press/v27/bengio12a.html.卑尔根，K.J.，约翰逊，宾夕法尼亚州，Hoop，M. V. de，Beroza，G.C.，2019.固体地球科学中数据驱动发现科学363（6433）。https://doi.org/10.1126/science.aau0323。Beyreuther，M.，巴什河，克里舍湖，Megies，T.，Behr，Y.，Wassermann，J.，2010年。ObsPy：一个用于地震学的Python工具箱塞斯莫尔水库Lett. 81（3），530-533。网址：http：//doi.org/10.1785/gssrl.81.3.530Bianco，M.J.，Gannot，S.，Gerstoft，P.，2020年。具有深度生成建模的半监督源定位。在：2020年IEEE第30届信号处理机器学习国际研讨会（MLSP），pp。1-6.https://doi.org/10.1109/MLSP49062.2020.9231825。Chai，C.，Maceira，M.，Santos-Villalobos，H.J.，Venkatakrishnan，S.V.，Schoenball，M.，朱伟，例如，2020.使用深度神经网络和迁移学习来桥接地震相位拾取的尺度。地球物理学家。保留信函47（16），e2020GL088651。https://doi.org/10.1029/2020GL088651网站。陈玉，张，M.，Bai，M.，陈伟，2019.通过无监督机器学习提高地震数据集塞斯莫尔水库Lett. 90（4），1552-1564。https://doi.org/10.1785/0220190028网站。Ditthapron，A.，Banluesombatkul，N.，Ketrat，S.，Chuangsuwanich，E.，Wilaiprasitporn，T.，2019.使用多任务自动编码器进行P300 EEG分类的通用联合特征提取。IEEE Access 7，68415 - 68428。https://doi.org/10.1109/ACCESS.2019.2919143.Gogna，A.，Majumdar，A.，2019年。用于特征提取的判别式自动编码器：在字符识 别 中 的 应 用 。 神 经 过 程