基于正交分解的逐像素二元分类

6064输入输出地面实况抑制逐像素负片增强逐像素正片0 000.60 010.90.100.1 0.6*1 00100.90 0正交分解100 0卷积重建基于正交分解网络的逐像素二元分类常柳<$，方晚<$，魏柯<$，ZhuoweiXiao，YuanYao，ZhangyongZhang and QixiangYe†中国科学院大学，中国中国科学§中国广东省深圳市鹏程实验室{liuchang615，wanfang13，kewei11，yaoyuan17，zhangxiaosong18}@mails.ucas.ac.cnxiaozhuowei@mail.iggcas.ac.cn，qxye@ucas.ac.cn摘要卷积神经网络（CNN）中的权重共享方案和空间池操作将语义相关性引入到特征图上的相邻像素，因此降低了其逐像素分类性能。在本文中，我们实现了一个正交分解单元（ODU），它将卷积特征映射转换为正交基，目标是对卷积特征上的相邻像素进行去相关。在理论上，完全正交分解产生正交基，可以完美地重建任何二进制掩码（地面实况）。在实践中，我们进一步设计了不完全正交分解，重点是去相关的局部补丁，平衡重建性能和计算成本。用ODU实现的全卷积网络（FCN）（被称为正交分解网络（ODN））学习去相关和互补的卷积特征，并以逐像素选择性方式融合这些特征。在用于二维图像处理的逐像素二进制分类任务（具体地，骨架检测、边缘检测和显著性检测）和一维关键点检测（具体地，用于地震定位的S波到达时间检测）上，ODN以显著的裕度持续地改进了现有技术。1. 介绍逐像素二元分类任务，例如，骨架检测、边缘检测和显著性检测是计算机视觉和模式识别的重要基础。骨架是最具代表性的视觉属性之一，它描述的对象紧凑而信息量大*通讯作者。100110/6001图1：正交分解单元（ODU）将卷积特征映射转换为正交基，可用于通过卷积重建完美地重建复杂的二进制掩码（地面实况）。曲线.这些曲线构成了物体形状的连续分解[25]，为物体表示和识别提供了有价值的线索。边缘可以转换为描述性特征和空间约束，其强制对象分组[38]、语义分割[21]和对象定位[13]。显著性表示图像中最明显和最有吸引力的区域，显著性检测是各种计算机视觉应用的第一步[8]。逐像素二进制分类任务的共同目标是在给定彩色输入图像的情况下预测感兴趣的掩模。在深度学习时代，全卷积神经网络（FCN）[27]由于其端到端的训练方式和对图像大小的灵活性，已被广泛应用于最近的基于FCN的方法，例如，整体嵌套边去6065检测（HED）和侧输出残差网络（SRN）[11]起源于多层特征融合，其动机是低层特征关注细节，而高层特征具有丰富的语义[11]。线性跨度网络（LSN）[19]使用线性跨度理论去相关卷积特征通道并增加它们的独立性。多层特征融合和通道级去相关已经被广泛地探索。然而，像素级去相关仍然没有解决。用于逐像素二值分类方法的骨干CNN通常是在图像分类上进行预训练的，并且具有由权重共享方案和池化操作引起的逐像素语义相关性，这显著地恶化了网络在 本 文 中 ， 我 们 提 出 了 一 个 正 交 分 解 单 元（ODU），它将卷积特征映射转换为正交通道。1，并且目标在于减轻卷积特征图上相邻像素的语义相关性。 ODU基于数学原理，即任何矢量，例如，可以通过一组完整的正交基（正交特征通道）来完美地重建二进制地面实况掩模。当用卷积操作融合分解的特征图时，卷积权重可以独立求解，这赋予ODU在特征图上逐像素细化的能力。考虑到相邻像素受语义相关性影响更大，我们对局部特征块进行不完全不完全正交分解除了可以减少局部块的相关性外，还可以减少完全正交分解的计算量。ODU可以被添加到FCN的输出层的顶部，并将它们更新为正交分解网络（ODN），这有助于学习去相关和 复 杂 的 特 征 。 与 现 有 的 FCN 相 比 ， 例 如 ， SRN[11]，LSN [19]和深度监督短连接（DSS）[8]专注于学习通道级复杂特征，ODN以更有效的方式追求像素级空间去相关和特征互补本文的贡献包括：• 一个名为正交分解单元（ODU）的即插即用模块被设计为将特征图上的相邻像素划分为正交通道，其目标是减轻CNN关于像素级语义相关性的基本缺点。• 通过将ODU插入输出层顶部，成功的全卷积网络，包括VGG [33]，HED [39]和SRN [11]，升级为卷积分解网络（ODN），这有助于学习去相关和互补的特征。• ODN的计算成本可以忽略不计，改进了现有技术，在用于二维图像处理的逐像素二进制分类任务（具体地，骨架检测、边缘检测和显著性检测）和一维关键点检测（具体地，用于地震定位的S波到达时间检测）上2. 相关工作在本节中，我们回顾了关于逐像素二进制分类的方法以及关于使用CNN学习复杂和/或去相关特征的方法。Pixel-wise binary classification. 早期的逐像素二进制分类方法植根于手工制作的图像处理方法[3，12，18，24]，其使用形态学运算来定位感兴趣的像素，例如，边缘或骨架像素。最近，基于学习的方法被提出用于逐像素的二进制分类。多实例学习方法[36]用于从一袋像素中学习一个真正采用结构化随机搜索[35]和子空间多实例学习[28]来执行骨架检测和定位。随着深度学习的兴起，研究人员将像素级二进制分类公式化为图像到掩模映射问题，并专注于以端到端的方式融合多层卷积特征。HED [39]引入了深度监督的侧输出网络来学习用于边缘检测的逐像素分类器。多尺度深度特征（MSD）[14]从多个卷积层提取和融合特征以进行显着性检测，并利用图像分割来进一步提高性能。融合尺度相关的深度侧输出（FSDS）[31]在给定尺度相关的地面实况的情况下学习多尺度骨架表示。SRN [11]和DSS[8]利用侧输出残差单元来拟合对象对称性/骨架地面实况与多个卷积层的侧输出之间的误差。为了提高逐像素分类的准确性，提出了逐段空间池用于显著性检测[16]。如何融合多层卷积特征来预测二值掩码已经得到了广泛的研究. 尽管如此，研究人员几乎没有研究卷积层中相邻像素的去相关性由于具有很强的语义相关性，CNN的卷积特征去相关。 从卷积特征去相关、典型相关分析（CCA）[4，34]和奇异向量去相关的广泛观点来看，位置（SVD）[34]被实现到具有专门设计的去相关层的CNN中。这些方法验证了使用单个去相关层来推动网络学习互补特征的可行性。对于对象显著性检测，超像素方法与FCN相结合以减少深度像素的相关性。6066正交分解输入映射卷积重建输出地图���n+j1中文（简体）（i−1 n +���（一）���×������×���×������ （标准正交基）���×���ODConv正交D组合单元IJIJb图2：ODU通过将输入映射分解为正交通道来简化相邻像素之间的语义相关性，这些通道在卷积重建中进一步融合以执行逐像素细化。els [7]。 对于多个像素分类任务，SRN[11]和DSS [8]使用残差模型来“强制”来自不同卷积层的侧输出特征是互补的。最近的一项研究，线性跨度网络（LSN）[19]将多层卷积特征与线性跨度理论联系起来，以减少相关性并增加多通道特征的互补性。然而，尽管在子像素操作上做出了努力，但逐像素去相关问题仍然没有解决[32]。3. 正交分解单元正交分解单元（ODU）由正交分解和卷积重构两个部分组成，图1。2.正交分解用于将输入地图分解为一组正交通道，这些通道具有与输入地图相同的大小。然后利用卷积重建将正交通道融合到具有逐像素细化的输出图。3.1. 空间去相关的正交分解对于m×n的输入映射，记为A=（aij），性质1：稀疏性。输入图中的相邻像素被分解为具有稀疏非零元素的不同通道，即，通道具有至多一个非零像素。 正交通道的逐元素和等效于输入映射，如下所示：姆，A=D（k）。（二）k=1性质2：正交性。由于来自任何两个通道的非零像素的位置彼此不同，因此输出图的任何两个通道彼此正交，如D（i）·D（j）= 0，1 ≤ i/= j ≤ mn。（三）3.2. 卷积重建用于逐像素细化在卷积重建中，1×1卷积层被插入到正交分解层的将m×n 输出映射和 二 进 制 地 面 实 况表示为 B=（bij）和G=（gij），卷积重建公式为：姆，λkD（k）=B<$G，k= 1，2，···，mn， （4）其中i=1，2，···m，j=1，2，···n。aij是地图上第i行第j列的pix el输入映射A被变换为具有完全正交分解的m×n×mn映射，在图2的左侧表示为D。假设D的第k个通道为D（k）=（d（k）），其中k= 1，2，...，mn，A和D之间的逐像素对应关系被定义为：.d（k）=aij，如果k=（i−1）×n+jk=1其中k= 1，2，...，mn，并且λk表示要学习的卷积重构系数当量4可以解为λ （ i−1 ） n+j=gij/aij ， aij=/0 ，（5），这意味着在反向传播的情况下，每个信道被分配对应于单个信道的独立权重。非零像素。这样，我们就可以对每个像素进行操作，在卷积重建中的输入映射用于像素，IJd（k）= 0，否则.（一）明智的改进。由于在反向传播过程中可以容易地满足aij=0的条件i根据等式1，可以很容易地得出结论，完全正交分解有两个优雅的性质。利用正交特征完全重建任意给定的二进制掩码。6067IJIJ线性重建GT相同的大小，并执行完整的正交分解中定义的方程。1、所有的补丁在不完全正交分解的情况下，输入图与输出特征图的通道之间的像素对应关系定义为：.′d（k）=aij，如果k=（i′-1）×pw+jd（k）= 0，否则，（6）′其中aij和dij定义在等式（1）中。月1H2O2（modph），′′j<$j（modpw），1≤i′≤ph，1 ≤j≤pw，1≤i≤卷积重建图3：ODU从输入地图生成的正交坐标系可以跨越整个空间。3.3. 几何解释为了理解ODU，我们想象一个二维的例子，图。3.单通道输入映射可以表示为平面中的向量α=（a1，a2），图1B。第3条第1款。根据等式1，将向量α分解为两个正交向量，即，α1=（ a1，0）和α2=（0，a2）。这两个正交向量建立了一个正交坐标系。3（2）。如图3（2），α1和α2可以跨越整个平面，其中任何向量都可以由α1和α2完美重构。在卷积重建中，重建系数可以直接由β的坐标计算，即，一个真实的面具根据等式5，α1和α2被变换为β1和β2，这等价于图3（3）中β到α1和α2然后将β重构为β=β1+β2，图3（4）。因此，ODU可以通过在两个正交方向上独立地拟合β1和β2来重建β，这确保了通过输入图的空间去相关进行逐像素细化的能力。4. 正交分解网络考虑到相邻像素受语义相关性影响最大，本文引入了基于不完全正交分解（IOD）的ODU算法，该算法主要解决局部块内相邻像素的去相关问题。利用IOD，我们建立正交分解网络（ODN），使用单ODU或多ODU来近似特征的稀疏性和正交性。4.1. 不完全正交分解不完全正交分解，图。4（a），提出了对局部补丁进行空间去相关。具体地说，我们使用pw×ph非重叠稠密滑动窗口将输入地图划分为局部块，m，1 ≤ j ≤ n。不完全正交分解近似于等式中定义的稀疏性和正交性的性质。2和Eq。3同时将输出特征图的通道减少到pw·ph。根据Eq。1时，m × n输入映射需要mn个通道来实现完全正交分解。当m和n很大时，存在维数灾难。根据等式5、完全正交分解ODU的本质是对每个像素进行独立的权值细化。在不完全正交分解中，存在权重共享，即同一通道中的非零像素因此，我们在卷积重构中适当地使用大于正交分解块的大小的滤波器大小，以减轻权重共享。4.2. ODN示例通过将ODU与不完全正交分解相结合，我们更新了包括VGG [33]、HED[39][11]如 图所 示 第 4 （b ） 段。 对 于 OD-VGG ， 在VGG-16的最后一个卷积层上添加单个ODU对于OD-HED和OD-SRN，在五个侧输出分支和一个融合分支中插入六个ODUHED是一种有效的多尺度卷积特征融合架构，而SRN通过在相邻侧输出分支之间引入残差模块来更新融合策略。有了这些ODN范例，我们的目标是在流行的FCN架构中验证ODU的像素细化的普遍适用性。单ODU：空间去相关。众所周知，CNN特征图上的相邻像素对于权重共享方案和空间分布具有很强的语义相关性。合并操作。这种相关性导致将接近真阳性的背景像素错误地分类为假阳性，反之亦然。利用正交分解的稀疏性（属性1），卷积重建可以独立地精确定位每个像素的标签换句话说，单个ODU通过空间去相关实现逐像素细化。多ODU：互补特征学习。最先进的方法通常执行通道式特征平面地面实况β= β1+ β2=（β1，β2）输入=（14建立正交坐标系拟合GT2 3的正交投影1=（β=���=（ 、0）11111正交分解β2=���2 =（0，2）2=（0，226068数据融合VGG-16数据融合VGG-16融合输出正交分解（== 5） ���（一）OD-HED（b）第（1）款OD-SRN图4：（a）不完全正交分解，3×5输入映射和2×2补丁大小。（b）对于ODU，即插即用模块添加到输出层顶部，VGG-16 [33]，HED [39]和SRN [11]更新为ODN。积分，但不能区分相同通道中的正像素和负像素，这不可避免地将噪声引入最终输出。对于多个ODU，正交性（属性2）驱动网络学习线性跨度视图中的复杂特征[19]。同时，稀疏性（性质1）使得特征融合过程更具选择性，即，不同的阶段增强/抑制不同区域中的像素。通过这种方式，进一步探索了骨干网络学习互补特征的潜力，从而进一步提升了ODN5. 实验在本节中，首先介绍了实验设置。然后验证了ODU对特征去相关和像素级细化的影响。最后，报告了ODN在二维图像处理（具体为骨架检测、边缘检测和显著性检测）和一维关键点检测（具体为HED数据GTOD-HED地震定位的横波到时检测。所有实验都在Tesla K40GPU上运行迷你-批量大小设置为1，每个输出的损失重量设置为1层，动量为0.9，权重衰减为0.002，初始学习率为1 e-6，每10，000次迭代减少一个量级。5.1. ODU效应从左到右，在图的每一行如图5所示，可以看出，OD-HED的输出图被细化，并且抑制了许多背景噪声。特别地，由上采样引起的锯齿形噪声被缓解，并且融合输出（OD-HED的最后一行）更接近地面实况。 通过比较图1中HED和OD-HED的所有五个级的输出，5从上到下，我们得出结论，OD-HED的输出地图比HED的输出地图更具互补性。在OD-HED的浅层阶段，图5：使用ODU，每个输入特征图（第一列）UMN）被分解成正交通道（中间列-UMN），其便于去相关和互补特征学习以及逐像素细化（最后一列）。比他更富有马的躯干被抑制，而包括尾巴和腿在内的纤细部分被增强。在OD-HED的深度阶段，马的躯干被增强，而苗条的部分被抑制。这些验证了ODU可以驱动多层学习互补卷积特征。通过t-SNE分析，说明了通过OD-HED学习的特征，背景和前景像素更加可分离，验证了ODU用于语义去相关的有效性，图13六、我们给出了SK-LARGE骨架检测数据集上不完全正交分解的补丁大小和卷积重建滤波器大小的定量比较，表1和表2。在表1中，可以看到数据补丁（���补丁=补丁=2）正交分解单元IOD卷积层3x53x5x4损失层VGG-16不完全正交分解OD-VGG第五阶段第四阶段阶段3第二阶段第一阶段侧输出5侧输出4侧输出3侧输出2侧输出1融合输出6069HED OD-HED图6：前景/背景像素的t-SNE示出了OD-HED的特征比HED的特征包含更少的语义(Best颜色显示）表1：SK-LARGE上不完全正交分解的斑块大小与11×11滤波器大小的比较贴片尺寸w/o3×3 5×5 7 ×7F-测量0.489 0.6040.6060.600表2：使用5 × 5贴片尺寸的SK-LARGE进行卷积重建的滤波器尺寸比较。过滤器尺寸3×3 7×7 11×11 15×15 17×17F-测量0.511 0.575 0.6060.620 0.619表3：SKLARGE上的骨架检测。在应用ODU之后，F测量显著增加。 与不带ODU的VGG-16相比，不完全正交分解面片尺寸为3 ×3的VGG-16，实现了21。5%（0.489 vs.0.604）性能增益。由于空间相关主要存在于局部斑块内，当斑块尺寸为5×5时，F-测度增加到0.606，但当斑块尺寸变大时，F-测度不再增加在下面的所有实验中，我们使用5×5的补丁大小。在表2中，我们评估了不同大小下的重构卷积滤波器。从3×3到15×15，性能不断提高，但在17×17时略有下降。这种现象的原因是较大的滤波器减轻了不完全分解的正交特征的非零像素的权重分担，同时减轻了权重学习负担。因此，选择15×15卷积滤波器进行重构.5.2. 骨架检测五个骨架检测数据集，包括SYMMAX [36]，WH-SYMMAX [28]，SK-SMALL [31]，SK-LARGE图7：通过ODN的骨架检测示例的逐像素细化。可以看出，在插入ODU的情况下，锯齿噪声和模糊被抑制，并且对象骨架的精细细节被检测到。[30]和Sym-PASCAL [11]用于评价ODN。SYMMAX包含200/100个训练/测试图像。SK-SMALL涉及大约16类对象的骨架，具有300/206个训练/测试图像。 SK-LARGE在SK-SMALL的基础上扩展到746/745训练/测试图像。Sym- PASCAL源自PASCAL-VOC-2011分割数据集[5]，该数据集包含14个对象类，648/787张图像用于训练和测试。通过改变输出模板上的阈值，我们得到多个预测的二元骨架模板，将其与地面真实值逐像素地进行比较，以计算精度（P）和召回率（R）。F-测度用于评估性能 在不同的检测方法中，最优阈值F= 2P·R/（P+R）。包括OD-VGG、OD-HED和OD-SRN的三种ODN的性能以及与基线网络的比较在表3中示出可以看出，OD-VGG 优 于 VGG 13.1% ， OD-HED 优 于 HED14.9%。大的性能增益的原因在于，在VGG中的单个ODU，图。图4（b），有效地去相关卷积特征，而HED中的多个ODU，图4（b），4（b）、驱动学习的多层互补特征。利用逐像素标签细化的能力SRNOD-HEDGTHED OD-VGGVGG数据6070表4：最先进方法在五种常用骨架检测数据集上的性能比较林德伯格[18]MIL [36]HED [39]FSDS [31][19]第十九话SRN [11]OD-SRN（我们的）[第28话]0.2770.3650.7430.7690.7970.7800.804SK-SMALL [31]0.2270.3920.5420.6230.6330.6090.624SYMMAX [36]0.3600.3620.4270.4670.4800.4460.489SK-LARGE [30]0.2700.2930.495–0.6680.6550.676Sym-PASCAL [11]0.1380.1740.3690.4180.4250.4430.444表5：BSDS 500边缘检测数据集的性能比较。方法ODSOISAP华盛顿特区[29] 0.7570.7760.790HED [39]0.7800.7970.814SRN [11]0.7820.8000.779[19]第十九话0.7900.8060.618OD-SRN（我们的）0.7980.8140.782人类0.8000.800–OD-SRN的性能优于使用剩余模块来学习互补功能的SRN，总性能提高了2.1%。骨架检测结果的成对比较如图所示。7.第一次会议。在五个常用的骨架检测数据集上，表4，OD-SRN分别优于基线SRN 2.4%、1.5%、4.3%、2.1%和0.1%，并且击败了最先进的方法。5.3. 边缘检测边缘检测是另一个典型的逐像素二进制分类任务。由200个训练图像、100个验证图像和200个测试图像组成的BSDS 500 [2]数据集用于评估ODN。在BSDS 500中，每个边缘掩模平均由五个人手动注释。对于训练图像，我们保留由至少三个人类注释者注释的正面标签。当为整个数据集（ODS）或每个图像（OIS）选择最佳尺度时的F度量以及平均精度（AP）被用作评估度量。如表5所示，DeepContour（DC）[29]设置了坚实的基线。融合多尺度卷积特征的HED [39]方法报告了ODS=0.780 的 更 高 性 能 。 最 先 进 的 SRN [11] 达 到ODS=0.782，而LSN [19]达到ODS=0.790。OD-SRN的性能最好，ODS=0.798，OIS ==0.814，这甚至可以与人类的表现相媲美。5.4. 显著性检测我 们在 五 个对 象 显 着性 检 测数 据 集上 评 估OD-SRN ， 包 括 MSRA-B [20] ， ECSSD [40] ， HKU-IS[15]，PASCALS [17]，SOD [22] [23]。MSRA-B包含5,000张图片，单个物体。ECSSD包含1，000张具有复杂背景的图像。HKU-IS包含4000张多对象显著性图像。PASCALS包含850个图像。SOD是BSDS数据集的一个子集，包含300幅图像，其中大多数图像具有多个显著性特征。我们使用MSRA-B数据集训练OD-SRN，并在所有五个数据集上测试模型。F测量和平均绝对误差（MAE）用作性能指标[9]。在表6中，OD-SRN在五个数据集上始终优于基线SRN。我们的方法的优点在于逐像素的标签细化，因此它主要聚集对象边界处的显著性检测结果，如图所示8. 对于整体显著性区域，性能改善是中等的。5.5. 一维关键点检测：S波到达时间检测任务和数据集。作为一种一般的逐像素二值分类方法，ODN被扩展到一维关键点检测，即。，在巨大的地震记录中探测地震的S波到达时间，图。9.这些到达是S波到达地震仪的关键时间点，这对于精确的地震定位[6]和地球内部成像[10] [37]至关重要。这样的到达通常是由专家花了很大的努力[1][26]第10段。训练数据集包括由人类专家1提供的20，000个S波拾取波形对。测试数据集包括来自日本97个地震的782个台站的1512条记录每个记录被离散化为具有1200个点和对应于径向分量R和横向分量T的两个通道的1D矢量，图1B。9.第九条。性能和分析。通过计算预测值与地面实况之间不同时间偏差下的样本比例，评估S波到达时间检测性能，见表7。可以看出OD-SRN优于SRN基线，即，在相同时间偏差下，特别是，偏差≤ 0。2s时，OD-SRN达到76.7%的准确率，显著优于SRN 4.5%。在图9中，SRN报告假阳性（红色虚线框），而OD-SRN可以通过预测1东北大学地震·火山喷发预测研究中心、Hi-net6071表6：常用显着性检测数据集上最先进方法的性能比较（MAE越小，表示性能越好。）方法MSRA-B [20]ECSSD [40]香港大学-IS[15]帕斯卡尔[17]SOD[22][23日]FβMaeFβMaeFβMaeFβMaeFβMaeSRN [11]0.8880.0630.8720.0840.8710.0650.7710.1290.8030.132OD-SRN（我们的）0.8990.0580.8830.0780.8820.0600.7860.1210.8150.129表7：S波到达时间检测的性能比较（时间偏差下的样本比例偏离0.000.010.020.030.040.050.06-0.100.11-0.20≤0。20SRN [11]0.0300.0650.0630.0730.0510.0570.1920.1900.722OD-SRN（我们的）0.0350.0720.0790.0530.0580.0540.2110.2040.767发布时间：2016-1-1520：5：11.02纬度：35.162经度：137.064深度：14.3公里星等：3.1图8：OD-SRN对显着性的逐像素细化。RT0 2 4 6 8 10 12 14 16100 2 4 6 8 10 12 14 1664200 2 4 6 8 10 12 14 1664200 2 4 6 8 10 12 14 16时间图9：SRN和OD-SRN检测的S波到达时间示例。由SRN预测的假阳性（红色虚线框）由OD-SRN抑制。最大关键点，其示出了OD-SRN的像素级图10示出了由OD-SRN（红线）预测的S波到达时间检测示例，其实现了与由人类专家注释的地面实况（蓝线）的接近6. 结论我们提出了正交分解单元（ODU），目标是对卷积特征上的相邻像素进行去相关。在理论上，完全正交时间图10：OD-SRN检测到的地震中的S波到达时间。红线是OD-SRN检测到的到达，而蓝线是地面实况。(Best颜色显示）分解产生的正交基可以完美地重建任何二进制掩码（地面实况）。在实际应用中，非完全正交分解与适当的面片尺寸可以有效地逼近完全正交分解。我们将成功的FCN（包括VGG-16、HED和SRN）更新为正交分解网络（ODN），并将其应用于典型的逐像素二进制分类任务（包括骨架、边缘和显著性检测），以验证ODU用于像素级空间去相关和逐像素细化的通用性。 ODN到1D关键点检测的扩展，即，S波到达时间检测在地震定位中的应用为深度学习在地球科学领域的应用提供了新的视角。致谢。作者在此感谢国家自然科学基金61836012、61671427号基金和北京市科委基金的资助Z181100008918014。0246810121416GTOD-SRNs波6072引用[1] Jubran Akram和David W Eaton。井下微地震资料到时拾取方法评述。Geophysics，81（2）：KS71[2] 放大图片作者：Michael Maire，Charless C. Fowlkes和Jitendra Malik轮廓检测与分层图像分割。IEEE传输模式分析马赫内特尔，33（5）：898[3] John F.精明边缘检测的计算方法。 IEEE Trans. 模式分析马赫内特尔，8（6）：679[4] Xiaobin Chang，Tao Xiang，and Timothy M.医院通过软去相关可扩展和有效的深度共析分析。在IEEE计算机视觉和模式识别会议中，第1488-1497页[5] Mark Everingham，Luc J.放大图片作者：Christopher K.I.约翰·威廉姆斯温恩和安德鲁·齐瑟曼。Pascal VisualObject Classes（VOC）International Journal of ComputerVision，88（2）：303[6] Jeanne L Hardebeck和Peter M Shearer。确定初动震源机制的新方法美国地震学会通报，92（6）：2264[7] 何胜峰，林森. H. Lau，Wenxi Liu，Zhe Huang，andQingxiong Yang. Supercnn ： A superpixelwise convolu-tional neural network for salient object detection. 国际计算机视觉杂志，115（3）：330[8] Qibin Hou ， Ming-Ming Cheng ， Xiaowei Hu ， AliBorji，Zhuowen Tu，and Philip Torr.具有短连接的深度监督显著在IEEE CVPR，第3203-3212页[9] Qibin Hou ， Ming-Ming Cheng ， Xiaowei Hu ， AliBorji，Zhuowen Tu，and Philip Torr.具有短连接的深度监 督 显 著 2017 年 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第5300-5309页。IEEE，2017年。[10] Chengxin Jiang，Brandon Schmandt，Steven M Hansen，Sara L Doughnut，Robert W Clayton，Jamie Farrell，andFan-Chi Lin.加利福尼亚中部俯冲终止和岩石圈沉降的瑞利和s波层析成像约束。地球和行星科学快报，488：14[11] Wei Ke ， Jie Chen ， Jiabin Jiao ， Guoying Zhao ， andQixiang Ye. SRN：用于野外目标对称性检测的侧输出残差网络。在IEEE计算机视觉和模式识别会议上，第302-310页[12] Louisa Lam，Seong-Whan Lee，and Ching Y.孙精简方法论--全面综述. IEEE传输模式分析马赫内特尔，14（9）：869[13] Tom Sie Ho Lee、Sanja Fidler和Sven J.迪金森学习结合中级提示生成对象提案。IEEEInternational Conferenceon Computer Vision，第1680-1688页[14] 李冠斌、余益州。基于多尺度深度特征的视觉显著性。在IEEE计算机视觉和模式识别会议，CVPR 2015，美国马萨诸塞州波士顿，2015年6月7日日，第5455-5463页[15] 李冠斌、余益州。基于多尺度深度特征的视觉显著性。在IEEE计算机视觉和模式识别会议论文集，第5455-5463页[16] 李冠斌、余益州。用于显著对象检测的深度对比度学习在IEEE计算机视觉和模式识别会议上，CVPR，第478-487页[17] Yin Li，Xiaodi Hou，Christof Koch，James M Rehg，and Alan L Yuille.显着对象分割的秘密。在Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition，第280-287页[18] 托尼·林德伯格。边缘检测和脊线检测与自动尺度选择 。 International Journal of Computer Vision ， 30（2）：117[19] 刘畅，魏柯，秦飞，叶奇香。用于物体骨架检测的线性跨度网络。在欧洲计算机视觉会议上，第133-148页[20] Tie Liu ， Zejian Yuan ， Jian Sun ， Jingdong Wang ，Nanning Zheng，Xiaoou Tang，and Heung-Yeung Shum.学 习 检 测 显 著 物 体 。 IEEE Transactions on Patternanalysis and machine intelligence，33（2）：353[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议上，第3431-3440页[22] David Martin Charless Fowlkes Doron Tal和Jitendra Malik人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。计算机视觉，2001年。ICCV 2001年。诉讼第八届IEEE国际会议，第2卷，第416-423页。IEEE，2001年。[23] Vida Movahedi和James H Elder。显著对象分割性能指标的设计与验证。在计算机视觉和模式识别研讨会（CVPRW），2010年IEEE计算机学会会议，第49-56页。IEEE，2010。[24] 普纳姆湾Saha，Gunilla Borgefors，and Gabriella Sannitidi Baja.卷积算法及其应用综述。Pattern RecognitionLetters，76：3[25] 托马斯b作者：Sebastian，Philip N. Klein，and BenjaminB.基米亚通过编辑形状的冲击图来识别形状。IEEE传输模式分析马赫内特尔，26（5）：550-571，2004.[26] BK Sharma，Amod Kumar和VM Murthy。地震同相轴检 测 算 法 评 价 Journal of the Geologi- cal Society ofIndia，75（3）：533[27] Evan Shelhamer Jonathan Long和Trevor Darrell用于语义分段的全卷积网络。IEEE传输模式分析马赫内特尔，39（4）：640[28] Wei Shen，Xiang Bai，Zihao Hu，Zhijiang Zhang.基于部分随机投影树的多实例子空间学习方法研究自然图像局部反射对称性. Pattern Recognition，52：306[29] 沈伟，王兴刚，王艳，白翔，张之江.深轮廓：通过正共享损失学习的深度卷积特征，用于轮廓检测。在IEEE计算机视觉和模式识别会议，CVPR，第3982-3991页6073[30] 沈伟，赵凯，袁江，王艳，白翔，李伟。尤尔。深骷髅：学习多任务尺度相关的深侧输出，用于自然图像中的对象骨架提取。IEEE Trans.图像处理，26（11）：5298[31] Wei Shen，Kai Zhao，Yuan Jiang，Yan Wang，ZhijiangZhang，and Xiang Bai.通过融合尺度相关深侧输出在自然图像中提取对象骨架。在IEEE计算机视觉和模式识别会议上，第222-230页[32] 放大图片作者：Wenzhe Shi，Jose Caballero，FerencHuszar ， Johannes Totz ， Andrew P.Aitken ， RobBishop，Daniel Rueckert，and Zehan Wang.使用有效的子像素卷积神经网络实现实时单幅图像和视频超分辨率。在IEEE计算机视觉和模式识别会议上，第1874-1883页[33] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络IEEE国际计算机视觉会议，2015。[34] Yifan Sun，Liang Zheng，Weijian Deng，and ShengjinWang.用于行人检索的Svdnet。在IEEE计算机视觉国际会议上，ICCV，第3820[35] ChingLikTeo，CorneliaFer müller，andYiannisAlo i monos. 二维曲面反射对称结构的检测与分割在IEEE InternationalConference on Computer Vision，ICCV，第1644-1652页[36] Stavros Tsogkas和Iasonas Kokkinos。自然图像中基于学习的对称性检测。在European Conference on ComputerVision（ECCV），第41-54页[37] Zewei Wang，Dapeng Zhao，Xin Liu，Chuanxu Chen和Xibing Li.日本俯冲带的P和s波衰减层析成像地球化学，地球物理学，地球系统，18（4）：1688[38] Shih-En Wei，Varun Ramakrishna，Takeo Kanade，andYaser Sheikh.卷积姿势机器。在IEEE计算机视觉和模式识别会议上，第4724- 4732页[39] 谢 赛 宁 、 涂 卓 文 。 整 体 嵌 套 边 缘 检 测 。 在 IEEEInternational Conference on Computer Vision ， 第 1395-1403页[40] 严琼，李旭，石建平，贾佳雅。分层显著性检测。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第1