基于线性跨度网络的物体骨架检测

基于线性跨度网络的物体骨架检测刘畅 *、魏可*、秦飞、叶其祥（）中国科学院大学，中国{liuchang615，kewei11}@ mails.ucas.ac.cn，{fqin1982，qxye}@ucas.ac.cn抽象。鲁 棒的目标骨架检测需要探索丰富的代表性视觉特征和有效的特征融合策略。在本文中，我们首先重新访问HED的实施，其基本原理可以用线性重建模型来理想地描述在此基础上，本文提出了线性跨度网络（Linear Span Network，LSN），引入线性跨度单元（Linear Span Units，LSUs）以减小重构误差。LSN除了利用特征线性跨度之外，还利用子空间线性跨度来提高卷积特征的独立性和特征集成的效率，从而增强了拟合复杂地面实况的能力。结果表明，该方法能有效地抑制背景噪声，重建目标骨架。实验结果验证了国家的最先进的性能所提出的LSN。关键词：线性跨度框架，线性跨度单元，线性跨度网络，骨架检测1介绍骨架是最具代表性的视觉属性之一，它用紧凑而信息丰富的曲线来描述物体。这些曲线构成了对象形状的连续分解[13]，为对象表示和识别提供了有价值的线索。对象骨架可以转换为描述性特征和空间约束，其执行人体姿势估计[22]、语义分割[20]和对象定位[8]。多年来，研究人员一直在利用代表性的CNN进行骨骼检测和提取[5，24，18，17]。最先进的方法植根于有效的多层特征融合，其动机是低级特征关注详细结构，而高级特征具有丰富的语义[5]。作为一项开创性工作，整体嵌套边缘检测（HED）[24]被计算为逐像素分类问题，而不考虑多层特征之间的互补性。 其他最先进的方法，例如，融合标度相关深侧输出（FSDS）[18，17]和侧输出残差网络* 表示平等缴款。源代码可在https://github.com/LinearSpanNetwork上公开获得。2C. Liu和W. Ke等人Y3HEDLSN隐藏层输出层输出空间1跨度（1）=12Span（）=22跨度（3）= 3Fig. 1.整体嵌套边缘检测（HED）网络[24]和线性跨度网络（LSN）的比较。HED使用卷积特征，而不考虑它们的互补性。HED的输出空间的并集很小，表示为粉红色区域。作为改进的解决方案，LSN跨越大的输出空间。(SRN)[5]研究了多层关联问题。FSDS需要对每个骨架点的尺度进行密集的注释，而SRN则努力追求相邻层之间的互补性，而没有完整的数学解释。如何原则性地发掘和融合更有代表性的特征，这一问题还有待进一步阐述。通过分析，它是揭示HED处理的骨架检测作为一个逐像素的分类问题，从卷积网络的侧输出。在数学上，该架构可以通过将卷积特征图视为线性基并且将1× 1卷积核值视为权重来利用线性重构模型进行均衡在线性跨度理论[6]的指导下，我们形式化了一个线性跨度框架，用于对象骨架检测。利用该框架，HED的输出空间可以具有交叉点，因为它未能优化彼此约束的子空间，图1B。1.一、为了解决这个问题，我们根据这个框架设计了线性跨度单元（LSU），它将被用来修改卷积网络。所得到的网络被命名为线性跨度网络（LSN），它包括特征线性跨度，分辨率对齐，和子空间线性跨度。该架构将增加卷积特征的独立性和特征整合的效率，其被示出为较小的交集和较大的并集，图1B。1.一、因此，可以增强拟合复杂地面实况的能力通过以由深到浅的方式堆叠多个LSU， LSN捕获丰富的对象上下文和高分辨率细节，以抑制杂乱的背景并重建对象骨架。该文件的贡献包括：- 揭示对象 骨架检测问题 的本质的线性 跨度框架， 并提出可以通过增加跨度集的独立性和扩大的跨度输出空间来实现潜在的性能增益。Y31 22Y313213211 ≈1+2 ≈1+2+3 ≈1≈2≈3≈线性跨度网络3-线性跨度网络（LSN）可以在线性跨度框架的指导下向用于对象骨架检测的优化架构演进。2相关工作早期的骨架提取方法将骨架检测视为形态学操作[12，25，14，9，7，23，11]。一个假设是对象骨架是连接超像素中心点的线的子集[9]。可以使用可变形盘的序列从超像素探索这样的线子集以提取骨架路径[7]。在[23]中，骨架的一致性和平滑性用空间滤波器建模，例如。一种粒子滤波器，它将局部骨架段连接成连续曲线。最近，基于学习的方法被用于骨架检测。它是用多实例学习方法解决的[21]，它从一个像素包中提取真正的骨架像素。结构化随机森林用于捕获骨架模式的多样性[20]，其也可以使用子空间多实例学习方法[15]进行建模随着深度学习的兴起，研究人员最近将骨架检测制定为图像到掩模分类问题，方法是使用学习的权重以端到端的方式融合多层卷积特征。HED [24]学习逐像素分类器以产生边缘，其也可用于骨架检测。融合尺度相关的深侧输出（FSDS）[18]在给定尺度相关的地面实况的情况下学习多尺度骨架表示。侧输出残差网络（SRN）[5]利用输出残差单元来拟合对象对称性/骨架地面实况与多个卷积层的侧输出之间的误差。关于如何融合多层卷积特征以生成输出掩码的问题，例如：对象骨架已经被广泛研究。然而，现有的方法几乎没有调查的问题，线性独立的多层功能，这限制了他们的代表能力。我们的方法的目标是探索这个问题从线性跨度理论的角度来看，通过特征线性跨度的多层功能和子空间的线性跨度的跨越的子空间。3问题公式化3.1反思HED在本文中，我们重新审视了HED的实现，并揭示了HED及其变体都可以由线性跨度理论[6]来表示。HED利用具有深度监督的完全卷积网络进行边缘检测，这是典型的低级图像到掩模任务之一。将卷积特征表示为具有m个映射的C并且将分类器表示为w，HED被计算为逐像素分类问题，如下Σmyj=k=1wk·ck，j，j=1，2，···，|Y |、（1）4C. Liu和W. Ke等人y211133塞济岛3茨i1y1112(a) 非独立线性跨度图二.具有一组相关向量（a）和独立向量（b）的线性跨度的示意图。其中ck，j是第k个卷积映射上的第j个像素的特征值，并且yk，j是输出图像Yk中的第j个像素的特征值。毫不奇怪，这可以等同于线性重建问题，因为ΣmY=k=1λk vk，（2）其中λk是线性重构权重，并且vk是C中的第k个特征图。我们将HED的每个侧输出作为线性跨距中的特征向量子空间Vi=span（Vi，Vi，···，Vi），其中i是卷积的索引，1 2m阶段然后HED迫使每个子空间Vi近似地面实况空间Y。我们使用三个卷积层作为示例，它们生成子空间V1、V2和V3。然后，子空间和地面实况空间之间的关系可以被示出为图1中的3维空间中的线。第2段（a）分段。由于HED没有优化彼此约束的子空间，因此它未能探索每个子空间的互补性以使它们去相关。重建可以被公式化为V1≈ Y2005年2月。（三）V3≈Y当v1、v2和v3线性相关时，它们仅具有在平面中重构向量的能力。也就是说，当点Y在平面外时，重建误差几乎不被消除。第2段（a）分段。显然，如果v1、 v2和 v3线性无关，即，不在同一平面上，Fig. 2（b），重建工作可以大大减轻。为了实现这个目标，我们可以迭代地将重建公式化为V1≈ YV1+V2≈ YV1+V2+V3≈ Y .（四）线性跨度网络5观察到V2在V1的约束下被细化。V3也以类似的方式进行优化，目标是矢量去相关.子空间的和，即，V1+V2用深蓝色平面表示，V1+V2+V3用浅蓝色球体表示。第2段（b）分段。现在，推广Eq是非常简单的（4）至Σlk=1V k≈ Y，l = 1，2，···，n.（五）HED的变体Σ之一，即，SRN，可以理解为一种特殊的Eq的情况(5)与lk=l−1Vk≈ Y，已经显示出有效性。3.2线性跨度视图基于上一节的讨论，我们现在可以严格地制定一个基于线性跨度理论的数学框架[6]，它可以用来指导线性跨度网络（LSN）的设计朝着优化的架构。在线性代数中，线性跨度被定义为通过一组向量或一组子空间构造线性空间的过程。定义1. Y是R上的线性空间。集合{v1，v2，…v m} Y是Y的生成集，如果Y中的每个y都可以表示为v1，v2，.的线性组合， v m，asΣmy=k=1λ k v k，λ1，…，λ m∈ R，（6）并且Y = span（{v1，v2，...，v m}）。定理1. 设v1，v2，…v m是Y中的向量。然后{v1，v2，…v m}跨越Y当且仅当，对于矩阵F=[v1v2…v m]，则线性系统Fλ=y对Y中的每个y都是相容的.注1. 根据定理1，如果线性系统对于线性空间中的几乎每个向量都是相容的，则该空间可以用线性张成空间来近似。该定理揭示了LSN的原理，其追求如上所述的线性系统，建立尽可能多的地面实况。定义2. 跨越Y且线性独立的向量的有限集合称为Y的基。定理2. 每个线性无关的向量集合{v1，v2，...，在有限维线性空间Y中的一个有限维线性空间{v，m }可以完备到Y的一个基。定理3. 每个子空间U在Y中有一个补，即另一个子空间V，使得Y中的向量y可以唯一地分解为y = u + v，u在U中，v在V中。（七）定义3. Y被称为其子空间V1，…，如果每个y在Y中可以表示为y= v1+… + v m，v jin V j.（八）6C. Liu和W. Ke等人备注2. 我们称特征映射到子空间的生成为特征线性生成，称子空间的和为子空间线性生成。由定理2和定理3，我们证明了子空间的生成集的并是子空间的和的生成集。也就是说，在子空间的线性生成中，我们可以逐步合并子空间的生成集，构造一个更大的空间。定理4. 设Y是有限维线性空间，U和V是Y的两个子空间，使得Y =U + V，W是U和V的交集，即，W=U∩V. 然后dimY = dim U + dim V − dim W（九）第三条 由定理4可知，两个子空间的交的维数越小，两个子空间的和的维数越大。然后，通过监督从深到浅依次生成子空间它增强了卷积特征的代表能力，并以更有效的方式集成4线性跨度网络在该框架的帮助下，线性跨度网络（LSN）的设计与HED和SRN相同的目标，即。对象骨架检测问题。根据线性重构理论，首先定义了一种新然后，使用LSU和备注1-3中的提示从VGG-16 [17]更新选择VGG-16是为了与HED和SRN进行公平比较下面介绍了LSU和LSN的实现4.1线性跨度单位线性跨度单元（LSU）的结构如图所示3，其中每个特征图被认为是一个特征向量。输入特征向量通过连接（concatenation，简称concat）操作统一，如MC=concat（ck），（10）k=1其中c，k是第k个特征向量。为了计算特征向量的线性组合，采用具有1× 1×m卷积核的卷积运算：si= Σmk=1λk，i·ck，i=1， 2，···，n，（11）其中λk，i是第i个重构输出的具有k个元素的卷积参数LSU将在生成的子空间中生成n个特征向量线性跨度网络71x1ConvMn2混凝土层CS1切片层m−11线性量程单元（LSU）图3.第三章。线性跨度单元，用于特征线性跨度和子空间线性跨度。在LSU中，线性重构操作由级联层和1× 1卷积层实现通过输入特征向量。切片层被进一步用于针对不同的连接将它们分开，其被表示为[ni=1s i= slice（S）。（十二）4.2线性跨度网络结构LSN的架构如图所示。4，其由三个组分组成，即、特征线性跨度、分辨率对齐和子空间线性跨度。具有5个卷积级的VGG-16网络[19]被用作骨干网络。在特征线性跨度中，LSU用于根据等式（1）来跨度每个阶段的最后一层的卷积特征。11.监督被添加到LSU的输出，使得跨越的子空间近似于地面真实空间，遵循注释1。如果仅利用特征线性跨度，则LSN降级为HED [24]。然而，HED中的子空间分别适合地面实况空间，因此无法在子空间之间解相关生成集。根据注2和注3，我们提出进一步利用子空间的线性跨度来扩大子空间的和，从而解决解相关问题。由于矢量在不同子空间中的分辨率变化较大，简单的上采样操作会引起马赛克效应，在子空间线性跨度上产生毫无疑问，对LSN进行分辨率校准是因此，在图中。4、在任何两个相邻层之间铺设LSU，并进 行 监督。作为子空间线性展成的预处理部分输出具有相同分辨率的特征向量。子空间线性跨度也由LSU实现，LSU进一步从深层到浅层连接特征向量，并利用等式（1）跨越子空间。（五）、根据注3，利用逐步策略来探索子空间的互补性由于LSU上附加了损失层，它不仅扩大了不同卷积层所跨越的子空间的总和8C. Liu和W. Ke等人VGG-16数据损失Conv1-2损 失损 失损失Conv2-2损 失损 失损失损 失损 失损失子空间线性跨度Conv3-3Conv4-3损失损失线性跨度单位卷积层池化层上采样图层Conv 5 -3损失不同的颜色表示不同的线性跨度轨迹要素线性跨度分辨率对齐图4.第一章所提出的线性跨度网络（LSN）的架构，它利用线性跨度单元（LSU）来实现特征线性跨度，分辨率对齐和子空间线性跨度的三个组成部分。特征线性跨度使用卷积特征来构建子空间。在分辨率校准中，LSU被重新用于统一多个级之间的分辨率子空间线性跨度总结子空间以拟合地面实况空间。而且使不同子空间的生成集的并集通过这种架构，LSN加强了卷积特征的代表能力，以适应复杂的地面实况。5实验5.1实验环境数据集：我们在耻骨骨骼数据集上评估了拟议的LSN，包括SYMMAX[21]，WH-SYMMAX [15]，SK-SMALL [18]，SK-LARGE [17]和Sym-PASCAL[5].我们还评估了BSDS500数据集[1]上的LSN边缘检测，以验证其通用性。SYMMAX源自BSDS 300 [1]，其中包含200/100个训练和测试图像。它在前景和背景上都用局部骨架注释。WH-SYMMAX是为物体骨架检测而开发的，但只包含裁剪过的马图像，对一般物体骨架检测不够全面。SK-SMALL包含约16类对象的骨架，包含300/206个训练和测试图像。在SK-SMALL的基础上，SK-LARGE扩展到746/745训练和测试图像。Sym-PASCAL源自PASCAL-VOC-2011分割数据集[4]，其中包含14个对象类，648/787张图像用于训练和测试。BSDS500 [1]数据集用于评估LSN的边缘检测性能。该数据集由200张训练图像，100张验证图像，线性跨度网络9和200个测试图像。每个图像平均由五个人手动注释。对于训练图像，我们保留由至少三个人类注释者注释的正面标签。评价方案：使用查准率召回曲线（PR曲线）来评估检测方法的性能。利用不同的阈值，输出骨架/边缘掩模被二值化。通过将掩模与地面实况进行比较，计算精确度和召回率。对于骨架检测，使用F度量来评估不同检测方法的性能，这是通过整个数据集上的最佳阈值来实现的，如F=2 PR。（十三）P+R为了评估边缘检测性能，我们使用三个标准度量[1]：为整个数据集（ODS）或每个图像（OIS）选择最佳尺度时的F度量，以及平均精度（AP）。超参数：对于骨架和边缘检测，我们使用VGG16[19]作为骨干网络。在学习过程中，我们将mini-batch大小设置为1，每个输出层的loss-weight为1，动量为0.9，权重衰减为0.002，初始学习率为1 e-6，每10，000次迭代减少一个数量级5.2LSN实施我们评估了四个LSN架构的子空间线性跨度和验证的迭代训练策略。LSN架构。如果没有子空间线性跨度，图。在图4中，LSN被简化为HED [24]，其被表示为LSN 1。LSN 1的F-测量值为49.53%。当相邻的两个子空间被跨越时，它被表示为LSN 2，这与SRN [5]相同LSN2比HED具有特征线性跨度但没有子空间跨度的性能有显著的提高我们比较了不同数量的子空间被跨越的LSNs，并实现了最佳的F-措施的66.82%。当子空间数目增加到4时，骨架检测性能下降。下面解释了为什么LSN 3是最佳选择。如果要跨越的子空间不够，则不能有效地探索来自不同层的卷积特征的互补性。相反，如果LSU融合具有大尺度分辨率差异的特征层，则其需要使用多个上采样操作，这使特征劣化。虽然分辨率对齐显著缓解了问题，但LSU中要融合的相邻特征层的数量仍然是一个实际的选择。LSN3通过融合相邻的高分辨率层和低分辨率层获得了最好的性能，一方面LSN3的子空间组使用了更多的特征集成。另一方面，在2倍上采样操作之后没有那么10C. Liu和W. Ke等人表1.不同LSN实现在SK-LARGE数据集上的性能。融合较高分辨率的相邻层和较低分辨率的相邻层的LSN 3报告了最佳性能。架构F-测量（%）LSN 1（HED，仅功能线性跨度）49.53LSN 2（SRN、特征和2-子空间线性跨度）65.88LSN 3（LSN、特征和3-子空间线性跨度）66.15LSN 4（LSN、特征和4-子空间线性跨度）65.89表2.不同训练策略的表现。无RAend-to-enditer1iter2iter3F-测量值（%）66.1566.6366.8266.7466.68培训战略。在跨越三个要素层的情况下，LSN需要从最深到最浅对侧输出要素层进行上采样。我们使用监督上采样来统一特征层的分辨率在训练期间，还通过堆叠LSU来实现分辨率对准我们提出了一种策略，训练两种线性跨度，即。特征线性跨度与分辨率对齐和子空间线性跨度，迭代。在第一次迭代中，我们使用ImageNet上预训练的VGG模型调整LSU参数以进行特征线性跨度和分辨率对齐，并更新卷积参数。在保持分辨率对齐的LSU参数不变的情况下，利用新模型对特征线性跨度和子空间线性跨度的LSU参数进行了在其他迭代中，在前一迭代的快照上微调模型。利用该训练策略，骨架检测性能从66.15%提高到66.82%，表2。当使用更多的迭代时，因此，我们在所有实验中使用单次迭代（iter1）。LSUEFFECT。 IinFig. 5中，我们使用来自SK-LA R G E的一个girafe的skel et作为示例来比较和分析HED [24]、SRN [24]和LSN学习的特征向量（基）。在图5（a）和（c）中，我们分别将HED [24]和所提出的LSN学习的特征向量可视化。在第一列中可以看出，HED的剩余物具有更大的缓冲区和更好的卫生效果。这表明所提出的LSN可以更好地跨越输出特征空间。图在图5（b）和（d）中，我们分别对SRN [5]和所提出的LSN学习的子空间向量在第一列中可以看出，SRN它需要通过使用残差重建过程来抑制相比之下，LSN的子空间向量更加清晰和紧凑。这充分说明线性跨度网络110.20.40.1(a) HED的特征线性跨度（b）SRN(c)按LSN的特征线性跨度（d）按LSN的图五、HED [24]、SRN [5]和LSN的输出特征向量的比较（从左到右以从深到浅的方式列出结果通过比较（a）和（c）、（b）和（d），可以看出LSN可以学习更好的特征向量和子空间（基）以跨越输出空间。它加强了卷积特征的代表性能力，以适应具有有限卷积层的复杂输出。LSN可以更好地跨越输出空间并增强卷积特征的代表性，这将缓解用有限的卷积层拟合复杂输出的问题。5.3性能与比较10.80.60.40.200 0.2 0.4 0.6 0.81召回表3. SK-LARGE数据集上的性能比较。†GPU时间。方法F-measure Runtime/s林德伯格[11] 0.270 4.05Levinshtein[9] 0.243 146.21李[7] 0.255 609.10MIL[21] 0.293 42.40[24] 0.495 0.05†SRN [5] 0.655 0.08†LMSDS [17] 0.649 0.05†LSN（我方）0.6680.09†见图6。SK-LARGE上的PR曲线0.1[F=.668] LSN[F=.655] SRN[F=.649] LMSDS[F=.497] HED[F=.353] MIL[F= 0.270]林德伯格[F= 0.255]李[F=.243]莱文施泰0.20.1精度12C. Liu和W. Ke等人骨架检测。对所提出的LSN进行了评估，并与最先进的方法进行了比较，性能如图所示5和表3。SRN的结果[5]是 通 过 在 一 台 80GPU 计 算 机 上 运 行 所 有 的 程 序 代 码 而 得 到的，其它结果由[17]提供。传统的方法包括Lindeberg [11]，Levinshtein [9]和Lee [7]，在不使用任何学习策略的情况下产生骨架掩模它们是耗时的并且分别实现27.0%、24.3%和25.5%的非常低的F-测量。典型的学习方法，即，多实例学习（MIL）[21]，实现了29.3%的F-测量。该算法提取多方向、多尺度的像素级特征，平均耗时42.40秒，能够将单幅图像中的骨架像素从背景中区分出来。与传统方法相比，基于CNN的方法实现了巨大的性能增益。HED[24]实现了49.5%的F-测量，并使用0.05秒来处理图像，而SRN [5]实现了64.9%，并使用0.08秒标度相关多任务方法LMSDS [17]实现了64.9%的性能，该性能基于具有像素级标度注释的HED。与HED和SRN相比，我们提出的LSN具有66.8%的最佳检测性能，并且运行时成本略高实验结果表明，特征线性跨度是一种有效的骨架检测方法。如上所述，HED和SRN是LSN的两种特殊情况在每个跨度单元中使用三个跨度层的LSN是比最先进的SRN更好的选择。一些骨架检测结果如图所示。7.结果表明，HED产生大量的噪声，而FSDS是不光滑的。比较SRN和LSN，可以看出，LSN纠正了如第一列和第三列所示的一些误报，并重建了如第六列所示的驳回。表4.在公共WH-SYMMAX [15]，SK-SMALL [18]，SYMMAX [21]和Sym-PASCAL [5]数据集上进行最新方法的性能比较。WH-SYMMAXSK-小号SYMMAXSym-PASCAL莱文施泰因[9]0.1740.217–0.134李[7]0.2230.252–0.135林德伯格[11]0.2770.2270.3600.138粒子滤波器[23]0.3340.226–0.129MIL [21]0.3650.3920.3620.174HED [24]0.7430.5420.4270.369FSDS [18]0.7690.6230.4670.418SRN [5]0.7800.6320.4460.443LSN（我方）0.7970.6330.4800.425建议的LSN还在其他四个常用数据集上进行了评估，包括WH-SYMMAX[15]，SK-SMALL [18]，SYMMAX [21]和Sym-PASCAL线性跨度网络13HEDFSDSSRNLSN（我们的）GT图7.第一次会议。通过包括HED [24]、FSDS [18]、SRN [5]和LSN的最新方法进行的骨架检测示例红色框是假阳性或在SRN中被忽略，而蓝色框是LSN中相同位置处的正确重建骨架。(Best以放大的颜色查看。）[5] 的 文 件 。 F- 测 量 示 于 表 4 中 。 与 SK-LARGE 相 似 ， LSN 在 WH-SYMMAX，SK-SMALL和SYMMAX上实现了最佳检测性能，F-测量为79.7%，63.3%和48.0%。它实现了5.4%，8.1%和5.3%的性能增益相比，HED和1.7%，0.1%和2.4%的增益与SRN的兼容性。在Sym-PASCAL上，LSN实现了与44.3%采用最先进的SRN。边缘检测。边缘检测任务具有与skele-ton类似的实现，其区分像素是否属于边缘。它也可以通过卷积特征图来重建。 在本节中，我们将所提出的LSN的边缘检测结果与一些其他最先进的方法进行比较，例如Canny [2]，Sketech Tokens [10]，Structured Edge（SE）[3]，gPb[1]，DeepContour [16]，HED [24]和SRN [5]。8和表5。在图8中，示出了最好的常规方法是具有0.739的F-度量（ODS）的SE，并且所有基于CNN的方法都实现了好得多的检测性能。HED是基线深度学习方法之一建议的LSN报告的最高F-措施的0.790，这有一个非常小的差距（0.01），以人类的表现。具有针对每个图像（OIS）的最佳尺度的F-测量为0.806，其甚至高于人类表现，表5。所提出的LSN的良好性能表明其一般适用于图像掩模任务。14C. Liu和W. Ke等人10.90.80.70.60.50.40.30.20.1000.10.20.30.40.50.60.70.80.9 1召回表5. BSDS500边缘检测数据集上的性能比较。† GPU时间。梅霍兹ODSOISAPFPS卡妮[2]0.590 0.620 0057815ST [10]0.721 0.739 0.7681gPb [1]0.726 0.760 0.727 1/240[第16话0.739 0.759 0.792 2.5DC [16] 0.757 0.776 0.790 1/30†HED [24] 0.780 0.797 0.814 2.5†SRN [5] 0.782 0.800 0.779 2.3†LSN（我方）0.790 0.806 0.6182.0†图8. BSDS 500边缘检测数据集上的PR曲线人类0.800 0.8006结论骨架是最具代表性的视觉属性之一，它用紧凑而信息丰富的曲线来描述物体。在本文中，骨架检测问题被配制成一个线性重建问题。因此，一个通用的线性跨度框架骨架检测已提出正式的数学定义。我们探索线性跨度单位（LSU）来学习基于CNN的掩码重建模型。使用LSU，我们实现了三个组件，包括特征线性跨度，分辨率对齐和子空间线性跨度，并将整体嵌套边缘检测（HED）网络更新为线性跨度网络（LSN）。利用特征线性跨度，地面真值空间可以由线性跨度输出空间来近似。利用子空间线性张成，不仅可以增加子空间张成集之间的独立性，而且可以扩大张成的输出空间。因此，LSN将具有更好的能力来近似地面真值空间，即，对杂乱的背景和规模。实验结果验证了所提出的LSN的最新性能，同时我们提供了一种学习更具代表性的卷积特征的原则性方法确认本工作得到了国家自然科学基金项目61671427和61771447，北京市科学技术委员会项目Z181100008918014的部分资助。[F=.800]人[F=.790]LSN-BSDS 500[F=.782] SRN-BSDS 500[F=.780] hed-BSDS 500[F=.757] DeepContour-BSDS500[F=.739] SE-BSDS500[F=.726] gPb-BSDS500[F=.721] sketchtoken-small-BSDS500[F=.590] Canny-BSDS500精度线性跨度网络15引用1. Arbelaez，P.，Maire，M.，C.C.福克斯Malik，J.：轮廓检测和分层图像片段。IEEETrans.PattternAnal.Mach。我告诉你。33（5），8982. Canny，J.F.：边缘检测的计算方法。IEEE Trans. PatternA nal. Mach。我告诉你。8（6），6793. 做吧，P Zitni ck，C. L. ：Fasted etecti onustust IEEETrans. PattternAnal. Mach。 我告诉你。37（8），15584. Everingham，M. Gool，L.J.V.，威廉姆斯，C.K.I.，Winn，J.M.，齐瑟曼，A. ： PascalVisualObjectClasses （ VOC ） InternationalJournalofComputerVision88（2），3035. Ke，W.，陈杰，焦，J.，Zhao，G.，叶问：SRN：用于野外物体对称性检测 的 侧 输 出 残 差 网 络 。 In ： IEEE Conference on Computer VisionandPatternRecognition. pp. 3026. 拉克斯，P.：线性代数及其应用，卷。二、03 The Days（2007）7. Lee，T.S.H.，Fidler，S.，Dickinson，S.J.：检测弯曲对称零件可变形的椎间盘模型。IEEE International Conference on Computer Vision pp. 17538. Lee，T.S.H.，Fidler，S.，Dickinson，S.J.：学习结合中级提示生成目标提案。IEEE International Conference on Computer Vision pp. 16809. Levinshtein，A.，Sminchisescu，C.，Dickinson，S.J.：多尺度对称零件的检测与生成。Inter natinalJo ur nalofC〇mputerViso n104（2），11710. 我是J。J. Zitni ck，C. L.， 我会的，P。：Sketchtokens：用于轮廓和对象检测 的 Alearnedmid-levrertatin 。 In ： IEEEConferenceonComputerVisionandPatternRecognition. pp. 315811. Lindeberg ， T. ： 边 缘 检 测 和 脊 线 检 测 与 自 动 尺 度 选 择 。 InternalJournalofComuterVison30（2），11712. Saha，P.K.，Borgefors，G.，di Baja，G.S.：骨架化算法和图形化技术综述。PatternRe cognitio nLetters76，313. 塞巴斯蒂安，TB，Klein，P.N.，Kimia，B.B.：通过编辑形状的形状来识别形状。IEEETrans. PattternAnal. Mach。 我告诉你。26（5），55014. Shen，W.，Bai，X.，胡河王，H.，Latecki，L.J.：骨架生长和修剪与hebendigpotentialaratio。PatternRecognit i ti on44（2），19615. Shen，W.，Bai，X.，Hu，Z.，张志：基于局部随机投影树的自然图像局部反射对称性多实例子空间学习PatternRecognition52，30616. Shen，W.，王，X.，王玉，Bai，X.，张志：深轮廓：一种通过正共享损失 学 习 的 深 度 卷 积 特 征 ， 用 于 轮 廓 检 测 。 在 ： IEEEConferenceonComuterVisonandPater nRec o gniton中。pp. 398217. Shen，W.，赵，K.，江，Y.，王玉，Bai，X.，Yuille，A.L.：Deepskeleton：学习多任务规模相关的深侧输出，用于在naturlimages中提取对象骨架。IEEETrans. ImageProcessing26（11），52 9818. Shen，W.，赵，K.，江，Y.，王玉，张志，白X：通过融合尺度相关深侧输出在自然图像中提取对象骨架。在：IEEEConferenceonComuterVisonandPater nRec o gniton中。pp. 22219. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。arXiv abs/1409.1556（2014）16C. Liu和W. Ke等人20. T e o，C. L.， Ferrmülle r，C.， 我爱你Y 二维曲线反射对称结构的确定和分段。在：IEEE计算机视觉国际会议上。pp. 164421. Tsogkas，S.，科基诺斯岛：自然图像中基于学习的对称性检测。欧洲计算机视觉会议（2012）22. 魏，S.，Ramakrishna，V.，Kanade，T.，Sheikh，Y.：卷积姿势机器。I：IEEEConferenceonConputerVisionandPater nRec o gnition。pp. 472423. Widynski，N. Moevus，A.，Mignotte，M.：自然图像局部对称性检测的粒子滤波方法。IEEE Trans. Image Processing 23（12），530924. Xie ， S. ， 图 ， Z. ： 整 体 嵌 套 边 缘 检 测 。 在 ： IEEE 国 际 会 议 C 〇mputerVision5中。pp. 139525. 于志，Bajaj，C.L.：基于各向异性矢量扩散的灰度图像骨架化的无分割方法。在：IEEE计算机协会关于计算机和硬件的会议上。pp. 415