3892深层脆界王宇培1，2，赵欣1，2，黄凯琪1，2，3中国科学院脑科学与智能技术卓越中心wangyupei2014@ia.ac.cn;xzhao@nlpr.ia.ac.cn;kaiqi. nlpr.ia.ac.cn摘要边缘检测在深度卷积网络（ConvNet）的帮助下取得了重大进展。基于ConvNet的边缘检测器在标准基准上接近人类水平的我们提供了一个系统的研究，这些检测器的输出，并表明，他们未能准确地定位边缘，这可能是敌对的任务，需要清晰的边缘输入。此外，我们建议一种新的改进架构，以解决使用Con-vNet学习清晰边缘检测器的问题。我们的方法利用了自上而下的向后细化途径，并逐步提高了分辨率，图像PMIHED地面实况（一）0.850.80.750.70.650.60.55F1得分d d/2 d/4HED PMI人力（b）第（1）款特 征 图 来 生 成 清 晰 的 边 缘 。 我 们 的 研 究 结 果 在BSDS500上实现了有前途的性能，在使用标准标准时超过了人类的准确性，并且在使用更严格的标准时大大超过了最先进的方法我们进一步证明了清晰的边缘图估计光流和生成对象的建议的好处1. 介绍边缘检测是计算机视觉中一个公认的问题。在自然图像中找到感知上显著的边缘对于中级视觉很重要[27]。此外，边缘检测输出，在边界图方面，通常用于其他视觉任务，包括光流[30]，对象建议[2]和对象识别[6]。自从我们的社区采用基于学习的方法以来，我们已经见证了边缘检测的重大进展[7]。特别是，最先 进 的 方 法 [39 ， 18] ， 如 整 体 边 缘 检 测 器 [39]（HED），利用深度ConvNet检测边缘，在标准数据集（如BSDS 500 [1]）上实现了人类水平的性能。边缘检测是一个已解决的问题吗？在图1（a）中，我们显示了人类标记边缘的可视化，与HED（当前最先进的）和PMI（旨在准确定位边缘）的输出进行了比较。虽然HED结果具有更高的分数，但是边缘图的质量图1. （a）利用输入图像和地面实况边缘对PMI [14]和HED[39]的边缘图进行可视化;（b）性能（在左侧图像上）随着匹配距离的减小而下降。距离越近，PMI和HED之间的差距越小，HED和人类之间的差距越大。这些结果表明，HED的边缘没有很好地与图像边界对齐。在本文中，我们试图提高基于Con-vNet的边缘检测器的定位能力。较少的模糊边缘是模糊的，并且不粘到实际的图像边界。精确的边缘检测器必须在边缘的“正确性”（区分边缘和非边缘像素）和边界的“清晰度”（精确定位边缘像素）之间进行平衡[14]。在基准测试过程中，我们可以通过减少匹配地面真实边缘时的最大允许距离来捕获当我们收紧评估标准时，F1分数急剧下降（见图1（b））。定性和定量的结果都表明，来自ConvNet的边缘图是高度“正确”的，但不那么“清晰”-边缘没有很好地定位。这个问题深深植根于现代ConvNet架构[19]。首先，特征的空间分辨率在更具区分性的顶层中急剧降低，导致边缘的模糊输出。其次，全卷积架构鼓励相邻像素的类似响应，因此可能无法产生薄边缘图。如此厚重而模糊的边缘图3893可以对抗其他视觉任务[14]。例如，最近的光流方法[29，30]需要准确和清晰的边缘输入来内插稀疏匹配结果，因此可能具有模糊边缘的次优性能。我们解决了这个具有挑战性的问题，学习一个清晰的边缘检测器使用ConvNet，并寻求提高本地化能力的HED。为此，我们提出了一种新的细化架构，灵感来自于最近在密集图像标记[28，32]方面的进展。我们的方法为边缘检测网络配备了自上而下的向后细化路径，该路径使用有效的子像素卷积逐步提高特征图的分辨率[32]。细化路径为网络增加了额外的非线性，进一步降低了相邻像素内边缘响应之间的相关性。我们的方法在BSDS 500上取得了令人鼓舞的结果，在使用标准标准时超过了人类的表现，在使用更严格的评估标准时大大优于最先进的方法。我们还证明了清晰的边缘的光流和对象的建议的好处。因此，我们的贡献归纳为三个部分。• 我们对ConvNet中的边缘映射进行了系统的研究。我们表明，ConvNet是很好的分类边缘像素，但具有较差的定位能力。• 我们将细化方案[28]与子像素卷积[7]结合到一个新的架构中，该架构专门用于学习清晰的边缘检测器。• 我们在BSDS 500上的结果在所有匹配距离上都优于最先进的方法。我们还表明，清晰的边缘图可以提高光流估计和对象提案生成。我们组织我们的文件如下。第2节回顾了边缘检测的相关工作第3节介绍了我们对ConvNet边缘映射的研究。第4节详细介绍了我们的方法。最后，第5节展示了实验结果。2. 相关工作关于边缘检测的经典问题有大量的文献全面的调查超出了本文的范围。在本节中，我们只回顾了相关作品的一个子集早期的边缘检测器是手动设计的，用于发现强度和颜色的不连续性[11，5，12]。Martin等人[27]发现添加纹理梯度显著提高了性能。最近的作品探索基于学习的边缘检测方法。Doll a'r等人。[7]提出了一种数据驱动的监督边缘检测器，其中检测被视为一个密集的二进制标记问题，其特征收集在局部补丁中。许多mod-[22]提出将人类生成的轮廓聚类成所谓的草图令牌。然后，他们学习一个随机森林，将本地补丁映射到这些令牌，用于重新组装本地边缘。这个想法被Dol la'r和Zitnick进一步扩展。提出了同时学习聚类和映射的结构化随机森林Ren和Bao[38]结合了从稀疏编码和支持向量机（SVM）中学习的特征进行边缘检测。他们的方法可以被认为是一个两层神经网络。深度ConvNet最近的成功极大地提高了边缘检测的性能。 Xie和Tu [39]提出将完全卷积网络[24]与深度监督[20]相结合。 他们的方法使用跳跃层连接从不同尺度杠杆化特征，并取得了优异的性能（与人类水平的差距在2%以内）。Kokkinos[18]通过添加多实例学习，更多的训练样本和全局分组步骤进一步扩展了HED。他们的结果已经超过了人类在BSDS 500上的表现，尽管有更多的训练图像。 此外，Maninis et al.[25]建议对边缘的方向进行Li等人[21]提出了一种用于边缘检测的无监督学习管道。然而，这些结果往往强调的事实上，当评估标准收紧时，性能急剧下降。相比之下，我们的方法建立在HED的基础上，并试图提高其定位能力。我们的方法的动机是Isola等人。[14]第10段。他们提出了一种基于逐点相互信息的亲和度度量然后使用这种亲和性与谱聚类检测边缘。 我们有着相同的目标，设计一个清晰的边缘检测器，但我们的方法和设置是完全不同的。更确切地说，我们采用基于学习的方法，使用ConvNet获得清晰的边缘。最后，我们的方法是灵感来自Pinheiro等人。[28]，其中提出了用于分割对象的细化架构我们的方法采用[28]的自顶向下路径来标记边缘的稀疏二进制我们还将双线性插值（反卷积）替换为子像素卷积[32]，这对于生成更好的局部化，锐利的边缘输出至关重要。3. ConvNet的厚边界我们首先查看HED [39]的输出边缘图，HED是最近使用Con- vNet的成功边缘检测器。HED在网络的不同层预测边缘置信度，从而产生一组边缘图。由于网络中的连续池化操作，这些映射被下采样。因此，它们被进一步上采样以适应输入ern边缘检测器遵循这种范例，更先进的学习方法。 例如，Lim et十四3个像素，分辨率为321 ×4813894输入图像放大（一）ODS地面实况HED（NMS之前）4. 使卷积边界清晰我们如何从ConvNet制作清晰的边缘图？我们从分析HED的体系结构开始。与现代ConvNets一样，由于池化操作，更具鉴别力的顶层的空间分辨率HED进一步在具有不同分辨率的层上附加线性分类器，并且使用双线性插值（实现0.850.803以将它们的输出上采样为原始的分辨率 这种设计有两个主要问题。 第一，线性0.80.750.70.650.60.55d d/2 d/4（b）第（1）款HED人类全卷积体系结构内的分类器在相邻像素处产生类似的响应因此，难以将边缘像素与其相邻像素区分开。更重要的是，上采样进一步模糊了边缘图。因此，需要架构修改以生成清晰的边缘图。在本节中，我们提出了一种新颖的架构，以解决设计清晰边缘检测器（CED）的挑战性问题 我们的方法通过向后细化路径补充HED网络，该路径使用有效的子像素卷积逐步上采样特征[32]。 CED能够生成边缘图，图2. (a)HED生成的厚而嘈杂的边缘图[39]非最大抑制前（NMS）;（b）HED和人类跌落的最佳数据集评分（ODS），其中在BSDS 500测试集上具有减小的匹配距离。然而，HED和人类之间的性能差距从2. 3%至4。7%，距离从d减小到d/4。通过双线性内插和平均来产生最终的边缘图。我们在图2（a）中显示了边缘图的示例。 虽然探测器达到了0的情况。78，边缘图的视觉质量不令人满意。边缘看起来模糊且有视觉缺陷。为什么这样一个模糊的边缘图会在基准测试中获得高分？标准评估[1]迭代所有置信度阈值，并使用二分图匹配来匹配二值化边缘图与地面实况边缘。匹配由最大允许距离d控制。未对齐的边缘像素仍然被认为是正确的，只要它到最近的地面实况的距离小于d个像素。使用乐观的d，即使边缘稍微移动，我们也可以获得好的分数。事实上，边缘检测必须在边缘的“正确性”（区分边缘和非边缘像素）和边界的“清晰度”（精确定位边缘像素）之间进行平衡[14]。 清晰的边缘可能对其他视觉任务至关重要，例如光流或图像分割。“Crispness”can be measured by decreasing 随着d的减小，人类的表现逐渐下降，如图2（b）所示。然而，HED输出示出了更剧烈的下降，指示HED边缘没有很好地与实际图像边界对准。这与我们对边缘图的目视检查一致。更好地与图像边界对齐。我们介绍了CED的详细信息，并解释了我们的设计选择。4.1. 体系结构概述图3显示了CED的概述，其中包括两个主要组成部分：前向传播路径和后向精炼路径。前向传播路径类似于HED。它生成一个高维低分辨率的特征图，具有丰富的语义信息。后向细化路径将特征图与沿着前向传播路径的中间特征融合。该细化由细化模块多次完成。每次我们使用子像素卷积将特征分辨率增加一个小因子（2x），最终达到输入分辨率。我们的网络的详细信息将在以下小节中详细阐述。4.2. 细化模块跳层连接为HED提供了使用不同层的特征来寻找边缘的重要能力[39]。HED简单地平均来自所有侧输出层的独立预测。我们认为这不是一个好的设计，因为它没有探索ConvNet的分层特征表示。为了更好地融合多层特征，我们引入了具有细化模块的向后细化路径，类似于[28]。请注意，我们检测稀疏边缘的任务与[28]中的分割对象有很大不同。因此，直接应用[28]中的相同模块会导致次优性能。细化模块被重复多次以逐步增加特征图的分辨率。其关键思想是使用0.780.7310.6960.6250.5783895ℎ8× 8ℎ1616×′′′Wℎ22×ℎ44×ℎ44×ℎ44×ℎ44×ℎ44×ℎ44×′ ℎ子像素卷积′“+”ℎ′ℎ22×ℎ44×ℎ22×ℎ44×H标签损失预测模块细化模块细化模块细化模块ℎℎ′ ℎ1“+”′ℎ′× ℎ× ℎ× ℎ× ℎ× ℎ× ℎ× ℎℎ8× 8× ℎ池化卷积ReLU卷积上采样卷积周期洗牌图3.Crisp Edge Detector（CED）我们添加了一个向后改进的路径，它逐渐增加了特征图的分辨率我们的细化模块融合了自上而下的特征映射与前向传递的特征映射，并使用子像素卷积对映射进行上采样该架构专门设计用于生成与图像边界对齐的边缘图。中间特征图。模块的详细结构如图3的底部所示。每个模块将来自后向路径的自上而下的特征图与来自前向路径中的当前层的特征图融合，并进一步通过小因子（2x）对图进行上采样，然后将其传递到路径。该模块中有两个核心组件，即融合和上采样。融合：一个简单的融合策略是直接连接两个特征图。然而，这是有问题的，因为它们具有不同数量的特征通道。直接连接的功能的风险淹没了较低维的信号。与[28]类似，我们通过降维来匹配两个映射之间的特征通道数量这是通过减少两个特征图的维度来完成的。然后，我们用相等的通道连接两个低维特征图。我们将输入前向通路特征图的通道数表示为kh。在卷积和′ReLU操作，通道减少到kh，比kh小得多。同样的行动也在从上一个细化模块到特征图′从ku中产生ku。 我们将上述功能连接起来映射到一个新的具有ku+kh通道的特征图，并通过一个3×3的卷积层将其减少到一个具有kd通道的特征图 因此，总体计算成本并且两个输入特征图是平衡的。上采样：在融合之后，我们的细化模块也将扩展特征图的分辨率。我们使用子像素卷积对融合特征图进行上采样[33]。子像素卷积不同于用于上采样的流行的反卷积[40，10，36]，是一种标准卷积之后是特征值的附加重新排列，称为相移。它有助于消除图像超分辨率任务中的块效应，并保持较低的计算成本。我们发现，使用亚像素卷积是很重要的，更好地定位边缘。假设我们有i个输入通道和o个期望的输出通道，卷积层的内核大小表示为（o，i，r，c），其中r和c分别代表内核宽度和内核高度。考虑到输出特征图的分辨率比输入特征图的分辨率大k倍，卷 积 解 卷 积 层 将 采用 的 核 大 小 为 （o ， i ， k×r ，k×c）。亚像素卷积由一个卷积层和一个后续相移层组成，而不是通过单个去卷积层直接输出放大的特征图卷积层的核大小为（o×k2，i，r，c），从而生成特征用0×k2个相同分辨率的特征通道映射然后我们应用相移来组装输出fea-将真实地图映射到具有o个要素通道但k个要素通道的要素地图以固定的顺序放大两倍的分辨率与[39]和[28]的关系：CED列入了HED[39]作为一种特殊情况，其中3x3卷积和ReLU被线性分类器取代，并使用渐进式上采样。 我们的方法不同于[28]因为我们用子像素卷积代替双线性插值。这使得一个更有表现力的模型具有少量的额外参数。我们的边缘检测任务也不同于[28]中的对象分割。4.3. 实现细节我们的实现基于HED [39]的公开代码，使用Caffe作为后端[15]。对于火车-ℎ44×ℎ22×ℎ44×′4′3896ing，我们用方法ODSOISAP预先训练的HED模型。 初始化其他图层HED.780.797.829具有固定均值的高斯随机分布（0. 0个）CED-w/o-Subpixel-w/o-Multi.793.811.838方差（0。01）。 超参数，包括CED-w/o-Multi.794.811.847设置初始学习率、权重衰减和动量CED-w/o-子像素.800.819.859到1e − 5，2e − 4和0。99，分别。CED.803.820.871对于后向细化路径，卷积核的数量对于顶层被设置为256此数量沿路径减少一半例如，第一、第二和第三自上而下细化模块将分别具有128、64和32由于特征图的分辨率在每次池化操作之后降低2倍，因此子像素卷积在每个细化模块中对输入特征图进行2倍上采样5. 实验我们进行了大量的实验，以基准CED。我们首先介绍我们的数据集和评估标准。我们的实验从网络结构的消融研究开始。我们进一步比较我们的最佳表现的方法与国家的最先进的边缘检测方法最后，我们将我们的方法插入到光流估计和对象建议生成中，并评估其对每个任务的好处5.1. 数据集和基准我们在广泛使用的Berke-ley Segmentation Dataset和Benchmark（BSDS 500）数据集上评估边缘检测器[27，1]。它包含200张用于训练的图像，100张用于验证，200张用于测试。每个图像都由多个注释器注释。我们使用训练集和验证集进行训练（类似于[39]），并在测试集上报告结果性能通过精确度/召回率曲线来衡量，该曲线捕获了准确性和噪声之间的权衡[27]。此外 ， 还 报 告 了 三 个 标 准 指 标 ： 固 定 轮 廓 阈 值（ODS）、每幅图像最佳阈值（OIS）和平均精度（AP）。我们的基准光流估计和对象pro-pronums生成方法，通过应用我们的边缘检测器。光流估计结果在MPISintel数据集[4]上报告，这是一个从动画序列中获得的具有挑战性的光流评估基准，我们使用具有照片真实感渲染的最终版本。与[30，21]类似，我们报告了光流估计训练集的平均端点误差（AEE）。我们在Pascal VOC 2012验证集（VOC 12 val set）上对对象提案生成进行基准测试[26]。在实例级别和类级别的平均Jaccard指数（平均最佳重叠）被报告用于评估，作为[2，16]中的相同度量。更准确地说，实例级别的Jaccard索引（Ji）是数据集中所有地面实况实例的平均最佳重叠（交集大于并集）类级别的Jaccard指数（Jc）是类c内的地面实况实例的平均值。表1. 不同网络架构设置下的BSD 500结果。CED-w/o-Multi是指没有多尺度测试的CED，类似于CED-w/o-Subpixel-w/o-Multi。5.2. 消融研究我们的第一个实验是测试CED的不同网络架构。我们使用原始HED[39]网络作为基线。我们训练了不同版 本 的 CED ， 有 或 没 有 子 像 素 卷 积 （ CED-w/o-Subpixel，使用反卷积代替）。这是为了证明亚像素卷积 的 有 效 性 。 值 得 注 意 的 是 ， CED 和 CED-w/o-Subpixel都是由相同的模型初始化的此外，我们测试了多尺度融合策略的评估。在这种情况下，测试图像被调整为三种不同的分辨率（1/2x，1x，2x），它们被独立地馈送到同一个网络中。最后，我们将三个输出边缘图调整为原始分辨率，并对它们进行平均以生成最终的边缘图。在训练中，我们采用修改后的一致性抽样策略[39]来防止有问题的收敛行为。如果一个像素被至少三个注释器标记为边缘，则该像素被赋予正标签。未被任何注释器标记的像素将其余的像素在训练过程中被忽略（通过阻止它们的梯度）。我们还通过旋转、裁剪和多尺度叠加来增强数据我们的结果总结在表1中。我们的细化模块在基线HED上提高了1%，子像素卷积进一步提高了1。4%，多尺度测试又增加了0。9%。我们的完整模型提高了ODS从0。780比0 803，略高于人类的0. 8027这些结果证明了CED的有效性。5.3. 边界检测我们在表2中进一步比较了CED的最佳性能版本与最先进的方法。图4示出了用于比较的所有方法的精确度-召回率曲线。在没有多尺度测试的情况下，CED已经在所有3种方法中取得了比最佳性能方法更好的结果[23]。结合多尺度测试，CED实现了进一步的改进，提高了1。1%，OIS为1。0%，AP为5。3%，与[23]。这个结果也超过了ODS 0的BSDS 500数据集上的人类基 准 。 8027 我 们 注 意 到 ， 目 前 的 记 录 来 自DeepBounaries[18]，它使用了额外的训练sam。3897图4. 使用标准评估标准在BSDS 500数据集上的不同方法的精确度/召回率曲线。CED接近DeepBouncement的最佳记录，它使用了额外的训练数据和后处理步骤。CED-VOC-aug简单地将训练数据作为DeepBoundary进行扩充，无需任何后处理，即可达到最佳效果。方法ODSOISAP人类.8027.8027-gPb-owt-ucm[1].726.757.696SE-Var[9].746.767.803PMI[14].741.769.799[34]第三十四话.756.776.756[17]第十七话.753.769.784海安会[35].756.776.787CSCNN[13].756.775.798DeepContour[31].757.776.790HFL[3].767.788.795HED[39].788.808.840[23]第二十三话.792.810.818[18]第十八话.813.831.866CED-w/o-Multi.794.811.847CED.803.820.871CED-VOC-aug.815.833.889表2.与BSDS500数据集上的最新技术进行比较ples（VOC中>10K图像）和全局分组的后处理步骤。在简单地使用VOC图像增强标准BSDS 500训练数据集之后[18]，没有任何后处理步骤，CED使用ODS 0给出了更好的结果。815 CED的新形式表示为CED-VOC-aug。我们进一步从CED基准边缘的“脆度”。我们报告定量评价结果，匹配距离d。所选择的评估方法应表明对象轮廓是否可以通过收紧标准精确定位。我们在以下d设置下评估CED：d0、d0/2和d0/4，其中d0= 4。3像素。我们将结果与HED[39]和PMI[14]进行比较，后者也旨在生成清晰的边缘。结果报告在图6的曲线图中。所有方法的性能随着d的减小而降低。HED和PMI之间的差距越来越小。相比之下，《保护所有人免遭强迫失踪国际公约》与两条基线之间的差距保持相当一致。事实上，CED和HED之间的ODS差距从2. 3%到2。8%，OIS差距从2. 3%到2。9%，AP差距从4. 2%至9。百分之一。此外，CED实现ODS= 0。606在d0/4的设置下，接近人类水平的性能（0. 625），并优于[14，39]中的方法大幅度。结果表明，CED产生清晰的边缘图。最后，图5示出了在非最大抑制（NMS）之前来自PMI、 HED 和 CED 的 即 使 没 有 标 准 的 非 最 大 抑 制（NMS），我们的方法消除了大多数模糊和嘈杂的边界显着。我们观察到，CED可以产生更干净，更薄，更清晰的图像边界。5.4. 具有清晰边界的光流场为了分析清晰边缘的好处，我们插入CED结果进行光流估计。在这种情况下，我们在BSDS 500上训练CED，并在Sintel上测试它。我们选择EpicFlow[30]作为我们的光流方法。EpicFlow使用边缘图计算测地线距离，该边缘图进一步用于内插[37]中的稀疏匹配。因此，准确的边缘图对于良好的流动结果是重要的。我们比较CED结果与HED。使用CED的Sintel训练集的AEE为3。570，而HED给出3。588这一结果表明，光流可以受益于更好的局部边缘图。图8显示了来自Sintel的示例流图的可视化。同样，CED得到的流量结果比HED略准确。5.5. 具有清晰边界的对象提案我们还展示了清晰的边缘图的好处，为对象的建议生成-另一个重要的中级视觉任务。我们选择多尺度组合模型（MCG）及其单尺度版本（SCG）[2]来生成对象建议。通过输入边缘图，MCG构建轮廓的分层分组以生成对象建议。原始MCG采用结构边缘（SE）[8]作为默认边缘检测器。我们简单地用HED[39]和CED替换边缘检测器。请注意，HED和CED都只在BSDS 500数据集上训练。我们基准测试的三个边缘检测器（SE，HED，CED）与MCG和SCG的组合。3898DD/4D/2DD/2D/4DD/2D/4图5.不同方法的边缘检测结果的可视化前两行显示原始图像和地面实况边缘。接下来的四行分别包括PMI、HED、CED-w/o-Subpixel和CED的原始边缘图（NMS之前）。CED的边缘图比HED更清晰，比PMI更干净。0.850.80.750.70.650.60.550.5ODS0.850.80.750.70.650.60.55OISAP0.90.850.80.750.70.650.60.550.50.45PMI HED CED人体PMI HED CEDPMI HED CED图6. 我们报告的性能（ODS，OIS和AP）作为最大允许距离d的函数。00/20/400/20/400/20/4CEDCED，不带子像素HEDPMI地面实况图像3899图7. 在实例级别（左）和类级别（右）设置的VOC12 val上的对象建议性能。我们评估三种不同的边缘检测器（SE，HED，CED）与两种分组方法（MCG，SCG），并报告曲线的平均Jaccard指数相对于所有数量的建议。CED-MCG取得了最好的结果。Nc平面自行车鸟船瓶总线车猫椅子牛表狗马MBike人植物羊沙发火车电视机全球SE-MCG10071.238.674.764.553.770.648.982.755.479.166.778.870.665.460.449.971.973.771.376.263.8HED-MCG10073.039.379.970.056.268.850.786.955.181.662.785.073.763.959.256.576.272.668.673.664.9CED-MCG10078.242.285.172.355.276.456.090.556.283.668.288.276.970.262.855.778.877.478.275.368.4SE-MCG513883.051.286.479.778.181.877.490.874.588.784.288.181.478.679.777.586.787.881.990.380.8HED-MCG305183.352.287.881.577.380.478.394.274.290.882.692.284.076.978.475.590.087.680.087.980.8CED-MCG275786.854.790.382.777.586.982.295.177.192.084.693.286.280.880.878.891.089.486.389.683.3表3. 在VOC 12值上的对象提案性能设置为top-100和所有提案。我们在实例级别报告每个类和平均Jaccard指数（平均最佳重叠）。我们的CED明显优于所有其他边缘检测器。图8. 不同边缘图的光流估计结果的可视化从上到下：两个连续图像的平均值、地面实况流和使用HED和CED生成的边缘图的光流估计结果。CED产生更好的运动细节，例如第一个图像中女孩的腿。我们在图7中报告了实例级别和类级别上关于提议数量的平均Jaccard指数。CED-MCG在两种标准下对所有数量的提案都取得了最佳结果。表3进一步比较了每个类别在Nc的两个操作点（即前100个提案和所有提案）的实例级别的Jaccard指数。我们的方法优于HED4。6%的前100名提案，以及2。7%，所有提案。这些结果进一步证明了清晰边缘的好处。6. 结论我们发现，基于ConvNet的边缘检测器往往会生成与图像边界不一致的边缘图。 我们讨论了这个问题背后的原因并提出了一种新的体系结构，大大提高了其定位能力。我们的检测器在BSDS500上取得了令人满意的性能，在使用严格的最大容差设置时优于最先进的方法。我们验证了清晰的边缘图的光流估计和对象的建议产生的好处。我们还计划将CED应用于其他视觉任务，如语义分割。我们的工作着眼于边缘检测，在计算机视觉中的一个经典我们希望它能反映ConvNet最近在计算机视觉领域的胜利。虽然我们从标准的定量评估中得到了更好的结果，但基本的视觉问题仍然没有解决。现在可能是重新审视我们的评估标准的适当时候了确认本研究得到国家重点研究发展计划（2016 YFB1001005）、国家自然科学基金（批准号：61673375，批准号：61602485）和中国科学院项目（批准号：QYZDB-SSW-JSC 006 ， 批 准 号 ： 173211 KYSB20160008）的资助。CED流程HED流量地面实况图像3900引用[1] P. Arbelaez，M.迈尔角Fowlkes和J.马利克轮廓检测与分层图像分割。TPAMI，2011年。[2] P. Arbe la'ez，J. Pont-T uset，J. Barron，F. Marques和J·马利克多尺度组合分组CVPR，2014。[3] G. Bertasius，J.Shi和L.托雷萨尼高换低和低换高：从深层目标特征中有效地检测边界及其在高级视觉中的应用。在ICCV，2015年。[4] D. J. Butler，J. Wulff，G. B. Stanley和M. J.布莱克。一个用于光流评估的自然主义开源电影。ECCV，2012年。[5] J·坎尼边缘检测的计算方法。TPAMI，（6）：679[6] N. Dalal和B. Triggs用于人体检测的定向梯度直方图在CVPR，第1卷，第886IEEE，2005年。[7] P.Dollar，Z. Tu和S.贝隆吉边缘和对象边界的监督学习。见CVPR，第2卷，第1964-1971页。IEEE，2006年。[8] P. Dol la'r和C. L. 齐特尼克用于快速边缘检测的结构化森林InICCV，2013.[9] P. Dol la'r和C. L. 齐特尼克使用结构森林的快速边缘检测TPAMI，2015。[10] 诉Dumoulin和F.视觉深度学习卷积算法指南arXiv预印本arXiv：1603.07285，2016。[11] J. R. Fram和E. S.德语。边缘检测方案的定量评价及其与人类表现的比较。IEEE Transactions on Computers，100（6）：616[12] W. T. Freeman和E. H.阿德尔森可操纵滤波器的设计和使用。TPAMI，13（9）：891[13] J. - J. 黄和T.-L. 刘某用于轮廓检测的像素级深度学习arXiv预印本arXiv：1504.01989，2015。[14] P. Isola，D. Zoran，D. Krishnan和E. H.阿德尔森基于逐点互信息的清晰边界检测。2014年，在ECCV[15] Y. Jia、E.Shelhamer，J.多纳休S.Karayev，J.隆河，西-地Gir- shick，S. Guadarrama和T.达雷尔。Caffe：用于快 速 特 征 嵌 入 的 卷 积 架 构 arXiv 预 印 本 arXiv ：1408.5093，2014。[16] Y. 集美山口布赖恩角斯科特湖Honglak和Y.明萱使用全卷积编码器-解码器网络的对象轮廓检测在CVPR，2016年。[17] J. J. Kivinen，C. K. Williams，N. Heess和D.技术。视觉边 界 预 测 ： 深 度 神 经 预 测 网 络 和 质 量 剖 析 。InAISTATS，2014.[18] I. Kokkinos使用深度学习推动边界检测的边界。ICLR，2016.[19] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在NIPS，第1097-1105页[20] C.- Y. 李，S。Xie，山核桃P.Gallagher，Z.zhang和Z.涂。深层监控网。在AISTATS，第2卷，第6页，2015中。[21] Y. Li，M. Paluri，J. M. 和P. 多尔拉。边缘的无监督学习。在CVPR，2016年。[22] J. J. 林角，澳-地L. Zitnick和P. 娃娃。Sk etchtokens：用于轮廓和对象检测的学习中级表示。在CVPR，第3158-3165页[23] Y. Liu和M.S. 卢学习放松深度监督，以实现更好的边缘检测。在CVPR，2016年。[24] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在CVPR，第3431[25] K.- K. Maninis，J. Pont-T uset，P. Arbel a'ez和L. 范古尔。面向卷积的边界。在ECCV，2016年。[26] E. Mark，G. Luc，Van，W.克里斯，W。John和Z.安德鲁pascal视觉对象类（voc）的挑战。IJCV，88（2）：303[27] D. R. 马丁角，澳-地C. Fowlkes和J.马利克学习使用局部亮度、颜色和纹理线索检测自然图像边界。TPAMI，2004年。[28] P. O. Pinh e iro，T.- Y. 林河，巴西-地Collobert和P. 娃娃。学习细化对象分段。在ECCV，2016年。[29] X.仁光流的局部分组。在CVPR中，第1-8页。IEEE，2008年。[30] J. Revaud ，P. Weinzaepfel ，Z. Harchaoui和C.施密 特Epicflow：光流对应的边缘保持插值。CVPR，2015。[31] W. Shen，X. Wang，Y. Wang，X. Bai和Z.张某深轮廓：通过正共享损失学习的深度卷积特征，用于轮廓检测。CVPR，2015。[32] W. Shi，J. 卡瓦列罗角 Hus za'r，J. Totz，A. P. Aitk enR. Bishop，D. Rueckert和Z.王.使用有效的子像素卷积神经网络实现实时单幅图像和视频超分辨率在CVPR，2016年。[33] W. Shi，J. 卡瓦列罗角 Hus za'r，J. Totz，A. P. Aitk enR. Bishop，D. Rueckert和Z.王.使用有效的子像素卷积神经网络实现实时单幅图像和视频超分辨率在CVPR，2016年。[34] A. Sironi，V. Lepetit，and P.呸投影到细长结构的流形上，以实现精确提取。在ICCV，2015年。[35] A. Sironi ，E. 你知道吗，V。 Lepetit和P. 呸多尺度中心线检测。TPAMI，2016.[36] A. Vedaldi和K.伦克Matconvnet：卷积神经网络。在ACMMM，2015年。[37] P. Weinzaepfel，J. Revaud ，Z. Harchaoui和C.施密 特DeepFlow：深度匹配的大位移光流。在ICCV，悉尼，澳大利亚，12月。2013年。[38] R. Xiaofeng和L.菠用于轮廓检测的区分性训练稀疏NIPS，第584-592页，2012年[39] S. Xie和Z.涂。 整体嵌套边缘检测。 在ICCV，2015年。[40] M. D. Zeiler、G. W. Taylor和R.费格斯。用于中高层特征学习的自适应见ICCV，2011年。
我的内容管理
展开
