多尺度深度特征融合的散焦模糊检测方法

2700DeFusionNET：通过递归融合和细化多尺度深度特征进行散焦模糊检测唐畅1、朱新忠2、刘新旺3、王立哲1、艾伯特·佐马亚41中国地质大学计算机学院，武汉4300742浙江师范大学数学物理与信息工程学院，浙江金华3210043国防科技大学计算机学院，长沙4100734悉尼大学信息技术学院，新南威尔士州，2006年，澳大利亚{tangchang@cug.edu.cn，zxz@zjnu.edu.cn，xinwangliu@nudt.edu.cn，Lizhe. gmail.com，albert. sydney.edu.au}摘要散焦模糊检测的目的是从图像中检测出离焦区域。离焦模糊检测因其广泛的应用而受到越来越多的关注，但仍面临着背景干扰、尺度敏感性和模糊区域边界细节缺失等问题。为了解决这些问题，我们提出了一种深度神经网络，它可以循环地融合和细化多尺度深度特征（De- FusionNet），用于散焦模糊检测。我们首先利用全卷积网络来提取多尺度深度特征。底层的特征能够捕捉到丰富的底层特征以保持细节，而顶层的特征能够表征语义信息以定位模糊区域。将这些不同层次的特征分别融合为浅层特征和语义特征。然后，将融合后的浅层特征传播到顶层，以细化检测到的散焦模糊区域的细节，将融合后的语义特征传播到底层，以帮助更好地定位散焦区域。特征融合和细化是以循环的方式进行的。最后，我们在最后一个递归步骤中融合每层的输出，以获得最终的散焦模糊图，通过考虑散焦度的尺度的敏感性。在两个常用的散焦模 糊 检 测 基 准 数 据 集 上 进 行 了 实 验 ， 以 证 明DeFusionNet与其他10个竞争对手相比的优越性。代码和更多的结果可以在：http://tangchang.net1. 介绍散焦模糊是一种常见的现象，当场景中的物体不完全位于相机的焦距处时，就会出现散焦模糊。散焦模糊检测，其目的是检测(a) 输入（b）LBP（c）HiFST(d)BTBNet（e）DeFusionNet（f）GT图1.散焦模糊检测的一些具有挑战性的情况。(a)输入图像，通过（b）LBP [41]，（c）HiFST [1]，（d）BTBNet [48]，（e）我们的DeFusionNet，以及(f)Ground Truth（GT）来自图像的失焦区域，由于其广泛的潜在应用，例如图像质量评估[38，32]，显著对象检测[9，34]，图像去模糊[17，25]，散焦放大[33，2]和图像重新聚焦[44，45]，只是列出了几个。在过去的几十年中，已经提出了各种散焦模糊检测方法。基于所使用的图像特征，这些方法可以大致分为两类，即，传统的基于手工特征的方法和基于深度学习的方法。对于前一种方法，它们通常提取诸如梯度和频率之类的特征，这些特征可以对边缘变化进行建模，因为散焦模糊通常会使图像中的物体边缘变钝[15，50，29，37，46，49，25，19，35，24，21]。虽然利用这些传统取得了巨大的成功2701尽管基于特征的方法是手工制作的，但它们仍然面临着一些挑战，并且检测结果仍然不是很完美。首先，传统的低层特征不能很好地将不包含结构信息的模糊平滑区域与聚焦平滑区域分离。其次，这些方法不能很好地捕获全局语义信息，这对于检测低对比度聚焦区域（如图1a的红色矩形区域所示）和抑制背景杂波（如图1a的黄色矩形区域所示）至关重要。此外，对焦对象的边缘信息没有得到很好的保留（如图1a的绿色矩形区域所示）。最近，由于强大的特征提取和学习能力，深度卷积神经网络（CNN）在各种计算机视觉任务中取得了显着的进步，例如图像分类[12，28]，对象检测[11，14]，对象跟踪[13，30，23]，场景语义分割[12，28]。分割[18，16，47]，图像去噪[10，42]和超分辨率[5，27]。因此，CNN也用于图像散焦模糊区域检测。在[40]中，提出了一个预训练的深度神经网络和一个通用回归神经网络来对模糊类型进行分类，然后估计其参数。通过系统地分析不同离焦检测特征的有效性，Park et al.[21]在包含稀疏强边缘的图像块中提取深度和手工制作的特征。然而，低对比度的焦点区域仍然不能很好地区分。此外，一系列的空间池化和卷积操作导致丢失图像结构的许多精细细节在[48]中，Zhaoet al.提出了多流底-顶-底全卷积网络（BTBNet），这是首次尝试开发用于散焦模糊检测的端到端深度网络在BTBNet中，低级别的线索和高层语义信息相结合，以促进最终的结果和多流策略，利用处理散焦度虽然BTBNet已经取得了显著的改进，但它使用前向流和后向流来集成每个图像尺度的不同层次的特征，这导致网络训练和测试的计算复杂度很高，并且不能充分利用不同层次的互补信息，这导致最终结果中的此外，一些低对比度的焦点区域仍然被错误地检测为散焦模糊区域。在这项工作中，我们提出了一种新的有效的逐像素全卷积网络，通过反复融合和细化多尺度深度特征（DeFusionNET）进行散焦模糊检测。特别地，我们反复地融合和细化了深、浅两层的深特征，我们总结了这项工作的技术贡献：n交替和跨层的方式，可以充分地表现出不同层特征的用于最大化散焦模糊检测性能。详细来说• 我们设计了一种新的有效的像素级全卷积网络，用于从原始图像中检测散焦模糊。输入图像。该网络融合和细化多尺度深度特征，有效抑制背景杂波，区分低对比度聚焦区域和散焦模糊区域。• 而不是直接细化检测到的散焦模糊地图，我们开发了一个功能融合和细化模块（FFRM），以循环细化不同的功能以交替和跨层方式进入层。通过考虑不同层提取图像的不同尺度的特征，我们在最后一个递归步骤中聚合不同层的输出得分图以生成最终的散焦模糊图。• 我们在两个基准数据集上评估我们的网络，并将其与10种最先进的散焦模糊检测方法进行比较。实验结果恶魔-证明我们的方法在两个数据集上始终优于其他竞争对手。同时，我们的网络非常高效，使用单个GTX Titan Xp GPU与12G内存仅需不到0.1s即可为两个数据集中的测试图像生成散焦模糊图• 我们的目标是建立一个基准比较各种离焦模糊检测方法。的结果不同数据集的各种方法将公开发布供学术使用。2. 相关工作2.1. 基于特征的手工制作方法由于散焦模糊通常会使图像中的物体边缘退化，因此传统方法通常提取梯度和频率等可以描述边缘变化的特征[6，31，50，33，4，32]。基于模糊图像块的前几个最重要的特征图像通常具有较高的权重（即，奇异值）比没有模糊的图像补丁，苏等人。[29]通过检查每个图像像素的奇异值信息来检测Shi等人。[25]研究了一系列模糊特征表示，如梯度、傅立叶域和数据驱动的局部滤波器特征，以增强区分模糊和未模糊图像区域的区分在[19]中，Pang et al.提出了一种基于核函数的模糊检测方法，考虑到基于局部信息的特征描述符不能区分刚可察觉2702从未模糊的结构中可靠地模糊，Shi等人。[26]通过稀疏表示和图像分解提出了一种简单而有效的模糊特征。Yi和Eramian [41]设计了一种基于局部二进制模式的清晰度度量，并且通过使用该度量来分离焦点内和焦点外图像区域。Tang等人[36]设计了一种对数平均光谱残差度量来获得粗略的模糊图，然后提出了一种迭代更新机制，以基于相似相邻图像区域的内在相关性将模糊图从粗略细化到精细。Golestaneh和Karam [1]提出了基于一种新的高频多尺度融合和梯度幅度的排序变换来检测散焦模糊图基于梯度域中不同方向局部面片的最大秩，Xu et al.[39]提出了一种快速而有效的方法来估计边缘位置处的散焦模糊的空间变化量，然后通过标准传播过程生成完整的散焦图。虽然以前的手工方法在散焦模糊区域检测方面取得了很大的成功，但它们只能对具有简单结构的图像有效，而对于复杂场景则不够鲁棒。因此，提取高层次和更具区分力的特征是必要的。2.2. 基于深度学习的方法由于其高水平的特征提取和学习- 基于深度CNN的方法已经刷新了许多计算机视觉任务的记录[28，11，13，47，27]，包括散焦模糊检测[21，48]。在[21]中，首先通过使用基于CNN的模型提取高维深度特征，然后将这些特征和传统手工特征连接在一起并馈送到全连接神经网络分类器中以确定散焦程度。Purohit等人[22]提出训练两个子网络，分别用于学习全局上下文和局部特征，然后将两个网络估计的像素级概率聚合并馈送到基于MRF的框架中用于模糊区域分割。Zhang等人[43]提出了一种扩展的完全卷积神经网络，具有金字塔池和边界细化层，以生成模糊响应图。考虑到散焦模糊的程度 对 尺 度 敏 感 ， Zhao 等 人 。 [48] 提 出 了 一 种 多 流bottom-top-bottom全卷积网络（BTBNet），其集成了用于散焦模糊检测的低级线索和高级语义信息。由于它使用两个流，即，前向流和后向流，为了整合来自多个图像尺度的不同级别的特征，BTBNet的网络训练和测试的计算同时，一些低对比度的病灶区仍然无法区分。在这项工作中，我们提出了一个有效的和高效的defocus模糊检测深度神经网络，通过递归融合，提取和细化多尺度深度特征（DeFusionNET）。我们没有像许多以前的基于深度CNN的检测方法那样直接细化输出分数图，而是重新细化了DeFusion-NET中不同层的特征特别地，我们设计了一个特征融合和提炼模块（FFRM），通过跨层次的方式提炼它们，即，来自低级别层的特征被融合并用于细化从高级别层提取的特征，反之亦然。注意到不同的层为图像提取不同尺度的特征，并且散焦模糊的程度对图像尺度敏感，我们在最后一个递归步骤中融合不同层的输出得分图以生成最终的散焦模糊图。实验结果表明，所提出的DeFusion-NET在准确性和效率方面优于其他国家的最先进的方法。3. 建议的DeFusionNET在这项工作中，我们的目标是开发一种高效的散焦模糊检测深度神经网络，该网络将图像作为输入，并输出与输入图像具有相同分辨率的散焦模糊检测图。图2显示了我们提出的散焦模糊检测网络的整个体系结构。对于一个有效的散焦模糊检测网络，它应该能够同时提取低级线索和高级语义信息，以生成最终准确的检测到的散焦模糊图。低级特征可以帮助细化稀疏和不规则的检测区域，而高级语义特征可以用于定位模糊区域以及抑制背景杂波。此外，在对象内通常存在一些平滑的聚焦区域，由深层产生的高级语义信息可以避免这些区域被检测为模糊区域。此外，由于散焦度对图像尺度敏感，因此网络应该能够利用多尺度特征来改善最终结果。最后，网络应该很容易被微调，因为没有足够的标记散焦模糊图像来训练这样的深度网络。具体来说，我们选择VGG网络[28]作为我们的骨干特征提取网络，并使用预训练的VGG16模型来初始化我们的网络。首先，我们使用我们的网络来提取一组分层特征，这些特征对图像的低层细节和高层语义一方面，由于一系列的空间池化和卷积操作逐渐降低了初始图像的分辨率，因此图像结构的精细细节不可避免地被破坏，这对于密集分离聚焦和离焦图像区域是有害的。另一方面，由深层提取的高层语义特征可以帮助定位散焦模糊区域。因此，如何利用2703图2.我们的DeFusionNET的管道深灰色块表示所提出的FFRM模块。对于给定的图像，我们首先提取它的多尺度特性，通过使用基本的VGG网络。然后将浅层和深层的特征分别融合为FSHF和FSEF。考虑到FSHF和FSEF之间的互补信息，我们使用它们以跨层的方式细化深，浅层的功能特征融合和细化是以递归的方式逐步执行的，以交替地细化FSHF、FSEF和每层的特征（在我们的实验中，递归步骤的次数根据经验设置为3）。此外，在每一步都施加深度监督机制，并融合每一层的预测结果，以获得最终的散焦模糊图。从浅层和深层提取的特征的互补信息以改进最终结果是关键的。对于低层和高层特征图，通过反卷积运算将它们上采样到输入图像的大小，并将它们连接在一起，分别形成融合浅层特征（FSHF）和融合语义特征（FSEF）为了细化深层特征的详细信息，我们将FSHF与每个深层聚合，因为FSHF包含图像内容的更多细节。为了便于获得浅层特征的散焦模糊区域位置信息，我们还将FSEF与每个浅层进行聚合，因为FSEF捕获了更多的图像内容语义信息特征融合和聚合以跨层方式循环进行由于不同的层为图像提取具有不同尺度的特征，并且散焦模糊的程度对图像尺度敏感，因此在最后一个递归步骤处的不同层的输出得分图被融合以生成最终的散焦模糊图。3.1.特征融合和细化模块深度CNN的成功归功于其强大的分层提取丰富语义和细节信息的能力。对于离焦模糊区域检测，表示精细细节的特征是必要的，因为它们可以有利于保持聚焦区域和离焦区域之间的边界，以提高检测精度。高级语义信息可以用于准确定位散焦模糊区域，并且避免将平滑的对焦区域错误地视为模糊区域，这也是关键的。因此，我们可以集成多层次的特征，以提高离焦模糊检测的区分能力在深层C-NN中，深层可以捕获高度语义的信息，这些信息从整体上描述了图像内容的属性，而浅层则更多地关注表示对象微妙结构的微妙细节，直接融合来自不同层的特征以产生最终检测结果可能不合适。在这项工作中，我们提出了一个功能融合和细化模块（FFRM），集成- grates高层次的语义特征和低层次的浅层特征分别和细化他们在一个跨层的方式。图3显示了所提出的FFRM模型的架构。图3.提出了特征融合与细化模块（FFRM）的结构.假设在我们的网络中总共有n层，我们将前m层视为浅层，其余层为深层。对于从每个浅层生成的特征图，我们首先将它们上采样到输入图像的大小通过反卷积运算将它们连接在一起，然后在连接后的特征图后面用一个1×1核的卷积层FSHF可以在数学上定义如下：FSHF=ReLU （ Wl=Cat （ F1 ， F2 ， ··· ， Fm ） ）+b1），（1）其中Fi∈W×H×C表示具有C个通道的第i层的上采样特征图; W×H是输入图像的分辨率; Cat表示跨通道的级联操作;表示卷积运算; Wl和bl是卷积的权重和偏置需要在训练过程中学习，ReLU是ReLU激活函数[12]。类似地，高级语义特征被融合以形成FSEF，如下：FSEF=ReLU（Wh<$Cat（Fm+1，Fm+2，···，Fn））+bh）.（二）2704我我我我我由于FSHF编码的是细节信息，而FSEF捕捉的是图像内容的更多语义信息，因此可以直接融合它们来生成散焦模糊图。然而，结果的质量不能得到很好的保证，并且仍然存在许多被错误检测的聚焦区域。这是因为融合的FSHF仍然包含一些焦点内的细节，并且FSEF还包含一些不正确的语义信息。直接使用FSHF和FSEF不仅会对散焦模糊区域检测提供错误的指导，而且会损害原本包含在各个层中的有用信息。为此，我们建议以跨层方式循环融合和细化逐层特征网络考虑到不同层只提取原始图像在不同尺度上的特征，在每一步递归过程中采用深度监督机制对每一层施加监督信号，然后将最后一步输出的各层分数图进行融合，生成最终的散焦模糊图。具体来说，我们首先将从n个不同层预测的散焦模糊图级联，然后在级联的图上施加卷积层以获得最终输出散焦模糊图B，其可以公式化为：B=ReLU（W_B_Cat（Bt，Bt，···，Bt）+b_B），⑷1 2N内尔。为了利用浅层和深层的互补优势，我们将FSHF聚合到每个单独的深层，并将FSEF聚合到每个单独的浅层。通过这种跨层的方式，可以逐步细化每一层提取的特征。具体地说，由于浅层特征集中于细节信息，而缺乏离焦模糊区域的语义信息，因此FSEF可以帮助浅层特征更好地定位语义离焦模糊区域。类似地，由于深层特征捕获语义信息但缺乏精细细节，因此可以使用FSHF来促进精细细节的保持。在递归聚集过程中，将来自浅层和深层的细化特征图然后，在下一个递归步骤中，将改进的FSHF和FSEF分别聚集到来自浅层和深层的特征图中。为了选择关于每个单独层的特征的有用的多级信息在第j个递归步骤处的每一层的精细化特征图可以被公式化如下：、ReLU（Wj<$Cat（Fj−1，FSHF j）+bj）i=m+1，···，n其中t表示最后的递归步骤;表示在第t步来自第i层的预测的散焦模糊图; WB和bB是卷积层对级联的散焦模糊图的权重和偏置，以学习这些图之间的关系。注意，Hu et al.[7]使用类似的方式聚合深层特征进行显著性检测，但他们没有区分浅层和深层的特征。3.3. 模型训练和测试我们的网络使用VGG [28]作为骨干，我们通过Caffe[8]实现它。我们使用VGG网络的conv1 2，conv2 2，conv3 3，conv4 3，conv5 3和pool5来表示每个单独层的特征，即，在De- FusionNET中n= 6前三层为浅层，其余为深层，即，m= 3。此外，为了增强每层特征图的区分能力，还附加了两个卷积层。更多的细节将在发布的代码中找到。训练：交叉熵损失用于训练过程中该网络的每个输出。对于第j个递归步骤处的第i层，Bj与地面实况模糊掩模G之间的关系Fj=i i iiReLU（Wj<$Cat（Fj−1，FSEF j）+bj） i=l，···，m我我我（三）J.W.H.，j，其中，Fj表示第i层的特征图，Lj（θ）=−log Pr（Bi（x，y）=1|θ）（五）我第j个递归步骤。论坛j和FSHFj代表我x=1y=1l∈{0，1}·1（G（x，y）=1）FSEF和FSHF分别在第j个递归步骤 Wj和bj表示在第j个递归步骤处的第i层的卷积核和偏置。3.2.散焦贴图融合由于散焦模糊的程度对图像尺度敏感，为了提高最终的散焦模糊检测结果，需要获取多尺度信息。[48]赵其中1（·）是指示器函数。符号l∈{0，1}指示位置（x，y）处的像素的离焦或对焦标签，并且Pr（B）j（x，y）=1| θ）表示其对应的被预测为模糊像素的概率或不. θ表示所有网络层的参数。基于等式最后的损失函数被定义为所有即时预测的损失总和：等人提出使用多流策略来融合来自不同图像尺度的检测结果但这Σn ΣtL=λf Lf+λj Lj（θ），（6）不可避免地增加了整体的计算负担，我我i=1j =127052我其中Lf是最终熔合层的损失;Lf是重量如：Fβ=（1+β2）·查准率·查全率β2·精确度+召回率，其中β 设定在0.3对于融合层，λj表示在第j个递归步骤处第i层的权重。在我们的实验中，我们根据经验将所有权重设置为1。MAE分数计算检测到的散焦模糊图与检测到的散焦模糊图之间的平均差， B和地面真值G，其计算为：我们的模型由预训练的VGG-16 mod初始化”“善”，是“善”的一部分。s公开模糊im-1公司简介ΣH|，其中H和W是|, where H and W are the年龄数据集[25]，由1000张模糊图像及其手动注释的地面实况组成。其中704幅为部分散焦模糊，其余296幅为运动模糊。我们将704个散焦模糊图像分为两部分，即，604个用于培训，其余100个用于测试。由于训练图像的数量不足以训练深度神经网络，我们通过随机旋转，翻转和水平翻转所有图像及其相应的地面真实值来执行数据我们在配备Intel 3.4GHz CPU和128G内存和2个GPU（一个Nvidia GTX 1080Ti和一个NvidiaGTX Titan Xp）的机器上训练模型。我们使用随机梯度优化整个网络，t下降（SGD）算法，动量为0.9，权重衰减为0.0005。学习率最初设置为1 e-8，并在5 k次迭代时减少0.1倍。训练批量大小设置为4，整个学习过程在10k次迭代后停止。培训过程大约在11.6小时后完成。推理：在测试阶段，对于每个输入图像，我们将其输入到我们的网络中，并获得最终的散焦模糊图。对于320×320的测试图像，仅需要大约0.056s来生成最终的散焦模糊图使用单个Nvidia GTX Titan Xp GPU，是非常有效的。4. 实验4.1. 数据集在我们的实验中，两个数据集用于评估我们提出的网络的性能。Shi等人的数据集[ 25 ]将剩余的100个散焦模糊图像存储在上面提到的图像中。DUT[48]是一个新的散焦模糊检测数据集，由500张带有像素注释的图像组成。该数据集非常具有挑战性，因为许多图像包含均匀区域、低对比度焦点区域和背景杂波。4.2. 评估指标四个广泛使用的指标用于定量评估所提出的模型的性能：精确-召回（PR）曲线、F-测量曲线、F-测量分数（F β）和平均绝对误差（MAE）分数。作为一种全面的性能度量，定义x=1y=1输入图像的高度和宽度。4.3. 与最先进方法的我们将我们的方法与其他10种最先进的算法进行比较，包括2种基于深度学习的方法，即。即，用于散焦估 计 （ DHDE ） [21] 和 多 流 底 - 顶 - 底 全 卷 积 网 络（BTBNet）[48]的多尺度深度和手工制作的功能，以及8种经典的散焦模糊检测方法，包括分析空间变化模糊 （ ASVB ） [3] ， 基 于 奇 异 值 分 解 的 模 糊 检 测（SVD）[29]，仅可注意的散焦模糊检测（JNB）[26]、判别模糊检测特征（DBDF）[25]、光谱和空间逼近（SS）[35]、局部二进制模式（LBP）[41]、分类判别特征（KSFV）[20]和高频多尺度融合和梯度幅度排序变换（HiFST）[1]。对于除BTBNet之外的所有这些方法至于BTBNet，我们直接从作者的项目页面下载结果，定量比较。表1列出了MAE和F-测量评分的比较结果。观察到在两个数据集上，我们的方法始终优于其他方法，这表明我们的方法优于其他方法。在图4和图5中，我们绘制了不同方法在不同数据集上的PR曲线和F-测量曲线从结果中，我们观察到，我们的方法也始终优于其他同行。定性比较。图6显示了我们的方法和其他方法的可视化对比。可以看出，我们的方法生成更准确的散焦模糊图，输入图像包含聚焦平滑区域和背景杂波。此外，我们的结果可以很好地保留在焦点对象的边界信息更多的视觉比较结果可以在文档中找到。运行效率比较。除了appealing的结果，我们提出的DeFusionNet 也 是 有 效 的 训 练 和 测 试 。 我 们 的DeFusionNet的整个训练过程仅需约11.6小时。 至于在测试阶段，我们只使用一个GPU（Nvidia GTX TitanXp）。在两个不同数据集上的不同方法的图像的平均运 行 时 间 在 表 2 中 示 出 。 可 以 看 出 ， 当 我 们 的DeFusionNet经过良好训练时，它比所有其他检测散焦2706ASVBSVDJNB DBDFSS LBPKSFVDHDEHiFSTBTBNetDeFusionNetASVBSVDJNB DBDFSS LBPKSFVDHDEHiFSTBTBNetDeFusionNetF−测度F−测度110.90.90.80.80.70.70.60.60.50.50.40.40.3 0.30.2 0.20.1 0.100.10.20.30.40.50.60.70.80.91召回000.10.20.30.40.50.60.7阈值0.80.91(a) 精确度-召回率曲线（b）F-测量曲线图4.不同方法的查全率-查准率曲线和F-measure曲线的比较的数据集。1 10.9 0.90.8 0.80.7 0.70.6 0.60.5 0.50.4 0.40.3 0.30.2 0.20.1 0.100.10.20.30.40.50.60.70.80.91召回000.10.20.30.40.50.60.7阈值0.80.91(a)精确度-召回率曲线（b）F-测量曲线图5.DUT数据集上不同方法的精确度-召回率曲线和F-measure曲线的比较图6.视觉比较从不同方法产生的检测到的散焦模糊图。结果表明，我们的方法始终优于其他方法，并产生离焦模糊地图更接近地面真相。模糊来自输入图像的区域。至于BTBNet，虽然我们无法评估它的运行时间，因为我们没有它的实现，但作者在他们的论文中声称，训练BTBNet需要5天，大约需要25秒来生成用于测试的散焦模糊图图像为320×320像素。相比之下，我们的DeFusionNet的训练和测试阶段更有效。4.4. 消融分析FFRM的有效性。为了验证FFRM的有效性，我们通过在每个递归步骤中将所有层的特征映射融合到一组来改变网络，然后使用融合的特征来细化每一层的特征。我们将该网络表示为DeFusionNet noFFRM以进行比较。在t上的F测量和MAE分数-ASVBSVD JNB DBDFSSLBP KSFVDHDEHiFSTBTBNetDeFusionNetASVBSVD JNB DBDFSSLBP KSFVDHDEHiFSTBTBNetDeFusionNet精度精度2707表1.F-测量和MAE评分的定量比较最好的两个结果分别以红色和蓝色显示数据集指标ASVBSVDJNBDBDFSSLBPKSFVDHDEHiFSTBTBNetDeFusionNetShi等人s数据集Fβ0.7310.8060.7970.8410.7870.8660.7330.8500.8560.8920.917Mae0.6360.3010.3550.3230.2980.1860.3800.3900.2320.1050.116DUTFβ0.7470.8180.7480.8020.7840.8740.7510.8230.8660.8870.922Mae0.6510.3010.4240.3690.2960.1730.3990.4080.3020.1900.115表2.不同方法在不同数据集上的图像的平均运行时间（秒）方法ASVBSVDJNBDBDFSSLBPKSFVDHDEHiFSTBTBNetDeFusionNet数据集Shi et al.' s数据集2.0421.0911.47214.832.7657.3432.74847.062576.24–0.094DUT1.5910.915.12110.371.2030.3820.13921.511169.57–0.056两个数据集如表3所示，精确度-召回率曲线如补充资料所示。可以看出，我们的DeFusionNet with FFRM模块的性能优于DeFusionNet noFFRM，这表明跨层特征融合方式可以有效地捕获浅层特征和深层语义特征之间的互补信息，以改善最终结果。此外，DeFusionNetnoFFRM的性能也优于其他以前的方法，这也验证了我们提出的网络结构的有效性。最终散焦图融合的有效性。考虑到图像的散焦程度对图像尺度的敏感性，我们在最后一步递归中融合不同层的输出，形成最终结果。我们也进行烧蚀实验以评估最终熔合步骤的有效性。 所有层的最终输出表示为DeFusionNet O1、DeFusionNet O2、DeFusionNet O3、DeFusionNet O4、DeFusionNet O5、DeFusionNet O6。我们还在表3中显示了F-测量，MAE分数，并在补充中显示了这些输出的精确度-召回率曲线。可以看出，融合机制有效地改善了最终结果。重复步骤次数的有效性 在我们的德-表3.使用F测量和MAE评分进行消融分析方法Shi等人' s数据集DUTFβMaeFβMaeDeFusionNet noFFRM0.9070.1540.9040.155DeFusionNet O10.9140.1180.9150.118DeFusionNet O20.9140.1180.9150.118DeFusionNet O30.9140.1180.9180.118DeFusionNet O40.9110.1270.9150.125DeFusionNet O50.9150.1180.9190.117DeFusionNet O60.9150.1170.9200.117DeFusionNet0.9170.1160.9220.115FusionNet，我们以循环和跨层的方式融合和细化每一层的特征，特征图可以逐步改进。为了验证特征是否可以以循环方式改善，我们在表4中报告了使用不同时间的循环步骤的F-测量和MAE评分。从表4可以看出，重复步骤次数越多，可以获得越好的结果。此外，需要注意的是，当递归次数为表4.重复步骤次数的消融分析（DeFusionNet Step k表示在DeFusionNet中使用k次重复步骤）。方法Shi等人' s数据集DUTFβMAEFβMAEDeFusionNet步骤10.7020.2530.7560.321DeFusionNet步骤20.8830.1320.8930.134DeFusionNet步骤30.9170.1160.9220.115DeFusionNet步骤40.9180.1160.9230.115DeFusionNet步骤50.9180.1150.9240.116DeFusionNet第60.9190.1150.9240.1163. 因此，我们在实验中经验性地设置了3次循环步骤，5. 结论在这项工作中，我们提出了一个深度卷积网络（DeFusionNet），用于有效和准确的散焦模糊检测。首先，DeFusionNet将浅层特征和深层特征相结合，以生成最终的高分辨率散焦模糊图。其次，DeFusion-Net以跨层的方式对来自不同参与者的特征进行融合和提炼，能够有效地捕捉浅层特征和深层语义特征之间的互补信息。最后，DeFusionNet通过融合所有层的输出来获得最终准确的散焦模糊图。大量的实验结果表明，所提出的DeFusionNet始终优于其他国家的最先进的方法在准确性和效率方面。6. 致谢本工作得到了国家自然科学基金（NO. 61701451和61773392）和中央大学基础研究基金、中国地质大学（武汉）NO. CUG170654.我们还要感谢NVIDIA公司捐赠了一张用于本研究的Titan Xp GPU卡。朱新忠、刘新旺为本文作者.2708引用[1] S Alireza Golestaneh和Lina J Karam。基于梯度幅值多尺度融合排序变换系数的空间变模糊检测在IEEE计算机视觉和模式识别会议上，第5800- 5809页，2017年。一、三、六[2] 裴顺敏和杜兰德神父散焦效果很好。Computer Graphics Forum，26（3）：571-579，2007. 1[3] Ayan Chakrabarti，Todd Zickler和William T.弗里曼。分析空间变化模糊。在IEEE计算机视觉和模式识别会议上，第2512- 2519页，2010年。6[4] Florent Couzinie-Devy，Jian Sun，Karteek Alahari，andJean Ponce.学习估计和去除非均匀图像模糊。在IEEE计算机视觉和模式识别会议论文集，第1075-1082页，2013年。2[5] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence，38（2）：295-307，2016。2[6] James H Elder和Steven W Zucker。用于边缘检测和模糊估 计 的 局 部 尺 度 控 制 IEEE Transactions on PatternAnalysis and Machine Intelligence，20（7）：699-716，1998。2[7] Xiaowei Hu ， Lei Zhu ，Jing Qin ， Chi-Wing Fu， andPheng-Ann Heng.循环聚合深度特征用于显著对象检测。在AAAI，第6943-6950页，2018年。5[8] Jia，Yangqing，Shelhamer，Evan ，Donahue，Jeff，Karayev，Sergey，Long，and Jonathan. Caffe：用于快速特征嵌入的卷积架构。在ACM MM，第675- 678页，2014年。5[9] Peng Jiang，Haibin Ling，Jingyi Yu，and Jingliang Peng.UFO显著区域检测：统一性、集中性和客观性。在ProceedingsoftheIEEEinternationalconferenceoncomputer vision，pages 19761[10] Kyong Hwan Jin ， Michael T McCann ， EmmanuelFroustey，and Michael Unser.用于成像逆问题的深度卷积神经网络。IEEE Transactions on Image Processing，26（9）：4509-4522，2017。2[11] Kai Kang，Wanli Ouyang，Hongsheng Li，and XiaogangWang.用卷积神经网络从视频管中检测目标。在IEEE计算机视觉和模式识别会议上，第817-825页，2016年。二、三[12] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的图像网分类。在NIPS，第1097-1105页，2012中。二、四[13] 李佩霞、董王、王丽君、胡川路。深度视觉跟踪：回顾和实验比较。Pat-tern Recognition，76：323-338，2018.二、三[14] Tsung Yi Lin ， Priya Goyal ， Ross Girshick ， KaimingHe，and Piotr Dollar.用于密集对象检测的焦点损失。IEEE模式分析与机器智能刊PP（99）：2999-3007，2017. 2[15] 刘租，李兆荣，贾佳雅。图像局部模糊检测与分类。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第1-8页1[16] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分割的全卷积网络。在IEEE计算机视觉和模式识别会议上，第3431-3440页，2015年。2[17] 贝伦·马西亚，阿德里安·科拉莱斯，劳拉·普雷萨，迭戈·古铁雷斯.编码光圈用于散焦去模糊。InSymposiumIberoamericano de Computacion Grafica ， volume 5 ，2011.1[18] Hyeonwoo Noh Seunghoon Hong和Bohyung Han。用于语 义 分 割 的 学 习 反 卷 积 网 络 。 IEEEInternationalConference on Computer Vision，第1520-1528页2[19] Y. 庞氏H.Zhu，X.Li和X.李模糊检测的判别特征分类IEEE Transactions on Cybernet-ics，46（10）：2220-2227，2015. 一、二[20] Yanwei Pang，Hailong Zhu，Xinyu Li，and Xuelong Li.模 糊 检 测 的 判 别 特 征 分 类 。 IEEE Transactions onCybernetics，46（10）：2220-2227，2016。6[21] 朴振善，刘永泰，赵东贤，还有仁素坤。用于散焦估计的多尺度深度和手工制作特征的统一方法。在IEEE计算机视觉和模式识别会议上，第2760- 2769页，2017年。一、二、三、六[22] Kuldeep Purohit，Anshul B Shah，and AN Rajagopalan.基于学习的单幅图像模糊检测与分割。2018年第25届IEEE国际图像处理会议（ICIP），第2202-2206页。IEEE，2018年。3[23] Yuankai Qi ， Shengping Zhang ， Lei Qin ， QingmingHuang，Hongxun Yao，Jongwoo Lim，and Ming-HsuanYang.隐藏深层特征进行视觉跟踪。IEEE Trans