没有合适的资源?快使用搜索试试~ 我知道了~
1一种多尺度深度特征与手工特征相结合的散焦估计方法Jinsun Park†zzangjinsun@gmail.com戴玉荣yuwing@gmail.com赵东贤cdh12242@gmail.com在So Kweoniskweon@kaist.ac.kr机器人与计算机视觉实验室大韩民国KAIST腾讯优图,中国摘要在本文中,我们介绍了强大的和协同的手工制作的功能和一个简单但有效的深度功能,从卷积神经网络(CNN)架构的散焦估计。本文系统地分析了不同特征的有效性,并展示了当它们连接在一起时,每个特征如何弥补其他特征的弱点。对于完整的散焦图估计,我们稀疏地提取强边缘上的图像块为了降低斑块尺度依赖性,本文还提出了一种多尺度斑块提取策略。稀疏散焦图是使用神经网络分类器,然后由概率联合双边滤波器生成的。最终散焦图是在来自边缘保留滤波输入图像的指导下从稀疏散焦图获得的实验结果表明,我们的算法是优于国家的最先进的算法在离焦估计。我们的工作可用于应用程序,如分割,模糊放大,全聚焦图像生成,和3-D估计。1. 介绍散焦的量表示可以从单个图像获得无价的如果我们知道图像中每个像素的散焦量,则可以基于散焦值推断更高级别的信息,例如深度[43],显著区域[13]以及场景的前景和背景[26]等。然而,散焦估计是一项极具挑战性的任务,不仅因为估计的散焦值在空间上变化,而且因为估计的解包含模糊性[17],其中具有不同散焦量的两个区域的外观传统方法[2,35,42]依赖于强边缘来估计散焦量。然而,仅根据强边缘的强度来确定散焦量可能会导致过度自信,(a) 图像(b)散焦图(c)重新聚焦图1:我们的散焦估计结果和数字重聚焦应用示例。错误估计因此,我们需要一个更可靠和鲁棒的散焦描述符的散焦估计。在本文中,我们提出了手工制作的和深的功能,评估散焦估计图像的各个方面,和一种方法来获得一个可靠的完整的散焦图的场景。我们的手工制作功能专注于图像的三个组成部分:图像的频域功率分布、梯度分布和奇异值。我们还利用卷积神经网络(CNN)来提取直接从数百万个聚焦和模糊图像块中学习的高维深度特征。所有的特征被连接起来构建我们的散焦特征向量,并被送入一个完全连接的神经网络分类器,以确定散焦量。与散焦估计相关联的挑战之一是均匀区域中的散焦量的不均匀性,因为这些区域在聚焦或模糊时在外观上几乎没有为了避免这个问题,我们首先估计散焦量使用多尺度图像补丁从只有强边缘,然后传播到均匀区域的指导下,边缘保持滤波输入图像的估计值。在传播步骤之后获得全散焦图我们将散焦图用于各种应用,例如分割、模糊放大、全聚焦图像生成和3-D估计。图1显示了我们的散焦估计结果和重新聚焦应用程序的示例。2. 相关工作离焦估计在计算机视觉的许多应用中起着重要的作用17361737社区它用于数字重聚焦[2,5],散焦深度[19,30,43],显著区域检测[13]和图像抠图[26],仅举几例。Elder和Zucker [10]估计了边缘检测和散焦估计的最小可靠尺度。它们使用二阶导数高斯滤波器响应,但由于边缘局部化过程中出现的误差,这种方法不鲁棒Bae和Durand [2]还利用二阶导数高斯滤波器响应来放大背景区域上的散焦量。然而,他们的战略是耗时的,因为它使用了蛮力计划。Tai和Brown [35]采用了一种称为局部对比度先验的度量,该度量考虑了局部图像梯度和局部图像对比度之间的关系,但局部对比度先验对噪声不鲁棒。Zhuo和Sim [42]使用具有已知高斯模糊核的输入和重新模糊图像的梯度之间的比率。然而,它很容易失败的噪声和边缘的错误定位。Liu等人[22]检验功率谱斜率、梯度直方图、最大饱和度和自相关一致性。然而,它们的 Shi等人[31]不仅使用诸如峰值和重尾的统计测量,而且还从具有标签的图像数据中学习过滤器。图像中的均匀区域是其算法中的弱点 Shi等人[32]构造包含清晰和模糊基的稀疏字典,并确定哪个字典可以稀疏地重建输入图像,但是它们的算法对于大模糊不鲁棒,因为它是为刚好可察觉的模糊估计而定制的。在许多计算机视觉任务中,神经网络已经证明了其作为优于其传统对手的算法的价值,例如对象和视频分类[14,29],图像恢复[9],图像抠图[7],图像去卷积[38],运动模糊估计[34],模糊分类[1,40],超分辨率[8],显着区域检测[16]和边缘感知滤波[39]。Sun等人。 [34]专注于运动模糊核估计。他们使用CNN来估计预定义的离散化运动模糊内核。然而,他们的方法需要旋转输入增强,并且在MRF传播步骤期间花费相当多的Aizenberg等人。 [1]使用基于多值神经元(MVN)的多层神经网络进行模糊识别。MVN学习步骤在计算上是高效的。然而,它们的神经网络结构非常简单。Yan和Shao [40]采用两阶段深度信念网络(DBN)来分类模糊类型并识别模糊参数,但它们仅依赖于来自频域的特征。我们的工作与以前的作品相比,而不是只使用手工制作的功能,我们演示了如何将深度功能应用于散焦估计问题。深度特征直接从具有不同量的散焦模糊的训练数据中学习。因为每一个提取的(a) 图像(b)来自强边缘(c)来自弱边缘图2:强边缘和弱边缘的多尺度补丁。深度特征仍然是一个局部特征,我们手工制作的特征,捕捉局部和全局信息的图像补丁,展示了协同效应,提高我们的算法的性能。我们的工作显着优于以前的作品散焦估计的质量和准确性。3. 特征提取We extract multi-scale image patches from an input im-age for feature extraction.此外,我们只提取边缘上的图像块,因为均匀区域在散焦估计中是模糊的。对于边缘提取,我们首先将输入图像从RGB转换到HSV颜色空间,然后使用V通道来提取图像边缘。有许多手工制作的功能,用于锐度测量[3,22,25,35,37]。在这项工作中,提出了三个手工制作的功能,涉及到频域功率分布,梯度分布,和奇异值的灰度图像补丁。深度特征是从CNN中提取的,CNN直接在RGB空间中处理彩色图像块以进行特征提取。然后将所有提取的要素连接起来形成最终的散焦特征。3.1. 多尺度面片提取因为我们基于图像块提取手工制作的深度特征尽管已经有许多与尺度空间理论相关的工作[20,23,24],但是关于补丁尺度和手工制作的特征之间的关系仍然存在一些模糊性,因为它们利用图像补丁中的全局信息。换句话说,根据图像块的大小,清晰的图像块可能被错误地认为是模糊的,反之亦然。为了避免块尺度依赖性,我们根据边缘的强度提取多尺度块。在自然图像中,强边缘比模糊边缘更容易聚焦。因此,我们认为,在补丁提取步骤期间,来自强边缘的图像补丁是焦点对准的对于清晰的斑块,我们可以用小的斑块尺寸准确地确定它们的清晰度,而模糊的斑块可以用小的斑块尺寸模糊,因为它们在模糊或不模糊时的外观会有轻微的变化。图2显示了强边缘和弱边缘的多尺度补丁。图2(b)显示,来自强辐射的小斑块1738W0.40.20DCT夏普DFT- 清 晰DST- 清 晰DCT- 模 糊DFT- 模 糊DST-模糊0 3 6 9 12151821240.50.40.30.20.10尖锐模糊0 3 6 9 12151821240.50.40.30.20.10尖锐模糊0 3 6 9 1215182124(a)(b)(c)第(1)款图3:锐利而模糊的手工制作特征。平均(a)DCT,DFT,DST,(b)梯度和(c)来自清晰(点)和模糊(实)块的SVD特征样本数量超过11K。清晰和模糊特征之间的绝对差异可以是区分能力的量度。边缘仍然具有用于散焦估计的丰富信息,而图2(c)显示来自弱边缘的小块严重缺乏散焦信息,并且包含高模糊的程度基于这一观察,我们提取小补丁的强边缘和大补丁的弱边缘。使用具有多阈值的Canny边缘检测器[4]简单地提取边缘。通常,可以在聚焦区域中提取大部分强边缘。弱边缘可以在清晰和模糊区域中提取,因为它们可以来自焦点内的弱纹理或焦点外的清晰纹理。我们的多尺度补丁提取方案大大提高了散焦估计算法的性能(第3.6节)。3.2. DCT特征我们将灰度图像块PI变换到频率域来分析其功率分布。我们利用离散余弦变换(DCT),因为DCT提供了强大的能量压缩[28];即,与典型信号有关的大部分因此,当图像更详细时,需要更多的非零DCT系数来保存信息。因此,我们可以用DCT以比用离散傅里叶变换(DFT)或离散正弦变换(DST)更高的分辨率来检查高频带。因为对焦图像比离焦图像具有更多的高频分量,所以图像块中的高频分量的比率可以是图像模糊度的良好度量。我们的DCT特征fD使用频率分量的功率分布比构造,如下所示:(a) 原始(b)n = 60(c)n = 30(d)n= 15图4:图像的低秩矩阵近似。(a)原始图像和(b)-(d)近似图像,保存的奇异值。 单数的数量越多值被保留,更多的细节也被保留。从清晰和模糊的补丁后,不同的transformations。清晰和模糊特征之间的绝对差异可以是区分能力的量度。在这种情况下,DCT特征具有最好的区分能力,因为它在清晰和模糊特征之间的绝对差异大于其他变换。3.3. 梯度特征我们使用Sobel滤波来计算PI的梯度以获得梯度补丁PG。通常,在清晰图像块中比在模糊图像中存在更因此,图像块中强梯度分量的比率可以是图像清晰度的另一个度量我们使用PG的归一化直方图作为散焦特征的第二个分量。我们的梯度特征fG定义如下:1fG(k)=log(1+HG(k)),k∈[1,nG],(2)G其中HG、WG和nG表示PG的直方图、归一化因子和特征的维度,1fD(k)=WD.log 1+俄罗斯+1θ ρ=ρkΣ|P(ρ, θ)|SK,k∈[1,nD],(一)分别为。图3(b)显示了清晰和模糊梯度特征的比较。尽管其简单,梯度特征显示出相当有效的区分能力。哪里| · |,P(ρ,θ),ρ k,S k,W D和n D表示绝对算子,离散余弦变换后的图像块在极坐标下,径向坐标的第k个边界,ρk和ρk+1包围的面积,使特征单位和的归一化因子,以及特征的尺寸。图3(a)示出了有限元分析。3.4. SVD特征奇异值分解(SVD)在信号处理中有许多有用的应用。SVD的一个这样的应用是图像的低秩矩阵近似[27]。 The factorization of an m × n real matrix A canbe1739K3x3转换ReLU +3x3最大池。 3x3转换ReLU +3x3最大池。 3x3转换ReLU +1x1转换ReLU缩放以实现可视化25 25 50 50 50 25输入RGBPatch(27x27x3)Conv1(25x25x25)Pool1(9 x 9 x25)Conv2(7x7x50)游泳池2(3 x 3 x50)Conv3(1x1x50)Conv4(1x1x25)图5:我们的深度特征提取网络和平均激活与尖锐,中间和模糊补丁。每个层的输出尺寸一起显示对于卷积,步幅设置为1,对于最大池化,步幅设置为3如下所示A = UΛVT=ΣNk=1Ak= ΣNk=1λkuk vT,(3)其中Λ,N,λk,uk和vk表示m×n对角矩阵,A的非零奇异值个数,第k个奇异值,实酉矩阵的第k矩阵包含U和V,尊重V。如果我们构造一个矩阵表1:分类精度。请注意,随机猜测的准确率为9.09%。(第5.1节),它可以准确区分尖锐A~=nk=1 Ak,其中n∈[1,N],我们可以近似和模糊的特征此外,它还弥补了g iv en矩阵A,其中A是在图像恢复的情况下因此,低秩矩阵近似将丢弃小的偏差。图像中的尾部,并且细节的损失量与n成反比。图4示出了图像的低秩矩阵近似的示例。注意,保留的图像细节的量与保留的奇异值的数量成比例。我们基于低秩矩阵近似提取SVD特征。因为需要更多的非零奇异值来保留图像中的细节,所以清晰图像块倾向于比模糊图像块具有更多的非零奇异值;也就是说,具有大k的非零λk是测量细节量的线索。缩放的奇异值定义了我们最后一个手工制作的功能,如下所示:的颜色和跨渠道的信息在手工制作的这些特征对我们的任务很重要,也很有价值图5还显示了我们的特征提取网络的平均输出,包括清晰,中间和模糊的图像补丁。激活与输入图像的锐度成比例。3.6. 我们的散焦功能我们将所有提取的特征连接起来,以构建最终的散焦特征fB,如下所示:fB= [fH,fC] = [[ fD,fG,fS],fC],(5)其中[·]表示级联。表1显示了每个特征的分类准确性我们使用神经网络1f(k)=log(1+λ),k∈[1,n]、(4)分类器的精度比较。 分类SWSk S其中WS表示归一化因子,并且nS表示特征的维度图3(c)显示了清晰和模糊SVD特征的比较。尖锐特征的长尾意味着更多的细节被保留在图像块中。3.5.深度特征我们使用CNN从彩色图像块中提取深度特征fC为了处理多尺度补丁,小尺度补丁在被馈送到CNN之前被零填充。我们的特征提取网络由卷积层、ReLU层和最大池化层组成,如图5所示。连续卷积层、ReLU层和最大池化层适合获得高度非线性的特征。因为深度特征是从大量的训练数据中学习的公差被设置为与地面实况模糊核的标准偏差值σ相比的0.15的绝对差。我们分别使用这些特征训练具有相同架构的神经网络,并对11个类的分类器和训练过程的细节将在第4.1节和第5.1节我们的深层特征,fC,具有最大的区分能力,考虑到与其他单独手工制作的特征{fD,fG,fS}以及它们的连接fH相比模糊和清晰的特征。当所有手工制作的和深层的特征被连接起来时(fB),性能甚至得到了进一步的增强。删除其中一个手工制作的功能下降的性能-大约1- 3%。例如,[fD,fS,fC]和[fG,fS,fC]的分类准确率分别为93.25%和91.10%。此外,仅使用单尺度块提取的fB的性能也下降到91.00%。提取的深层特征()特征准确度(%)特征准确度(%)fD(DCT)38.15fH(手工制作)71.49fG(梯度)68.36fC(深)89.38fS(SVD)61.76fB(串联)94.161740F4. 散焦图估计使用神经网络分类器对散焦特征进行分类,以确定每个块的中心点处的散焦量。我们在分类步骤之后获得初始稀疏散焦图, 从稀疏散焦图中使用过滤()规则化模糊区域规则化锐区稀疏联合双边滤波器[42]调整分类置信度值。使用抠像拉普拉斯算法[18]从过滤的稀疏散焦图边缘保持平滑滤波[41]彩色图像用作传播的指导4.1.神经网络分类器我们采用神经网络分类器进行分类,因为它可以捕捉我们的散焦特征分量和散焦量之间的高度非线性关系。此外,其出色的性能已在各种作品中得到证明[14,29,33]。我们的分类器网络由三个完全连接的层组成(300-150- 200)。图6:之前(IS)和之后(IB)的稀疏散焦图概率联合双边滤波实线框表示清晰区域(小值),虚线框表示模糊区域(大值)。一些离群值被有效地过滤掉概率值。概率联合双边滤波重新移动离群值并有效地正则化稀疏散焦图,如图6所示。4.3.全散焦贴图在引导图像IG的帮助下,使用抠像拉普拉斯算法[18]从稀疏散焦图获得完整散焦图。matting Laplacian定义如下:每个11个神经元)具有ReLU和dropout层。 柔软的最大分类器用于最后一层。有关分类器训练过程的详细信息将在第5.1L( i,j)=ΣK|(i,j)∈wk.δij−1|焕光|.1+(IG(i)−µk)和第5.2. 使用这个分类网络,我们得到标签和特征的概率,之后将标签转换为高斯分布的相应σ值×(+I)−1K|焕光|3(IG(j)−µk)ΣΣ、(7)sian内核,描述散焦量随后,我们使用σ值构造稀疏散焦图IS,并使用概率构造置信图IC4.2.稀疏散焦图稀疏散焦图由概率滤波其中i,j,k,w,k,|焕光|,δ ij,µ k,k,I3和k分别表示像素的线性索引、以k为中心的小窗口、wk的大小、Kronecker delta、wk的均值和方差、3×3单位矩阵和正则化参数。完整散焦图IF由下式获得:解决以下最小二乘问题:联合双边滤波器以拒绝某些离群值和噪声。此外,我们用边缘对输入图像进行滤波IF =γ(L+Dγ)−1IB、(8)保留平滑滤波器以创建用于概率联合双边滤波和稀疏散焦图传播的引导图像IG。选择滚动引导滤波器[41]是因为它可以有效地去除图像噪声以及分散注意力的小尺度图像特征,并防止在一些纹理和噪声区域上的错误引导。我们概率联合双边滤波器B(·)定义如下:其中,IB、γ和Dγ分别表示矩阵I、用户参数和对角矩阵的向量形式,当IB(i)不为零时,对角矩阵的元素D(i,i)为γ图1(b)中示出了全散焦图5. 实验我们首先描述我们的方法来生成训练数据B(x)=1W(x)Σp∈NxGσs(x,p)并训练分类器,之后我们使用模糊检测数据集[31]将我们算法的性能与最先进算法的性能进行比较。Vari-×Gσr(IG(x),IG(p))Gσc(1,IC(p))IS(p),(6)其中Gσ(u,v)=exp(− vu−vu2/2σ2)和σ·F,W,Nx,σs,σr和σc表示Frobenius范数,正规化因子,x的非零邻域,空间,范围和概率权重的标准偏差,re-分别为。 概率权重G σc 添加到并介绍了它在模糊放大、全聚焦图像生成和三维估计等方面的应用我们的代码和数据集可以在我们的项目页面上找到。15.1. 分类器训练对于分类网络训练,从ILSVRC [29]训练数据中随机选择300个清晰传统的联合双边滤波器,以减少非期望的低1邻域内离群值的影响https://github.com/zzangjinsun/DHDE_CVPR17锐/低模糊/高1741我我JKJ我我JKjkjkj60 70 80 90图7:我们的特征尺度编码方案。如果一个特征来自大尺度,我们用零填充小尺度位置,反之亦然。与特征提取步骤类似,我们在强边缘上提取约1M多尺度图像块,并将这些块视为尖锐块。之后,每个清晰补丁PS与合成模糊核卷积以生成模糊补丁PB,如下所示:10.90.800.20.4召回0.60.883.731PBl=PS<$hσ,l∈[1,L],(9)其中,hσ、σ 2和L分别表示具有零均值和方差σ2的高斯模糊核、卷积算子和标签数量我们设L=11,图8:Shi等人 [31],Zhuo和Sim [42]以及我们的算法的分割准确率(顶部)和精确度-召回率比较(底部)。分别对于输入层(t=1),如果我们将输入特征的第k个维度设置为常数C,则等式然后,如下计算每个模糊核的σ第11话变成w11−η(Cδ1),令人惊讶的是,σ l=σ min+(l − 1)σ inter,(10)其中我们设置σ min= 0。5和σ inter= 0。十五岁对于深层特征的训练,fC,我们直接将将特征提取网络和分类器网络进行混合,同时训练深层特征和分类器.当我们使用级联特征fH进行训练时,应用相同的方法。对于fB的训练,我们最初只训练连接到特征提取网络的分类器(即,只有fC),之后我们用手工制作的特征fH微调分类器。我们使用Caffe[12]库来实现网络。5.2. 标度编码当我们用小块和大块的特征一起训练分类器时,我们发现网络并不收敛。这是因为来自具有不同标签的不同尺度的某些特征可能是相似的。如果我们为每个尺度单独训练分类器,这是低效和危险的,因为要训练的参数加倍,并且不能保证各个网络是一致的。为了将尺度信息编码到特征本身,我们为每个尺度的特征分配特定的位置,如图7所示。一个完整的特征由每个尺度的位置和常量组成。附加的常数是为了处理每个尺度的偏差.在神经网络中,全连接层中权重和偏差的更新规则如下:wt →w t− η(a t−1δ t),(11)如果我们让C=1,则更新规则采用相同的形式:偏差更新规则。 因此,通过增加常数到每个尺度中,我们不仅能够有效地分离每个尺度的偏差,而且还能够对具有不同常数的每个偏差应用不同的学习率。在将尺度信息编码为特征本身之后,分类器网络收敛。在我们的实验中,我们简单地设置CL=CS=1。由于这种编码方案,我们设置了分类器网络的第一层中的神经元,使得它大约是我们的描述器的尺寸的两倍,以从编码的特征解码小尺度和大尺度信息。5.3. 模糊检测数据集我们使用模糊检测数据集验证了我们算法的可靠性和鲁棒性使用的数据集包含704个自然图像,其中包含模糊和清晰的保留。区域和对应的二进制模糊区域掩模由人人工分割。我们在强边缘上提取15 × 15块,在弱边缘上提取27 ×27块。对于大斑块,我们设置n D=n G=n S=25,对于小斑块,设置n D=n G=n S=13,σ s= σ r= 100。0,σc= 1。0,ε= 1e−5,γ = 0。005所有实验 我们比较我们的算法的结果Shi等人。[31],Shi et al. [32]和卓[42]《明史》由于模糊检测数据集仅包含二进制掩模,因此使用来自每个算法的二进制模糊区域掩模获得定量结果。对于二元分割,我们应用一个简单的阈值方法,以充分的散焦图。阈值τ确定如下:bt→bt−ηδt,(12)大尺度的特征小尺度的特征76.5070.34我们的卓和沈石等人。精度我们的卓和沈石等人。精度→w1742JKJτ=αvmax+(1−α)vmin,(13)j j j其中wt,b,t,n,a和δ表示计算中的第k个权重其中,vmax和vmin表示最大值和最小值。层t的第j个神经元, 层t、学习率、激活和错误,全散焦图的μ m值,α是用户参数。我们设置α=0。3对于实验经验和1743(a)(b)(c)(d)(e)(f)(g)(h)图9:散焦图估计和二进制模糊区域分割结果。(a)输入图像。(三)结果[30]。(c) 结果[31]。(d)[32]的结果(为了可视化而倒置)。(e)结果[42]。(f)我们的散焦图和(g)相应的二进制掩码。(h)Ground truth binary masks.(a) 图像(b)fD(c)fG(d)fS(e)fC(f)fH(g)fB图10:每个特征的散焦图。用于估计每个散焦图的特征被注释。(e)、(f)和(g)中的蓝色实线框和红色虚线框显示了手工制作和深度特征的互补作用该值工作得相当好。图8显示了分割准确度和精确度-召回率曲线,图9显示了不同算法的结果。根据正确分类的像素数与总像素数之比,得到分割精度。精确度-召回率曲线可以通过将τ从σ1调整到σL来计算。我们的算法表现出更好的结果比国家的最先进的方法定量和定性。在图像的均匀区域中,不存在用于散焦估计的足够纹理因此,[31]和[32]的结果表明,在这类区域中,某些分类结果是错误的.我们的算法和[42]可以在强边缘上的稀疏补丁提取的帮助下避免这个问题。相反,稀疏地图传播也可能导致纹理区域中的不确定结果,因为用于传播的先验在我们的算法中,采用边缘保持平滑的彩色图像作为传播先验,并且它给出了更好的结果,如图9(f)和(g)所示此外,我们将我们的算法与Shi等人的算法进行了比较。[30]。我们进行了RelOrder[30]评估,并获得了一个结果的0.1572,这比[30]的0.13932要好得多。此外,[30]的分割准确度(53.30%)远低于我们算法的准确度,因为 他 们 的 方 法 很 容 易 因 大 量 模 糊 而 失 败 ( 图 9(b))。我们还研究了散焦地图从单一和连接的功能定性。如图10(b)、(c)和(d)所示,与深度或级联特征相比,单个手工制作的特征给出不满意的结果。令人惊讶的是,单独的深度特征(图10(e))工作得很好,但与连接的特征相比,结果稍微中等(见蓝色实心框)。手工制作的特性(图10(f))也能很好地工作这些特征结合在一起时显示出互补作用。由于手工特征而导致的某些错误分类被深度特征很好地处理,并且深度特征的区分能力在手工特征的帮助下得到加强,如图10(g)所示。2与[30]中报告的值不同,因为我们使用了自己的实现。[30]的评价代码尚未发布。1744(a) 输入(b)磁共振(c)散焦图图11:散焦模糊放大。背景的模糊被放大,以引导更多的注意力到前方。(a)投入(b)全面聚焦(c)散焦图图12:全聚焦图像生成。原始图像中的模糊区域(黄色框)在全聚焦图像中看起来更清晰。(a)图13:深度估计。(a)输入图像。(b)Tao等人[36]第30段。 Jeon等人[11]第10段。(d)Liu等人。[21](e)我们的。我们深度图看起来合理相比,在其他工程.5.4. 应用所估计的散焦图可以用于各种应用。我们将我们的散焦图应用到以下应用中,结果令人满意。散焦模糊放大我们的算法可用于散焦模糊放大任务。我们可以通过放大模糊的背景来突出前景。图11示出了散焦模糊放大的示例前景对象在模糊放大图像中显得更加突出。与散焦模糊放大相反,我们可以使图像中的模糊区域去模糊以获得全聚焦图像。使用的σ值对于散焦图中的每个像素,我们生成相应的高斯模糊核并使用它们来对图像进行去模糊我们使用超拉普拉斯先验[15]进行非盲解卷积。图12示出了全聚焦图像生成的示例。根据散焦图,我们以逐像素的方式对原始图像进行去模糊。原始图像中的模糊区域在全聚焦图像中得到了相当大的恢复(图12(b))。从单幅图像进行三维估计散焦量与对应点的深度密切相关,因为如果所有物体都位于同一个点上,则缩放的散焦值可以被视为伪深度值。(a)(b)(c)(d)(e)图14:附加随机种子点的效果(a)投入形象。(b)IS.(c)IS+种子。(d)IF来自(b)。(e) I F来自(c)。附加随机种子点可以有效地提高大面积均匀区域的散焦精度在焦平面的同一侧。因为我们需要散焦图像和深度图,所以我们利用光场图像,因为有许多深度估计算法,并且因为数字重新聚焦可以很容易地完成。我们使用[6]解码光场图像,然后使用[36]生成重聚焦图像。我们的算法与光场深度估计算法[11,36]和单个图像深度估计算法图13显示了每个算法的输入图像和深度图.我们的深度图从一个单一的图像似乎合理相比,在其他作品中,利用之间的多个图像的对应关系6. 结论我们已经介绍了一个统一的方法来结合手工制作和深功能,并证明了他们的复杂的散焦估计的影响。一个神经网络分类器被证明能够捕捉每个功能之间的高度非线性关系,lationships,从而在高discrimi-本机功率。为了减少补丁的规模依赖性,多尺度补丁提取取决于边缘的强度。图像中的均匀区域被稀疏散焦映射很好地处理,并且传播过程由边缘保持平滑图像引导。我们的算法的性能进行比较的国家的最先进的算法。此外,在各种应用中使用的潜力被证明。我们的算法的一个限制是,我们偶尔会在一个大的均匀区域获得不正确的散焦值。这是由于在这样的区域内没有用于散焦估计的强边缘的事实。一个简单的补救措施,以解决这个问题,涉及到随机添加的分类种子点在大的均匀区域。图14显示了附加种子点的效果。广告随机种子点有效地引导稀疏散焦图,使其正确地传播到大的均匀区域。对于未来的工作,我们希望为我们的任务开发完全卷积的网络架构。确认这项工作得到了技术创新计划(第1996号)的支持 。 2017-10069072 ) , 由 贸 易 、 工 业 能 源 部 &(MOTIE,韩国)资助。1745引用[1] I. Aizenberg、D.诉Paliy,J.M. Adamada和J.T. 阿斯托拉基于 多值 神经元 的多 层神经 网络 模糊识 别。 IEEETransactions on Neural Networks,19(5):883[2] S. Bae和F.杜兰德散焦放大。在计算机图形论坛,第26卷,第571-579页。Wiley Online Library,2007.[3] C. F. 巴顿扫描电子显微镜的自动聚焦与像散校正。博士论文,Citeseer,2000年。[4] J. 精明边缘检测的计算方法IEEE Transactions on PatternAnalysis and Machine Intelligence,(6):679[5] Y. Cao,S. Fang和Z.王. 数字多聚焦从一个单一的照片采取了未经校准的传统相机。IEEE Transactions onImage Processing,22(9):3703[6] D.周,M。李,S。Kim和Y W.泰为高质量的光场图像重 建 建 立 了 Lytro 相 机 校 准 管 道 的 模 型 。 在 IEEEInternational Conference on Computer Vision ( ICCV )中,第3280-3287页。IEEE,2013。[7] D.周,Y。- W.泰和我奎恩使用深度卷积神经网络的自然图像抠图。欧洲计算机视觉会议(ECCV),第626-643页。施普林格,2016年。[8] C.东角,澳-地C. Loy,K.他,还有X。唐学习用于图像超分辨率的深度卷积网络。在欧洲计算机视觉会议(ECCV)中,第184- 188199. Springer,2014.[9] D. Eigen,D. Krishnan和R.费格斯。恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。在IEEE计算机视觉国际会议的Proceedings,第633-640页[10] J. H. Elder和S. W. Zucker用于边缘检测和模糊估计的局部尺度控制。IEEE Transactions on Pattern Analysis andMachine Intelligence,20(7):699[11] H.- G. Jeon,J.帕克湾,澳-地Choe,J.帕克湾,澳-地Bok,Y.W. 泰以及I. S.奎恩来自小透镜光场相机的精确深度图估计。在IEEE计算机视觉和模式识别会议(CVPR),第1547-1555页[12] Y. Jia、E.Shelhamer,J.多纳休S.Karayev,J.隆河,西-地Gir- shick,S. Guadarrama和T.达雷尔。Caffe:用于快 速 特 征 嵌 入 的 卷 积 架 构 arXiv 预 印 本 arXiv :1408.5093,2014。[13] P.Jiang,H. Ling,J. Yu,and J.朋不明飞行物的显著区域探测:统一性、集中性和客观性。IEEEInternationalConference on Computer Vision(ICCV),1976-1983页IEEE,2013。[14] A. Karpathy,G.Toderici、S.Shetty,T.良河,巴西-地Sukthankar和L.飞飞用卷积神经网络进行大规模视频分类。在IEEE计算机视觉和模式识别会议(CVPR),第1725-1732页,2014年。[15] D. Krishnan和R.费格斯。使用超拉普拉斯先验的快速图像反卷积。在神经科学年会上信息处理系统(NIPS),第1033-1041页,2009年。[16] G.李,Y.- W. Tai和J. Kim。深度显着性与编码的低级别距离图和高级别的功能。在IEEE计算机视觉和模式识别会议,第660-668页[17] A.莱文河Fergus,F. Durand和W. T.弗里曼。图像和深度从一个传统的相机与编码光圈。ACM Transactions onGraphics,26(3),2007年7月。[18] A. Levin,D. Lischinski和Y.韦斯一个封闭形式的解决方案,以自然图像抠图 。IEEE Transactions on PatternAnalysis and Machine Intelligence,30(2):228[19] J. Lin,X.吉,W. Xu和Q.戴.从单个散焦图像的绝对深度 估 计 。 IEEE Transactions on Image Processing , 22(11):4545[20] T.林德伯格特征检测与自动规模选择。InternationalJournal of Computer Vision,30(2):79[21] F. Liu,C.Shen和G.是林书用于从单个图像进行深度估计 的 深 度 卷 积 神 经 在 IEEE Conference on ComputerVision and Pattern Recognition ( CVPR) 中 , 第5162-5170页[22] R. Liu,Z. Li和J. Jia.图像局部模糊检测与分类。在IEEE计算机视觉和模式识别会议(CVPR)上,第1-8页。IEEE,2008年。[23] X.- M. Liu,C. Wang,H. Yao和L.张某边的比例。在IEEE计算 机视觉和 模式识别 会议中, 第462-469页IEEE,2012。[24] D. G.洛从尺度不变的关键点中提取独特的图像特征。International Journal of Computer Vision,60(2):91[25] X. Marichal,W. Y. Ma和H.张某利用dct信息在压缩域中确定模糊。在IEEE图像处理国际会议(ICIP),第2卷,第386-390页中。IEEE,1999年。[26] M. McGuire,W.马图西克Pfister,J.F. Hughes和F.杜兰德。散焦视频抠图。在ACM Transactions on Graphics,第24卷,第567-576页中。ACM,2005年。[27] W. H. Press. 数字食谱第三版:科学计算的艺术。剑桥大学出版社,2007年。[28] K. R. Rao和P.是啊离散余弦变换:算法,优点,应用。学术出版社,2014年。[29]O. 鲁萨科夫斯基Deng,H.Su,J.Krause,S.萨蒂希S.妈Z。Huang,黄背天蛾A. 卡帕西A.科斯拉,M。伯恩斯坦A. C. Berg和L.飞飞ImageNet大规模视觉识别挑战。国际计算机视觉杂志,第1-42页[30] J. Shi,X.陶湖,澳-地Xu和J. Jia.休息室幻觉:从一般单一 图 像 的 深 度 。 ACM Transactions on Graphics , 34(6):225,2015.[31] J. Shi,L. Xu和J. Jia.判别模糊检测功能。在IEEE计算机视觉和模式识别会议(CVPR),第2965-2972页[32] J. Shi,L. Xu和J. Jia.只是明显的散焦模糊检测和估计。在IEEE计算机视觉和模式识别会议,第657-665页1746[33] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv:1409.1556,2014。[34] J.孙,W.曹,Z. Xu和J. Ponce.学习卷积神经网络以去除非均匀运动模糊。在IEEE计算机视觉和模式识别会议中,第769-777页IEEE,2015年。[35] Y.-- W. Tai和M. S.布朗基于局部对比度先验的单幅图像散 焦 图 估 计 。 IEEEInternational Conference on ImageProcessing(ICIP),第1797-1800页。IEEE,2009年。[36] M. W. Tao,S. Hadap,J. Malik,and R. Ramamoorthi 使用 光 场 相 机 结 合 散 焦 和 对 应 的 深 度 。 在 IEEEInternational Conference on Computer Vision ( ICCV )中,第673-680页。IEEE,2013。[37] C.- Y. Wee和R.Paramesran。图像清晰度测量使用- ING特征值。在信号处理国际会议(ICSP),第840-843页。IEEE,2008年。[38] L. 徐,J.S. 伦角,澳-地Liu和J.贾用于图像去卷积的深度卷积神经信息处理系统年会(NIPS),第1790- 1798页,2014年[39] L. 徐,J.S. 伦角,澳-地延河,巴西-地Liao和J.贾深度边缘感知过滤器。国际机器学习会议(ICML),第1669-1678页,2015年[40] R. Yan和L.邵基于两阶段深度
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)