没有合适的资源?快使用搜索试试~ 我知道了~
基于深度纹理和结构感知的图像平滑卢凯乐1、2,尤少迪2、1,尼克·巴恩斯2、11澳大利亚国立大学2Data61,CSIRO{凯乐.陆少迪.你.尼克.巴恩斯}@ data61.csiro.au抽象。图像平滑是计算机视觉中的基本任务,其试图保留显著结构并去除不重要的纹理。在本文中,我们的目标是解决现有的图像平滑方法的根本缺点,它不能正确区分纹理和结构相似的低层次的外观。虽然深度学习方法已经开始通过图像平滑来探索结构保留,但现有的工作尚未正确解决纹理问题。为此,我们通过将自然纹理与干净的仅结构图像混合来生成一个大型数据集,并使用它来构建一个纹理预测网络(TPN),该网络预测纹理的位置和大小然后,我们将TPN与语义结构预测网络(SPN)相结合,使得最终的纹理和结构感知过滤网络(TSAFN)可用于确定纹理存储器移动(“纹理-结构”)和纹理存储器预处理(“纹理-结构“)。该模型易于理解和实现,并在野外的真实图像以及我们生成的数据集上显示出良好的性能关键词:图像平滑,纹理预测,深度学习1介绍图像平滑是图像处理和计算机视觉中的一项基本技术,旨在通过保留显著结构(仅结构图像)并去除不重要的纹理(仅纹理图像)来清洁图像,各种应用包括去噪[15],细节增强[14],图像抽象[38]和分割[36]。主要有两种类型的图像平滑方法:(1)基于核的方法,计算纹理像素的邻域平均值,同时试图保留结构像素的原始值,如引导滤波器(GF)[18],滚动引导滤波器(RGF)[46],分段图滤波器(SGF)[45]等;以及(2)基于分离的方法,其将图像分解成结构层和纹理层,诸如相对全变差(RTV)[42]、快速L0 [27]以及静态和动态引导滤波器(SDF)[16,17]。传统的方法依赖于手工制作的特征和/或先验知识来区分2Kaiyue Lu,Shaodi You,Nick Barnes(a) 自然纹理(b)学习“纹理意识”的说明(d)法国外交部[5](e)RGF [6](f)SGF [7](c)提出的深度滤波网络的框架(g)快速LO [9](h)SDF [11](i)DGF [19]Fig. 1. (a)自然图像中的纹理通常由于空间失真和高密度而难以识别。(b)我将不再使用“六方会谈”。 通过向自然纹理图案添加空间和颜色变化并将其与仅结构图像混合来对数据进行加权,然后使用结果来训练具有纹理地面实况的多尺度纹理网络。我们在生成的数据和自然图像上测试了网络。(c)我们提出的深度过滤网络由用于预测纹理(具有高对比度的白色条纹)的纹理预测网络(TPN)组成;一个用于图像平滑的纹理预处理网络(SPFN)(图像的边界,其与背景具有相对低的对比度);以及一个用于图像平滑的纹理和结构感知滤波网络(TSAFN)。(d)-(i)现有方法不能有效区分低对比度结构和高对比度纹理。结构的纹理。这些特征很大程度上基于低级外观,并且通常假设结构总是具有较大的梯度,并且纹理只是颜色强度的较小振荡。事实上,识别纹理是相当困难的主要原因有两方面:(1)纹理本质上是规则或不规则地分布在物体结构内的重复图案,并且它们可能在图像中显示出显著的空间失真(如图1A所示)。(2)在一些图像中,存在具有大梯度和与背景的颜色对比度的强纹理,其容易与结构(诸如图1(a)中的在图像的框架上的纹理)混淆。 (c)第1段。 我们从Fig. 在GF、RGF、SGF、快速L0和SDF处的h纹理要么不被移除,要么被抑制,结构严重模糊。这自然纹理数据集训练数据生成 空间变化 颜色变化生成的图像纹理预测纹理G.T.仅结构图像输出多尺度输入多尺度纹理网络高对比度空间失真+输入输出结构预测纹理预测网络(SPN)网络(主题方纹理和结构感知过滤网络深度网络深度纹理和结构感知过滤网络3这是因为这些滤光器的手工制作性质使得它们在应用于各种类型的纹理时不太稳健,并且还导致纹理和结构的差的辨别其他一些方法[41,23,21,12,6,11,31]利用深度神经网络,并通过提取更丰富的信息来实现更好的性能。然而,现有的网络在训练期间使用各种手工制作的过滤器的输出作为地面实况。因此,这些深度学习方法受到手工制作的过滤器的缺点的限制,并且无法学习如何有效地区分纹理和结构。最近提出的双引导滤波器(DGF)[25]通过以下方式解决了这个问题:通过减少“tex tureguidance”的概念,其中减少了tex tur的位置,并且与tex tureguidance相结合,以达到tex tureguidance和结构保留的目标然而,DGF使用了一种手工制作的基于分离的算法,称为结构梯度和纹理解相关(SGTD)[22]以构造仍然不能基本上在真实的分辨率上过度拟合的纹理置信度图。我们认为这并不意味着“textrurea wareness”,因为在许多情况下,当过滤器在几次迭代后试图去除强纹理时,一些结构不可如可见于图1(i),尽管条纹纹理在很大程度上被平滑了,但长颈鹿的结构出乎意料地模糊了,特别是头部和尾部周围(红色框)。在该实施例中,我们确定了“纹理图像”的特征,即纹理区域(纹理所在的位置)和纹理幅度(与背景具有高对比度的纹理难以去除)。因此,我们利用深度学习的优势,提出了一个纹理预测网络(TPN),旨在从自然图像中学习纹理然而,由于不存在包含具有标记的纹理区域的自然图像的可用数据集,因此我们使用texture-on-ly-datasets[8,10]。图中显示了learning“texturereawareness”的过程。第1段(b)分段。具体来说,我们通过向自然纹理模式添加空间和颜色变化并将其与仅结构图像混合来生成训练数据然后,我们构建了一个多尺度网络(包含不同层次的上下文信息)来训练这些图像与纹理地面实况(G. T。简而言之)。建议的TPN是能够预测纹理,通过充分考虑这两个低级别的外观,例如。、梯度和其他统计数据,例如重复、平铺、空间变化失真。 该网络在我们生成的测试数据上实现了良好的性能,并且还可以很好地推广到自然图像,有效地定位纹理区域并通过分配不同的置信度来测量纹理大小,如图所示。第1段(b)分段。更多详情见第3节。为了实现这个目标,我们通过[25]中介绍的“双引导”来实现,并提出了一种基于深度神经网络的过滤器,该过滤器学习如何通过TPN来实现快速 的路由恢复(“textrure-a wareness”)和路由恢复(“stururure-a wareness”,通过HE Ds ematicdeticeticetic t i on [ 39 ])。 这是一种端到端图像平滑架构,我们将其称为“纹理和纹理A war e Filt e r in g Ne t w or k”(TSAFN),如图所示。第1段(c)分段。 网络是用我们自己生成的数据集训练的。与[25]中的工作不同,我们用深度学习方法生成纹理和结构指导,并用深度学习模型替换手工制作的内核过滤器来实现4 Kaiyue Lu,Shaodi You,Nick Barnes这两种指导的更一致和更有效的结合实验结果表明,我们提出的滤波器在有效性和效率方面优于DGF [25],在我们的数据集上实现了最先进的性能,并且很好地推广到自然图像。本文的主要贡献是:(1)我们提出了一种深度神经网络来鲁棒地预测自然图像中的纹理。(2)我们提出了一个大的数据集,使训练纹理预测和图像平滑。(3)我们提出了一种用于图像平滑的端到端深度神经网络,该网络实现了“边界平滑”和“边界平滑”,并在具有挑战性的自然图像上提出了一些规范的边界平滑2相关工作从结构中提取纹理这类工作的基本假设是,图像可以分解为结构层和纹理层(结构层是输入的平滑版本,包含突出的结构,而纹理层包含无关紧要的细节或纹理)。开创性的工作,总变差[30],旨在最小化输入和输出图像之间的二次差,以保持结构一致性,梯度损失作为额外的惩罚。后来的作品保留了二次形式,并提出了其他正则化项或特征(梯度损失仍然需要保持结构尽可能清晰),例如加权最小二乘(WLS)[13],0范数平滑[40,27],1范数平滑[3],局部极值[32],结构梯度和纹理去相关(SGTD)[22]。其他工作也集中在加速优化[4]或改进现有算法[24]。有两个普遍性问题在现有工作中没有得到有效处理。首先,由于它们在很大程度上依赖于梯度信息,这些方法缺乏对纹理和结构的区分,特别是当它们具有相似的低级外观时,特别是在尺度或幅度方面。其次,所有的目标函数都是手动定义的,并且可能对各种各样的可能纹理,特别是在自然图像中,不具有自适应性和引导图像可以提供结构信息以帮助修复和锐化目标图像中的结构。由于将指导添加到基于分离的方法中可能使其更难优化,因此该思想更广泛地用于基于内核的方法中。静态引导是指使用固定的引导图像,例如双边滤波器[35]、联合双边滤波器[28]和引导滤波器[18]。为了使引导更具结构感知性,现有滤波器还采用诸如杠杆树距离[2]、超像素[45]、区域协方差[20]、共生矩阵[19]、传播距离[29]、多点估计[34]、全连接区域[9]和边缘图[43,7,44]的技术相比之下,动态引导方法更新引导图像以通过迭代地细化目标图像来抑制更多细节[46,16,17总的来说,上述指导方法仅涉及结构信息,或者假设可以充分区分结构和纹理深度纹理和结构感知过滤网络5只有一个方向。然而,在大多数情况下,结构和纹理相互干扰严重。Lu等人 [25]通过引入“纹理置信度”的概念来解决这个问题,其中通过规范化由SGTD [ 22 ]分离的纹理层来构建纹理置信度图来定义纹理区域然后,他们天真地将其与结构指导相结合,形成双指导内核滤波器。然而,该方法仍然在很大程度上依赖于手工制作的特征(特别是它依赖于手工制作的SGTD来推断纹理,这本质上是不稳健当过滤器在几次迭代之后试图平滑强纹理时,结构可能会模糊深度学习已被广泛应用于低级视觉任务,如超分辨率[33],去模糊[26]和去雾[5]。与非学习方法相比,深度学习能够从图像中提取更丰富的信息。在图像平滑中,当前的深度滤波模型都集中在逼近和加速现有的非学习滤波器。[41]是一篇开创性的论文,其中在梯度域上执行学习,并且从深度网络产生的精细梯度中重建输出。Liu等人。 [23]利用卷积网络(用于感知显着结构)和递归网络(用于以数据驱动的方式产生平滑输出)。Li等人。 [21]将来自原始输入和引导图像的特征融合在一起,然后产生引导平滑结果(这项工作主要用于上采样)。Fan等人 [12]首先构建了一个名为E-CNN的网络,以基于梯度预测边缘/结构置信度图,然后使用它来指导名为I-CNN的过滤网络。类似的工作可以在[11]中找到相同的作者。最近的工作主要集中在从输入图像中提取更丰富的信息([31]引入卷积神经金字塔来提取不同尺度的特征,[6]利用上下文聚合网络来包含更多的上下文信息)并产生更令人满意的结果。一个共同的问题是,所有这些方法都必须将现有过滤器的输出作为基础事实。因此,它们无法克服它们在区分纹理方面的缺陷。3纹理预测在本节中,我们将深入了解自然图像中的纹理,这启发了纹理预测网络(TPN)和训练数据集的设计。3.1什么是纹理?纹理的出现众所周知,自然界中存在许多不同类型的一般来说,纹理是在对象结构内规则地或不规则地分布的重复图案。例如图如图1(c)所示,在玻璃纤维表面上的白色条纹被识别为白色条纹。 IinFig.2、将图像广泛地印在衣服、书本和桌布上。对于认知和视觉任务,Čċ“16 Kaiyue Lu,Shaodi You,Nick Barnes(a) 输入(b)梯度图(c)特写图二. 仔细观察结构和纹理。与现有方法中使用的假设相反,大梯度不一定指示结构(IV),并且小梯度也可以属于结构(III)。区分它们的挑战促使我们提出两个独立的纹理和结构指导。直观的观察是,这些纹理的去除将不会影响对象的空间结构。因此,它们可以通过作为其他视觉任务的预处理步骤的图像平滑来去除。纹理不一定具有小梯度。现有方法一般假设纹理是微小振荡并且具有小梯度。因此,他们可以轻松地手工制作滤波器或损失函数。然而,在许多情况下,文本可能具有更大的分量,例如:G. 图1(b)中的条纹出现在书架上,图1(b)的特写IV中的条纹出现在书本上。第2段(c)分段。因此,纯粹基于局部对比度来定义纹理是不够的。从数学上对纹理重复进行建模是不平凡的。根据定义,纹理是具有空间重复的图案。然而,由于存在各种扭曲,建模和描述重复是不平凡的(见图11)。1(a))。为了解决这些问题,我们利用了深度神经网络。只要有足够的训练样本,网络就能够在没有显式建模的情况下学习预测纹理。3.2数据集生成我们的目标是提供一个数据集,以便深度网络可以学习预测纹理。理想情况下,我们希望直接从自然图像中学习然而,手动注释逐像素标签加上阿尔法抠图将是昂贵的。此外,它还需要全方位的纹理,每一种纹理都需要在广泛的自然场景中进行全方位的扭曲。因此,我们提出了一种策略来生成训练和测试数据。稍后,我们将证明所提出的网络能够有效地预测野外的纹理。我们观察到,卡通图像仅具有填充有纯颜色的结构边缘,并且可以容易地将结构边缘填充为“结构化图像”。特别是,我们从互联网上选择了174个卡通形象和233个不同类型的自然我自然纹理模式提取仅结构图像掩模空间变形从彩色背景中分离纹理结果生成的图像纹理G.T.深度纹理和结构感知过滤网络7(a) 数据生成过程(b)生成数据图三. 数据集生成的图示。我们将自然纹理模式融入到纯结构图像中,添加空间和颜色变化以增加纹理多样性。我们主要集中在图像补丁的动机,纹理总是聚集在某些区域。来自公共数据集的仅纹理图像[8,10]。数据生成过程如图所示。第3(a)段。请注意,这些数据集中的纹理图像仅显示纹理,并且都具有简单的背景,因此即使使用相对总变差(RTV)[42],将它们与彩色背景分离也是简单有效的。由RTV分隔的纹理层被归一化为[0,1]。纹理本身可以是不规则的,并且由于几何投影,野生纹理可能会失真。这是因为纹理可能出现在与观察方向不正交的平面表面上,以及被投影到具有复杂3D表面的对象因此,我们在数据集生成过程中将如图在图3(a)中,我们将纹理混合到仅结构图像中。具体来说,我们将所有纹理图像重新缩放到100× 100,并使用RTV提取纹理模式。我们模型的空间变化,捕捉投影纹理在补丁级别通过执行包括旋转、缩放、剪切以及线性和非线性失真的几何变换。我们随机选择几何变换和操作参数。基于变形的结果,我们生成二进制掩码M。对于颜色变化,给定仅结构图像S,像素的值所生成的图像I(j)的第j个通道中的第i个通道中的第j个通道的第i个通道面具M如果M i= 1,则I(j)= rand[κ·(1 − S(j)),1 − S(j)],其中κ用于我我我控制随机生成的范围,并根据经验设置为0.75。否则I(j) = S(j)。我们重复这一点滑动掩模在整个图像没有我我重叠的。地面实况纹理置信度通过对纹理层的三个通道的值:1Σ3。.T *= δ(. I(j)− S(j)。),(1)i3.我我.j=1其中δ(x)= 1/(1+exp(−x))是将值缩放到[0, 1]的sigmoid函数我们使用这种颜色变化来生成纹理和背景之间的显著对比使用这种方法,两个图像不太可能具有结构预测网络第一阶段第二阶段第三阶段第四阶段第五结构制导输入T-conv1_1T-conv2_1 T-conv 3_1纹理预测网络(3,3,16,1)(三、三、纹理引导1/2 InputT-conv1_2T-conv2_2T-conv3_2(3,3,16,1)(三、三、八、一)(三、三、四、一)+T-conv4(3,1/4输入T-conv1_3T-conv2_3T-conv3_3(3,3,(三、(三、1/8输入T-conv1_4T-conv2_4T-conv3_4(3,3,16,1)(三、三、八、一)(三、三、四、一)上采样纹理和结构感知过滤网络D-conv1(7,7,64,1)+D-conv2(5,5,32,1)D-conv3(3,3,16,1)输出8 Kaiyue Lu,Shaodi You,Nick Barnes见图4。我们提出的网络架构。纹理预测网络(TPN)和结构预测网络(SPN)的输出与原始输入级联,然后馈送到纹理和结构感知滤波网络(TSAFN)以产生最终的平滑结果。卷积层的(k,k,c,s)意味着内核大小为k×k,具有c个特征映射,步长为s。相同的纹理,即使纹理来自相同的原始图案。图3(b)示出了八个生成的图像块。最后,我们总共生成了30,000张图像(少数低质量图像已被手动删除)。对于地面实况,除了纯粹干净的仅结构图像之外,我们还提供所有生成的图像的二进制结构图和纹理置信度图。目前,我们在整个图像上分布纹理,并且纹理不依赖于对象,这可能是自然图像中的典型外观。稍后,我们将展示使用补丁学习可以弥补这一差距,因为纹理总是聚集在一起的在某些地区。此外,我们的目标是让网络学习局部纹理的外观统计数据,而不是全局结构。3.3纹理预测网络网络设计我们提出了纹理预测网络(TPN),它是在我们生成的数据集上训练的。考虑到纹理有各种颜色,尺度和形状,我们采用多尺度学习策略。具体地,我们分别对输入应用1/2、1/4和1/8下采样对于每个图像,我们使用3个卷积层进行特征提取,具有相同大小的3×3内核和不同数量的特征图。然后,将所有特征图的大小调整为原始输入大小并连接以形成16通道特征图。它们进一步与3× 3层卷积,以产生最终的单通道结果。请注意,除了输出层之外,每个卷积层后面都是ReLU,输出层后面是sigmoid激活函数,以将值缩放到[0, 1]。TPN的架构如图所示4.第一章因此,给定输入图像I,通过以下方式获得所述预执行的预定义时间T〜:.T〜=gI,11,211,4Σ1I.(二)8深度纹理和结构感知过滤网络9(a) 生成图像的纹理预测结果(b)自然图像的纹理预测结果图五、纹理预测结果。第一行:输入(包括生成的图像和自然图像)。第二行:RTV [42]的纹理提取结果(我们比较它,因为我们使用它从仅纹理图像中提取纹理)。第三行:我们提出的TPN的纹理预测结果。该网络能够有效地在生成的图像和自然图像中找到纹理,并通过分配像素级置信度来指示纹理的大小。网络训练通过最小化预测纹理引导图和地面实况之间的均方误差(MSE)来训练网络:(θ)=¨你好¨2-T¨,(3)TN¨ii¨2我其中N是图像中的像素数,*表示地面实况,并且θ表示参数。更多的训练细节可以在实验部分找到。纹理预测结果我们在图中展示了我们生成的图像5(a)和自然图像在图。5(b)。该网络能够有效地在生成的图像和自然图像中找到纹理,并通过分配像素级置信度(第三行)来指示纹理的大小为了比较,我们还在第二行中列出了RTV[42]RTV在更复杂的场景中表现得更差,因为就像其他手工制作的过滤器一样,RTV也假设结构具有大的梯度,因此对强纹理的辨别力很差。3.4纹理和结构感知滤波网络网络设 计一旦生 成结构和纹 理指导,纹 理和结构感 知过滤网络(TSAFN)将它们与输入连接起来,形成一个5通道张量。TSAFN由4层组成。我们在第一层设置了一个相对较大的核(7× 7),以获取更多的原始信息TPN输入RTV [8]1Σ˜i¨Σ¨10 Kaiyue Lu,Shaodi You,Nick Barnes的理由:建筑核的大小在随后的两个层(分别为5× 5、3× 3)中减小在最后一层中,内核大小再次增加到5×5。前三层之后是ReLU,而最后一层没有激活功能(将张量转换为3通道输出)。根据经验,我们删除了所有池化层,与[41,21,12,6]相同我们在没有任何指导的情况下将滤波网络整个过程可以表示为:~I =h(I,E~,T~)。(四)网络训练通过最小化以下内容来训练网络:D(θ)= 1¨N(¨Ii我¨2-I *¨)。(五)2更多细节可以在实验部分找到。4实验和分析在本节中,我们通过演示我们提出的深度图像平滑网络的有效性。我们在Tensorflow [1]中构建网络,并在单个NVIDIA Titan X显卡上训练和测试所有数据由于没有公开的纹理去除数据集,我们使用生成的图像进行训练更具体地说,我们从数据集中选择了19,505张图像(65%)用于训练,2,998张(10%)用于验证,7,497张(25%)用于测试(所有测试图像都调整为512×512)。在训练、验证和测试样本之间没有仅结构和纹理图像的重叠。训练我们首先分别训练这三个网络从训练图像中随机稀疏地收集300,000个大小为64× 64的块我们使用梯度下降,学习率为0.0001,动量为0.9。最后,我们通过联合训练整个网络来进行微调,学习率为0.00001,动量为0.9。微调损耗为(θ)=γ·6,且λ= 0。2.4.1现有方法比较我们将我们的滤波器与2个经典滤波器进行比较:总变差(TV)[30],双边滤波器(BLF)[35]和9个最近提出的滤波器:L0 [40],相对总变差(RTV)[42],引导滤波器(GF)[18],结构深度纹理和结构感知过滤网络11输入地面实况SDF [PAMIDGF [DICTADFF [ICCV'17] CEILNet [ICCV我们见图6。生成的图像上的平滑结果。我们的过滤器可以平滑各种类型的纹理,同时保留结构比其他方法更有效梯度和纹理去相关(SGTD)[22],滚动制导滤波器(RGF)[46],快速L0 [27],分段图滤波器(SGF)[45],静态和动态滤波器(SDF)[17],双制导滤波器(DGF)[25]。注意,BLF、GF、RGF、SGF、DGF是基于内核的,而TV、LO、RTV、SGTD、快速LO、SDF是基于分离的。我们为每个方法使用在开源代码中定义的默认参数我们选择了5种最先进的深度滤波模型:深度边缘感知滤波器(DEAF)[41],深度联合滤波器(DJF)[21],深度递归滤波器(DRF)[23],深度快速滤波器(DFF)[6]以及级联边缘和图像学习网络(CEILNet)[12]。我们用我们的数据集重新训练所有模型4.2结果生成图像的定量结果我们首先比较表1中测试数据的平均MSE,PSNR,SSIM [37]和11个非学习滤波器的处理时间(秒)。我们的方法实现了最小的MSE(最接近地面实况),最大的PSNR和SSIM(最有效地去除纹理和保留主要结构),以及最低的运行时间,表明其在有效性和效率方面的优越性。请注意,尽管双引导滤波器(DGF)[25]比其他手工制作的方法实现了更好的定量结果,但它运行得非常慢(比我们的慢50倍以上)。我们还比较了在表2中的数据集上训练和测试的不同深度模型的定量结果。我们的模型实现了最好的MSE,PSNR和SSIM,与其他方法的效率相当。我们还选择了4种最先进的方法(SDF [17],DGF [25],DFF [6]和CEILNet [12])用于图1中的视觉比较。六、我们的方法给出了有利的定性结果。在图7中,我们在视觉上比较了5个具有挑战性的自然图像与SDF[17]、DGF [25]、DF-F [6]和CEILNet [12]的平滑结果。在第一示例中,豹被黑色纹理覆盖,并且其与背景具有相对低的对比度(弱结构)。只有我们的过滤器平滑了大部分的纹理,同时有效12 Kaiyue Lu,Shaodi You,Nick Barnes输入SDF[PAMIDGF[DICTADFF [ICCVCEILNet [ICCV我们图7.第一次会议。自然图像上的平滑效果第一个例子展示了纹理场景中弱结构的保持和增强能力接下来的四个示例呈现了具有不同形状、对比度和失真的各种纹理类型在所有的例子中,我们的过滤器的性能始终优于最先进的方法保持和增强结构。接下来的四个示例呈现了具有不同形状、对比度和失真的各种纹理类型,并且我们的过滤器始终表现良好。我们更详细地分析了最后一个具有挑战性的花瓶示例。花瓶上布满了强烈的点状纹理,表面包裹得很密。SDF无法移除这些纹理,因为它们被视为具有大梯度的结构。DGF更有效地平滑了黑点,但整个图像看起来模糊。这是因为正如[25]所指出的,需要更大的此外,结构和纹理内核的朴素组合使得滤波器对各种类型的纹理不鲁棒这两个深度过滤器并没有表现出比手工制作的方法有深度纹理和结构感知过滤网络13表1. 在我们的数据集上测试的不同非学习过滤器的定量评估MSE PSNR SSIM 时间MSE PSNR SSIM 时间电视[30] 0.2791 11.33 0.6817 2.44RGF [46]0.2094 15.73 0.71730.87BLF [35] 0.3131 10.89 0.6109 4.31[27]第二十七话0.2068 15.50 0.73591.36[40]0.2271 14.62 0.7133 0.94SGF [45]0.2446 13.92 0.70022.26室温硫化[42]0.2388 14.07 0.7239 1.23SDF [17]0.1665 16.82 0.76333.71[18]第十八话0.2557 12.22 0.6948 0.83DGF [25]0.1247 17.89 0.75528.66SGTD [22] 0.1951 16.14 0.7538 1.59我们0.0051 25.07 0.9152 0.16表2.对在我们的数据集上训练和测试的深度模型进行定量评估MSE PSNR SSIM 时间MSEPSNR SSIM 时间聋人[41] 0.0297 20.62 0.8071 0.35DFF [6]0.0172 22.21 0.8675 0.07DJF [21] 0.0352 19.01 0.7884 0.28CEILNet [12] 0.0156 22.65 0.8712 0.13DRF [23] 0.0285 21.14 0.8263 0.12我们0.0051 25.07 0.9152 0.16输入无指导仅结构指导仅纹理指导双引(单独培训)双引(微调)见图8。无引导、单引导、双引导(单独训练和微调)的图像平滑结果。仅使用结构引导,主要结构以及纹理被保留。仅使用纹理引导,所有纹理都被平滑,但结构严重模糊。双引导的结果对整个网络进行微调可以进一步提高性能。因为“安全性测试”在网络设计中并不特别重要。只有我们的过滤器可以去除纹理,而不会模糊主要结构。为了研究制导的效果,我们分别在无制导、只有结构制导、只有纹理制导和双重制导的情况下训练滤波网络。我们在表3中列出了与地面实况相比的测试结果的平均MSE、P-SNR和SSIM,表明双制导的结果具有较小的MSE、较大的SNR和较小的SSIM。14 Kaiyue Lu,Shaodi You,Nick Barnes表3. 无引导、仅结构引导、仅纹理引导和双引导(单独训练和微调)的MSEPSNR SSIM无指南(基线)0.0316 20.32 0.7934只有结构指导0.0215 21.71 0.8671仅纹理指导0.0118 23.23 0.8201双重指导(单独培训)0.0059 24.78 0.9078双导向(微调)0.0051 25.07 0.9152er的PSNR和更大的SSIM。此外,微调过程改进了滤波网络。此外,我们在图中显示了两个自然图像。8.与没有引导的基线相比,仅具有结构引导的结果保留了更多的结构以及纹理(这主要是因为HED也可能受到强纹理的负面影响,导致在训练网络时的更大MSE损失)。相比之下,即使去除了大多数纹理,仅使用纹理引导,结构也会严重模糊。结合结构和纹理指导产生更好的结果,由于良好的区分结构和纹理。微调进一步改善了结果(在第一个示例的红色矩形中,结构更清晰;在第二示例中,红色区域内的纹理被进一步抑制),因为它将所有三个网络作为一个整体,并且这种协同策略允许不同的特征相互支持和补充以获得更好的性能。所有观察结果与表3中的定量评价一致。5结论在本文中,我们提出了一个端到端的纹理和结构感知过滤器-在网络中,它是能够使用“textrure-a-areness”和“sturucture-a-areness”的图像。 这种“纹理纹理”是从新一代的纹理预测网络中得到的。为了便于训练,我们将自然纹理融入到图像中,以利用像素和颜色或不同的像素来进行单独的图像处理。“结构化服务”由系统管理员设计实现。实验结果表明,纹理网络可以有效地预测纹理。我们的过滤网络在生成的图像和自然图像上都优于其他过滤器。网络结构直观,易于实现。在今后的工作中,我们将引进基于对象的纹理提示-转向更基于对象的纹理预测和图像平滑方法。致谢这项工作已部分资助NHMRC(国家卫生和医学研究委员会)根据批准号1082358。深度纹理和结构感知过滤网络15引用1. Abadi,M.,Agarwal,A.,Barham,P.,Brevdo,E.,陈志,西特罗角科罗拉多州科拉多戴维斯,A.,迪恩J Devin,M.,等:Tensorflow:异构分布式系统上的大规模机器学习。arXiv预印本arXiv:1603.04467(2016)2. 鲍湖,加-地Song,Y.,Yang,Q.,袁,H.,王G:树过滤:使用最小生 成 树 的 高 效 结 构 保 持 平 滑 IEEE Transactions on ImageProcess ing23(2),5553. Bi,S.,Han,X. Yu,Y.:一种用于边缘保持平滑和场景级本征分解的l1图像变换。ACM Transactions on Graphics(TOG)34(4),78(2015)4. Buades,A.,Le,T. M.,Morel,J.M.,洛杉矶维斯:快速卡通+纹理图像过滤器。IEEETransacti onsonImageProce ss sing19(8),19785. 蔡,B.,徐,X.,Jia,K.,Qing,C.,Tao,D.:Dehazenet:用于去除单一图像雾度的端到端系统。IEEE Transactions on Image Processing 25(11),51876. 陈昆,徐,J,Koltun,V.:使用全卷积网络进行快速图像处理。在:IEEE计算机视觉国际会议(ICCV)(2017年10月)7. Cho , H. , 李 , H. , 康 , H. , Lee , S. : 双 边 纹 理 滤 波 。 ACMTransactions on Graphics(TOG)33(4),128(2014)8. Cimpoi,M.,Maji,S.,科基诺斯岛Mohamed,S.,,Vedaldi,A.:描述野外的纹理。在:IEEE会议的程序。计算机视觉和模式识别(CVPR)(2014)9. 戴湖,Yuan,M.,张福,张X:全连接引导图像滤波。在:IEEE计算机视觉国际会议论文集。pp. 35210. Dana,K.J.,Van Ginneken湾Nayar,S.K.,Koenderink,J.J.:反射率和反射率的关系。ACMTransacti onsOnGraphics(TOG)18(1),111. 范,Q.,Wipf,D.P.,Hua,G.,陈,乙:重新审视深度图像平滑和内 在 图 像 分 解 。 CoRR abs/1701.02965 ( 2017 ) , http : //arxiv.org/abs/1701.0296512. 范,Q.,杨杰,Hua,G.,陈伯,Wipf,D.:用于单个图像反射去除和图像平滑的通用深度架构。在:IEEE计算机视觉国际会议(ICCV)(2017年10月)13. Farbman,Z.,法塔勒河,Lischinski,D.,Szeliski,R.:多尺度色调和细节处理的边缘保持分解。ACM Transactions on Graphics(TOG)第27卷,第67页。03 - 03 - 05 - 9.5分14. 法塔勒河,Agrawala,M.,Rusinkiewicz,S.:多尺度形状和细节增强从多光图像集合。ACM事务处理图表26(3)、51(2007)15. Gu,S.,张,L.,左,W.,冯X:加权核范数最小化及其在图像去噪中的应用。In:ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition. pp. 第286216. Ham,B.,Cho,M. Ponce,J.:使用联合静态和动态引导的鲁棒图像滤波。在:IEEE计算机视觉和模式识别会议论文集中。pp. 482317. Ham,B.,Cho,M.Ponce,J.:使用非凸势的鲁棒引导图像滤波IEEETransactions on Pattern Analysis and Machine Intelligence(2017)16 Kaiyue Lu,Shaodi You,Nick Barnes18. 他 , K. , 孙 , J. , 唐 X : 引 导 图 像 滤 波 。 IEEE transactions onpatternanalysisandmachine ineintelligence35(6),139719. Jevnisek,R.J.,Avidan,S.:共现过滤器。IEEE计算机视觉与模式识别会议(CVPR)(2017年7月)20. 卡拉坎湖Erdem,E.,Erdem,A.:基于区域协方差的结构保持图像平滑。ACM Transactions on Graphics(TOG)32(6),176(2013)21. 李,Y.,Huang,J.B.,Ahuja,N.,Yang,M.H.:深度联合图像滤波。In:European ConferenceonComputerVision. pp. 154-169 02TheDog(2016)22. 刘昆,刘杰,Dong,P.,Liang,D.:SGTD:用于图像分解的结构梯度和纹 理 装 饰 相 关 正 则 化 。 In : ProceedingsoftheIEEEIntérnationalConferenceonComputerVision. pp. 108123. Liu,S.,Pan,J.,Yang,M.H.:学习递归滤波器的低层次视觉通过一个hybrid神经网络工作。 In:EuropeanConferenceonCom up uterVison。pp. 560-576。Springer(2016)24. 刘伟,陈旭,Shen,C.,刘志,Yang,J.:图像滤波中的半全局加权最在:IEEE计算机视觉国际会议(ICCV)(2017年10月)25. Lu,K.,你SBarnes,N.:双引导滤波:具有结构和纹理引导的图像平滑在:IEEE数字图像计算国际会议:技术与应用(DICTA)(2017年12月)26. 不S Hyun Kim,T. Mu Lee,K.:深度多尺度卷积神经网络动态场景去模糊。IEEE计算机视觉与模式识别会议(CVPR)(2017年7月)27. Nguyen,R.M.,Brown,M.S.:快速有效的区域融合l0梯度最小化。在:IEEE计算机视觉国际会议论文集。pp. 第20828. Petschnigg,G.,塞利斯基河Agrawala,M.,Cohen,M.,Hoppe,H.,Toyama , K. : 使 用 闪 光 灯 和 无 闪 光 灯 图 像 对 的 数 码 摄 影 。 ACMtransactions ongraphics(TOG)23(3),66429. Rick Chang,J.H.,Frank Wang,Y.C.:传播图像过滤。在:ProceedingsoftheIEEEConFeRénCeonCon PuterVis isonandPater nReg gnition中。pp. 1030. Rudin,L. I.,Osher,S.,Fatemi,E.:基于非线性全变分的噪声去除算法。PhysicaD:N〇nlinearPhenom ema60(1-4),25931. 沈,X.,陈玉,陶XJia,J.:用于图像处理的卷积神经金字塔CoRRabs/1704.02071(2017),http://arxiv.or
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功