没有合适的资源?快使用搜索试试~ 我知道了~
参数化图像算子的解耦学习
参数化图像算子的解耦学习范庆南1、3,陈东东2,陆远4、刚华4、余能海2、陈宝泉5、11山东大学、2中国科学技术大学网址:fqnchina@gmail.com,cd722522@mail.ustc.edu.cn3北京电影学院、4微软研究院、5北京大学@microsoft.com,ynh@ustc.edu.cn,baoquan@pku.edu.cn摘要许多不同的深度网络已被用于近似,加速或改进传统的图像算子,如图像平滑,超分辨率和去噪。在这些传统算子中,许多算子包含需要调整以获得卫星图像结果的参数,这被称为“随机化的图像操作”然而,大多数针对这些算子训练的现有深度网络仅针对一个特定参数配置而设计,这不能满足通常需要灵活参数设置的真实场景的需求。为了克服这一限制,我们提出了一种新的解耦学习算法来学习算子参数,以动态调整图像算子的深度网络的权重,表示为基础网络。学习算法形成为另一个网络,即权重学习网络,其可以与基础网络端到端地联合训练。实验表明,该框架可以成功地应用于许多传统的参数化图像算子。我们提供了更多的分析,以更好地理解所提出的框架,这可能会激发更多有前途的研究在 这 个 方 向 。 我 们 的 代 码 和 模 型 已 在https://github.com/fqnchina/DecoupleLearning上发布。1介绍图像算子是许多计算机视觉任务的基本构建块,例如图像平滑[16,42],超分辨率[25,27]和去噪[33]。为了获得期望的结果,这些算子中的许多算子包含一些需要被标记的参数。本文将其称为“并行定值操作”。例如,在大多数平滑方法中,控制平滑强度的参数是普遍的,并且在图像超分辨率中总是使用表示目标上采样标量的参数。最近,已经提出了许多基于CNN的方法[16,25,44]来近似、加速或改进这些参数化图像算子,并取得了重大进展。然而,我们观察到这些方法中的网络同等贡献2Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈通常只针对一个特定的参数配置进行训练,例如具有固定平滑强度的边缘保留滤波[16],或具有特定下采样尺度的超分辨率低质量图像[25]许多不同的模型需要针对不同的参数设置进行重新训练,这既消耗存储又耗时。它还禁止这些深度学习解决方案适用于和扩展到更广泛的图像语料库。事实上,给定一个特定的网络结构,当训练分离的网络以实现不同的特征值s→−γk时,[16,25,44],我们会发现Wk是不一致的,并且对于特征值s→−γk, 我们 可能 会 有不 同 的特 征值。BUTCANWEFINND一 个 共 同 的 卷 积 权 重 空 间 为 不 同 的 配 置 , 通 过 显 式 builing 的eirrrelationships?即,Wk=h(→−γk),其中可以是线性的或非线性函数。通过这种方式,我们可以在运行时基于h自适应地改变单个目标网络的权重,从而实现连续的参数控制。为了验证我们的假设,我们提出了第一个解耦学习框架的参数化图像算子解耦的权重从目标网络结构。具体来说,我们采用一个简单的权重学习网络Nweight作为h来直接学习一个面向任务的基础网络Nbase的卷积权重。这两个网络可以进行端到端的训练。在运行过程中,权值学习网络会根据不同的输入参数动态更新基础网络的权值,从而使基础网络产生不同的客观结果。在用户希望以交互方式调整和选择视觉上最令人愉快的结果的场景中,这应该是一个非常有用的特性我们证明了所提出的框架的有效性,许多不同类型的应用程序,如边缘保持图像滤波与不同程度的平滑,图像超分辨率与不同尺度的模糊,和图像去噪与不同幅度的噪声。我们还展示了我们提出的框架的可扩展性,多个输入参数的一个特定的应用程序,多个不同的图像处理任务的组合。实验结果表明,该框架具有良好的学习效果结果是仅用单个参数值训练的一个作为额外的奖励,所提出的框架可以通过可视化不同的参数来轻松分析训练的面向任务的网络的基本工作原理从这一分析中获得的知识可能会激发这一领域更有前途的研究。综上所述,本文的贡献在于以下三个方面。– 我们提出了参数化图像算子的第一个解耦学习框架,其中学习权重学习网络以在运行时自适应地预测面向任务的基础– 我们表明,所提出的框架可以学习到许多不同的参数化图像算子,并实现非常有竞争力的性能与一个训练一个特定的参数或运营商。– 我们提供了一个独特的视角来理解训练的面向任务的网络的工作原理与一些有价值的分析和讨论,这可能会激发更多有前途的研究在这方面。参数化图像算子的解耦学习32相关工作在过去的几十年中,已经提出了许多不同的图像算子用于低水平视觉任务。以前的工作[24,42,45,50]提出了不同的先验来平滑图像,同时保留显着结构。一些工作[2,15]利用空间关系和冗余来去除图像中令人不快的噪声。其他一些论文[37,39,46]旨在从低分辨率图像恢复高分辨率其中,许多操作员被允许调整一些内置的参数,以获得不同的结果,这是本文的重点。最近,深度学习已被应用于许多不同的任务,如识别[8,9,11,12,29,48,49],生成[28,30,35]和图像到图像的转换。Lation[3对于上述图像算子,也提出了一些方法,如[16,31,44]来近似,加速和改进它们。但它们的共同局限性是一个模型只能处理一个特定的参数。为了启用所有其他参数,需要重新训练大量不同的模型,这既消耗存储又耗时。相比之下,我们提出的框架允许我们输入连续参数来动态调整面向任务的基础网络的权重此外,它甚至可以应用于多个不同的参数化运营商与一个单一的网络。最近,Chen等人。[6]通过将参数连接为网络的额外输入通道,对参数化图像算子进行了一种朴素扩展。与他们的方法相比,其中网络结构和权重对于不同的参数保持相同,我们的基础网络的权重自适应地改变。实验上,我们发现我们的框架通过集成多个图像操作符来优于他们的策略。通过解耦网络结构和权重,我们提出的框架还可以更容易地分析训练的面向任务的网络的基本工作原理,而不是像许多以前的作品[6]那样把它作为一个黑盒子。我们的方法也涉及到进化计算和Meta学习。Schmidhuber [36]提出了快速权重的概念,其中一个网络可以为第二个网络产生上下文相关的权重变化其他一些作品[1,7,41]将优化算法的设计视为学习问题,最近,Ha等人 [22]提出使用静态超网络来生成MNIST和Cifar分类上卷积神经网络的权重。它们还利用动态超网络来生成用于各种序列建模任务的递归网络的权重。他们论文的目的是利用不同卷积层的权重共享特性但是在我们的例子中,我们更关注众多输入参数和许多不同图像算子之间的共同共享属性。3方法3.1问题定义和动机输入彩色图像和目标参数化图像算子被定义为I和f(→-γ,I)是独立的。f(→−γ,I)tr表示I局部性的函数4Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈或者说,可以很容易地与外部的字符串匹配。→−γde不是决定f的变换次数的参数,可以是单值或多值v ec tor. 例如,在L0中,距离[43]很近,→−γ是平衡的连续滚动平滑强度,而在RTV滤波器[45]中,它包括一个空间高斯方差。在大多数情况下,f是一个高度非线性的过程,并通过迭代优化方法求解,这在运行时非常缓慢。我们的目标是实现参数化的运营商f的基础卷积网络N基地。在以前的方法中,如[31,44],给定特定的网络结构的N基,分离的网络被训练用于不同的参数配置。→−−→饱和度γk通过这种方式,这些分离网络的学习权重Wk为非常不受约束,可能非常不同。但直觉上,对于一个特定的−→图像算子,不同的权重Wk→−γkmig htberelated。S或Retraining分离的模型过于冗余。受此启发,我们试图找到一个共同的weightspacefordifferent→−γ−→k通过添加映射约束:Wk=h(→−γk),其中h可以是线性或非线性函数。在本文中,我们直接学习h与另一个权重学习网络N权重,而不是通过手工设计。假设Nbase是一个全卷积网络,共有n个卷积层,我们表示它们的权重−→当Wk=(W1,W2,…Wn)分别,则(W1,W2,., Wn)=Nweight(→−γ)(1),其中Nweight的输入是→−γ,并且输出是新的weightm。在训练阶段,可以联合训练N个基和N个权重在推理阶段中,给定在p_p控制除了原始输入图像I之外,计算的边缘图被示出为[16]中的目标基础网络的非常重要的输入信号。因此,我们还预先计算I的边缘图E,并将其连接到原始图像作为额外的输入通道:1ΣEx,y=4(|Ix,y,c−Ix−1,y,c|+的|Ix,y,c−Ix+1,y,c|C(二)+|Ix,y,c−Ix,y−1,c|+的|Ix,y,c−Ix,y+1,c|)其中x、y是像素坐标,并且c是指颜色通道。为了联合训练Nbase和Nweight,我们默认使用RGB颜色空间中的像素级L2损失[6]:L=Nbase(Nweight(→−γ),I,E)−f(→−γ,I)2(3)3.2网络结构如图1,我们的基础网络Nbase遵循与[ 16]类似的网络结构。我们使用20个卷积层,具有相同的3× 3内核大小,参数化图像算子的解耦学习5Ԧ1:设置为权重234…−2−1...7个残余块图1.我们的系统由两个网络组成:上述权重学习网络N_weight被设计为学习底部基础网络N_bse的 卷积 权 重。如果通过y−→γ来实现并行运算,则这两个工作是联合训练,并且N个权重将动态地更新N个基的权重以用于不同的−→γintheheinferencestage.其中中间层14形成为残余块。除了最后一个卷积层,所有前面的卷积层后面都是实例归一化[40]层和ReLU层。为了扩大N个碱基的感受野,第三个卷积层使用步幅2将特征图的维度下采样1/2,并且倒数第三个反卷积层(核大小为4× 4)对称地将下采样的特征图上采样到原始分辨率。该方法在不损失图像细节的情况下有效地扩大了接收野,同时减少了中间层的计算量为了进一步增加感受野,我们还采用了扩张卷积[47]作为[6],更详细的网络结构可以在补充材料中找到。本文提出的权值学习网络N权值简单地由20个完全默认情况下,连接(fc)层。第i个k层负责学习第i个卷积层的权重Wi,其可以写为如下:Wi= Ai→−γ+ Bi,i∈{1,2,...,(4)其中Ai、Bi是第i个fc层的权重和偏置假设参数→−γh作为m的一个维数,Wih作为nwi的一个维数。Ai的定义和Bi分别为nwi×m和nwi不是在此情况下,我们没有发现为基本网络N_base和权重学习网络N_weight都指定最佳的k结构相反,我们更关心的是学习关系的Nbaseweigh s和differeretpararameteconfigurations→−γevenbysuch一个简单的权值学习网络N权值.4实验4.1图像算子为了在广泛的参数化图像算子上评估所提出的框架,我们利用了两种代表性类型的图像处理任务:图像处理任务。FCFCFCFCfc fcFCFC卷积InstNormReLU卷积InstNormReLU卷积InstNormReLU反卷积InstNormReLU卷积InstNormReLU卷积6Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈滤波和图像恢复。在每一个,超过四个流行的运营商被选中进行详细的实验。图像过滤。在这里,我们采用了六种流行的图像滤波器,表示为L0[42] , WLS [18], RTV [45] , RGF [50], WMF [51]和 冲 击 滤 波器[34],这些滤波器已经开发用于许多不同的应用,例如图像抽象,细节夸张,纹理去除和图像增强。然而,以前的基于深度学习的方法[16,31,44]只能处理一个训练模型中的一个参数值,这远远不实用。图像恢复。图像恢复的目标是从受损图像中恢复出清晰的图像。在本文中,我们处理四个代表性的任务,在这个场地:超分辨率[14,27],去噪[26,33],去块[13,38]和去噪[20,49],它们已经用基于深度学习的方法进行了广泛的研究。例如,图像超分辨率致力于提高分辨率或增强低分辨率模糊图像中丢失的细节。为了生成成对训练样本,先前的工作用于对用双三次插值法合成低分辨率图像。类似地,许多先前的作品通常已经被开发以适合特定类型的输入图像,诸如固定的上采样尺度。4.2实现细节数据集。我们使用PASCAL VOC数据集中的17k自然图像作为清晰图像来合成地面真实训练样本。PAS- CAL VOC图像是从闪烁中拾取的,并且由广泛的观看条件组成为了评估我们的性能,从数据集中随机挑选100个图像作为图像过滤任务的测试数据。而对于恢复任务,我们针 对每个特定 任务采用众 所周知的基准 进行测试, 具体为BSD100(超分辨率)、BSD68(去噪)、LIVE1(去块)、RAIN12(去块)。对于过滤任务,我们使用上述算法对自然图像进行过滤对于图像恢复任务,将清晰的自然图像作为目标图像,而合成的损坏图像用作输入。参数采样。为了使我们的网络能够处理各种参数,我们生成具有更广泛的参数值而不是单个参数值的训练图像对。根据具体应用,我们在对数或线性空间中对参数进行均匀采样。关于对数空间的情况,设l和u为参数的下限和上限,参数采样如下:y=ex,其中x∈[lnl, lnu](5)换句话说,我们首先在lnl和lnu之间均匀地对x进行采样,然后通过指数函数将其映射回来,类似于[6]中使用的那个。注意如果参数化图像算子的解耦学习7表1.用单个网络训练的定量绝对差参数值和用于每个图像平滑滤波器的多个L0WLS RTV度量λ单数值diffλ single nume.diffλ single nume. diff0.002 40.69 39.461.230.100 44.00 42.121.88 0.002 41.11 40.660.450.004 38.96 38.720.240.215 43.14 42.640.50 0.004 40.91 41.100.19PSNR 0.020 36.07 35.710.361.000 41.93 41.630.30 0.010 40.50 41.070.570.093 33.08 31.921.164.641 39.42 39.640.22 0.022 41.07 40.770.300.200 31.75 30.431.3210.00 39.13 38.510.62 0.050 40.73 39.181.55Ave. 36.11 35.25 0.86 Ave. 41.52 40.91 0.61 Ave. 40.86 40.55 0.310.002 0.989 0.988 0.001 0.100 0.994 0.993 0.001 0.002 0.987 0.988 0.0010.004 0.986 0.987 0.001 0.215 0.993 0.99300.004 0.989 0.990 0.001SSIM 0.020 0.9820.9810.001 1.000 0.9920.991 0.001 0.010 0.990 0.991上限u比下限L大几十倍甚至几百倍,则在对数空间中对参数进行采样以平衡它们的幅度,否则在线性空间中对它们进行采样。4.3定性和定量比较图像过滤。我们首先在五个图像过滤器上对我们的框架进行实验。为了评估我们提出的算法的性能,我们针对一个滤波器中的每个参数值(λ)训练一个网络,并且还在从滤波器的参数范围中采样的连续和自定义值上联合训练网络,其中可以从表1中的λ列推断。 这两个网络的性能进行评估的测试数据集与PSNR和SSIM错误度量。由于我们的目标是测量这两种策略之间的性能差异,因此我们直接计算其误差的绝对差,并在表1中展示结果。由于空间限制,其他两个滤波器(RGF和WMF)的结果显示在补充材料中。可以看出,虽然我们提出的框架稍微落后于在单个参数值上训练的框架,但是它们的差异太小而不能被注意到,特别是对于SSIM误差度量。请注意,对于每个图像滤波器,我们的算法只需要一个联合训练的网络,但以前的方法需要为每个参数值训练单独的网络。此外,即使这五个滤波器专用于不同的图像处理应用,并且在其实现细节上有很大差异,我们提出的框架仍然能够很好地学习所有这些滤波器,这验证了我们策略的通用性和鲁棒性。0.093 0.977 0.973 0.004 4.641 0.987 0.989 0.002 0.022 0.992 0.99200.200 0.973 0.968 0.005 10.00 0.986 0.987 0.001 0.050 0.992 0.990 0.002Ave. 0.981 0.979 0.002 Ave. 0.990 0.9900平均值 0.990 0.99008Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈粤ICP备05016888号-1粤ICP备05016665号-10.0020.004 0.010 0.022 0.050图2.我们的框架在L0 [42](顶部),WLS [18](中间)和RTV [45](底部)过滤器的连续参数设置上独立训练产生的视觉示例。请注意,一个滤波器的所有平滑图像都是由单个网络生成的我们提出的框架的一些可视化结果如图2所示。 可以看出,我们在连续随机参数值上训练的单个网络能够预测各种强度的高质量平滑图像。图像恢复。然后,如表2所示,我们在三个流行的图像恢复任务上评估所提出的框架,其执行与图像滤波本质上不同与采用滤波图像作为学习目标的上述算子不同,该任务将清晰图像作为地面实况标签,而损坏的图像作为输入。也就是说,对于前一个任务,给定输入图像,我们的网络学习不同的过滤效果,而对于后一个任务,我们的模型学习从不同的损坏图像中恢复GT我们GT我们GT我们参数化图像算子的解耦学习9表2.在三个图像恢复任务上,在单个参数值上训练的网络与众多随机值它们的参数具体地表示下采样尺度(s)、高斯St和rddeviat i a ti n(σ)和JPEGquat ity(q)。超分辨率去噪去块度量S单名。差异σ单名。 差异q单名。diff231.78 31.620.161531.17 31.070.101029.26 29.170.09PSNR328.78 28.760.022528.94 28.980.042031.49 31.430.06427.31 27.3105026.22 26.140.08Ave.29.29 29.23 0.06 Ave.28.77 28.730.04 Ave.30.37 30.30 0.0720.894 0.892 0.002150.881 0.883 0.002100.817 0.8170SSIM30.798 0.796 0.002250.821 0.822 0.001200.881 0.882 0.00140.728 0.726 0.002500.722 0.718 0.004Ave. 0.806 0.804 0.002平均值0.808 0.807 0.001平均值0.849 0.849 0如表2所示,我们在连续随机参数值上联合训练的结果也显示出与仅在单个参数值上训练的结果没有大的差异,这在更广泛的图像处理文献中进一步验证了我们的算法。4.4多输入参数扩展除了对单个输入参数进行实验外,我们还展示了输入多种类型参数的结果,这对于许多图像处理任务来说仍然非常常见在本节中,我们将评估我们在著名的纹理去除工具RTV [45]上的性能。同样,在先前的实验中,我们利用λ作为一个参数,λ在其能量函数中的数据先验项和平滑项之间进行平衡,σ控制用于计算窗口变化的空间尺度,并且在去除纹理方面甚至更有效为了生成训练样本,我们对这两个参数进行随机因此,输入两个w或k的最小元素的parameter→−γ是w-元素向量[λ,σ]。为了评估我们的网络在这个二维参数空间上与单个参数设置情况相比的性能,我们沿着一个维度对一些参数进行采样,同时固定另一个,如表3所示。我们可以看到,对于10个参数设置中的大多数,所有参数设置都实现了与使用单个参数设置训练的结果非常接近的结果。这验证了我们提出的网络在这种更困难的情况下的有效性。4.5对多个图像算子的联合训练的扩展直观地说,我们提出的框架的另一个挑战性案例是将多个不同的图像运算符合并到单个学习的神经网络中,这是一个复杂的神经网络。10Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈表3. 在多个输入参数条件下,对单个参数设置和多个随机设置训练的网络进行了定量比较除数值外,还显示了它们的绝对差。通过固定一个参数同时改变另一个参数来测试结果。RTV(λ=0. 01)RTV(σ=3)σ单个nume。diffλ单个nume。diff240.5340.390.140.00241.1140.170.94339.5240.761.240.00440.9140.780.13441.1941.060.130.01040.5040.760.26541.2941.260.030.02241.0740.450.62641.8141.190.620.05040.7338.522.21Ave40.8640.930.06Ave40.8640.140.72表4.我们提出的帧工作曲线的数值结果(PSNR(上图)和SSIM(下图))超过了最小平均操作数(#operators)。“6 / 4”指的是通过基于前6个滤波的方法或前4个结果联合训练的结果。“10”是所有10个任务中的任务的结果。#操作。LWLS RTV RGF WMF冲击Sr去噪去块135.25 40.91 40.55 37.74 38.40 37.88 29.1328.7030.2129.86 34.866/433.54 38.02 37.69 36.46 35.27 28.8928.6730.1030.32 33.491033.09 37.34 36.89 35.69 33.57 28.5828.4329.7630.30 32.8910.979 0.991 0.990 0.980 0.987 0.8040.8040.8470.893 0.9256/40.972 0.983 0.982 0.970 0.979 0.7970.8000.8420.893 0.919100.967 0.980 0.978 0.966 0.970 0.7910.7920.8380.890 0.914由于它们不同的实现细节和目的而更难被训练。为了探索我们提出的神经网络的潜力,我们通过联合训练(i)进行实验。6基于过滤的操作员,(ii).4个图像恢复算子或(iii).所有10个不同的运营商为了生成每个图像算子的训练图像,我们在其参数范围内连续采样随机参数值对于冲击滤波器和去噪任务,我们利用其默认参数设置进行训练。权重学习网络的输入现在采用两个参数,一个指示特定图像算子,而另一个是分配给指定滤波器的随机参数值。这10个图像算子简单地由输入参数向量中范围从0.1到1.0的10个离散值表示。由于运算符之间的绝对参数范围可能差异很大,例如,对于超分辨率为[2,4],对于L0滤波器为[0.002,0.2],因此我们将所有运算符中的参数重新缩放到相同的数值范围内,以实现一致的反向传播梯度幅度。参数化图像算子的解耦学习11如表4所示,对每个单独的图像算子的训练实现了最高的数值得分(#op.=1),其在多个不同的参数设置上取平均值,当联合训练6个图像滤波器或4个恢复任务(#op.=6/4),甚至对于所有10个图像算子被联合训练的情况(#op.= 10),它们的平均性能下降,但仍然达到接近最佳分数的结果这意味着在相同的网络结构下,我们的框架能够将所有这些不同的图像运算符合并到一个网络中,而不会损失太多的准确性。注意,对于图像恢复任务,不指定参数更有意义,因此,我们在本实验中禁用为四个恢复算子指定参数。令人惊讶的是,我们没有观察到太多的性能下降与此修改。虽然它降低了学习图像恢复任务的连续参数设置的必要性,但通过联合训练多个图像算子仍然很有意义。4.6与最先进的图像运算符的请注意,我们不主张在每个特定任务中的最佳性能,因为这不是本文的目标从本质上讲,图像算子的性能取决于基础网络结构,这不是我们的贡献,而是许多其他人[16,31,44],他们在每个特定任务上开发了更复杂和更先进的网络即使这不是我们的目标,我们仍然提供了比较,以证明我们的一般框架执行可比,甚至比许多以前的工作(一个操作符,一个参数)。关于图像滤波,通过[16]实现了最佳性能。 对于WLS滤波器示例,使用我们简单而直接的基础网络,使用连续参数设置进行训练,我们实现了与[16](PSNR/SSIM:41.07/0.991 vs. 41.39/0.994),优于[31](PSNR/SSIM:38.29/0.983)和[44](PSNR/SSIM:33.92/0.963)。至于图像恢复,我们的框架在所有四个图像恢复任务中的表现优于DerainNet [19](PSNR:30.32 vs RAIN12数据集上的28.94)。我们的模型也比许多以前的方法BM3D [10](25.62),EPLL [52](25.67),WNNM[21](25.87)在BSD68数据集上进行去噪任务。4.7理解和分析为了更好地理解基网络N基和权学习网络N权重,我们将在本节中进行一些分析实验。有效的接收场。在神经科学中,感受野是感觉空间的特定区域,其中刺激将改变一个特定神经元的放电。大的感受野对于现代卷积网络也很重要。提出了不同的策略来增加感受野,例如更深的网络结构或扩张卷积。虽然12Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈(a)输入图像(b)= 0.01(c)= 0.02(d)= 0.03(e)= 0.04一个网络的理论感受野可能很大,实际有效感受野可能随不同的学习目标而变化。那么如何有效呢N b a s e chan ge d的reeceptivefild,其中differntparame r s→−γandI?Herewe使用L0平滑[43]作为默认示例操作符。图3.不同空间位置和不同振幅λ的L0平滑有效感受野该选项包括无效边缘点、中等边缘点和强边缘点的有效接收。在图3中,我们分别研究了非边缘点、中等边缘点和强边缘点在不同平滑参数λ下的有效感受野。为了获得特定空间点p的有效感受野,我们首先将输入图像馈送到网络中以获得平滑结果,然后将梯度传播回输入,同时掩蔽除p之外的所有点的梯度。仅梯度值大于的点0的情况。025*gradmax(gradmax是输入梯度的最大梯度值)被认为在感受野内,并在图中标记为绿色3.第三章。 从图3、我们观察到三个重要现象:1)对于非边缘点,平滑参数λ越大,有效场越大,并且大多数有效点落在物体边界内。2)对于中等边缘点,其接收场保持较小,直到使用相对较大的平滑参数3)对于强边缘点,对于所有不同的平滑参数,有效感受野总是很小的这意味着,一方面,权学习网络N权可以根据不同的平滑参数动态地改变N基另一方面,基础网络Nbase本身也可以针对不同的空间点自适应地改变其感受野。权重学习网络的分解为了帮助理解基网络N基和权重学习网络之间Nwe ight,我们将parametervector→−γ和weightmatrixAiinto独立元素γ1,…, γm和Ai0,…, Aim,则:参数化图像算子的解耦学习13A+BA =[A1,埃什基:逐元素添加:卷积图4. 基网络N基与权学习网络N权连接的等价性分析。其权重由fc层学习的一个卷积层完全等同于多径卷积块。(Ai→−γ+Bi)x= Σmk=1γkAikx+Bix(6)其中,所述不可逆的 换句话说,一个卷积层(其权重是用一个单个fc层学习的)完全等同于如图1B所示的多径卷积块。六、学习单个fc层的权重和偏置等同于学习常见的基本卷积核Bi、Ai1、Ai2、…卷积块中的im。学习的卷积权重的可视化学习的卷积权重通常可以分为两类:由单个图像算子的不同参数值生成的内核我们在4.5小节中介绍的10个图像算子上训练的模型上分析了两组内核。在这种情况下,权重学习网络的输入采用两个参数,因此基础网络中特定层i的学习卷积权重应为:Wi=γ1Ai1+γ2Ai2+Bi(7)其中γ1是指特定算子的输入参数值,并且γ2表 示 运 算 符 的 类 型 , 它 由 十 个 离 散 数 字 定 义 , 范 围 从 “0.1”到“1.0”,分别用于不同的运算符。Ai1和Ai2是其在全连接层中的对应权重因此,对于单个图像算子,γ2A12+B1是固定值,并且对其不同参数值的唯一修改是γ1A11,其缩放高维值。也就是说,每次将算子参数调整γ1时,学习的卷积权重仅在固定的高维方向上移位一定程度。类似的分析也适用于不同运营商的转型。我们通过图5中的t-SNE可视化学习的卷积核。每种颜色表示一个图像运算符,对于每个运算符,我们随机生成500组具有不同参数的卷积权重。可以看出,每两个相邻算子的距离几乎相同,它沿着x维移动固定的距离。对于单个滤波器,在连续调整参数的同时,卷积权重沿着y维度移位。这个图正好符合我们对高维卷积权重的分析yB1A1一…14Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈图5.基础网络中第二卷积层的学习权重的T-SNE图示。所显示的卷积权重由具有10个图像算子的联合训练的网络生成。每种颜色表示一个特定的操作符。我们还观察到其他卷积层的类似可视化结果。空间非常令人惊讶的是,所有不同种类的学习卷积权重都可以与高维向量相关,并且它们之间的变换可以由非常简单的线性函数表示如补充材料中所分析的,图像处理任务的解空间以学习卷积核的形式可能是巨大的。两个完全相同的结果可以由非常不同的卷积权重表示。我们提出的权重学习网络中的线性变换实际上连接了所有不同的图像算子,并将其学习的卷积权重约束在有限的高维空间中。5结论在本文中,我们提出了第一个解耦学习框架的参数化图像算子,其中面向任务的基础网络N基地的权重从网络结构解耦,并直接学习的另一个权重学习网络N的权重。这两个网络都可以很容易地进行端到端的训练,N权针对不同的参数动态调整N基的权值→−γduringtheruntime.我们如何将所采用的方法应用于不同的参数化图像算子,如图像平滑,去噪和超分辨率,同时获得与针对一个特定参数配置训练的网络相当的性能它还具有在单个网络内联合学习多个不同参数化图像算子的潜力为了更好地理解工作原理,我们还提供了一些有价值的分析和讨论,这可能会激发更多有前途的研究在这个方向。更多的理论分析值得今后进一步探索。这项工作得到以下方面的部分支持:国家973计划(2015CB352501),国家自然科学基金(61561146397),国家自然科学基金U1636201和61629301参数化图像算子的解耦学习15引用1. Andrychowicz,M.,Denil,M.,Gomez,S.,Hoffman,M.W. Pfau,D.,Schaul,T.,Shillingford,B. De Freitas,N.:学习通过梯度下降来学习。In:AvancesinNeur alInpr o c e s i n g S y s i n g Pr o c e s i n g S ysi ngP r oc e s i n gSys i n g S i n gi pp. 39812. Buades,A.,Coll,B.,Morel,J.M.:一种非局部图像去噪算法。计算机视觉与模式识别,2005年。CVPR 2005。IEEE计算机科学委员会。 vol. 第2页。 60比65 05The Dog(2005)3. Chen,D.,中国农业科学院,Liao,J.,Yuan,L.Yu,N.,Hua,G.:连贯的在线视频风格转移。In:Proc. Intl.计算机视觉大会(ICCV)(2017)4. Chen,D.,中国农业科学院,Yuan,L.Liao,J.,Yu,N.,Hua,G.:Stylebank:神经图像风格传递的显式表示In:Proc. CVPR.第1卷,第4页(2017年)5. Chen,D.,中国农业科学院,Yuan,L. Liao,J.,Yu,N.,Hua,G.:立体神经风格转移。IEEE计算机视觉和模式识别会议论文集。第10卷(2018)6. 陈昆,徐,J,Koltun,V.:使用全卷积网络进行快速图像处理。IEEEInternational Conference on Computer Vision卷9(2017)7. 陈玉,Hoffman,M.W. Colmenarejo,S.G.,Denil,M.,Lillicrap,T.P.,deFreitas,N.:学习黑盒函数的全局优化。在:国际机器学习会议(2017)8. 郑,B.,王志,张志,Li,Z.,Liu,D.,中国科学院,杨杰,Huang,S.,(1996年),中国科学院,Huang,T.S.:从低质量和低比特率视频中进行鲁棒的情感识别:一种深度学习方法。在:情感计算和智能交 互 ( ACII ) , 2017SeventhIternatio nalCo nfere nceo n 。 pp. 65IEEE(2017)9. 郑,B.,魏,Y.,施,H.,费里斯河Xiong,J.,黄T:重温rcnn:论快速rcnn分类能力的觉醒。ECCV(2018)10. Dabov,K.,Foi,A.,Katkovnik,V.,Egiazarian,K.:稀疏三维变换域协同滤波图像去噪IEEE Transactions on image processing16(8),208011. Dai,X.,Ng,J.Y.H.,Davis,L.S.:Fason:一阶和二阶信息融合网络用于纹理识别。在:IEEE计算机视觉和图形学会议上。pp. 735212. Dai,X.,辛格湾张,G.,戴维斯,L.S.,秋晨Y:用于视频中活动定位的时间上下文网络。在:IEEE计算机视觉国际会议(ICCV)(2017年10月)13. 董,C.,邓,Y.,Change Loy,C.,唐X:通过深度卷积网络减少压缩伪影 In : Proceedings of the IEEE International ConferenceonComputerVisin. pp.57614. 董,C.,Loy,C.C.,他,K.,唐X:学习深度卷积网络以用于图像更新。In:Europeanconferenceoncommputtervision. pp. 184-199 Spuringer(2014)15. Elad,M.,Aharon,M.:通过稀疏和冗余表示对图像进行去噪。IEEETransacti onsonImgeprocessing15(12),373616. 范,Q.,杨杰,Hua,G.,陈伯,Wipf,D.:用于单个图像反射去除和图像平滑的通用深度架构。In:Proceedingsofthe16thInternatinalConferenceonComuterVision(ICCV). pp. 323817. 范,Q.,杨杰,Hua,G.,陈伯,Wipf,D.:重温深度内在图像分解(2018)16Q. 范,D.陈湖,澳-地Yuan,G.Hua,N.于湾,澳-地陈18. Farbman,Z.,法塔勒河,Lischinski,D.,Szeliski,R.:多尺度色调和细节处理的边缘保持分解。ACM Transactions on Graphics(TOG)第27卷,第67页。03 - 03 - 05 - 9.5分19. Fu X黄,J.,丁某,Liao,Y.,佩斯利,J.:Clearing the skies:A deepnetwork architecture for single-image rain removal.IEEE Transactions on ImageProcessing26(6),294420. Fu X黄,J.,Zeng,D.,黄,Y
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)