没有合适的资源?快使用搜索试试~ 我知道了~
7007利用配对运算势进行图像复原的对偶残差网络刘星孙准†东北大学大学院情报科学研究科研究生院AIP研究中心{ryu,suganuma,zhun,okatani}@ vision.is.tohoku.ac.jp摘要在本文中,我们研究了用于图像恢复任务的深度神经网络的设计。我们提出了一种新的类型的剩余连接称为“双剩余连接”,它利用了配对操作的潜力,例如,上采样和下采样或与大小内核的卷积。我们设计了一个实现这种连接风格的模块化块,它配备了两个容器,任意配对操作插入。采用Veit等人提出的剩余网络的 我们指出,所提出的模块块的堆栈允许块中的第一操作与任何后续块中的第二操作交互。在每个堆叠块中的两个操作中,我们为每个单独的图像恢复任务构建了一个完整的网络。我们使用九个数据集对五个图像恢复任务进行了实验评估。实验结果表明,在几乎所有的任务和数据集上,通过适当选择配对操作,所提出的网络都1. 介绍在图像处理和计算机视觉领域中,从退化图像恢复原始图像的任务或图像恢复已经研究了很长时间。与计算机视觉的许多其他任务一样,深度卷积网络的使用已经取得了重大进展。在本研究中,旨在进一步改进,我们追求更好的网络体系结构设计,特别是设计,可以在不同的图像恢复任务共享在这项研究中,我们关注配对操作在各种图像处理任务上的有效性。在[11]中,它表明,CNN迭代地执行一对上采样和下采样有助于图像超分辨率的性能改进。在[37]中,作者采用演化计算来寻找更好的Conventional设计。(一)(b)第(1)款(c)第(1)款(d)其他事项图1:具有单个或两个基本模块的残差网络的不同构造建议的用于几个图像卷积任务的卷积自动编码器,示出了网络结构重复地执行具有大和小尺寸核的一对卷积(例如,conv序列 核大小为3、1、3、1、5、3和1的层)对于图像去噪表现良好。在本文中,我们将展示其他图像恢复任务的进一步例子。假设这种复制配对操作的有效性,我们希望在深度网络中实现它们,以利用它们的潜力。我们特别感兴趣的是如何将它们与住宅网 络 的 结 构 相 残 差 网 络 的 基 本 结 构 如 图 所 示 。 1(a),这已经成为现代深度神经网络设计不可或缺的组件。对于剩余网络的有效性有几种解释。一个被广泛接受的观点是Veit等人提出的[41]N个剩余块的顺序连接被认为是对应于其隐含的2N条路径的许多子网络的集合。一个网络的三个残差块与模块f1,f2和f3,如图所示。1(a),具有(23=)8条从输入到输出的隐式路径,即,f1→f2→f3、f1→f2、f1→f3、f2→f3、f1、f2、f3和1。 Veit等人还表明,每个块作为一个计算单元工作,可以以最小的性能损失连接到主网络/从主网络分离。考虑到剩余网络的这种性质,我们应该如何使用剩余网络,100g100g100gƒ1ƒ2ƒ37008剩余连接TL-1c cTlT l2 1 2剩余连接-2雨痕去除输入结果运动模糊去除输入结果高斯噪声去除输入结果去雾输入结果雨滴清除输入结果图2:左上:具有所提出的双剩余连接的单元块的结构;T1和T2是连接。卷积和去卷积层,在它们之上具有对称Tai等人[39]提出了MemNet与本地内存块和全球密集连接,表明它比REDNet性能更好。然而,Suganumaet al. [37]结果表明,具有大尺寸和小尺寸内核的重复卷积层对的标准卷积自动编码器的性能优于它们,这是通过基于进化计算的架构搜索发现的运动模糊去除这项任务有着悠久的研究历史。早期的作品[2,7,45,46]试图同时估计模糊核和清晰图像。最近,基于CNN的方法[9,20,28,38,42]在此任务中取得了良好的性能Nah等人[28]提出了一种由粗到精的方法以及修改后的残差块[14]。Kupyn等人[20]提出了一种基于通用的方法1 2用于两个配对操作的容器;c表示卷积层。其他面板:本文考虑的五个图像恢复任务。用于配对操作的双连接用f和g表示成对运算,最基本的构造是把(fi,gi)当作一个单位模,如图11所示。第1段(b)分段。在这种连接方式中,对于可能路径中的任何i,fi和gi总是成对的。在本文中,我们考虑另一种连接方式,如图所示1(d),被称为“双重剩余连接”。 这种风格使得能够对fi和gj进行nyi和j,使得i≤j。在图1(d)的示例中,两个操作的所有组合(f1,g1)、(f2,g2)、(f3,g3)、(f1,g2)、(f1,g3)和(f2,g3)出现在可能的路径中。 我们推测,{fi}和{gj}之间潜在相互作用的数量增加将有助于提高图像恢复任务的性能。注意,可以保证f·和g·在可能的路径中总是成对的。这与其他连接方式(如图1所示)不同第1段(c)分段。我们将用于实现所提出的双残差连接的构建块称为双残差块(DuRB);参见图1B。二、我们研究了它在图中所示的五个图像恢复任务上的有效性2使用9个数据集。DuRB是一个通用结构,它有两个容器用于成对的操作,用户为它们选择两个操作 对于每个任务,我们指定的DuRB的配对操作以及整个网络。 我们的实验结果表明,我们的网络在这些任务中表现出最先进的方法,这支持了我们方法的有效性。2. 相关工作高斯噪声去除应用神经网络去除噪声有很长的历史[1,18,43,53,54]。Mao等人[26]建议的REDNet,其中包括多个con-对抗网络(GAN)[10]。 新的数据集是在[28]和[20]中创建。许多研究假设了以下烟雾模型:I(x)=J(x)t(x)+A(x)(1-t(x)),其中I表示模糊场景图像,J是真实场景辐射(清晰图像),t是透射图,A是全局大气光。 然后,任务是从输入I(x)[4,12,27,48,51]估计A,t,从而估计J(x)。最近,Zhanget al. [51]提出了一种使用CNN来联合估计t和A的方法,该方法的性能大大优于以前的方法。Ren等人[32]和Liet al.[24]提出了一种直接估计J(x)而不显式估计t和A的方法。Yang等[48]提出了一种将CNN集成到经典的基于先验的方法中的方法。雨滴检测和去除文献中提出了各种方法[19,21,34,47,50]来解决这个Kurihata等人[21]提出用PCA学习的雨滴模板检测雨滴。Ramensh [19]提出了一种基于K-Means聚类和中值滤波的方法来估计清晰图像。最近,Qian等人[30]提出了一种混合网络,由用于定位雨滴的卷积LSTM和用于生成清晰图像的CNN组成,该CNN在GAN框架中进行训练。Fuet al. [8]使用“引导图像滤波”[13]来提取图像的高频分量,并使用它来训练CNN以去除雨纹。Zhang等人[52]提出了联合估计雨强和降水结果的方法,以缓解雨强不均匀的问题。Li等[25]将大雨图像看作是由多个雨纹层叠加而成的清晰图像,提出了一种基于RNN的清晰图像恢复方法。Li等[23]提出了一个非局部增强版本的DenseBlock [16],他们的网络性能优于以前的方法。7009c b+ rc b+ r c Tanh12表1:图1的三种连接类型的性能1(b)-(c)。高斯噪声真实噪声运动模糊雾度雨滴雨痕(b)第(1)款24.92 /0.663236.76 /0.962029.46 /0.903531.20 /0.980324.70 /0.810432.85 /0.9214(c)第(1)款24.85 /0.656836.81 /0.9627-/--/-25.12 /0.815133.13 /0.9222(d)其他事项25.05/0.675536.84/0.963529.90/0.910032.60/0.982725.32/0.817333.21/0.9251DuRB-PDuRB-SDuRB-UDuRB-US图中所示的样式。1(b)和(c)。在实验中,三个网络建立在图1的三个基础结构(b)、(c)和(d)上。1人在五项任务中进行了评估。对于高斯真实世界噪声去除,运动模糊去除,烟雾去除,雨滴和雨条纹去 除 , 我 们 使 用 DuRB-P , DuRB-U , DuRB-US ,DuRB-S DuRB-P和DuRB-S。DuRB-S构建基础结构。在每次比较中,三种结构中的块数和所有操作以及用于六个比较的数据集是BSD灰度级、真实世界噪声图像数据集、GoPro数据集、Dehaze数据集、RainDrop数据集和DID-MDN数据。表1图3:DuRB的四种不同实现;c是具有3×3内核的卷积层;ct l和ct l是卷积层。展示了他们的表现。请注意,1 2DuRB-US由于输出每个层都有一个特定大小的内核,膨胀率;up是上采样(我们使用PixelShuf [36]实现);se是SE-ResNet模块[15],它实际上是一种通道式注意机制。3. 双残差块所提出的双残差块(DuRB)的基本结构在图1的左上角示出2,其中我们使用c表示卷积层(具有3×3个内核),Tl和Tl表示成对卷积层的容器。f和g的输入。可以看出,所提出的结构(d)对于所有测试表现最好。4. 五个图像恢复任务在本节中,我们描述了所提出的DuRB可以如何应用于多个图像恢复任务,噪声去除,运动模糊去除,烟雾去除,雨滴去除和雨条纹去除。1 2第一和第二操作,分别在网络中的第l规范化层(如批量规范化[17]或实例规范化[40])和ReLU [29]层可以在必要时合并。我们为每个单独的任务设计DuRB,或者等效地选择要插入到容器T1和T2中的两个操作。我 们 将 使 用 四 种不 同 的DuRB 设 计 , DuRB-P 、DuRB-U、DuRB-S和DuRB-US,如图所示。图3.第三章。 对于[Tl,Tl]的指定操作是[conv.,残差连接DuRB-P×6图4:DuRN-P:Dual residual network with DuRB-P's[conv. w/a large kernel and conv.w/a small kernel],1 2Conv.]对于DuRB-P,[上采样+卷积,下采样(通过conv.对于DuRB-U,[conv.,通道方向注意力1+conv.]对于DuRB-S,以及[上采样+卷积,通道式注意力+下采样]。我们将使用DuRB-P去除噪声和雨滴,DuRB-U去1 2TlT lCTL2CTL1C cC c up ctl12Tl1TlCTL21 2TlT lse ctl2CTL1C cTl1Tl2se ctl2上CTL1C c7010除运动模糊,DuRB-S去除雨纹和雨滴,DuRB-US去除雾霾。在进行进一步的讨论之前,我们在这里提出的实验结果表明,所提出的对偶剩余连接的优越性,其他连接,1它使用SE-ResNet模块实现[15]。高斯噪声去除。b+r是一个批量归一化层然后是ReLU层;Tanh表示双曲型正切函数4.1. 噪声去除网络设计我们设计整个网络如图所示。4.第一章它由一个输入块、六个DuRB的堆栈和一个输出块组成,另外还有一个从输入到输出的最外层剩余连接输入和输出块中的层c,b+r和Tanh是卷积层(具有3×3内核,步幅=1),批归一化层7011噪声电平=50 DuRN-P地面实况图5:所提出的DuRN-P用于加性高斯噪声去除的结果的一些示例。可以从强噪声(σ=50)中恢复清晰噪声DuRN-P平均值图6:所提出的DuRN-P对来自真实世界噪声图像数据集的图像进行结果有时甚至比平均图像(用作地面实况)更好;请参见底部字母周围的伪影然后分别是ReLU层和双曲正切函数层我们采用DuRB-P(即,设计中的两个操作中的每一个都是单卷积;见图。3)网络中的受[37]中用于噪声去除的神经架构搜索发现的网络的启发,我们选择了具有大尺寸和小尺寸接收场的T1和T2卷积我们还为每个DuRB选择核大小和膨胀率,以便每个DuRB中卷积的接收场随着l而增长。更多细节见补充材料。我们将所有层的通道数设置为32我们将整个网络称为DuRN-P。对于这个任务,我们使用l2损失来训练DuRN-P。结果:加性高斯噪声去除我们测试了所提出的网络的任务,消除加性高斯噪声的三个级别(30,50,70)从灰度噪声图像。遵循与先前研究相同的实验方案,我们使用BSD灰度数据集的训练和测试子集(300和200灰度图像)训练和测试了所表2:BSD 200上的加性高斯噪声去除的结果-灰度和噪声水平(30、50、70)。数字为PSNR/SSIM。305070REDNet [26]27.95 /0.801925.75 /0.716724.37 /0.6551MemNet [39]28.04 /0.805325.86 /0.720224.53 /0.6608E-CAE [37]28.23 /0.804726.17 /0.725524.83 /0.6636DuRN-P(我们的)28.50/0.815626.36/0.735025.05/0.6755表3:真实世界噪声图像数据集的结果[44]。结果用PSNR/SSIM进行测量。最后一行显示了每个CNN的参数数量。REDNet [26]MemNet [39]E-CAE [37]DuRN(我们的)PSNR/SSIM35.56 /0.9475- /-35.45 /0.949236.83/0.9635#param。4.第一章1×106二、9 ×1061 .一、1 ×1068. 2 ×105实验的更多细节在柔软的材料中提供。 我们在表2中给出了定量结果,在图2中给出了定性结果。5.从表2中可以看出,所提出的网络在所有三个噪声水平上都优于先前的方法。结果如下: 真实世界的噪音消除 我们还在真实世界噪声图像数据集[44]上测试了DuRN-P,该数据集由40对实例图像(由CMOS相机拍摄的照片)和平均图像(由CMOS相机拍摄的同一场景的多次拍摄的平均值)组成。我们在这个实验中从DuRN-P中删除了所有的批量归一化层,因为在这个数据集中捕获的真实世界的噪声变化不大。实验的细节在补充材料中给出三种先前方法和我们的方法的定量结果如表3所示。我们使用作者(AsMemNet未能产生有竞争力的结果,我们在表中为它留出了空单元可以看出,我们的方法实现了最好的结果,尽管参数的数量较少。输出图像的示例如图所示。6.我们可以观察到,所提出的DuRN-P具有很好的噪声清除能力。值得注意的是,DuRN-P有时提供比“地面实况”平均图像更好的图像;见图中底部的例子。六、4.2. 运动模糊消除任 务 是 在 不 知 道 潜 在 模 糊 核 ( 即 , the “blind-deblurring”网络设计以前的工作,如[42]报告说,就业的上升和下降采样操作是有效的这项任务。在此发现后,我们采用上取样及下取样进行配对运算。我们称之为DuRB-U;参见图3。我们使用PixelShuf [36]来实现上采样。对于整个网络设计,遵循许多以前的工作[20,42,51,55],我们7012模糊DeBlurGANDuRN-U Sharp图7:GoPro测试数据集上的运动模糊去除示例。模糊残差连接模糊CN+RCN+RCN+RUPC N+RDuRB-U×6上cn+rc Tanh图9:DuRN-U:双残差网络与DuRB-U的(向上和向下采样)的运动模糊消除。n+r表示实例规范化层,后面是ReLU层。DuRN-U尖锐表4:GoPro测试数据集的运动模糊去除结果。图8:物体检测模糊图像及其去模糊版本的示例。从原始表5:通过DeBlurGAN [20]和提出的DuRN-U on Car数据集获得的去模糊图像的对象检测准确性。选择对称的编码器-解码器网络;参见图9。该网络由初始块和最终块组成,该初始块通过4:1下采样来缩小输入图像,其中两个卷积操作(c)具有步幅=2和实例归一化+ ReLU(n+r),以及DuRB-U的六次重复,该最终块通过应用1:2上采样(up)来将最后DuRB-U我们称这个网络为DuRN-U。对于该任务,我们采用SSIM和11损失的加权和来训练DuRN-U。细节在supp中给出材料结果:GoPro数据集我们测试了建议的DuRN-U在GoPro测试数据集上[28],并将其结果与最先进的DeburGAN2 [20]进行比较。GoPro数据集由2,013和1,111对非重叠的模糊和清晰图像的训练(GoPro-train)和测试(GoPro-test)对组成。我们在表4中显示了定量结果。DeflurGAN产生未完成的SSIM编号,而2DeflurGAN是指在原始论文[20]中引入的DeBlurGANDuRN-U尖锐GoPro测试Sun等人[38个]24.6/0.84Nah等人[28日]28.3/0.92Xu等[46个]25.1/0.89[20]第二十话27.2/0.95DuRN-U(我们的)29.9/0.91模糊[20]第二十话DuRN-U(我们的)最大平均接入点(%)16.5426.1731.157013…公司简介升c升c升cHazyimage DCPDN DuRN-US Groundtruth Hazyimage DCPDN DuRN-US Groundtruth(一)朦胧影像GFNDCPDNDuRN-US朦胧影像GFNDCPDNDuRN-US(B)(C)图10:DuRN-US和其他人在(A)合成图像,(B)真实图像和(C)图像上获得的去雾结果的示例。(C)光线朦胧的图像。提出的DuRN-U在PSNR方面是最好的。去模糊图像的示例如图所示。7.观察到石栏上的裂缝或车牌上的数字等细节结果:从去模糊图像中检测目标在[20]中,作者通过将对象检测器应用于通过其方法获得的去模糊图像来评估其去模糊方法(De- BlurGAN)。遵循相同的程序和数据(汽车数据集),我们评估了在GoPro-train数据集上训练的DuRN-U。汽车数据集包含1,151对模糊和清晰的汽车图像我们使用使用Pascal VOC [6]训练的YOLO v3 [31]用于对象检测器。由同一YOLO v3检测器对清晰图像获得的检测结果被用作用于评估的地面真值。表5示出了定量结果(通过mAP测量),从中可 以 看 出 , 所 提 出 的 DuRN-U 优 于 现 有 技 术 的DeBlurGAN。图8显示了GoPro-test数据集和Car数据集上的检测结果示例。实验结果表明,DuRN-U算法能够在一定程度上恢复图像细节,提高了检测的准确性。4.3. 去雾网络设计与以前的研究相比,CNN被用来显式地估计模拟雾霾影响的传输图,我们追求一种不同的策略,即使用注意力机制隐式地估计传输图我们的模型以端到端的方式从输入图像估计去雾图像我们通过采用使用PixelShuf e [36]实现的上采样(上)来设计DuRB残差连接DuRB-US×12图11:DuRN-US:具有DuRB-US的双残差网络(上采样和下采样以及通道注意(SE-ResNet模块)),用于烟雾去除。表6:Dehaze-TestA数据集和RESIDE-SOTS数据集上的雾度去除结果去雾试验AHe等人[12个]0.8642Zhu等[56个]0.8567Berman等人[3]第一章0.7959Li等[22日]0.8842Zhang等人[五十一]0.9560残留物-SOTSBerman等人[3]第一章17.27 /0.75Ren等人[32个]17.57 /0.81Cai等人[五]《中国日报》21.14 /0.85Li等[22日]19.06 /0.85Ren等人[33个]22.30 /0.88材料整个网络(命名为DuRN-US)具有类似于DuRN-U的编码器-解码器结构,用于运动模糊去除,如图所示。11.我们在网络中间堆叠12个DuRB-US;所有层的通道数量为64。在补充材料中,我们展示了我们的网络如何估计其注意力机制内的对于该任务,我们采用SSIM和11损失的加权和来训练DuRN-US。结果为了评估所提出的DuRN-US,我们在Dehaze数据集和RESIDE数据集上对其进行了训练和测试。Dehaze数据集中的训练和测试(Dehaze-TestA)子集分别由4,000和400个室内场景的非重叠样本1 1使用SE-ResNet模块[15]与conv.层(ctl)在Tl中。更多详情请参阅补充资料RESIDE包含13,990个样本的训练子集,门的场景和一些测试子集。在[33]之后,我们使用2 270141雨象注意力图残差图-DuRN-S-P地面实况Qian等人图12:雨滴去除的示例以及DuRN-S-P的内部激活图 “Attention map”和“Residual map”是Attentive-Net的输出,也是最后一个Tanh层,如图所示。13;它们被归一化以获得更好的可见性。一个子集SOTS(合成目标测试集),包含500个室内场景样本进行评估。应该注意的是,Dehaze数据集上的最先进方法DCPDN [51]是使用i)模糊图像,ii)地面实况图像,iii)地面实况全球大气光,iv)地面实况传输图进行训练的;此外,它的权重由在ImageNet [35]上预训练的DenseNet [16]的权重初始化。建议的DuRN-US仅使用i)和ii)进行训练。表6分别显示了Dehaze-TestA和RESIDE-SOTS数据集的结果。图10显示了由所提出的网络和其他网络针对相同输入图像获得的结果的示例。在子图(A)中,我们显示了DCPDN(SSIM和PSNR方面的第二佳方法)和DuRN-US生成的两个合成图像的结果据观察,DuRN-US产生更好的结果,这两个图像。在子图(B)中,我们展示了两种最先进的方法GFN [33]和DCPDN [51]以及我们的方法产生的两个真实世界模糊图像3的结果可以观察到,我们的网络产生最真实的去雾图像。值得注意的是,我们的DuRN-US可以适当地处理强烈的环境光(阳光来自女孩身后)。见图左下角的例子。10个。4.4. 雨滴去除网络设计任务自然可以分为两个阶段,即识别雨滴区域和恢复识别区域的像素。第二阶段类似于图像修复,可能并不困难,因为有很多成功的图像修复方法。第一个主要问题是第一阶段。遵循这种两阶段方法,最先进的方法[30]使用注意力递归网络来产生传达雨滴信息的注意力地图;然后,注意力图与输入图像一起3图片可从https://github.com/rwenqi/GFN-残差连接…cb+ rcb+ r cb+ rDuRB-Pupcb+r upcTanh关注网×3×6图13:DuRN-S-P:用于去除雨滴的DuRB-S和DuRB-P的混合对偶残差网络。表7:RainDrop数据集的定量结果比较[30]。Qian等人[30个]DuRN-S-P(我们的)测试集A31.51/0.921331.24 /0.9259测试集B24.92 /0.809025.32/0.8173被馈送到卷积编码器-解码器网络以估计地面实况图像。它还使用了带有训练器的对抗训练,以使生成的图像逼真。我们表明,如果我们在整个网络中的适当位置使用适当设计的DuRB,我们的DuRB足够强大,可以在标准前馈网络中执行这些两阶段计算具体来说,我们为整个网络选择了编码器-解码器结构,在其瓶颈部分,我们设置了三个DuRB-S,然后是六个DuRB-P对于三个DuRB-S中的ctl对于六个DuRB-P这是应用一系列在正向方向上具有增加的接收场大小的卷积。我们将整个网络称为DuRN-S-P。对于该任务,我们采用SSIM和11损失的加权和来训练DuRN-S-P。7015阴雨DDNDID-MDNRESCAN DuRN-S地面实况图14:通过包括我们的(DuRN-S)在内的四种方法获得的雨纹去除示例。结果在RainDrop数据集上对DuRN-S-P进行了训练和评估。它包含861个训练样本和58/249个测试样本,称为TestSetA/TestSetB。TestSetA是TestSetB的子集,并且被认为具有比TestSetB更好的对齐4表7示出了结果。可以看出,我们的方法优于国家的最先进的方法的三个四个组合的两个测试集和两个评估指标。值得注意的是,我们的方法不使用循环网络或对抗训练。图12显示了通过我们的方法和[30]的方法获得的结果的一些示例可以看出,我们的方法的结果在视觉上与[30]的方法相当。图1的 12分别是Attentive-Net的输出和最后一个Tanh层的输出的通道上求和;见图十三岁4.5. 去除雨痕网络设计[23]表明,使用全局信息选择性地加权特征图的机制有效地完成了这项任务。借用这个想法,我们采用了一个通道的注意力机制来执行类似的功能加权。用于此任务的网络的总体设计类似于为高斯噪声去除而设计的DuRN-P区别在于我们使用DuRB-S而不是DuRB-P来使用注意力机制。详情见补充材料。对于这个任务,我们采用SSIM和l1损失的加权和来训练网络。结果我们在两个基准数据集上测试了所提出的网络(DuRN-S),DDN-Data由9,100个训练对和4,900个测试对组成的雨天和晴天图像,以及DID-MDN Data由12,000个训练对和1,200个测试对组成。表8显示了结果。除RESCAN [25]外,以前的方法都从[23]导入。可以看出,所提出的网络实现了最佳性能。输出图像的示例如图所示。十四岁4https://github.com/rui1996/DeRaindrop表8:两个去雨数据集的结果。DDN数据DID-MDN数据DDN [8]28.24 /0.865423.53 /0.7057[49]第四十九话28.72 /0.874030.35 /0.8763[52]第五十二话26.17 /0.840928.30 /0.8707RESCAN [25]-/-32.48 /0.9096NLEDN [23]29.79 /0.897633.16 /0.9192DuRN-S(我们的)31.30/0.919433.21/0.92515. 总结和讨论我们提出了一种风格的残余连接,称为我们已经展示了实现这种连接风格的模块块(DuRB)的设计,它有两个用于成对操作的容器,这样用户可以向其中插入任何任意操作我们还展示了块中两个操作的选择,使用9个数据集获得的实验结果表明,所提出的方法considerably工作优于以前的方法。确认这 项 工 作 得 到 了 JSPS KAKENHI 资 助 号 JP 15H05919、JST CREST资助号JPMJCR 14 D1、科学、技术和创新委员会(CSTI)、跨部门战略创新促进计划(基础设施维护、改造和管理)以及科学、技术和创新委员会(内阁办公室,政府)的ImPACT计划艰难机器人挑战的部分支持。日本)的。引用[1] Forest Agostinelli , Michael R Anderson , and HonglakLee.自适应多列深度神经网络及其在鲁棒图像去噪中的应 用 。 在 Proc.International Conference on NeuralInformation Processing Systems,2013中。7016[2] S.放大图片作者:Derin Babacan,Rafael Molina,MinhN.做,和阿格-洛斯K。卡萨格洛斯一般稀疏图像先验的贝叶斯盲反卷积。2012年欧洲计算机视觉会议[3] 丹娜·伯曼,泰尔·崔比兹,和沙伊·阿维丹。非本地图像去雾。计算机视觉和模式识别会议,2016年。[4] Dana Berman,Tali Treibitz,and Shai Avidan.使用Haze-lines进行空气光在Proc.国际计算摄影会议,2017年。[5] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。Dehazenet:用于去除单一图像雾度的端到端系统。IEEE Transactions on Image Processing,2016.[6] M. Everingham,S. M. A.埃斯拉米湖凡古尔角,澳-地K.I.威廉斯,J. Winn和A.齐瑟曼。Pascal视觉对象类挑战:回顾。国际计算机视觉杂志,2015年。[7] 放 大 图 片 作 者 : Rob Fergus , Barun Singh , AaronHertzmann,Sam T. Roweis和William T.弗里曼。从单张照片中消除相机抖动。在Proc.ACM SIGGRAPH,2006年。[8] Xueyang Fu,Jiabin Huang,Delu Zeng,Yue Huang,Xinghao Ding,and John Paisley.通过深度细节网络从单个图像中去除雨水。 在proc 2017年计算机视觉和模式识别会议。[9] Dong Gong,Jie Yang,Lingqiao Liu,Yanning Zhang,IanD.沈春华,安东范登亨格尔,石勤丰.从运动模糊到运动流:用于去除异构运动模糊的深度学习解决方案。2017年欧洲计算机视觉会议[10] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔 和 约 舒 亚 · 本 吉 奥 。 生 成 性 对 抗 网 。 在Proc.InternationalConferenceonNeuralInformationProcessingSystems,2014中。[11] MuhammadHarisGregShakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在proc 计算机视觉和模式识别会议,2018年。[12] 何开明,孙建,唐晓鸥。使用暗通道前去除单个图像IEEE Transactions on Pattern Analysis and MachineIntelligence,2011。[13] 何 开 明 , 孙 建 , 唐 晓 鸥 。 引 导 图 像 填 充 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,2013。[14] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。计算机视觉与模式识别会议,2016年。[15] 杰虎,李申,孙刚。挤压-激发网络。 在proc 2018年计算机视觉与模式识别会议。[16] Gao Huang,Zhuang Liu,Laurens van der Maaten,andKilian Q Weinberger.密集连接的卷积网络。 在proc 2017年计算机视觉和模式识别会议。[17] Sergey Ioffe和Christian Szegedy。批次标准化:通过减少内部协作加速深度网络训练变 量 移 位 在 Proc. International Conference on MachineLearning,2015。[18] Viren Jain和Sebastian Seung使用卷积网络进行自然图像去 噪 。 在 Proc. International Conference on NeuralInformation Processing Systems,2009年。[19] M. Ramesh Kanthan 和 S.Naganandini Sujatha 。 使 用 k-means聚类的雨滴检测和去除。2015年国际计算智能和计算研究会议[20] OrestKupyn,VolodymyrBudzan,MykolaMykhailych,Dmytro Mishkin和Jiri Matas。Deflurgan:使用条件对抗网络进行盲运动去模糊。在proc 计算机视觉和图案识别会议,2018年。[21] 作者:Hiroyuki Kurihata,Tatsuro S Takahashi,IchiroIde,Y. Mekada,Hiroshi Murase,Yukimasa Tamatsu,and Takayuki Miyahara.从车内摄像头图像识别雨天,用于驾驶员辅助。 在proc 智能汽车研讨会,2005。[22] Boyi Li , Xiulian Peng , Zhangyang Wang , Ji-ZhengXu,and Dan Feng. AOD-net:一体化去雾网络。在Proc.国际计算机视觉会议,2017。[23] Guanbin Li,Xiang He,Wei Zhang,Huiyou Chang,LeDong,and Liang Lin.非局部增强编码器-解码器网络用于 单 图 像 去 雨 。 ACM International Conference onMultimedia,2018。[24] Runde Li,Jinshan Pan,Zechao Li和Jinhui Tang。基于条件生成对抗网络的单幅图像去雾。计算机视觉和模式识别会议,2018年。[25] 李夏,吴建龙,林周晨,洪伟。Liu,and Hongbin Zha.循环挤压-激励上下文聚集网络用于单幅图像去噪。2018年欧洲计算机视觉会议[26] Xiao-Jiao Mao,Chunhua Shen,Yu-Bin Yang.使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。在Proc.神经信息处理系统,2016年。[27] 孟高峰,王颖,段江永,向世明,潘春红.有效的图像去雾与边界约束和上下文正则化。2013年国际计算机视觉会议[28] Seungjun Nah,Tae Hyun Kim,and Kyoung Mu Lee.深度多尺度卷积神经网络动态场景去模糊。计算机视觉和模式识别会议,2017年。[29] 作者声明:Dr.辛顿修正线性单位改进了限制玻尔兹曼机。在proc 2015年国际机器学习会议。[30] 作者:Rui Qian,Robby T.杨文涵,苏嘉俊,刘洁英.用于从单个图像中去除雨滴的注意生成对抗网络。计算机视觉和模式识别会议,2018年。[31] 约瑟夫·雷德蒙和阿里·法哈迪Yolov3:一个渐进的改进。arXiv:1804.02767,2018。7017[32] Wenqi Ren,Si Liu,Hua Zhang,Jinshan Pan,XiaoxunCao,and Ming-Hsuan Yang.基于多尺度卷积神经网络的单图像去雾。 在proc 欧洲计算机视觉会议,2016年。[33] Wenqi Ren , Lin Ma , Jiawei Zhang , Jinshan Pan ,Xiaoxun Cao,Wei Liu,and Ming-Hsuan Yang.基于选通融合网络的单幅图像去雾。 在proc 2018年计算机视觉与模式识别会议。[34] M. Roser和A.盖革改进图像配准的基于视频的雨滴检测国际计算机视觉研讨会,2009年。[35] Olga Russakovsky , Jia Deng , Hao Su , JonathanKrause , San- jeev Satheesh , Sean Ma , ZhihengHuang , Andrej Karpathy , Aditya Khosla , MichaelBernstein,Alexander C.Berg和Fei-Fei Li。ImageNet大规模视觉识别挑战。国际计算机视觉杂志,2015年。[36] 放大图片作者:Wenzhe Shi,Jose Caballero,FerencHuszar , Johannes Totz , Andrew P.Aitken , RobBishop,Daniel Rueckert,and Zehan Wang.使用有效的子像素卷积神经网络实现实时单图像和视频超分辨率。在proc 计算机视觉与图案识别会议,2016年。[37] Masanori Suganuma,Mete Ozay和Takayuki Okatani。利用标准卷积自动编码器的潜力在proc 2018年国际机器学习会议。[38] Jian Sun,Wenfei Cao,Zongben Xu,and Jean Pon
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功