没有合适的资源?快使用搜索试试~ 我知道了~
基于并行特征金字塔网络的目标检测Seung-WookKim[0000−0002−6004−4086]、 Hyong-Keun Kook、Jee-YoungSun、Mun-Cheon Kang和Sung-Jea Ko韩国大学电气工程学院,韩国首尔{swkim,hkkook,jysun,mckang}@ dali.korea.ac.kr,sjko@korea.ac.kr抽象。 最近开发的对象检测器通过逐渐增加具有金字塔形状的特征层的数量而不是使用特征化图像金字塔来采用卷积神经网络(CNN)。然而,CNN特征层的不同抽象级别通常限制了检测性能,特别是在小对象上。 为了克服这一限制,我们提出了一种基于CNN的对象检测架构,称为并行特征金字塔(FP)网络(PFPNet),其中FP是通过扩大网络宽度而不是增加网络深度来构建的。首先,我们采用空间金字塔池和一些额外的特征变换,以生成一个池的特征图具有不同的大小。在PFPNet中,额外的特征转换是并行执行的,这会产生跨尺度具有相似语义抽象级别的特征图然后,我们将特征池的元素调整为统一的大小,并聚合它们的上下文信息以生成最终FP的每个级别实验结果证实,PFPNet将最新版本的单次多盒检测器(SSD)的性能提高了6.4%AP的mAP,特别是MS-COCO数据集上的7.8%AP小关键词:实时目标检测,特征金字塔。1介绍多尺度目标检测是计算机视觉中的一个难点和基本挑战最近,由于卷积神经网络(CNN)十年的进步,对象检测取得了相当大的进展。早期的基于CNN的对象检测器利用深度CNN(DCNN)模型作为对象检测系统的OverFeat [38]以滑动窗口的方式将基于CNN的具有CNN特征的区域(R-CNN)方法[10]采用基于区域的方法(也称为两阶段方案),其中为基于CNN的分类器提供对象候选的图像区域最近的基于区域的检测器,如Fast R-CNN [9]和Faster R-CNN [35],利用单尺度特征图,其通过DCNN模型进行变换,如图所示。1(a)(顶部)。在[35]中,使用这种单尺度特征,完整的对象检测系统形成为端到端CNN模型,并表现出最先进的性能。2S.- W. Kim等人合并F1SPP预测MSCAF1F1/2SPPF1/22预测预测预测我我预测预测预测我我ConvNetConvNet预测预测预测(a) 自底向上DCNN(b)沙漏网络(自底向上自顶向下)(c)(d)建议的特征金字塔图1.一、 使用单尺度特征层进行视觉识别的变体DCNN模型及其对特征金字塔的扩展:自底向上DCNN模型(a)、沙漏网络(b)和基于SPP的网络(c);我们的网络模型(d)可以被看作用于多尺度对象检测的(c)的扩展版本。受DCNN特征层的金字塔形状的启发,一些研究人员尝试利用多个特征层来提高检测性能[2,27]。如图1(a)(底部),单次多盒检测器(SSD)[27]利用特征金字塔(FP),其每个级别包括负责检测特定大小范围内的对象的DCNN层。此外,SSD是一种单级检测器,是一种不需要区域建议过程的无区域检测器。通过使用FP和单级方案,SSD表现出与基于区域的检测器相当的检测性能和与使用单尺度特征图的YOLO [31]竞争的高计算效率。然而,具有此FP的对象检测器在较低特征层上将表现不佳,因为它们缺乏对象级信息。已经表明,较低和较高级别的特征彼此互补,并且它们的组合有利于分割[30]、关键点估计[29]和对象检测[22]。在沙漏模型中(见图1)。1(b)),为了生成单个高级特征图,通过附加自顶向下模块将包含在上层中的对象知识上层的低分辨率可以确保对像素变化的不变性,这有助于识别对象实例,但它可能会导致像素级任务的困难,例如像素标记和框回归[13,28]。因此,横向连接被添加在自下而上和自上而下层之间,以将关于对象细节的信息传送到自上而下层。单阶段方法的最新趋势是将沙漏网络的这些优点带入基于FP的对象检测器[8,20,23,25,43]。去卷积单镜头检测器(DSSD)[8]形成一个沙漏结构,可以利用对姿势和外观不敏感的对象级信息我ConvNetF2F1/2二分之一F1F1预测ConvNetF1F1/21/2F2ConvNet我ConvNetF1预测基于并行特征金字塔网络的目标检测3层和更丰富的空间信息从较低层。DSSD通过在SSD上增加一个自顶向下的模块,可以将无区域目标检测器的性能提高到基于区域目标检测器的水平然而,自上而下的模块会产生额外的计算成本,因此无区域方法的速度不再是它们的优势。最近,RetinaNet [25]和Refinedet [43]简化了自上而下和横向路径的特征层,并在实时操作的同时实现了最先进的性能。在这项研究中,我们提出了一个并行FP网络(PFPNet)构建一个FP通过扩大网络的宽度,而不是增加其深度。如图1(d)中,我们首先采用空间金字塔池化(SPP)[14]来生成具有不同大小的特征图的宽FP池。接下来,我们将额外的特征抽象并行地应用于FP池的特征图,这使得它们都具有相似的语义抽象级别。然后,多尺度上下文聚合(MSCA)模块将这些特征图调整大小为统一的大小,并聚合它们的上下文信息以产生最终FP的每个级别据我们所知,PFPNet是第一次尝试将SPP模块应用于使用基于CNN的FP的无区域多尺度对象检测器。先前的研究已经证明,使用SPP模块的多尺度表示可以大大提高对象检测[14]和分割[44]方面的性能。 这些研究利用SPP模块来产生具有固定大小的单个高级特征向量或具有精细分辨率的特征图,以进行预测,如图所示。第1段(c)分段。相比之下,我们利用SPP模块来产生FP,其中对每个FP独立地进行预测水平总之,本研究做出了三个主要贡献:– 我们采用SPP模块通过扩大网络宽度而不是增加其深度来生成金字塔形的特征图。– 通过使用类似于初始模块[41]的MSCA模块,我们的模型有效地结合了不同尺度的上下文信息由于我们的FP的特征图具有相似的抽象级别,因此可以有效地减少FP级别之间的性能差异。– 我们在公共数据集上获得了出色的性能。使用512 × 512的输入大小 , PFPNet 在 Pascal VOC 2007 上 实 现 了 82.3% 的 平 均 精 度(mAP),在PASCAL VOC 2012上实现了80.3%的平均精度,在MS-COCO上实现了35.2%的平均精度,从而超过了最先进的目标检测器。使用320× 320和512× 512的输入大小,PFPNet在单个TitanX GPU上分别以33和24帧每秒(FPS)运行。对于小规模对象,PFPNet在MS-COCO数据集上将最新版本的SSD [26]的性能提高了7.8%2并行特征-金字塔网络首先,我们解释了我们的动机,为目标检测设计的建议架构。在[34]中,Ren等人指出,用于鲁棒对象检测的有用特征图应该具有以下属性:1)特征图需要4S.- W. Kim等人平面包含很好地表示对象的结构的精细细节; 2)必须通过使用足够深的变换函数来提取特征图,即在特征映射中应编码高层次的对象知识; 3)特征图应具有有意义的上下文信息以支持对对象的“目标”的预测和对 诸 如 被 遮 挡 、 小 、 模 糊 和 饱 和 对 象 的 对 象 的 “ 目 标 ” 的 描述 。0.0 1.0瓶0.0 1.0猫0.0 1.0(a)(b)(c)第(1)款(d)其他事项图二.使用SSD [27](b),FPN [23](c)和PFPNet(d)的输入图像(a)及其相应特征图的示例。所有型号都使用VGGNet-16作为其骨干网络。在特征图的可视化尺度处检测对象(在第二行中,特征图表示啤酒瓶的尺度)。让我们回顾一下第1节中讨论的FP。基于自底向上DCNN的FP中的特征图可能不满足由深度变换函数获得的上层特征图的第一性质;另一方面,由浅变换函数获得的较低级别特征图可能不满足第二性质,这损害了对小对象的检测性能。此外,每个特征图仅负责其相应尺度的输出,因此不能有效地并入不同尺度的上下文信息。克服这些限制的一个简单方法是利用具有适当深度的变换函数来保留精细的空间信息和高级语义对象信息。如图1(d),如果FP排列成一行,我们可以应用具有相同深度的这种变换然后,我们使用建议的MSCA模块聚合不同类型的上下文信息,以基于并行特征金字塔网络的目标检测5产生满足上述良好特征图所需的第三属性的最终特征图图2示出了具有各种尺寸的对象的图像及其在对应于对象的尺度下的特征图。如前所述,对于SSD,平面的上层特征图的可视化通道被很好地激活,但激活值不稀疏,这可能会降低框回归性能。对于小瓶子,可以观察到精细的细节,但是尽管瓶子的形状相似,但活化并不一致。一些研究[20,42]表明,掩蔽集中在对象区域的激活值因此,对象区域上的稀疏通道值可以为大对象提供更准确的对象信息。对于FPN [23](沙漏模型)和PFPNet,平面的可视化通道被很好地激活,并且比SSD的通道更稀疏对于小瓶子,FPN的通道值比SSD的通道值更活跃,但是由于来自自上而下路径的模糊信息,细节在某种程度上消失。另一方面,PFPNet中的可视化通道不仅保留了对象的精细细节,还保留了与确切对象位置重叠的一致的高激活值。对于中等大小的对象(底行中的猫),SSD、FPN和PFPNet的所有特征通道都具有良好激活并集中在对象区域中的特征值这一观察结果表明,适当的深度的转换函数可以提高质量的特征表示,并在第3节的实验结果证明了所提出的结构的有效性。在下文中,我们提供了拟议的PFPNet的细节。基础网络。PFPNet基于VGGNet-16 [40]。在PFPNet中,VGGNet-16中的最终全连接(fc)层通过对其参数进行子采样而被卷积(Conv)层替换,并且这个修改后的VGGNet-16在ILSVRC数据集上进行了预训练[37]。瓶颈层。对于特征转换,我们使用瓶颈层[16]。在瓶颈层,为了提高计算效率,在3 ×3卷积之前先进行1× 1没有缩放/移位的批量归一化[17]和整流线性单元(ReLU)[12]用于输入归一化和激活。在瓶颈层中,1× 1卷积产生具有C/2通道的特征图,其中C是瓶颈层的输出通道的数量。FP合并液。池化[21]层广泛用于视觉分类任务[15,40,41],不仅将特征图的空间大小减小到特定大小,而且还可以聚合子区域中的上下文先验。在[14,44]中,利用具有各种大小的池化子区域的SPP层来构建用于对象检测和分割的FP。受这些研究的启发,我们使用SPP层来构建一个FP池,该FP池同时具有空间信息和多尺度语义6S.- W. Kim等人LDCHCLCPSPP预测子网f(0)(0)Lf(0L均p0f(1预测子网H(1)Lf(1L总线p1f(2)(2)Lf(2Lp2车人MSCA瓶颈预测子网MSCA瓶颈基础网络MSCA瓶颈非最大抑制(a) 输入图像(b) 高维FPP(FH)(c) 低维FPP(FL)(d) 双锥(e) 检测结果图三. PFPNet概览,N= 3。对于输入图像(a),采用基础网络来获得PFPNet的输入。高维FP池(FH)(b)通过使用SPP模块形成,并且低维FP池(FL)(c)通过对(b)的元素应用进一步变换来获得。根据这些特征池,MSCA模块生成用于多尺度检测的最终FP(P最后,将FP馈送到Conv预测子网中以获得检测结果(e)。对象信息图3示出了用于多尺度对象检测的PFPNet的架构。让基础网络产生具有D个输出通道的W×H通过使用SPP模块,我们首先形成高-dime nionFpol,F={f (0),f(1),···,f (N−1)},其中f (n),f在uremapHH H空间大小为W×H,表示F的第n级,N表示2n2nH金字塔的数量。因此,我们使用CH=D的通道数,通过将空间大小依次减小一半来实现。我们应用不被定义为H(n)(·)的底部检查层,以实现针对每个尺度提取适当的上下文特征的并行处理,并减少变化。nelnumberofconct textualrepese n t int in。WeletF={f (0),f (1),···,f (N−1)}LL L L表示低维FP池,其是变换的输出FH与减少的通道数的关系,CL=D/(N−1)。MSCA。在不同尺度下描述上下文信息可以促进几个视觉分类任务[1,13,18,28]。通过求和来组合特征图是用于从多个特征收集上下文信息的常见方法然而,Huang等人 [16]最近坚持认为,求和可能会削弱网络中的信息流。他们引入了一种替代方法,该方法涉及直接连接特征图以保留特征层之间的最大信息流用于对象检测的几种架构采用了这种方法。例如,在[1]中,更高级别的DCNN层通过级联融合到单个特征图中。在[18]中,基于DCNN或沙漏网络的多个特征层也被连接起来,以利用不同尺度的上下文信息。PFPNet还使用连接来收集FP池中的上下文信息图图4示出了MSCA模块如何产生最终FP的电平的示例,P={ p0, p1,···, pN-1}。假设我们生成水平n基于并行特征金字塔网络的目标检测72N2NPFHFLMSCA模块P图4.第一章多尺度上下文聚合(MSCA)模块。FP的pn,大小为W×H。我们假设FP的水平n池包含关于pn中的对象的主要信息,并且其他级别补充对象的信息作为不同尺度的上下文先验。因此,我们从高维FP池F中取出f(n)作为主要HH信息,而我们收集较大和较小尺寸的特征图从低维FP池FL作为补充信息。为了匹配来自Fl的特征图的大小,我们经由双线性插值直接上采样具有较小大小(> n)的特征图,并且经由非重叠平均池化对具有较大大小(
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功