没有合适的资源?快使用搜索试试~ 我知道了~
7004弱监督语义分割的上下文解耦增强算法苏玉坤1、2、孙瑞洲1、2、林国胜3、吴庆耀1、21华南理工大学软件与工程学院2大数据与智能机器人教育3南洋理工大学计算机科学与工程学院suyukun666@gmail.com,ruizhousun@foxmail.com,gslin@ntu.edu.sg,qyw@scut.edu.cn摘要数据增强对于深度学习神经网络至关重要通过提供大量的训练样本,提高了模型的泛化能力。弱监督语义分割(WSSS)是近年来得到深入研究的一个具有挑战性的问题,传统的WSSS数据增强方法通常采用几何变换、随机裁剪和颜色抖动。然而,仅仅增加相同的上下文语义数据并不能为网络区分对象带来太大的收益,例如,对“飞机”的正确图像级分类常规隆乳原始图像CDA...旋转颜色抖动...出现上下文,如“天空”,这将导致模型更少地关注对象特征。为此,我们提出了一个上下文解耦增强(CDA)的方法,改变固有的上下文中的对象出现,从而驱动网络,以消除依赖之间的对象实例和上下文信息。为了验证所提出的方法的有效性,在PASCALVOC 2012和COCO数据集上进行了大量的实验,并使用了几种替代的网络架构,结果表明CDA可以将各种流行的WSSS方法大幅提升到新的最先进水平。代码可在 https://github.com/suyukun666/CDA 上 获得1. 介绍语义分割是计算机视觉领域的基础,其目的是预测图像的像素级分类,具有广泛的应用前景。近日,受益于深度神经网络--†通讯作者。图1.说明常规aug-心理学方法和我们的方法。经典的数据扩充包括生成通过原始训练图 像的基本几何变换 或颜色变化背景 解耦增强(CDA)的目的是将给定的对象实例随机粘贴到场景中,从而解耦原始对象在图像中的工作,现代语义分割模型[7,8,31,33]已经取得了显着的进展与大量的人类注释的标记数据。然而,收集像素级标签是非常耗时和劳动密集型的,这将许多研究的注意力转移到弱监督语义分割(WSSS)。存在各种类型的弱监督语义分割,如使用边界框[10,24],涂鸦[30,40],点[4]和图像-水平标签[21,2,1,43,50]。其中,图像级类别标签已被广泛使用,因为它们需要最少的注释工作,并且已经在现有的大规模图像数据集中提供在本文中,我们专注于WSSS的增强7005图像级标签,这对深度学习网络至关重要。如图1上半部分所示,给定训练图像,传统的数据增强方法利用一些几何变换,例如旋转,缩放,翻转,甚至一些颜色转换来增加图像的多样性,以避免过拟合。然而,对于弱监督语义分割,调整图像作为一个整体,并保持相同的上下文语义关系将不会显着帮助网络挖掘的对象区域。例如,特别地,当对象实例经常与一些伴随背景同时出现时,这将导致网络产生混淆偏差。也就是说,网络能够很好地执行分类任务并不是因为成功地区分了对象的特征,而是因为能够意识到某些上下文语义信息的出现,这对挖掘对象区域是有害的。基于这一观察,我们提出了一个上下文解耦增强(CDA)的方法,设计用于disas- sembling原始图像的固有的上下文信息如图1下半部分所示,“猫”显示在“天空”上,“沙发”落在“道路”上。虽然这些场景搭配中的一些在生活中很少出现,但模型可以更多地关注与分类标签相对应的对象。与完全监督的数据增强方法不同[13],我们不能访问对象实例标签来提取弱监督设置下的对象因此,我们首先采用现成的WSSS的方法来获得对象实例,已被很好地分割。然后,将选择的前景实例随机粘贴到输入图像中,得到新的增强图像,并将其与未增强的原始图像一起放入模型中进行通过这种方式,我们可以打破对象和上下文背景之间的依赖关系,并且模型将专注于前景实例的内部信息而不是上下文信息来预测它们所属的类别。此外,我们使用在线训练技术来进行数据增强,这意味着原始输入图像和要粘贴的对象实例的这极大地增加了各种场景和对象实例的组合的多样性,并且因此增强了网络的解耦能力。在所提出的上下文解耦增强框架中,我们利用不同的WSSS网络作为我们的基线。为了验证我们提出的方法的有效性,广泛的实验表明,CDA可以改善伪掩模平均超过2.8% mIoU。我们实现了最先进的性能,在PASCAL VOC 2012 [15] 测 试 集 上 的 val 集 和 66.8%mIoU,COCO [32]的val集上的mIoU为33.7%。我们的论文的主要贡献可以总结如下:• 我们提出了一个普遍适用的数据增强方法,弱监督语义分割,据我们所知,还没有得到很好的探索。• 所提出的上下文解耦增强(CDA)方法不需要额外的数据,并且它可以去除前景对象实例与背景上下文信息之间的相关性,这可以驱动网络关注对象区域而不是背景。• PASCAL VOC 2012和COCO上的实验表明,我们提 出 的方 法 和CDA 的 有 效性 可 以 提高 不 同 的WSSS方法的性能,以新的国家的最先进的大幅度。2. 相关工作2.1. 个wss图像标记作为图像分割的弱监督方法,近年来得到了广泛的研究。许多方法[44,2,1]使用CAM [51]通过预测图像标签来挖掘对象种子区域。为了解决只能突出显示有区别区域的问题,研究者设计了多种扩展目标种子区域的方法例如,在[47]中,通过融合由具有不同扩展率的卷积层生成的不同区分区域来[44]驱动网络通过迭代擦除目标区域来学习对象的其余部分。此外,一些先前的工作[21,22]使用额外的数据,如视频和显着性图,以探索对象区域。尽管对象扩展技术层出不穷,但它们都使用CAM[51]作为基础.后续扩散的效果取决于CAM学习特征的第一步。由于只提供图像级标签,当对象与上下文背景紧密耦合时,例如如[29]中所述,训练网络没有动机仅将注意力集中在前景类上,因为可能会偏向于其他上下文因素作为具有高相关性的干扰因素因此,这是一个值得思考和需要解决的问题2.2. 数据增强数据增强是训练深度神经网络的主要技巧,其目的是增加数据的多样性70061.第一阶段训练推断种子区域扩大伪面具CAM模型2. 第二阶段在线增强0人1.一、.11鸟沙增强的种子区域扩大伪面具1.一、pers on.01沙发图2.拟议的增强方案概述阶段I:使用现成的弱监督语义分割方法来获得具有良好分割的一些简单对象实例。第二阶段:将对象实例随机粘贴到原始图像中以形成新的输入图像,并与原始输入图像成对地进行在线数据增强训练。通过增加训练样本,在一定程度上避免过拟合传统的数据增强方法对基础数据执行一系列操作,诸如旋转、翻转、添加高斯噪声等。一些工作已经探索了合成 训 练 数 据 [17 , 35] 以 进 一 步 推 广 。 通 过 样 式 化ImageNet [18]生成新的训练样本可以带来更好的分类性能。最近,GAN [52]已被用于转移图像的风格并将图像的内容从一个域转移到另一个域此外,[49]介绍了一种混合两个随机样本并按比例划分分类结果[12]通过随机裁剪样本中的一些区域并填充0像素值进行增强,并保持分类结果不变。对于对象检测和分割,流行的数据增强方式是这些工作将分割后的真实物体粘贴到自然图像中,有利于增加内部图像的物体复杂度,有助于解决小目标检测问题。然而,获得这些分割的对象需要逐像素的实例标签。[36]使用框监督和现成的更快的RCNN [37]方法通过剪切和粘贴来分割和生成掩模。[3]采用无监督剪切粘贴学习方法,生成新的组合图像,但这种方法只适用于单个物体的图像。这是我们第一次在WSSS领域采用复制和粘贴,并且它不需要像素标签和其他辅助方法的帮助。因此,对于WSSS,这样的数据增强方案是重要的,并且尚未被很好地探索。3. 框架我们的方法主要由两个阶段组成:(1)我们首先使用现成的WSSS方法收集容易分割的对象的例子;(2)然后我们以成对的方式利用在线增强来训练网络。在本节中,我们将详细描述这两个阶段。3.1. 对象实例收集我 们 的 目 标 是 应 用 数 据 增 强 的 WSSS 模 型 之一(即,IRNet [1])。在某种程度上,WSSS方法可以成功地预测一些容易的对象与类标签良好的面具。因此,如图2所示,在第一阶段,我们训练原始网络,并且我们能够通过设置一些标准,通过图像的场景复杂度,对象的范围和语义相关性来选择合格的对象实例具体来说,对于训练网络之后的推断阶段,我们遵循两个主要标准来收集对象实例:(i)当前图像应该仅具有单个列车数据集...7007nn(a)(b)(c)(d)图3.实验中使用的不同粘贴方法(a)原始输入,(b)随机缩放粘贴,(c)随机缩放+ (d)随机缩放+旋转+高斯平滑粘贴。课 这背后的直觉是,在只有单一类的情况下,图像信息要简单,没有复杂的语义环境,模型的分割结果要更 准 确 ; ( ii ) 当 前 图 像 的 分 割 结 果 应 满 足 条 件ε1
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功