渐进式分割推理:涂鸦监督下的像素级语义分割新方法

0 下载量 27 浏览量 更新于2024-06-20 收藏 887KB PDF 举报
"本文提出了一种渐进式分割推理(Progressive Segmentation Inference, PSI)框架,用于处理涂鸦监督的语义分割问题。该框架利用潜在的上下文依赖性,结合上下文模式传播和语义标签扩散两种关键线索,以增强和细化像素级分割结果。上下文模式传播通过图形模型关联和利用不同粒度的上下文模式,提高像素标签预测的准确性。语义标签扩散则根据像素的高置信度分数,采用动态学习的自适应决策策略,使初始注释种子在图像中逐步传播。这两个线索在闭环更新过程中模块化结合,实现像素级别的标签推理。实验表明,PSI框架能有效结合空间和语义上下文线索,取得在两个公共涂鸦分割数据集上的最佳性能。" 在语义分割领域,深度学习方法已经广泛应用,但这些方法通常需要大量完全注释的样本。涂鸦监督提供了一种更为灵活和低成本的注释方式,能更好地反映语义类别的分布。尽管早期的研究如交互式分割方法使用图形模型扩展语义标签,但随着深度学习的发展,许多现代方法尝试将深度特征学习与传统图形模型结合,如条件随机场(CRF)和随机游走,以生成更可靠的伪标签来指导模型迭代。 本文的重点在于解决涂鸦监督带来的挑战,通过PSI框架,它不仅能够利用部分已知的种子信息,还能动态适应图像的复杂性。这种框架的一个主要优点是它的渐进性质,它允许模型在处理过程中逐渐增加对上下文的理解,从而提高分割的准确性和精细度。通过结合上下文模式传播和语义标签扩散,PSI能够在减少人工标注需求的同时,生成高质量的像素级分割结果。 实验部分,作者对比了PSI与其他涂鸦监督的方法,展示了在两个公共数据集上的优越性能,验证了该框架的有效性。这表明PSI框架有望成为涂鸦监督语义分割领域的先进解决方案,对于减少标注成本和提升分割质量具有重要意义。