我们的研究重点是基于边界的交互式分割。该框架允许用户直接与
对象边界而不是图像区域交互。通常,用户沿着对象边界放置多个控
制点,并且系统以分段方式优化连接这些点的曲线[9,10,26,28,
32]。已经表明,最优曲线可以被表示为基于网格的图上的最小成本路
径查找 问 题 [11, 12]。边 界 段 被 提 取 为 测 地 线 路 径(即, 最 小 路
径),其中路径成本由从图像中提取的底层特征图定义[9,10,17,
26一个基本的限制是,现有的方法仅仅依赖于低级别的图像特征,如
图像梯度或边缘图,这阻止了利用高级别的图像语义。因此,用户必
须小心地控制曲线,这对于困难的情况需要显著的用户反馈。在本文
中,我们介绍了另一种方法,预测的边界图自适应用户交互。在我们
的方法中,适当的边界相关的特征图是从边界图预测模型生成的,利
用图像和用户交互点作为输入。
已经进行了重要的研究,以更好地处理用于边界提取的噪声低级
特征图[9,10,26,27,32]。关键原则是利用先进的能量模型和最小
路径查找方法,使高级先验和正则化(如曲率惩罚[9,10,27],边界
简单性[26]和高阶正则化[32])的结合成为可能。我们在本文中的工
作遵循一个正交的方向,并可能受益于在这方面的研究进展虽然这些
方法专注于开发新的路径求解器,更好地与传统的图像特征图,我们
专注于获得更好的特征图,从高质量的对象边界- aries可以使用标准
的路径求解器计算。
我们的研究部分受到了深度神经网络在语义边缘检测方面最近成
功的启发[23,35,38]。已经表明,可以使用在分割数据上进行端到
端训练的卷积神经网络来预测高级虽然语义边缘图可以解决上述低级
特征图中语义的缺乏,但我们的工作表明,超越预先计算的语义边缘
图是可能的并且更有益。本文是不同的语义边缘检测,我们的目标是
预测的交互自适应边界,不仅对图像信息,但也用户的意图。
我们的方法确定对象边界段通过连接对控制点放置沿对象边界。
在这方面,我们的系统与Castrejon等人提出的PolygonRNN框架有一些
相似之处。[8]的一项建议。我们的方法和Poly- gonRNN之间有两个重
要的区别。首先,我们的方法采用用户提供的任意一组控制点,而
PolygonRNN 从 初 始 边 界 框 预 测 一 组 最 佳 控 制 点 更 重 要 的 是 ,
PolygonRNN主要专注于预测控制点。它们只是通过用直线连接这些点
来形成最终的分割,这不会导致高度准确的边界。另一方面,我们的
方法侧重于从