基于像素亲和度的实例分割与图合并算法

实例分割是一种高级计算机视觉任务，它不仅识别图像中的对象，还区分并标记出每个对象内部的不同像素。本文着重探讨了基于实例分割的图像合并算法和相似度推导，特别是在像素亲和度的利用上。研究团队由刘一丁、杨思宇等人组成，他们分别来自中国科学技术大学电子工程与信息科学系和北京航空航天大学，以及微软研究院。 文章的核心贡献在于提出了一种新的实例分割方案，其中的关键是利用两个相似结构的神经网络，其中一个网络负责预测像素级别的语义得分，另一个则用于计算像素之间的亲和度。这种亲和度被视作像素间的关联度，通过将其转化为图中的边，研究人员设计了一种简单且高效的图合并算法。这个算法将像素聚类成不同的实例，实现了像素级的精细分割。 值得注意的是，该方案特别关注于像素级的处理，与基于建议的方法（如FCIS和Mask R-CNN，它们通常依赖于预先的物体检测结果）相区别，属于无命题方法，即不依赖于外部建议进行实例分割。这种方法的优点在于能够生成更细致的实例掩码，尤其是在Cityscape数据集上的实验表现，达到了27.3 AP的性能指标。 该研究展示了在实例分割领域的创新思维，不仅提升了算法的精度，而且通过图论和深度学习的结合，提供了一种新颖的像素级像素聚类策略。这在未来的计算机视觉任务中，特别是自动驾驶、医学图像分析等领域，都有着广泛的应用潜力。同时，这项工作也突显了跨学科合作的重要性，即电子工程、信息科学与人工智能研究的融合，推动了实例分割技术的发展。