利用未标记视频自动生成看不见的类对象训练数据

"本文主要探讨了如何在未标记的视频中自动创建训练数据，以提升对象分割模型对未见过的类别的识别能力。研究聚焦于解决实例分割模型在处理新类别对象时性能下降的问题，旨在实现开放世界的实例分割，利用丰富的网络视频资源。" 在当前的计算机视觉领域，实例分割模型已经取得了显著的进步，能够准确地预测和分割已知类别的对象。然而，这些模型在面对未见过或“看不见的类”时表现欠佳，限制了其在开放世界环境中的应用，例如自动驾驶和机器人操作等场景。由于手动标注新类别的对象既耗时又昂贵，本文提出了一种利用未标记视频自动生成训练数据的新方法。 作者指出，虽然可以尝试直接应用现有的视频分割技术到未标记的视频中获取对象掩模，但实验结果显示这种方法效果并不理想。因此，他们设计了一种基于贝叶斯理论的方法，该方法从一组初始的对象建议开始，通过合成分析和全局优化来选择正确的对象。这个过程涉及在所有帧中同时进行优化，以确保选择的掩模不仅在单个帧中合适，而且在整个视频序列中一致。 实验结果证明，该方法能够生成高质量的训练集，显著提升模型对看不见的类别的分割性能。通过重新训练初始模型，该方法允许模型在保持对原始已知类别的识别能力的同时，有效地定位和分割新类别中的对象。这种方法为开放世界的实例分割开辟了新的可能性，使得模型可以从海量的网络视频中自我学习和适应新出现的对象。 如图1所示，这种方法的流程是从在有限类别上训练的初始模型出发，通过未标记的视频自动检测和选择对象的掩模，然后使用这些自动创建的掩模来重新训练模型，从而增强其对新类别对象的处理能力。这一创新性工作有望推动实例分割技术在面对未知类别时的自适应性和泛化性，为未来的自主学习和开放环境应用提供强大的工具。