语义对应任务中的蒸馏方法实现最先进的性能

0 下载量 117 浏览量 更新于2024-06-17 收藏 2.11MB PDF 举报
语义对应任务中的蒸馏方法性能在合奏预测方面实现最先进的结果 语义对应是计算机视觉中的一个基本问题,其目的是在同一类别下描述不同实例的图像之间建立密集的对应关系。由于类内变化大,并且严重缺乏地面实况,因此这项任务具有挑战性。一个流行的解决方案是从合成数据中学习对应关系。然而,由于有限的类内外观和合成生成的训练数据内的背景变化,使用这种策略处理“真实”图像对的模型的能力是受限制的。 我们使用一种新的概率模型蒸馏(PMD)方法来解决这个问题,该方法使用未标记的真实图像对将概率教师模型在合成数据上学到的知识转移到静态学生概率监督重加权(PSR)模块与置信度感知损失(CAL)一起用于挖掘有用的知识和减轻错误的影响。各种基准测试的实验结果表明,我们的PMD方法实现了最先进的性能。 PMD方法的优越性在于能够从概率教师那里为表示学习引入更可靠的监督信号,并在很大程度上减轻了伪标签错误的影响。大量的实验结果证明,PMD能够从概率教师那里为表示学习引入更可靠的监督信号,并在很大程度上减轻了伪标签错误的影响。 语义对应性通过将密集匹配的边界推到视觉相似图像之间的对应性估计来超越场景的匹配导致许多有意义的应用,如属性转移、图像编辑、场景拼贴、对象细化和分割。克服这些挑战的一种方法是使用手工制作的图像描述符(例如,SIFT、HOG、DAISY)结合不同的正则化方法。 概率模型蒸馏(PMD)方法的实现可以分为两个步骤:首先,使用未标记的真实图像对将概率教师模型在合成数据上学到的知识转移到静态学生概率监督重加权(PSR)模块中;其次,使用置信度感知损失(CAL)来减轻错误的影响。通过这种方式,我们可以实现最先进的性能。 在本文中,我们还探讨了PMD方法的普遍性,我们扩展PMD以引入更强的监督以获得更好的准确性。实验结果表明,我们的PMD方法可以在不同的数据集上实现最先进的性能。 语义对应任务中的蒸馏方法性能在合奏预测方面实现了最先进的结果。我们的方法可以在不同的数据集上实现最先进的性能,并且可以在实际应用中发挥重要作用。 知识点: 1. 语义对应:计算机视觉中的一个基本问题,其目的是在同一类别下描述不同实例的图像之间建立密集的对应关系。 2. 蒸馏方法:一种从概率教师那里学习知识的方法,可以用于语义对应任务中。 3. 概率模型蒸馏(PMD):一种新的概率模型蒸馏方法,可以用于语义对应任务中,能够从概率教师那里学习知识并减轻错误的影响。 4. 静态学生概率监督重加权(PSR)模块:一种用于学习知识的模块,可以与置信度感知损失(CAL)一起用于减轻错误的影响。 5. 置信度感知损失(CAL):一种用于减轻错误的影响的损失函数,可以与静态学生概率监督重加权(PSR)模块一起用于学习知识。 6. 语义对应性:通过将密集匹配的边界推到视觉相似图像之间的对应性估计来超越场景的匹配导致许多有意义的应用。 7. 手工制作的图像描述符:例如,SIFT、HOG、DAISY等,可以与不同的正则化方法结合用于克服语义对应任务中的挑战。