GDH:生成域迁移哈希提升草图图像检索性能

0 下载量 137 浏览量 更新于2024-06-20 收藏 1.19MB PDF 举报
本文主要探讨了"草图图像检索中的生成域迁移哈希方法"这一主题。在现代消费类电子产品广泛应用触摸屏技术的背景下,手绘草图作为用户表达想法的便捷方式,推动了基于草图的图像检索(SBIR)研究的兴起。SBIR旨在通过用户绘制的草图找到与其最接近的图像,然而,由于草图与真实图像之间的显著差异,如抽象性和图标性,使得这个问题长期未得到有效解决。 为克服这一挑战,研究人员提出了生成域迁移哈希(GDH)方法。GDH的核心在于构建一个生成模型,该模型利用对抗损失学习,使草图分布与自然图像分布尽可能趋近,从而实现两者间的不可区分映射。通过循环一致性损失,GDH进一步强化这种映射的不可区分性,确保迁移过程中草图的原始特征得以保持。生成模型的学习过程中,还引入了鲁棒映射,使其能够在保持草图特征的同时,将草图迁移到与之对应的不可区分的图像表示。 GDH的设计巧妙地采用了端到端的多任务学习框架,能够联合优化生成模型和二进制化散列代码,兼顾效率和内存成本。这种方法的优势在于能够在大规模数据集上进行分类级和细粒度的SBIR任务,展现出了在性能、成本和有效性方面的均衡优势。 值得注意的是,尽管之前的研究尝试通过交叉视图学习来缩小不同领域的差距,如通过将草图和自然图像嵌入共享空间,但这些方法存在局限,即可能忽视了各自领域的特性。GDH通过更为精细的生成迁移策略,有效地解决了这一问题。 总结来说,生成域迁移哈希方法是一项创新的解决方案,它不仅提升了基于草图的图像检索的准确性和效率,也为解决实际应用中的跨域问题提供了新的思路。在未来的研究中,这种方法有望进一步推动SBIR技术的发展,并在消费电子产品的人机交互体验中发挥重要作用。