部分输入场景级FG-SBIR：优化与性能提升

本文主要探讨了部分输入在场景级Fine-Grained Sketch-Based Image Retrieval (FG-SBIR)方法中的挑战及其性能改进。作者注意到在场景级草图研究中，一个关键的现象是大部分草图并非完整地捕捉照片中的所有内容，而是存在主观的全局解释和对象级别的抽象，导致空白区域广泛存在。这使得现有的FG-SBIR方法在处理越来越部分化的场景草图时表现不佳。 传统上，研究集中在对象级别草图的抽象性、创造性、图像检索和三维合成等方面。然而，随着技术的发展，场景级分析逐渐成为研究热点。场景草图不仅抽象于单个对象，还涉及整个场景布局，如图1（a）所示，随机叠加的草图与照片对比明显。 为解决这一“部分”问题，论文提出了一种基于最优传输（Optimal Transport，OT）的方法，旨在以部分感知的方式建立跨模态区域关联性。传统的OT方法被改进，引入了整体部分性的考虑，通过比较内模态的邻接矩阵来增强模型的鲁棒性。这种方法不仅能够有效处理部分场景草图，还在现有数据集上实现了最先进的性能，证明了其在实际应用中的有效性。 图1（b）展示了现有FG-SBIR方法在面对部分化场景草图时的困境，而图1（c）则强调了大量空白区域的存在，例如对于场景中的绵羊草图，可能会造成匹配困难。因此，这篇论文的贡献在于提出了一种创新的方法，有望推动场景级FG-SBIR领域的研究，提高在实际场景中处理不完整草图的准确性和效率。