通用跨域检索：SnMpNet模型的语义邻域与混合预测

"通用跨域检索的泛化能力" 这篇论文主要探讨了通用跨域检索中的泛化问题，特别是如何处理在训练时未见过的新类别和领域。在当前的跨域检索任务中，如基于草图的图像检索（SBIR），由于实际应用场景的不断变化，查询和搜索样本可能属于训练阶段未包含的新类别。因此，模型需要具备对未知类别和领域的泛化能力。 论文提出了一个名为SnMpNet的新模型，该模型基于SE-ResNet50的骨架构建，并包含了两种新的损失函数：语义邻域损失和混合预测损失。语义邻域损失旨在缩小可见类和不可见类之间的知识差距，确保不可见类的嵌入在潜在空间中具有语义相关性，且与相邻类别保持一致。混合预测损失则是在图像级和语义级引入的，它在训练过程中帮助模型适应看不见的领域，从而在查询属于新领域时能够有效地进行检索。 SnMpNet模型在两个大规模数据集SketchyExtended和DomainNet上进行了实验，结果表明该模型在通用跨域检索任务中表现优越，与现有的最先进的方法进行了深入的比较。这些实验证明了SnMpNet在处理未见过的类别和领域时的有效性，这对于应对现实世界中不断增长的类别数量和跨领域检索需求具有重要意义。 1. 引言部分指出，跨域检索随着不同领域数据的增长而受到广泛关注，尤其是在像基于草图的图像检索这样的具体应用中。由于现实世界的动态性，研究重点转向了零样本学习或一般化的零样本学习，即ZS-SBIR和GZS-SBIR，其中查询和搜索样本可能属于训练集中未包含的新类别。 2. 模型架构通常包含两个并行分支，分别用于从不同域（如草图和图像）中提取特征和分类。通过学习到的潜在空间表示，可以跨越领域间隙。 3. 测试阶段，查询草图和图像会被投影到这个潜在空间，以找到与之相关的数据。SnMpNet通过其创新的损失函数改进了这一过程，提高了对未知类别的识别能力和对新领域的适应性。 这项工作对通用跨域检索的泛化能力进行了深入研究，提供了一个新的解决方案，以适应不断变化和扩大的数据类别。这对于未来在多媒体检索、电子商务和法医数据匹配等领域的发展具有重要价值。