开放词汇量SAM：视觉语言模型的提示学习新方法

"这篇论文研究了开放词汇量的视觉语言模型（如CLIP）在零样本迁移学习中的应用，特别是关注于提示（prompting）在实际部署中的挑战。作者提出了一种新的方法——ContextOptim，以解决模型对提示语言敏感、需要大量调整的问题。" 在计算机视觉和自然语言处理领域，预训练的大型视觉语言模型，如CLIP，已经展示了其在跨任务学习中的强大潜力。这些模型通过将图像和文本在共享特征空间中对齐，实现了零样本迁移，即通过自然语言描述来合成分类权重，进而应用于下游任务。然而，这种方法的一个主要挑战在于提示工程，它需要领域专业知识，并且极其耗时。因为词语的微小变化可能对性能产生显著影响，因此需要花费大量时间进行词语调优。 受到NLP领域中关于提示学习最新研究的启发，作者提出了名为ContextOptim的框架，旨在优化提示的使用，减少对人工调整的依赖。ContextOptim可能涉及到学习如何自动生成适应性强、任务相关的提示，以提高模型在不同领域和任务上的泛化能力。这种方法可能会显著改善模型的效率和性能，使得模型能更好地适应新任务，而无需大量手动调整。 此外，ViT-Adapter标签表明论文可能还讨论了如何适应Transformer架构中的Vision Transformer (ViT)模型，以支持这种开放词汇量的提示学习。ViT-Adapter可能是设计用于改进ViT模型与自然语言提示交互的一种技术，可能是通过添加额外的适应层或者修改现有层的权重更新策略，使得模型能够更好地理解和处理各种不同的提示形式。 这篇论文深入探讨了视觉语言模型在零样本迁移学习中的提示工程问题，并提出了一个新颖的解决方案——ContextOptim，以期解决当前模型对提示语言高度敏感的问题，从而增强模型的泛化能力和实际应用性。这样的研究对于推动视觉语言模型在实际应用中的普及和效果提升具有重要意义。