Tip-Adapter：CLIP的无训练适配器，提升少样本分类效能

"Tip-Adapter: 无需训练的CLIP适配器，用于少镜头分类" 本文介绍了一种名为Tip-Adapter的新方法，该方法针对CLIP（Contrastive Language-Image Pre-training）模型在少镜头分类任务中的应用进行了优化。CLIP是一种对比视觉语言预训练模型，它通过大量图像-文本对的学习，能在零样本情况下展现出优秀的下游任务性能。然而，尽管CLIP在某些场景下表现出色，但在数据量有限的少镜头分类任务中，其表现可能会受到影响。 为了提高CLIP在少镜头分类中的性能，现有的策略通常会采用微调自适应学习模块。这些方法虽然能显著提升性能，但同时也增加了训练时间和计算需求。Tip-Adapter则提出了一个创新的解决方案，它无需额外的训练过程，而是利用键值缓存模型从少量训练样本中构建适配器。这种方法通过特征检索来更新CLIP的先验知识，从而增强其对新类别和环境的适应性。 具体来说，Tip-Adapter使用一个缓存模型，该模型能够存储和检索特征，以此来调整CLIP的内部表示。通过这种方式，模型能够在不牺牲CLIP的零样本学习优势的前提下，对新任务进行有效的适应。实验结果显示，Tip-Adapter在ImageNet上的性能可以达到最先进的水平，而且只需微调缓存模型，就能比现有方法节省10倍的训练时间和计算资源。 此外，Tip-Adapter在11个不同的数据集上进行了广泛的少镜头分类实验，其性能和效率的平衡表现优异。表1展示了Tip-Adapter与Zero-shot CLIP和其他方法在ImageNet上的分类准确率和时间效率的比较。这些结果表明，Tip-Adapter在准确率提升的同时，保持了高效的推断速度，实现了准确率-效率的良好权衡。 Tip-Adapter为视觉语言学习提供了一个实用且高效的框架，尤其在面对数据稀疏的分类任务时，能有效提升模型的泛化能力和实用性。通过免训练的适配策略，该方法降低了对大量标注数据和计算资源的依赖，为未来的少镜头分类和相关领域的研究开辟了新的路径。