clip adapter
时间: 2023-09-26 09:07:45 浏览: 193
CLIP-Adapter是一篇名为"CLIP-Adapter: Better Vision-Language Models with Feature Adapters"的论文提出的方法。\[1\]该方法通过引入两个可学习的特征适配器Av(⋅)和At(⋅),对视觉特征f和文本特征W进行线性变换。这些适配器通过残差连接与预训练的CLIP模型相结合,以避免遗忘原始知识。\[2\]CLIP-Adapter的主要工作是在视觉或语言分支上使用函数Adapter进行微调,以实现更好的视觉语言模型。具体来说,CLIP-Adapter引入了一个额外的瓶颈层来学习新特征,并执行与原始预训练特征的残差样式特征混合。\[3\]通过这种方式,CLIP-Adapter提供了一种替代prompt tuning的路径来改进视觉语言模型的性能。
#### 引用[.reference_title]
- *1* *3* [CLIP-Adapter:利用Adapter微调CLIP适配下游任务](https://blog.csdn.net/weixin_44936889/article/details/120789500)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [CLIP-Adapter: Better Vision-Language Models with Feature Adapters](https://blog.csdn.net/weixin_48907099/article/details/131488484)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文