vision former

Vision Transformer（ViT）是一种使用transformer模型在计算机视觉任务中取得了很好效果的预训练模型。在相关研究中，作者使用了两个SOTA预训练的Vision Transformer模型，分别是来自CLIP的ViT-L/14和来自EVA-CLIP的ViT-G/14。为了获得更好的效果，作者移除了ViT的最后一层，并使用倒数第二层的特征作为输出特征。