VIT中的余弦相似性

在Vision Transformer (VIT) 中，余弦相似性是一种常用的技术，用于比较两个来自Transformer架构编码后的特征向量的相似程度。VIT 将图像转换成一系列的tokens并通过自注意力机制进行处理，得到每个token的表示。当模型完成全局理解后，它可能会从最后几个Transformer层中抽取特征作为整个图像的表征。

假设我们有两个经过VIT处理后的特征向量 \( \mathbf{v}_1 \) 和 \( \mathbf{v}_2 \)，这两个向量通常是高维的。余弦相似性计算公式如下：

\[ \text{CosineSimilarity}(\mathbf{v}_1, \mathbf{v}_2) = \frac{\mathbf{v}_1 \cdot \mathbf{v}_2}{\lVert \mathbf{v}_1 \rVert \lVert \mathbf{v}_2 \rVert} \]

这个分数范围从 -1 到 1，其中 1 表示完全相同，0 表示无关，-1 表示相反。当用作相似度度量时，较高的分数意味着两个向量越相似。

在VIT中，如果我们在进行下游任务，比如图像检索或分类，可能会计算一个查询图像和库中所有图像的特征向量的余弦相似度，来找到最相关的图像。