vision transformer 的输入是什么

Vision Transformer (ViT) 的输入是一张图像，通常是 224x224 或 384x384 大小的 RGB 图像。在输入前，图像需要经过常规的预处理，如归一化、缩放和裁剪等。此外，对于 ViT 模型，图像还需要被分割成一个个小的 Patch，每个 Patch 的大小通常为 16x16 或 32x32。这些 Patch 会被展开成一个序列，作为 ViT 模型的输入。因此，ViT 的输入是一个大小为 (N, L, C) 的张量，其中 N 表示批大小，L 表示序列长度，C 表示每个 Patch 的特征表示维度。

相关问题

PVT（Pyramid Vision Transformer）是什么

PVT（Pyramid Vision Transformer）是一种视觉Transformer模型，它在自然语言处理领域广受欢迎的Transformer模型基础上，针对计算机视觉任务进行了改进。PVT模型通过使用金字塔式的特征层级结构和分组卷积等技术，提高了模型的效率和准确率，同时也能够解决传统CNN模型在处理大尺度输入图像时的问题。PVT模型在多个计算机视觉任务上均取得了很好的效果，例如图像分类、目标检测、语义分割等任务。

什么是vision transformer

Vision Transformer（ViT）是一种基于Transformer的图像分类模型，它将一张图像切割成一些固定尺寸的图像块，线性将它们嵌入，添加位置嵌入，然后将产生的向量序列输入到标准的Transformer encoder中。为了执行识别任务，ViT添加了一个额外可学习的识别令牌到序列中。ViT的模型设计受到了NLP中Transformer的启发，通过将一个图像切成块，然后将这些块线性嵌入的序列作为Transformer的输入，实现了在图像识别上以监督的方式来训练ViT模型。ViT的优点在于可扩展的NLP Transformer结构和其高效的实现，几乎开箱即用。