Transformer是先分词还是转向量

Transformer模型是自然语言处理（NLP）领域的一种深度学习架构，它完全基于注意力机制（Attention Mechanism），而不需要传统的递归神经网络（RNN）或卷积神经网络（CNN）结构。在Transformer模型中，文本首先会经过一个分词（Tokenization）的步骤，将句子或段落分解为一系列的单词或者子词（subwords）。这个过程中，一个专门的分词器（Tokenizer）将文本转换为模型能够处理的输入格式，通常包括词汇表中的词元（token）和一些特殊标记（如开始、结束、未知等标记）。

分解后的词元会被编码成数值型的向量表示（Word Embeddings），这是通过预训练的词向量模型来实现的，比如Word2Vec或GloVe。然后，这些向量通过位置编码（Positional Encoding）被添加到词元向量中，以保留词元在原始文本中的位置信息。

在这个基础上，Transformer模型会使用自注意力（Self-Attention）机制来处理这些向量，从而生成最终的词元向量表示。这些向量表示随后可以用于各种下游任务，例如文本分类、命名实体识别、机器翻译等。

总的来说，Transformer是先分词再转向量的。分词是处理自然语言的第一步，而转向量则是在分词的基础上，进一步将词元转换为模型可理解的数值型表示。