将文本转换为Token序列是什么意思

将文本转换为Token序列是将一段文本分解成一个个标记（Token）的过程，其中标记可以是单词、短语、符号等。这个过程通常称为Tokenization。Token序列是一个由Token组成的序列，它可以被用于许多自然语言处理任务，如文本分类、命名实体识别、机器翻译等。Token序列可以被用作输入，传递给模型进行处理，并产生输出。