Bert向量生成的规则

BERT模型的输入是一个文本序列，经过多层Transformer编码器处理后，最终输出的是一个固定长度的向量表示。BERT模型的向量生成规则如下：

1. 文本序列会被分成多个token，并经过WordPiece嵌入转换成对应的词向量。

2. 对于每个token，BERT模型会同时进行两种类型的处理：

- Masked Language Model（MLM）：将序列中15%的token随机替换为一个特殊的[MASK]标记，模型需要预测这些[MASK]标记对应的原始token。

- Next Sentence Prediction（NSP）：模型会随机从语料库中选取两个句子，有50%的概率将这两个句子组合成一个连续的文本序列，模型需要判断这两个句子是否相邻。

3. 经过多层Transformer编码器处理后，BERT模型的最后一层输出的是每个token对应的向量表示，我们可以使用这些向量作为文本的特征表示。

需要注意的是，BERT模型不仅仅能够提取单个token的特征表示，还能够捕捉到上下文信息和关系，从而得到更加丰富的文本特征。