使用bert将txt文件变成词向量的代码

以下是使用BERT将txt文件转换为词向量的Python代码：

import torch
from transformers import BertTokenizer, BertModel

# 加载BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 读取文本文件并进行分词
with open('text.txt', 'r') as f:
    text = f.read()
tokens = tokenizer.tokenize(text)

# 添加特殊标记
marked_tokens = ['[CLS]'] + tokens + ['[SEP]']

# 将标记转换为编号
indexed_tokens = tokenizer.convert_tokens_to_ids(marked_tokens)

# 将编号转换为张量
tokens_tensor = torch.tensor([indexed_tokens])

# 使用BERT模型进行编码
with torch.no_grad():
    outputs = model(tokens_tensor)

# 获取最后一层的输出
last_hidden_states = outputs[0]

# 将最后一层的输出作为词向量
word_embeddings = last_hidden_states[0]

# 将词向量保存到文件
torch.save(word_embeddings, 'word_embeddings.pt')

在这个例子中，我们使用了`bert-base-uncased`预训练模型和分词器。我们首先读取文本文件并使用分词器将其分成单词，然后添加特殊标记并将其转换为编号。接下来，我们将编号转换为张量，并将其传递给BERT模型进行编码。最后，我们从模型的输出中获取最后一层的隐藏状态，并将其作为词向量保存到文件中。