bert将一个txt文件变词向量的代码

这里提供一个使用pytorch和huggingface transformers库来将一个txt文件中的文本转换为BERT词向量的示例代码。

首先，我们需要安装相应的库：

pip install torch
pip install transformers

然后，我们可以使用以下代码来将文本文件转换为BERT词向量：

import torch
from transformers import BertTokenizer, BertModel

# 加载预训练的BERT模型和tokenizer
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 将文本文件中的内容读入到一个字符串中
with open('input.txt', 'r', encoding='utf-8') as f:
    text = f.read()

# 使用tokenizer将文本转换为token
tokens = tokenizer(text, return_tensors='pt')

# 将token输入到BERT模型中得到输出
outputs = model(**tokens)

# 获取最后一层的隐藏状态作为词向量
word_vectors = outputs.last_hidden_state

在上面的代码中，我们使用了`BertTokenizer`将文本转换为token，并使用`BertModel`将token输入到BERT模型中得到输出。最后，我们从输出中获取了最后一层的隐藏状态，这个隐藏状态就是每个词的BERT词向量。

注意：如果你使用的是GPU来运行代码，可以将`return_tensors`参数设置为`'pt'`来将结果转换为PyTorch张量，这样可以更快地在GPU上进行计算。如果你使用的是CPU，可以将`return_tensors`参数设置为`None`，这样返回的结果将是一个Python字典，其中包含了token的各种信息。