bert将一个txt文件变词向量后进行svm文本分类的代码

以下是BERT模型将文本文件转换成词向量并使用SVM进行分类的Python代码示例。这里使用的是Hugging Face的Transformers库来加载预训练的BERT模型。

import torch
from transformers import BertTokenizer, BertModel
from sklearn import svm
from sklearn.metrics import classification_report

# 加载BERT模型和tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 定义函数将文本文件转换成BERT词向量
def get_bert_vectors(file_path):
    with open(file_path, 'r') as f:
        lines = f.readlines()
    vectors = []
    for line in lines:
        # 使用tokenizer将句子转换成token ids
        token_ids = tokenizer.encode(line.strip(), add_special_tokens=True)
        # 转换成tensor并传入BERT模型
        input_ids = torch.tensor([token_ids])
        with torch.no_grad():
            # 获取BERT模型输出的最后一层隐藏状态表示
            outputs = model(input_ids)
            last_hidden_states = outputs[0][:, 0, :]
        # 添加到词向量列表中
        vectors.append(last_hidden_states.numpy())
    return vectors

# 加载训练集和测试集，并转换成BERT词向量
train_vectors = get_bert_vectors('train.txt')
test_vectors = get_bert_vectors('test.txt')

# 加载训练集和测试集的标签
with open('train_labels.txt', 'r') as f:
    train_labels = [int(label.strip()) for label in f.readlines()]
with open('test_labels.txt', 'r') as f:
    test_labels = [int(label.strip()) for label in f.readlines()]

# 训练SVM模型并进行预测
clf = svm.SVC(kernel='linear')
clf.fit(train_vectors, train_labels)
pred_labels = clf.predict(test_vectors)

# 输出分类报告
print(classification_report(test_labels, pred_labels))

在这个示例中，我们假设训练数据和测试数据都已经被分别保存在train.txt和test.txt文件中，标签分别保存在train_labels.txt和test_labels.txt文件中。每个文件中的每一行都是一个文本样本。在代码中，我们首先使用BERT tokenizer将句子转换成token ids，然后将其传入BERT模型中，获取最后一层隐藏状态表示，即为该句子的词向量。最后，我们使用sklearn库中的SVM模型进行分类，并输出分类报告。