python BERT语义一致性

BERT是一种基于Transformer模型的预训练语言模型，它在自然语言处理任务中取得了很大的成功。BERT的目标是通过学习上下文信息来生成每个单词的向量表示，这些向量表示可以用于各种下游任务，如语义一致性。

在Python中，可以使用Hugging Face的transformers库来使用BERT模型。下面是一个示例代码，演示如何使用BERT模型计算两个句子之间的语义一致性：

from transformers import BertTokenizer, BertModel
import torch

# 加载BERT模型和tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 输入两个句子
sentence1 = "I love cats"
sentence2 = "I hate dogs"

# 对句子进行tokenize和编码
inputs = tokenizer.encode_plus(sentence1, sentence2, add_special_tokens=True, return_tensors='pt')

# 获取输入的token IDs和attention mask
input_ids = inputs['input_ids']
attention_mask = inputs['attention_mask']

# 使用BERT模型计算句子的向量表示
outputs = model(input_ids, attention_mask=attention_mask)
sentence_embeddings = outputs[0][:, 0, :]

# 计算两个句子的余弦相似度
cos_sim = torch.nn.functional.cosine_similarity(sentence_embeddings[0], sentence_embeddings[1], dim=0)

print("语义一致性:", cos_sim.item())

这段代码首先加载了BERT模型和tokenizer，然后对两个句子进行tokenize和编码。接下来，使用BERT模型计算句子的向量表示，并使用余弦相似度计算两个句子之间的语义一致性。最后，打印出语义一致性的结果。