bertscore判断中文句子的语义相似度代码

以下是使用BERTScore计算中文句子语义相似度的示例代码：

import torch
from transformers import AutoTokenizer, AutoModel, BertTokenizer
from bert_score import score

# 加载中文BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained('bert-base-chinese')

# 定义要比较的两个句子
reference = '我喜欢看电影'
candidate = '我爱看电视剧'

# 对句子进行编码
ref_tokens = tokenizer.encode(reference, add_special_tokens=False)
cand_tokens = tokenizer.encode(candidate, add_special_tokens=False)

# 将编码后的句子转换为张量并添加批次维度
ref_tensor = torch.tensor([ref_tokens])
cand_tensor = torch.tensor([cand_tokens])

# 使用BERTScore计算句子语义相似度
P, R, F1 = score(cands=cand_tensor, refs=ref_tensor, lang='zh', model_type='bert-base-chinese', verbose=False)
print(F1.item())  # 打印F1分数

上述代码中，我们首先加载了中文BERT模型和分词器。然后，我们定义了要比较的两个句子，并使用分词器对它们进行编码。接下来，我们将编码后的句子转换为张量，并添加批次维度。最后，我们使用BERTScore计算句子语义相似度，并打印F1分数。