利用sentence-Bert和pytorch写一个获取文本相似度的代码
时间: 2023-04-03 22:04:45 浏览: 212
基于torch transformers 直接加载bert预训练模型计算句子相似度
5星 · 资源好评率100%
可以的,以下是一个使用sentence-Bert和pytorch获取文本相似度的示例代码:
```python
import torch
from sentence_transformers import SentenceTransformer, util
# 加载sentence-Bert模型
model = SentenceTransformer('distilbert-base-nli-stsb-mean-tokens')
# 定义两个文本
text1 = '这是第一个文本'
text2 = '这是第二个文本'
# 将文本转换为向量
embeddings1 = model.encode(text1, convert_to_tensor=True)
embeddings2 = model.encode(text2, convert_to_tensor=True)
# 计算文本相似度
cosine_scores = util.pytorch_cos_sim(embeddings1, embeddings2)
# 输出结果
print("文本1和文本2的相似度为:", cosine_scores.item())
```
这段代码可以计算两个文本的相似度,其中使用了sentence-Bert模型和pytorch库。
阅读全文