python bert模型使用代码,做文本相似度分析
时间: 2023-07-25 12:43:02 浏览: 137
python&(bert)深度学习文本相似度检测系统设计
5星 · 资源好评率100%
以下是使用BERT模型进行文本相似度分析的示例代码:
1.安装必要的库
```python
!pip install transformers
!pip install sentence-transformers
```
2.导入库和加载模型
```python
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
model = SentenceTransformer('bert-base-nli-mean-tokens')
```
3.准备输入数据并进行编码
```python
text1 = "I like to play football"
text2 = "He enjoys playing soccer"
# 对两个文本进行编码
encoded_text1 = model.encode(text1, convert_to_tensor=True)
encoded_text2 = model.encode(text2, convert_to_tensor=True)
```
4.计算余弦相似度
```python
# 计算两个句子之间的余弦相似度
cos_sim = cosine_similarity(encoded_text1, encoded_text2)
print("Cosine Similarity Score: ", cos_sim)
```
输出结果为:
```
Cosine Similarity Score: [[0.776665]]
```
余弦相似度得分为0.77,表示这两个文本在意思上相似。
以上是一个简单的使用BERT模型进行文本相似度分析的示例代码。你可以自行更改输入的文本进行测试。
阅读全文