举个简单的transformers的python例子
时间: 2023-02-08 13:19:48 浏览: 303
下面是一个使用 `Transformers` 库预训练模型进行文本分类的简单示例:
```python
from transformers import AutoModelForSequenceClassification, AutoTokenizer
# 使用 BERT 模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased")
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
# 准备输入文本
text = "这是一个示例文本"
encoded_text = tokenizer.encode(text)
# 进行文本分类
output = model(torch.tensor(encoded_text).unsqueeze(0))
predictions = output[0].argmax(dim=1).item()
print(predictions)
```
这个例子中,我们使用了预训练的 BERT 模型,并对一个给定的文本进行了文本分类。输出结果是文本的类别标签。
相关问题
安装transformers,举个应用例子
安装 transformers 库的命令是:`pip install transformers`
应用例子:使用 transformers 库中的 BERT 模型进行文本分类任务
``` python
from transformers import BertForSequenceClassification, AdamW, BertTokenizer
import torch
# 加载模型和 tokenizer
model = BertForSequenceClassification.from_pretrained("bert-base-cased")
tokenizer = BertTokenizer.from_pretrained("bert-base-cased")
# 预处理输入
text = "这是一段文本"
input_ids = torch.tensor(tokenizer.encode(text)).unsqueeze(0) # 添加 batch 维度
# 运行模型
output = model(input_ids)
# 输出结果
print(output[0])
```
具体使用 举个例子
好的,下面是一个简单的使用例子。
首先,你需要安装 PyTorch 和 transformers 库,可以通过以下命令来安装:
```
pip install torch transformers
```
然后,你需要导入相关的库和模型:
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
# 加载 tokenizer 和 model
tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
```
现在,你可以使用模型与 Chatbot 进行对话了。下面是一个简单的例子:
```python
# 与 Chatbot 进行对话
while True:
# 输入用户的问题或消息
user_input = input("User: ")
# 把用户输入的文本编码成模型可识别的格式
input_ids = tokenizer.encode(user_input + tokenizer.eos_token, return_tensors='pt')
# 使用模型生成回复
bot_output = model.generate(input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id)
# 把模型生成的回复解码成人类可读的文本
bot_response = tokenizer.decode(bot_output[0], skip_special_tokens=True)
# 输出 Chatbot 的回复
print("Chatbot: " + bot_response)
```
在上面的代码中,我们使用了一个 while 循环来不断与 Chatbot 进行对话。每次循环,我们会输入一个用户的问题或消息,然后把它编码成模型可识别的格式,使用模型生成回复,再把模型生成的回复解码成人类可读的文本,最后输出 Chatbot 的回复。这样就可以与 Chatbot 进行交互了。