transformer即插即用代码
时间: 2023-09-29 10:07:55 浏览: 84
您可以使用以下代码来使用Transformer模型进行文本生成任务:
```python
import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer
def generate_text(prompt):
# 加载预训练的GPT2模型和分词器
model_name = 'gpt2'
model = GPT2LMHeadModel.from_pretrained(model_name)
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
# 设置模型为生成模式
model.eval()
# 将输入的文本编码为token
input_ids = tokenizer.encode(prompt, return_tensors='pt')
# 生成文本
output = model.generate(input_ids, max_length=100, num_return_sequences=1)
# 解码生成的token为文本
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
return generated_text
# 输入一个提示文本并生成相应的文本
prompt = "今天天气很好"
generated_text = generate_text(prompt)
print(generated_text)
```
上述代码使用了Hugging Face的transformers库,使用GPT-2模型进行文本生成任务。您需要先安装transformers库,可以通过以下命令进行安装:
```shell
pip install transformers
```
请注意,这只是一个简单的示例,您可能需要根据具体的任务和需求进行参数的调整和优化。
阅读全文