python 调用开源语言模型 回答问题

可以使用Python中的自然语言处理工具，如NLTK、spaCy、gensim等来调用开源语言模型。这些工具提供了许多现成的语言模型，可以用于回答问题。其中最流行的是BERT、GPT等预训练语言模型。以下是一个使用BERT模型回答问题的示例代码：

import torch
from transformers import BertTokenizer, BertForQuestionAnswering

# 加载模型和分词器
model = BertForQuestionAnswering.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 读取文本和问题
context = 'Python is a high-level, interpreted programming language. It was created by Guido van Rossum in the late 1980s.'
question = 'Who created Python?'

# 进行分词和编码
encoded_dict = tokenizer.encode_plus(question, context, return_tensors='pt')

# 获取答案
start_scores, end_scores = model(encoded_dict['input_ids'], token_type_ids=encoded_dict['token_type_ids']).values()
start_index = torch.argmax(start_scores)
end_index = torch.argmax(end_scores) + 1
answer_tokens = encoded_dict['input_ids'][0][start_index:end_index]
answer_tokens = tokenizer.convert_ids_to_tokens(answer_tokens)
answer = tokenizer.convert_tokens_to_string(answer_tokens)

print(answer)

该代码使用BERT模型回答一个问题，即“Who created Python?”，并从给定的文本中找到答案，“Guido van Rossum”。首先，使用BertTokenizer对问题和文本进行分词和编码。然后，将编码后的输入传递给BERT模型，获取起始和结束得分。最后，找到具有最高得分的起始和结束标记，并将它们转换回字符串格式的答案。