huggingface使用
Hugging Face 是一个非常流行的自然语言处理 (NLP) 开发平台,它提供了很多有用的工具和库,帮助开发者快速构建和训练 NLP 模型。下面是关于如何使用 Hugging Face 的一些常见步骤:
安装 Hugging Face 库: 可以通过 pip 安装
transformers
库,命令如下:pip install transformers
导入所需的库: 在 Python 代码中导入 Hugging Face 相关的库,示例代码如下:
from transformers import pipeline
加载预训练模型: 使用 Hugging Face 提供的模型库来加载预训练的模型,示例代码如下:
model = pipeline("text-generation", model="gpt2")
运行模型: 通过调用已加载的模型对象来生成输出,示例代码如下:
output = model("Hello, how are you?") print(output[0]["generated_text"])
这只是一个简单的示例,Hugging Face 还提供了很多其他功能和模型,比如文本分类、命名实体识别、问答系统等等。你可以参考 Hugging Face 的官方文档来了解更多详细信息和使用示例。
huggingface使用chatglm
要使用Hugging Face的ChatGLM-6B模型,可以按照以下步骤进行操作:
首先,使用Hugging Face Hub的
snapshot_download
函数将ChatGLM-6B模型下载到指定的本地路径。可以使用以下代码进行下载:from huggingface_hub import snapshot_download snapshot_download(repo_id="THUDM/chatglm-6b", local_dir="./chatglm-6b/")
这将从Hugging Face Hub下载ChatGLM-6B模型并保存在指定的本地路径
./chatglm-6b/
中。另外一种下载ChatGLM-6B模型的方法是使用git lfs命令。可以使用以下代码进行下载:
git lfs clone https://huggingface.co/chatglm-6b
这将通过git lfs命令从Hugging Face Hub下载ChatGLM-6B模型。
另外,如果需要临时方式安装huggingface_hub库,可以使用pip命令进行安装,如下所示:
pip install huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple
这将通过指定清华源来安装huggingface_hub库。123
引用[.reference_title]
- 1 3 huggingface_hub优雅下载ChatGLM-6B模型[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2
allinsert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - 2 【Linux】【chatGLM-6B】如何从huggingface上下载chatGLM-6B模型于centos系统[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2
allinsert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
huggingface使用informer
Hugging Face 提供了一个名为 "Informer" 的自然语言处理模型。Informer 是建立在 Transformer 模型的基础上的,主要用于文本分类、命名实体识别和问答系统等任务。你可以使用 Hugging Face 的 Transformers 库来加载和使用 Informer 模型。
下面是加载和使用 Informer 模型的一些示例代码:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
# 加载预训练的 Infromer 模型和分词器
model_name = "thunlp/Informer-11-argmax"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
# 文本分类示例
text = "这部电影真是太棒了!"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
# 输出分类结果
predicted_class = logits.argmax().item()
print(f"预测的类别: {predicted_class}")
# 命名实体识别示例
text = "苹果公司成立于1976年。"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
predicted_tokens = tokenizer.convert_ids_to_tokens(outputs.logits.argmax(-1)[0])
predicted_entities = []
current_entity = None
for i, token in enumerate(predicted_tokens):
if token.startswith("B-"):
if current_entity:
predicted_entities.append(current_entity)
current_entity = token[2:]
current_entity_start = i
elif token.startswith("I-"):
if not current_entity:
current_entity = token[2:]
current_entity_start = i
else:
if current_entity:
predicted_entities.append((current_entity, current_entity_start, i-1))
current_entity = None
# 输出命名实体结果
for entity, start, end in predicted_entities:
entity_text = tokenizer.decode(inputs.input_ids[0, start:end+1])
print(f"实体: {entity},文本: {entity_text}")
# 问答系统示例
context = "哈利·波特是一部由J.K.罗琳创作的奇幻小说系列。"
question = "谁创作了哈利·波特?"
inputs = tokenizer(question, context, return_tensors="pt")
outputs = model(**inputs)
start_logits = outputs.start_logits
end_logits = outputs.end_logits
# 输出答案
start_index = start_logits.argmax().item()
end_index = end_logits.argmax().item()
answer = tokenizer.decode(inputs.input_ids[0, start_index:end_index+1])
print(f"答案: {answer}")
相关推荐















