huggingface权重下载
时间: 2025-01-04 12:35:31 浏览: 17
### 下载Hugging Face模型权重
为了获取Hugging Face平台上的模型权重,通常有两种方式:一种是通过Python API自动下载;另一种是从网页端手动下载。
#### 使用API自动下载
当利用`transformers`库加载模型时,默认会从官方服务器拉取最新的模型配置与权重文件。下面是一个简单的例子来展示如何使用API完成这一操作:
```python
from transformers import AutoModel, AutoTokenizer
model_name = "t5-small"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
```
这段代码会在首次执行时联网检索指定名称下的最新版本,并缓存至本地环境以便后续快速访问[^4]。
#### 手动下载并保存到特定目录
如果希望离线工作或是想要管理不同版本的模型,则可以选择先在线浏览目标模型页面找到对应的release assets链接进行下载。之后按照如下方式进行加载:
假设已经把名为`t5-small`的压缩包解压到了当前项目的子文件夹`./models/t5-small/`下:
```python
import os
from transformers import T5Tokenizer, T5EncoderModel
local_model_path = "./models/t5-small/"
if not os.path.exists(local_model_path):
raise FileNotFoundError(f"The specified path {local_model_path} does not exist.")
tokenizer = T5Tokenizer.from_pretrained(local_model_path)
model = T5EncoderModel.from_pretrained(local_model_path)
```
这里需要注意的是,在调用`.from_pretrained()`函数传入自定义路径作为参数之前,请确认该路径确实存在并且包含了完整的模型结构描述及相关权重文件[^3]。
阅读全文