Hugging Face下载限速
时间: 2025-01-08 12:07:36 浏览: 8
### 提高Hugging Face模型或数据集下载速度的方法
#### 使用Git进行批量下载并配置代理加速
对于大量文件的下载需求,可以采用基于Git的方式来进行批量操作。这不仅能够一次性获取整个仓库的内容,还能通过设置合适的网络参数来提升传输效率[^1]。
```bash
git lfs install
git clone https://huggingface.co/path_to_model_or_dataset.git
```
为了进一步优化连接性能,在执行上述命令前应先完成Git代理配置:
```bash
git config --global http.proxy socks5://127.0.0.1:port_number
git config --global https.proxy socks5://127.0.0.1:port_number
```
这里的`port_number`需替换为实际使用的代理端口号。
#### 利用官方提供的CLI工具与镜像站点
除了传统的单个文件逐一下载外,还可以借助于专门设计用于简化此过程的命令行界面(CLI)。特别是当遇到特定地区访问受限或是希望获得更稳定的链接质量时,考虑使用由社区维护的支持国内用户的镜像服务会是一个不错的选择[^2]。
```bash
pip install huggingface_hub
huggingface-cli login
huggingface-cli download --repo-type dataset --resume-download model_name_or_dataset_name --local-dir local_directory_path
```
其中的关键在于选择合适的数据源以及合理规划存储路径;同时开启断点续传功能(`--resume-download`)可以在意外中断后继续未完成的任务而不必重头再来。
#### 设置环境变量以启用缓存机制
另外一种有效手段是在操作系统层面定义一些特殊的环境变量,从而激活某些内置的功能模块,比如HTTP(S)_PROXY, NO_PROXY等,这些都可以帮助改善整体体验。
```bash
export HTTP_PROXY=http://proxy_address:port
export HTTPS_PROXY=https://proxy_address:port
export NO_PROXY=localhost,127.0.0.1,.example.com
```
以上措施综合运用可显著加快从Hugging Face平台拉取资源的速度,并确保即使在网络状况不佳的情况下也能顺利完成任务。
阅读全文