lmstudio 设置huggingface镜像
时间: 2025-01-01 20:30:11 浏览: 24
### 配置 LM Studio 使用 Hugging Face 的镜像源
为了使 LM Studio 能够利用 Hugging Face 提供的资源并解决可能存在的下载困难,可以采取特定措施来配置环境变量或修改配置文件以便连接到国内镜像站点[^3]。
#### 方法一:通过环境变量设置
在启动 LM Studio 之前,在命令行界面设定 `TRANSFORMERS_CACHE` 和 `HF_HOME` 环境变量指向本地缓存路径以及指定 Hugging Face API 请求的基础 URL 到国内镜像地址:
```bash
export TRANSFORMERS_CACHE=/path/to/cache
export HF_HOME=/path/to/hf_home
export HF_ENDPOINT=https://mirrors.tuna.tsinghua.edu.cn/huggingface/
```
以上操作会临时改变当前 shell session 下的相关行为;如果希望永久生效,则需编辑系统的 profile 文件(如 `.bashrc`, `.zshrc`),加入上述指令。
#### 方法二:直接修改 Python 代码中的参数
对于那些允许自定义加载器的应用程序来说,可以在调用相应函数时显式传入新的端点作为参数。例如,在使用 Transformers 库的时候可以通过如下方式调整默认的行为:
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name_or_path = "your-model-name-or-path"
tokenizer = AutoTokenizer.from_pretrained(
model_name_or_path,
cache_dir="/path/to/cache",
use_auth_token=True if 'private' in model_name_or_path else None,
trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
model_name_or_path,
cache_dir="/path/to/cache",
force_download=False,
resume_download=True,
local_files_only=False,
use_auth_token=True if 'private' in model_name_or_path else None,
trust_remote_code=True
)
```
这里需要注意的是,`cache_dir` 参数指定了模型和 tokenizer 缓存的位置,而 `trust_remote_code` 对某些特殊模型可能是必需的选项。此外,还可以考虑将 `force_download` 设置为 False 来避免不必要的重新下载,并启用 `resume_download` 功能支持断点续传。
#### 方法三:更改全局配置文件
部分框架提供了全局范围内的配置机制,比如 .huggingface 或者其他形式的 JSON/YAML 文件。找到这些配置项并将它们更改为适合中国用户的服务器链接即可实现加速访问的目的。
阅读全文