xinference 下载嵌入模型
时间: 2024-12-26 11:24:59 浏览: 9
### 如何下载 Xinference 嵌入模型
为了成功下载并使用 Xinference 的嵌入模型,需遵循特定步骤来配置环境以及执行必要的命令。
#### 创建 Conda 环境并安装依赖项
建立新的 Python 环境对于确保兼容性和减少冲突至关重要。通过以下指令创建名为 `xinf` 的新环境,并激活该环境:
```bash
conda create -n xinf python=3.10
conda activate xinf
```
接着,依据所需的功能模块选择合适的安装选项。对于 Transformers 引擎的支持,应执行如下命令:
```bash
pip install "xinference[transformers]"
```
若计划利用 vLLM 引擎,则需要另外安装对应的包:
```bash
pip install "xinference[vllm]"
```
#### 设置环境变量与启动服务
在准备就绪之后,设定两个重要的环境变量:`XINFERENCE_MODEL_SRC` 和 `XINFERENCE_HOME`。前者决定了模型源的位置,默认情况下指向魔搭;后者指定了缓存目录路径,通常放置于用户的家目录之下。例如:
```bash
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/home/user/models
```
随后,可以通过下面这条命令启动本地的服务实例,监听 IP 地址为 `0.0.0.0` 及端口号为 `9997`:
```bash
xinference-local --host 0.0.0.0 --port 9997
```
#### 下载具体嵌入模型
当服务器已经正常运作后,便可以根据官方文档指导或是社区分享的经验贴中的说明,选取适合的应用场景下的嵌入模型进行下载[^3]。一般而言,这一步骤会涉及到访问特定 API 或者图形界面来进行操作。
阅读全文
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)