Ubuntu安装xinference

### Ubuntu 上安装和配置 Xinference

#### 创建 Conda 虚拟环境并激活
为了确保软件包之间的兼容性和隔离开发环境，在开始之前创建一个新的 Python 环境是一个好习惯。对于此过程，可以利用 `conda` 来管理不同版本的库文件。

# 使用 conda 创建名为 Xinference 的新环境，并指定 Python 版本为 3.10.14
conda create -n Xinference python=3.10.14
# 激活刚创建好的 Xinference 环境
conda activate Xinference

#### 安装基础依赖项
一旦进入了正确的环境中，则可以通过执行以下命令来获取运行 Xinference 所需的核心组件：

pip install "xinference"

#### 增强功能模块的选择性安装
依据具体应用场景的不同，可以选择额外安装支持特定框架的功能扩展。例如要启用基于 GGML 或者 PyTorch 进行推理的能力，可分别通过如下指令完成相应插件的加载：

- 对于 GGML 推理的支持：

  pip install "xinference[ggml]"

- 针对 PyTorch 推理的需求：

  pip install "xinference[pytorch]"

如果希望一次性获得全部可用选项而不做任何省略的话，那么可以直接采用下面这条综合性的安装语句：

pip install "xinference[all]"

以上操作均适用于主流 Linux 发行版中的 Ubuntu 系统，按照上述指南逐步实施即可顺利搭建起适合本地使用的 Xinference 平台[^2]。