安装xinference

### Xinference 安装教程

#### 1. 准备环境
为了成功安装 Xinference，建议使用 Conda 或者虚拟环境来管理依赖项。确保 Python 版本不低于 3.8。

#### 2. 创建并激活新的 Conda 环境
创建一个新的 Conda 环境可以避免与其他项目发生冲突：

conda create -n xinference_env python=3.9
conda activate xinference_env

#### 3. 安装必要的依赖包
对于某些特定功能的支持，可能需要额外安装一些库。例如，在处理语音数据时，`pynini` 是必需的工具之一[^3]：

conda install -c conda-forge pynini==2.1.5

#### 4. 安装 Xinference
可以通过 pip 来安装最新版本的 Xinference:

pip install xinference

如果希望获取最新的开发版，则可以从 GitHub 上克隆仓库并安装：

git clone https://github.com/inferencex/xinference.git
cd xinference
pip install .

#### 5. 配置硬件加速 (可选)
Xinference 支持多种后端用于推理计算，包括 CPU、GPU(CUDA) 和 Apple Metal API。根据所使用的设备类型选择合适的配置方式[^4]:

- **CPU**: 默认情况下会自动启用。
- **CUDA GPU**: 如果有 NVIDIA 显卡可用，推荐通过 `torch.cuda.is_available()` 检查是否已正确设置 CUDA 环境。
- **Apple Silicon(Metal)**: 对于 Mac 用户来说，只需确保已经安装了 PyTorch 的 Metal 构建版本即可享受更好的性能表现。

#### 6. 启动服务
完成上述步骤之后便可以在本地运行 Xinference 服务器。有两种方法可以选择：前台模式和后台模式[^1]。

##### 前台启动命令如下所示：

xinference-local --host 0.0.0.0 --port 9997

##### 若要以后台进程的方式启动，请执行以下指令：

nohup xinference-local --host 0.0.0.0 --port 9997 &> output.log &

此时应该能够访问 http://localhost:9997 并看到相应的 Web UI 页面。