llama-factory安装

### 如何安装 LLaMA-Factory

#### 获取 LLaMA-Factory 仓库
通过 Git 命令克隆 `LLaMA-Factory` 的 GitHub 项目到本地环境中[^2]:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

#### 创建并激活虚拟环境
建议创建一个新的 Python 虚拟环境来管理依赖项，这有助于避免不同项目的库版本冲突。对于 Windows 用户可使用如下命令；Linux 和 macOS 用户应去掉 `.venv\Scripts\activate` 中的反斜杠以及 `.venv\` 部分：

python -m venv .venv
source .venv/bin/activate  # Linux/macOS
# 或者
.venv\Scripts\activate     # Windows

#### 安装必要的软件包
在激活了虚拟环境之后，可以通过 Pip 来安装所需的 Python 库。考虑到网络速度等因素，这里指定了清华大学的 PyPI 镜像源作为下载地址之一[^4]:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
pip install --upgrade pip setuptools wheel
pip install -r requirements.txt

#### 使用 Docker 进行部署 (可选)
如果倾向于利用容器化技术简化开发流程，则可以根据官方提供的 Dockerfile 文件构建镜像，并启动相应的服务实例。下面展示了基于给定 Dockerfile 构建自定义镜像的方式:

FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel
COPY ./serving /usr/local/serving/serving
COPY ./models /usr/local/serving/models
WORKDIR /usr/local/serving/serving
RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/ \
    && pip install --no-cache-dir typer==0.12.3 \
    && pip install -e ".[torch,metrics]"
CMD python ./src/webui.py

要根据上述内容建立 Docker 映像，请执行以下指令：

docker build -t llm-serving .
docker run -it --rm -p 7860:7860 llm-serving