linux下llama3本地部署

### 部署 Llama3 模型于 Linux 系统

对于希望在 Linux 上本地部署 Llama3 的用户而言，遵循官方提供的安装测试指南能够有效简化这一过程[^2]。

#### 准备工作环境
确保已安装 Python 和 pip 工具链。建议创建虚拟环境来管理依赖项：

python3 -m venv my_llama_env
source my_llama_env/bin/activate
pip install --upgrade pip

#### 安装必要的库文件
依据 GitHub 页面说明，需先获取模型权重并下载相应资源包。接着按照指示安装所需软件包：

git clone https://github.com/meta-llama/llama-models.git
cd llama-models
pip install -r requirements.txt

#### 下载预训练模型
访问项目页面中的链接完成特定版本的 Llama3 模型下载操作。注意选择适合硬件配置（CPU/GPU）的二进制文件格式：

wget URL_TO_LATEST_MODEL_RELEASE  # 替换为实际网址
tar xvfz model_package.tar.gz      # 解压到当前目录下

#### 启动服务端口监听
利用内置服务器功能启动 HTTP API 接口以便后续调用：

python serve.py --model-path ./path_to_unpacked_model/

此时应该可以在浏览器或命令行工具里通过 `http://localhost:port` 访问接口文档，并尝试发送请求给本地运行的语言模型实例。