llama模型下载和转换

### 如何下载 Llama 模型及其转换

#### 下载 Llama 模型
为了获取 Meta 开源的大规模预训练模型 Llama2，需遵循官方指南完成下载流程。对于版本控制和具体操作细节，在官方网站或 GitHub 仓库中均有详尽说明。

#### 转换为 Hugging Face 格式
一旦拥有原始的 Llama 模型文件，可以利用特定脚本来实现向 Hugging Face Transformers 库兼容格式的转变。此过程涉及几个关键步骤：

- 修改已下载的 `llama-2-7b-chat` 文件夹名称至更简洁的形式如 `7B`。
- 获取用于转换权重的 Python 脚本，该脚本位于 Hugging Face 的 transformers 存储库内[^1]。

wget https://raw.githubusercontent.com/huggingface/transformers/main/src/transformers/models/llama/convert_llama_weights_to_hf.py -O convert_llama_weights_to_hf.py

- 使用上述脚本通过命令行工具来启动转换进程，指定输入目录（即包含原生 Llama 权重的位置）、目标模型尺寸以及输出位置作为参数传递给脚本。

python convert_llama_weights_to_hf.py \
    --input_dir /path/to/your/llama \
    --model_size 7B \
    --output_dir /path/to/your/hf_model_output

#### 合并中文 LoRA 模型
如果计划融合额外的语言特性到基础 Llama 架构上，则可采用专门设计用来合并两个不同微调版本之间的差异的学习率优化器 (LoRA) 技术。这通常涉及到另一个独立编写的Python脚本，它允许用户自定义输出形式，并支持保存成 PyTorch 或者 Hugging Face 认证的标准结构化数据集[^2]。

python scripts/merge_llama_with_chinese_lora.py \
    --base_model /path/to/original_llama_hf_dir \
    --output_type huggingface \
    --output_dir /path/to/output_dir

需要注意的是关于更高版本比如所谓的 "Llama3" 并未被正式发布或是广泛认可；因此有关其安装指导的信息可能不具备权威性和准确性[^3]。