ollama safetensors

### Ollama SafeTensors介绍

SafeTensors 是一种专为高效和安全存储机器学习模型的张量数据而设计的格式[^1]。这种格式不仅提高了存储效率，还增强了数据的安全性。通过采用数据压缩和加密技术，SafeTensors 能够有效减少模型文件大小并保护敏感信息。

Ollama 平台支持导入多种架构的 SafeTensors 模型，其中包括 LlamaForCausalLM、MistralForCausalLM 和 GemmaForCausalLM 等不同类型的因果语言模型。然而，在某些情况下，使用 SafeTensors 格式的模型可能会遇到性能上的挑战；例如 llama-chinese-8b 在 ollama 环境中的推理速度相对较慢[^2]。

### 使用方法

为了在 Ollama 中利用 SafeTensors 文件，通常需要经历以下几个过程：

#### 模型转换与量化

当希望将现有的模型转化为 SafeTensors 格式时，需遵循特定的操作流程来完成这一转变，并可选地应用量化以进一步优化资源消耗。具体步骤如下所示[^3]:

# 假设已经安装了必要的工具包
python convert_model.py original_model_path safetensors_output_path

接着可以通过命令行执行量化操作:

quantize_model.sh safetensors_input_path quantized_safetensors_output_path q4_0

这里 `q4_0` 表示使用的量化级别。

#### 测试已部署模型

一旦完成了上述准备工作之后，则可以在终端里输入类似下面这样的指令来进行简单的功能验证:

ollama run arkohut/hermes-2-pro-llama-3-8b:q4_0 "tell me why sky is blue" --verbose

这条语句会调用指定版本 (`arkohut/hermes-2-pro-llama-3-8b`) 的预训练模型，并向其发送一段自然语言查询请求 ("why the sky is blue") 来获取解释性的回复。

需要注意的是，在实际操作过程中有可能遭遇一些错误提示，比如尝试加载 `.safetensors` 类型的数据集时遇到了 JSON 解析失败的情况(`json: cannot unmarshal array into Go struct field Params.eos_token_id of type int`)[^4]。这可能是由于配置参数不匹配或其他兼容性问题引起的，建议仔细检查相关设置或查阅官方文档寻求解决方案。