配置 Ollama 本地缓存路径为/opt/model/，使得 Huggingface 相关库在下载模型时能够优先使用本地缓存

在Hugging Face的Transformers库中，你可以通过设置`cache_dir`参数来配置Ollama（可能是误拼，因为通常我们说到的是`transformers`库而不是特定的Ollama）的本地缓存路径。当加载大型预训练模型时，如果已经存在该目录下的文件，它会优先从缓存中读取，减少网络请求。

以下是设置`cache_dir`的例子：

from transformers import AutoTokenizer, AutoModel

# 设置本地缓存路径
local_cache_path = '/opt/model/'

# 使用这个路径作为缓存
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese", cache_dir=local_cache_path)
model = AutoModel.from_pretrained("bert-base-chinese", cache_dir=local_cache_path)

# 下载和加载模型时，将优先查找这个目录

如果你使用的是`datasets`库加载数据集，也可以类似地设置`data_dir`:

from datasets import load_dataset

load_dataset("your_dataset_name", data_dir=local_cache_path)

相关问题

ollama下载模型并跑在GPU

### 如何下载 Ollama 模型并实现在 GPU 上运行

为了成功下载 Ollama 模型并在 GPU 上运行，需遵循特定步骤来配置环境和支持硬件加速。

#### 安装 NVIDIA 工具包
确保已安装必要的NVIDIA容器工具包以支持GPU操作。通过以下命令可以完成这一过程：

sudo apt-get install -y nvidia-container-toolkit

此命令会安装所需的驱动程序和服务以便Docker能够识别和利用GPU资源[^2]。

#### 启动带有 GPU 支持的 Docker 容器
创建一个新的Docker容器实例，并赋予其访问所有可用GPU的权利。这一步骤对于启用模型训练或推理期间的图形处理单元至关重要。使用如下指令启动容器：

docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

这条命令不仅指定了要使用的镜像名称`ollama/ollama`，还设置了端口映射以及挂载了一个卷用于存储持久化数据。

#### 使用 `ollama run` 命令下载并运行指定模型
一旦上述准备工作就绪，则可以通过向正在运行中的Docker容器发送命令的方式请求下载所需的大规模预训练语言模型（LLM）。例如，如果想要获取名为`qwen:7b`的版本，可执行下面这段代码片段：

docker exec -it ollama ollama run qwen:7b

该命令会在后台自动拉取对应标签下的最新图像文件至本地缓存目录内，并立即启动服务监听于先前定义好的网络接口之上。

ubuntu安装ollama

### Ubuntu 上安装 Ollama 的方法

#### 更新系统软件包并升级现有软件包
为了确保系统的稳定性和兼容性，在开始安装之前应先更新和升级现有的软件包。这可以通过运行以下命令来完成：

sudo apt update && sudo apt upgrade -y

此操作会刷新本地的APT缓存并将已安装的应用程序更新到最新版本[^1]。

#### 下载适用于 Intel/AMD CPU 架构 (amd64) 的 Ollama 安装文件
对于基于Intel或AMD处理器的计算机，需要下载特定于`amd64`架构的二进制文件。可以从官方网址获取该文件，并将其放置在同一目录下的 `install.sh` 脚本旁边:

浏览器访问 [https://ollama.com/download/ollama-linux-amd64](https://ollama.com/download/ollama-linux-amd64)，下载完成后保存至 `/path/to/install/directory` 文件夹内[^2].

#### 创建并编辑安装脚本 (`install.sh`)
创建一个新的shell脚本来简化整个过程。可以使用任何文本编辑器打开新创建的 `install.sh` 文件，并输入如下内容：

#!/bin/bash
# 设置变量
INSTALL_DIR="/opt/ollama"
BINARY_NAME="ollama-linux-amd64"

# 移动可执行文件到指定位置
mv ./ollama-linux-amd64 $INSTALL_DIR/$BINARY_NAME

# 修改权限以便能够执行
chmod +x $INSTALL_DIR/$BINARY_NAME

echo "Ollama 已成功安装!"

请注意修改上述路径以匹配实际存放的位置以及所使用的具体文件名.

#### 运行安装脚本
赋予脚本执行权限并通过终端启动它来进行最终设置：

chmod u+x install.sh
./install.sh

这样就完成了在Ubuntu上的Ollama安装配置工作.