docker部署ollama
时间: 2024-12-31 07:41:04 浏览: 7
### 使用Docker部署Ollama教程
#### 安装 Docker 和 Docker Compose
为了能够在 Ubuntu 上使用 Docker 运行 Ollama,首先需要确保已经安装了 Docker 及其扩展工具 Docker Compose。可以通过以下命令来完成这一过程:
```bash
sudo apt update && sudo apt upgrade -y
sudo apt install docker.io -y
sudo apt-get install docker-compose -y
sudo usermod -aG docker $USER
newgrp docker
sudo systemctl daemon-reload
sudo systemctl restart docker
```
上述命令会更新并升级现有的软件包列表,接着安装 `docker` 和 `docker-compose` 工具,并将当前用户加入到 `docker` 用户组以便无需每次执行命令时都输入管理员密码[^2]。
#### 启动带有 GPU 支持的 Ollama 容器
对于那些希望通过 NVIDIA GPU 加速 AI 计算的人来说,在启动容器的时候可以指定参数让容器能够访问所有的 GPU 资源。这一步骤涉及到了 `-v` 参数用于挂载卷以及端口映射选项 `-p` 来暴露服务监听的端口号给宿主机上的其他应用程序调用。具体操作如下所示:
```bash
docker run -d --name ollama \
--restart always \
ollama/ollama
```
这段脚本创建了一个名为 `ollama` 的后台守护进程容器实例,它被配置成自动重启模式 (`--restart always`) 并绑定了本地端口 11434 到容器内部相同的端口上[^3]。
#### 验证部署成功与否
一旦完成了以上步骤之后就可以尝试连接至 http://localhost:11434 地址查看 Web UI 是否正常工作以此确认整个流程顺利完成。如果遇到任何困难或者疑问建议查阅官方文档获取更多帮助和支持[^1]。
阅读全文