ARVICA / 文档中心

在 GPU 上运行 Ollama

启动小模型验证 API 并将模型数据保存在 Docker 持久卷

1. 准备

完成 GPU 环境检查将 ARVICA_OLLAMA_IMAGE 设置为已测试的官方镜像版本 Docker 卷在删除容器后保留但仍属于本机存储不等于托管网络卷或备份

2. 启动并验证

在 GPU 主机运行预期返回文本且 API 模型列表包含 llama3.2:1b 使用前核对模型许可这是连通性检查不是性能承诺

#!/usr/bin/env bash
set -euo pipefail
: "${ARVICA_OLLAMA_IMAGE:?Set a tested ollama/ollama image tag or digest}"
docker run -d --name arvica-ollama --gpus all \
  -p 127.0.0.1:11434:11434 -v arvica-ollama:/root/.ollama \
  "$ARVICA_OLLAMA_IMAGE"
docker exec arvica-ollama ollama pull llama3.2:1b
docker exec arvica-ollama ollama run llama3.2:1b "Reply with OK"
curl --fail http://127.0.0.1:11434/api/tags

3. 访问与排查

在电脑创建以下 SSH 隧道下载失败检查网络和磁盘 GPU 识别失败检查驱动与 Docker GPU 运行时使用 docker logs arvica-ollama 查看日志完成后只停止或删除该命名容器命名卷仍保留

ssh -i ~/.ssh/arvica_ed25519 -N -L 11434:127.0.0.1:11434 ubuntu@INSTANCE_IP

GPU 环境检查 →