【LLM】基于 Ollama 部署 DeepSeek-R1 本地大模型
本文详细介绍如何在 Linux 和 Windows 环境下,通过 Docker Compose 整合 Ollama 和 Open WebUI,部署 DeepSeek-R1 大语言模型,并提供 GPU 加速支持。无论你是开发者还是 AI 爱好者,均可通过本指南快速搭建私有化 GPT 环境。
一、环境准备
1. Docker 与 Docker Compose 安装
-
Linux
通过官方脚本安装 Docker 及 Docker Compose:curl -fsSL https://get.docker.com | sh sudo systemctl enable --now docker sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose
-
Windows
下载 Docker Desktop 并安装,确保启用 WSL2 后端和 Linux 容器模式。
2. GPU 支持(可选)
若需 GPU 加速,需安装 NVIDIA Container Toolkit(Linux)或配置 Docker Desktop GPU 支持(Windows):
- Linux
参考 NVIDIA 官方指南安装工具包:sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker
- Windows
确保安装 CUDA 驱动并启用 Docker Desktop 的 GPU 支持(设置 > Resources > WSL Integration)。
二、Ollama 的安装与启动
1. 直接安装方式
-
Linux
下载二进制文件并运行:curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama chmod +x ollama ./ollama serve
-
Windows
Windows平台推荐使用官网安装包直接安装 ollama
从