当前位置: 首页 > java >正文

【LLM】基于 Ollama 部署 DeepSeek-R1 本地大模型

 本文详细介绍如何在 LinuxWindows 环境下,通过 Docker Compose 整合 Ollama 和 Open WebUI,部署 DeepSeek-R1 大语言模型,并提供 GPU 加速支持。无论你是开发者还是 AI 爱好者,均可通过本指南快速搭建私有化 GPT 环境。

一、环境准备

1. Docker 与 Docker Compose 安装

  • Linux
    通过官方脚本安装 Docker 及 Docker Compose:

    curl -fsSL https://get.docker.com | sh
    sudo systemctl enable --now docker
    sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
    sudo chmod +x /usr/local/bin/docker-compose
    
  • Windows
    下载 Docker Desktop 并安装,确保启用 WSL2 后端和 Linux 容器模式。

2. GPU 支持(可选)

若需 GPU 加速,需安装 NVIDIA Container Toolkit(Linux)或配置 Docker Desktop GPU 支持(Windows):

  • Linux
    参考 NVIDIA 官方指南安装工具包:
    sudo apt-get install -y nvidia-container-toolkit
    sudo systemctl restart docker
    
  • Windows
    确保安装 CUDA 驱动并启用 Docker Desktop 的 GPU 支持(设置 > Resources > WSL Integration)。

二、Ollama 的安装与启动

1. 直接安装方式

  • Linux
    下载二进制文件并运行:

    curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama
    chmod +x ollama
    ./ollama serve
    
  • Windows

    Windows平台推荐使用官网安装包直接安装 ollama

http://www.xdnf.cn/news/3226.html

相关文章:

  • 2025 Java八股文深度解读版:原理+场景+高频追问答案
  • 【Unity】如何解决UI中的Button无法绑定带参数方法的问题
  • 【网工第6版】第6章 网络安全②
  • JESD204B 探究
  • VS Code技巧2:识别FreeCAD对象
  • Spring的源码Spring的上下文怎么存储
  • Electron Forge【实战】自定义菜单 -- 顶部菜单 vs 右键快捷菜单
  • 百度网盘golang实习面经
  • HTML from表单中只有一个input时,按回车键后表单自动提交(form表单的一个小坑)
  • 【C++】频繁分配和释放会产生内存碎片
  • Win下的Kafka安装配置
  • Tauri v1 与 v2 配置对比
  • 全面解析SimHash算法:原理、对比与Spring Boot实践指南
  • transformer-实现解码器Decoder
  • DIT(Diffusion In Transformer)学习笔记
  • Java继承中super的使用方法
  • SI5338-EVB Usage Guide(LVPECL、LVDS、HCSL、CMOS、SSTL、HSTL)
  • 电子病历高质量语料库构建方法与架构项目(智能数据目录篇)
  • SD - WAN 跨境网络专线部署方式介绍
  • 大数据在远程医疗中的创新应用:如何重塑医疗行业的未来
  • python + segno 生成个人二维码
  • 全球气象站点年平均降水数据(1929-2024)
  • 大连理工大学选修课——机器学习笔记(4):NBM的原理及应用
  • 大连理工大学选修课——机器学习笔记(9):线性判别式与逻辑回归
  • 使用 ossutil 上传文件到阿里云 OSS
  • 基于连接感知的实时困倦分类图神经网络
  • 【数学】角谷猜想
  • 服务器热备份,服务器热备份的方法有哪些?
  • 猿人学web端爬虫攻防大赛赛题第13题——入门级cookie
  • 完美解决react-native文件直传阿里云oss问题一