本地化部署实践1-ollama

前言：本地化部署deepseek-r1实践系列。涉及ollama，deepseek-r1，chatbox，continue，ragflow。

一、Ollama 是什么

Ollama 是一款轻量级的开源大模型本地部署工具，基于 Go 语言开发，旨在简化 LLM（Large Language Model） 的本地运行流程。它提供了统一的命令行接口，支持下载、管理和运行多种开源模型（如 LLaMA、Mistral、Dolly 等，最近爆火的就是 DeepSeek-R1），无需复杂的环境配置即可在本地快速启动模型服务。Ollama 的核心优势包括：

• 轻量化：安装包体积小，资源占用低，适合个人开发者和边缘设备部署。
• 多模型支持：内置模型仓库，一键拉取主流开源模型。
• 便捷交互：支持命令行对话、API 调用等多种交互方式，后续部署使用的 chatbox，continue 等工具，实际是通过 API 调用与在 ollama 上部署的大模型进行交互。
• 类比：理解 ollama 概念，可大致类比虚拟机，maven，docker。

二、Ollama 下载

2.1 官网下载地址

• 官网地址：https://ollama.ai/
• 说明文档：Ollama 官方文档（包含安装指南、命令参考和模型列表）

2.2 Windows 与 linux 离线版本下载

1. 访问官网，在下载页面找到 Windows、linux、mac 安装包。
2. 直接下载最新稳定版（当前版本：v0.6.6，截至 2025 年 4 月）。

2.3 Linux 在线版本下载

官方脚本安装（推荐）

curl -fsSL https://ollama.com/install.sh | sh

三、Ollama 安装

3.1 Windows 安装

双击下载的 .exe 文件，按提示完成安装，默认无法指定安装路径。
安装完成后，打开命令提示符（CMD）或 PowerShell，输入以下命令验证安装：

ollama --version

若显示版本信息（如 ollama version is 0.6.6），则安装成功。

自动安装在 C:\Users\<用户名>\AppData\Local\Programs\Ollama。<用户名> 为当前实际登录的用户名，笔者使用的 Administrator 用户。

软件日志在 C:\Users\<用户名>\AppData\Local\Ollama。

如果需要自定义安装，在 cmd 命令行执行 OllamaSetup.exe /dir=G:\ollama\install。G:\ollama\install 路径替换为安装的实际路径。

3.2 Linux 安装

解压软件包

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

一般情况下，解压后的可执行文件会位于 /usr/bin 或 /usr/local/bin 中。您可以通过以下命令查找具体的路径：

which ollama || sudo find /usr -name "ollama"

解压后实际路径

• /usr/lib/ollama：3G 的依赖包
• /usr/bin/ollama：30m 的执行程序

为 Ollama 创建用户和组

# 为ollama配置服务文件时使用，也可以不创建
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

下载或上传大模型文件

ollama run deepseek-r1:1.5b
sudo find -name 'models'
cd /usr/share/ollama/.ollama/models  # 注意：此为 UI 中的隐藏文件夹

创建服务文件：

vi /etc/systemd/system/ollama.service
# （有可能没有权限新建文件，需要使用sudo命令赋予权限创建文件，然后sudo chmod 777 ollama.service）
# 文件内容如下
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"[Install]
WantedBy=default.target
# 如果不创建用户和组，修改User与Group为已有的用户和组
# Environment配置提供了端口监听

启动服务相关操作：

sudo systemctl daemon-reload  # 重新加载所有 systemd 单元文件
sudo systemctl enable ollama    # 启用开机自启
systemctl list-units --type=service  # 查看服务状态

启动与查看状态：

sudo systemctl start ollama     # 启动服务
sudo systemctl status ollama    # 查看服务运行状态

以上步骤安装完毕！
附卸载步骤：

停止服务相关操作：

sudo systemctl stop ollama     # 停止服务
sudo systemctl disable ollama   # 关闭开机自启动

服务管理

• 删除服务配置：

sudo rm /etc/systemd/system/ollama.service

删除大模型文件

ollama delete deepseek-r1:1.5b

删除用户和组

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

卸载

sudo rm -rf /usr/lib/ollama  # 删除依赖包
sudo rm $(which ollama)      # 删除执行程序

• 查看Ollama 的日志：

journalctl -e -u ollama

四、Ollama 使用

4.1 基础命令说明

Ollama 通过命令行管理模型，核心命令包括：

• ollama pull <model>：从模型仓库拉取模型（如 ollama pull llama2）。
• ollama run <model>：启动模型服务并进入交互式对话。
• ollama list：查看已下载的模型列表。
• ollama delete <model>：删除本地模型。

4.2 使用示例

步骤 1：拉取模型

Windows 打开 PowerShell，Linux 直接执行命令。执行以下命令拉取 LLaMA 2 模型：

ollama pull llama2

模型将自动下载到本地缓存目录（默认路径：C:\Users\<用户名>\.ollama）。

步骤 2：启动交互式对话

ollama run llama2

进入对话界面后，输入问题即可与模型交互：

> 你好，Ollama！
LLaMA 2: 你好！很高兴为你提供帮助。有什么可以为你解答的吗？

步骤 3：连通性测试

Ollama 默认启动 11434 端口的 HTTP 服务，可通过以下网址测试：http://localhost:11434。

注意事项

1. 模型下载速度：受网络环境影响，部分模型下载可能较慢，可尝试配置代理或使用国内镜像源（需要开启科学上网）。
2. 资源占用：大模型运行需要较高内存，低配置设备可选择轻量级模型。
3. 更新 Ollama：Windows 用户可重新下载安装包覆盖更新；Linux 用户执行 ollama update 或重新运行安装脚本。