当前位置： 首页 > ai >正文

【AGI使用教程】GPT-OSS 本地部署（2）

ai 2025/8/26 6:04:31

欢迎关注【AGI使用教程】 专栏
【AGI使用教程】GPT-OSS 本地部署（1）
【AGI使用教程】GPT-OSS 本地部署（2）


在这里插入图片描述

【AGI使用教程】GPT-OSS 本地部署（2）基于 WebUI 使用 GPT-OSS

    • 1. 安装Docker
    • 2. 安装WebUI
    • 3. 使用GPT-OSS模型
    • 4. 模型管理与联网搜索
      • 4.1 模型管理
      • 4.2 联网搜索


2025年8月5日，OpenAI 正式发布了 开源 GPT 服务框架：GPT-OSS-120B 和 GPT-OSS-20B。

GPT-OSS 支持主流开源大模型（如 Llama、Qwen、Mistral、Gemma 等），兼容 OpenAI API 标准，具备高性能推理、插件扩展、模型管理、权限控制等能力，适用于智能问答、内容生成、RAG、Agent、企业知识库等多种场景。

本节继续介绍：基于 WebUI 使用 GPT-OSS


Open WebUI 是一款可扩展、功能丰富、用户友好的大语言模型（LLM）交互界面，支持本地部署与离线运行。它支持各种LLM运行程序，包括 Ollama 和 OpenAI 兼容的 API，提供了 web 的方式来访问 Ollama API。
本教程将指导您使用 Docker 安装Open WebUI，并将其与Ollama的GPT-OSS模型集成。这种方法可以简化部署过程，并确保环境的一致性。


1. 安装Docker

Docker是一种虚拟化容器技术。Docker基于镜像，可以秒级启动各种容器。每一种容器都是一个完整的运行环境，容器之间互相隔离。注意Docker Desktop要求Windows 10 Pro或企业版，并且需要启用Hyper-V。

  1. 检查安装环境。检查Windows系统是否开启虚拟化。
    （1）打开任务管理器（Ctrl+Alt+Del），选择：“性能-CPU-虚拟化”，确认 “虚拟化” 已启用。
    （2）如果未开启虚拟化，则要开机重启并进入BIOS 设置：选择Advanced（高级）-CPU Configuration-Secure Virtual Machine，设置为：Enabled（启用）。
    （3）在 “控制面板” 打开 “程序”，然后点击 “启用或关闭Windows功能”，勾选 “Hyper-V 管理工具” 和 “Hyper-V 平台”。
    （4）以管理员身份打开命令行窗口，输入 “wsl --set-default-version 2”，将默认设置为 WSL 2。
    （5）在命令行窗口输入"wsl --update --web-download"，更新安装 wsl。
    通过适用于Linux的Windows子系统 (WSL)，开发人员可以安装Linux发行版，并直接在Windows上使用Linux应用程序、实用程序和 Bash 命令行工具。

在这里插入图片描述


  1. 安装 Docker for Desktop。
    Docker Desktop 是 Docker 官方提供的桌面应用程序。
    （1）下载Docker Desktop。访问Docker官网（https://www.docker.com/），下载 Docker Desktop for Windows安装程序。
    （2）安装Docker Desktop。以管理员身份运行下载的Docker Desktop安装包，安装程序会引导用户完成安装过程。
    （3）创建Docker Hub账号。访问Docker官网，点击右上角的"Sign Up"按钮，进入注册页面注册Docker Hub账号。
    （4）登录Docker Hub账号。访问Docker官网并登录。
    （5）安装完成后，启动Docker Desktop，检查右下角托盘图标状态为"Docker Desktop running"，表明安装成功。

在这里插入图片描述

在这里插入图片描述


（6）打开命令行窗口，输入" docker version "检查，显示docker的版本号，

在这里插入图片描述


  1. 配置国内镜像源。
    在命令行运行 “docker run hello-world”，可能出现报错：" docker: Error response from daemon. (Client. Timeout exceeded while awaiting headers). "。这是Docker守护进程在尝试连接到 Docker Hub（registry-1.docker.io）时，发生连接超时，即访问镜像源失败。配置国内的镜像源或者相关加速可以解决这个问题。

（1）进入Docker Desktop，选择 “Settings-Docker Engine”，将镜像源替换如下。

{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.1panel.live","https://registry.docker-cn.com","https://cr.console.aliyun.com","https://mirror.ccs.tencentyun.com"]
}

（2）点击 “Apply” 按钮，然后重启Docker Desktop，等待Engine Starting后就完成镜像源替换。

（3）再次运行 “docker run hello-world”，就可以成功拉取hello-world镜像。

在这里插入图片描述


2. 安装WebUI

Open WebUI 支持本地部署与离线运行大语言模型，提供了web方式来访问 Ollama API。

  1. 从GitHub仓库拉取Open WebUI Docker镜像。

docker pull ghcr.io/open-webui/open-webui:main

在这里插入图片描述


  1. 使用默认设置运行容器 docker。
    （1）使用CPU（不支持GPU）。
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

（2）若要支持 Nvidia GPU，请在 “docker run” 命令中添加 “–gpus all”。

docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

（3）若要跳过登录页面，使用单用户设置，请将 WEBUI_AUTH 环境变量设置为 False。注意：修改后将无法在单用户模式和多帐户模式之间切换。

docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

其中：卷映射 -v open-webui:/app/backend/data 可以防止容器重启时数据丢失；端口映射 -p 3000:8080 表示访问主机的 3000端口时，请求会被转发到容器的 8080 端口。
在这里插入图片描述


  1. 访问 WebUI。
    （1）在容器docker中运行open-webui，如下图所示。

在这里插入图片描述

（2）从浏览器访问3000端口：“http://127.0.0.1:3000” 或 “http://localhost:3000”，进入 WebUI。首次访问时，需要创建一个管理员账户。

在这里插入图片描述

（3）再次访问 WebUI 时，则显示如下的登录界面。输入用户名（电子邮箱）和密码，登录WebUI 。

在这里插入图片描述


3. 使用GPT-OSS模型

  1. 访问 WebUI（“http://localhost:3000”），登录用户账号。
  2. 模型配置。点击左上角模型选择按钮，选中 “gpt-oss:20b” 模型，就可以使用本地部署的GPT-OSS模型进行对话了。

在这里插入图片描述

  1. 向GPT-OSS模型提问：【请比较RCNN，Fast RCNN 与 Faster RCNN。】。
    模型的输出如下图所示。

在这里插入图片描述

本地计算机配置NVIDIA RTX 4060Ti（16 GB）单卡GPU，对话时的GPU性能如下图所示，GPU利用率高达98%，表示算力已经满载。

在这里插入图片描述


4. 模型管理与联网搜索

4.1 模型管理

（1）在 Open WebUI 中，选择 “管理员面板-设置-外部连接”，可以下载模型、配置设置和管理连接。

在这里插入图片描述

（2）点击 “管理OpenAI API连接”，在弹出的 “添加连接” 窗口中填写API请求地址和API密钥，可以将您的服务器连接到 Open WebUI。

在这里插入图片描述


4.2 联网搜索

本节内容需要模型支持，GPT-OSS 目前不能支持。
为了充分释放本地模型的潜力，启用网络搜索将允许从网络中获取实时数据，从而通过最新信息增强他们的响应。

  1. 启用网络搜索。
    （1）导航到管理面板：打开WebUI，选择 “管理员面板-设置-联网搜索”。
    （2）启用网络搜索：点击"通用-联网搜索"后的切换按钮，启用联网搜索功能。
    （3）选择搜索提供商：点击"网络搜索引擎"选择搜索根据，如"tavily"。注意有的模型需要API密钥。

在这里插入图片描述


  1. 使用网络搜索：
    启用Web搜索后，模型就可以使用实时搜索功能。当你提出需要当前信息的查询时，该模型将自动从网络中搜索相关数据。
    （1）打开Web搜索：在WebUI聊天界面中，点击输入框下方"联网搜索"图标，该图标转为蓝色背景表明打开Web搜索。
    （2）与模型对话：像往常一样输入提问。如果输入的问题需要联网信息，模型将使用启用的搜索引擎为您提供更准确和最新的响应。

【本节完】

下节 继续介绍：使用API接口调用GPT-OSS


版权声明：
youcans@qq.com 原创作品，转载必须标注原文链接：
【AGI使用教程】GPT-OSS 本地部署（1）
【AGI使用教程】GPT-OSS 本地部署（2）

Copyright@youcans 2025
Crated：2025-08


http://www.xdnf.cn/news/18638.html

相关文章：

  • 【AMBA总线互联IP】
  • 自然语言处理——07 BERT、ELMO、GTP系列模型
  • python文件import找不到其它目录的库解决方案
  • Python爬虫第四课：selenium自动化
  • 【云馨AI-大模型】AI热潮持续升温：2025年8月第三周全球动态
  • MySQL数据库精研之旅第十一期：打造高效联合查询的实战宝典（二）
  • 禁用 Nagle 算法（TCP_NODELAY）
  • RuoYi-Vue3项目中Swagger接口测试404，端口问题解析排查
  • 信誉代币的发行和管理机制是怎样的？
  • linux下camera 详细驱动流程 OV02K10为例（chatgpt版本）
  • stm32温控大棚测控系统（CO2+温湿度+光照）+仿真
  • Linux-＞多线程2
  • 56 C++ 现代C++编程艺术5-万能引用
  • Wagtail CRX 简介
  • 详解无监督学习的核心原理
  • vscode配置remote-ssh进行容器内开发
  • Linux服务测试题（DNS,NFS,DHCP,HTTP）
  • 微服务-21.网关路由-路由属性
  • 零基础玩转STM32：深入理解ARM Cortex-M内核与寄存器编程
  • 采摘机器人设计cad＋三维图＋设计说明书
  • LangChain RAG系统开发基础学习之文档切分
  • 24.JobGraph 的生成与提交流程解析
  • 阿里发布Qoder：颠覆软件开发体验的AI编程平台
  • [机械结构设计-32]：机械加工中，3D图评审OK,没有问题，后续的主要风险有哪些
  • MRO and mixin in Python Django
  • 单片机外设(七)RTC时间获取
  • 七日杀 单机+联机 送修改器（7 Days to Die）免安装中文版
  • 复杂姿态误报率↓78%！陌讯多模态算法在跌倒检测的医疗落地
  • Windows版Cyberfox下载及替代浏览器推荐
  • Goang开源库之go-circuitbreaker