当前位置: 首页 > news >正文

【GPT入门】第52课 openwebui安装与使用

【GPT入门】第52课 openwebui安装与使用

  • 1. openwebui是什么
  • 2.openwebui如何使用
  • 3.注意事项

1. openwebui是什么

官网: https://docs.openwebui.com/
官方介绍:

Open WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.
  • 官网介绍翻译

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管人工智能平台,旨在完全离线运行。它支持多种大语言模型运行器,如 Ollama 和兼容 OpenAI 的 API,并内置了用于检索增强生成(RAG)的推理引擎,是一款功能强大的人工智能部署解决方案。

2.openwebui如何使用

  • 准备环境
    默认安装目录:
    conda create -n open-webui python==3.11
    指定数据盘目录,避免占用巨大的系统盘空间,导致磁盘空间不足:
    conda create --prefix /root/autodl-tmp/conda_envs/open-webui python=3.11

  • 安装
    source /etc/network_turbo (autodl服务器用于学术加速)
    pip install open-webui

  • 启动服务
    open-webui serve

  • auto中增加端口转发,端口是8080, 如果是本地电脑,不需要端口转发
    在这里插入图片描述

  • 打开webui
    http://localhost:8080/
    在这里插入图片描述

3.注意事项

如果是微调的llm,微调的llm可能与openwebui的不一致,并且就算部署时指定模板,openwebui会每次与模型交互式,强势刷新对话模板
用的对话模板:不是模型自带的

  • openwebui 查微调后的模型,回复会乱七八糟
    在这里插入图片描述
  • 问原始模型 qwen3.0b
    在这里插入图片描述
  • qwen3.0b下载方法
    在这里插入图片描述
http://www.xdnf.cn/news/1340245.html

相关文章:

  • postman接口自动化测试
  • redis在Spring中应用相关
  • Django ModelForm
  • C#基础编程核心知识点总结
  • 打破传统课程模式,IP变现的创新玩法 | 创客匠人
  • RabbitMQ面试精讲 Day 26:RabbitMQ监控体系建设
  • 从零开始的Agent学习(二)-增加文档输出功能
  • 36、供应链计划与执行优化 (军方后勤) - /供应链管理组件/military-logistics-scm
  • 34、扩展仓储管理系统 (跨境汽车零部件模拟) - /物流与仓储组件/extended-warehouse-management
  • 3D 环形旋转图片轮播(纯html,css,js)
  • 力扣hot100:无重复字符的最长子串,找到字符串中所有字母异位词(滑动窗口算法讲解)(3,438)
  • 从零开始理解 K 均值聚类:原理、实现与应用
  • 自学嵌入式第二十四天:数据结构(4)-栈
  • linux-ubuntu里docker的容器portainer容器建立后如何打开?
  • WSL的Ubuntu如何改名字
  • Ubuntu网络图标消失/以太网卡显示“未托管“
  • java项目:如何优化JVM参数?
  • nginx-自制证书实现
  • 读《精益数据分析》:精益画布——创业与产品创新的高效工具
  • 【工具】前端JS/VUE修改图片分辨率
  • 使用Docker部署Coze Studio开源版
  • Advanced Math Math Analysis |02 Limits
  • Oracle CLOB类型转换
  • k8s下的网络通信与认证
  • 【C++】模板(进阶)
  • 从YOLOv5到RKNN:零冲突转换YOLOv5模型至RK3588 NPU全指南
  • 在线课程|基于SprinBoot+vue的在线课程管理系统(源码+数据库+文档)
  • openEuler系统中如何将docker安装在指定目录
  • ES_文档
  • 【数据结构】树与二叉树:结构、性质与存储