ollama+open-webui搭建可视化大模型聊天

一、ollama后端环境搭建

ollama官网: Ollama

官网下载地址：Download Ollama on Windows

github下载地址：https://github.com/ollama/ollama/releases

ollama官网模型列表：

https://ollama.com/search

安装完成后在控制台运行模型：

ollama run qwen3:0.6b

 

 

huggingface的GGUF模型部署

 

下载可能会遇到网络卡住的问题参考解决：

Error: max retries exceeded: Get “https://huggingface.co 关于Ollama无法下载模型小文件的解决办法_hf.co 拉取模型报错-CSDN博客 

 

二、open-webui前端环境搭建 

conda环境安装参考：

https://blog.csdn.net/Q_fairy/article/details/129158178

web-webui的github地址：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

使用下面地址下载：

git clone https://github.com/open-webui/open-webui

cd open-webui/
#创建python环境
conda create -n open-webui python=3.11conda activate open-webui#安装完整后执行下面命令
pip install open-webui# 启动服务
OLLAMA_BASE_URL=http://127.0.0.1:11434 DEFAULT_MODEL=llama3 open-webui serve --host 0.0.0.0 --port 8000

执行启动命令后会有点卡

出现这个页面后会卡一会

 

这个说明启动完成，然后在浏览器启动：

http://localhost:8000/