当前位置： 首页 > news >正文

个人电脑部署私有化大语言模型LLM

news 2025/8/3 5:27:40

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端，这里我们使用后端ollama，但是由于部署完后端之后，需要用命令行操作，不方便，
所以我们需要部署前端框架（chatbox AI, Stremlit(需要编程实现)）

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手，支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务，Chatbox AI 已成为提升工作效率的首选工具。
在这里插入图片描述

后端 ：ollama下载

https://ollama.com/download
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述、

可以search models搜索你需要的模型，我将部署deepseek所以直接点击第一个

在这里插入图片描述

点击deep seek后选择你需要部署的模型，这里我将部署最小的模型，点击箭头所指

在这里插入图片描述

点击上述箭头之后，会出现下述的命令行

在这里插入图片描述

把命令行输入到命令行窗口

ollama run deepseek-r1:1.5b

在这里插入图片描述

部署成功，可以使用命令行进行询问

在这里插入图片描述

前端部署 ：安装chatbox AI

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署成功

在这里插入图片描述

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

http://www.xdnf.cn/news/1227691.html

相关文章：

  • 操作系统-lecture5（线程）
  • Flutter镜像替换
  • LVGL + ESP-Brookesia 在Windows下的编译和运行
  • Flutter基础知识
  • 关于Web前端安全防御CSRF攻防的几点考虑
  • 常用git命令
  • 编译器工作原理的显微镜级拆解
  • 开箱即用的Next.js SSR企业级开发模板
  • 什么是doris
  • Typora v1.10.8 好用的 Markdown 编辑器
  • DreamBoards 借助 DreamHAT+ 雷达插件为 Raspberry Pi 提供 60GHz 毫米波雷达
  • 思途JSP学习 0801
  • 《软件测试与质量控制》实验报告一 测试用例设计
  • 逻辑回归参数调优实战指南
  • JS核心语法与实战技巧
  • 【读文献】Capacitor-drop AC-DC
  • 计数组合学7.10（舒尔函数的组合定义)
  • ls hgfs提示ls: cannot access ‘hgfs‘: Permission denied
  • Python 项目路径配置完全指南
  • 如何优雅删除Docker镜像和容器（保姆级别）
  • 开源工具FossFLOW，绘制技术图表
  • linux中posix消息队列的使用记录
  • Cesium性能优化
  • windows系统安装文生图大模型Stable diffusion V3.5 large（完整详细可用教程）
  • 第15讲——微分方程
  • 分类预测 | Matlab实现CPO-PNN冠豪猪算法优化概率神经网络多特征分类预测
  • 操作系统-lecture4(进程的调度)
  • ubuntu22.04系统入门 linux入门（二） 简单命令 多实践以及相关文件管理命令
  • 分布在背侧海马体CA1区域的位置细胞（place cells）对NLP中的深层语义分析的积极影响和启示
  • 设计模式1：创建型模式