个人电脑部署本地大模型+UI
在这个AI飞速进步的时代,越来越多的大模型出现在市面上
本地大模型也越来越火爆!
它完全免费,随时可以访问,数据仅存在本地,还可以自己微调,训练!
今天我来教大家,如何在一台普通的个人电脑上,部署属于自己的大模型!
01 硬件要求
操作系统: Windows 10+,macOS11+
内存: 4G以上,最好8G
cpu:4核心以上
gpu(独立显卡):完全不需要!
02安装框架环境
我们将使用目前最火的本地大模型运行环境ollama部署大模型
下载地址:Download Ollama on Windows
点开这个页面后下载合适自己系统的安装包.
按提示安装(一直下一步就行)
03选择本地大模型
打开以下链接,进入ollama的本地大模型库
Ollama
***如何选择合适的本地大模型***
模型名称后面的“b”代表大模型的参数量。
Windows电脑
内存4到8g:1.5-5b
内存8到16g7-14b
内存16g+:14-32b
有GPU32b+
MAC电脑
Intel芯片:7-16b
apple芯片:16-32b
找到合适的大模型后,点进它的详情页。
在左侧框里选择大模型的'B'值
再把右侧的代码复制下来。
几个好用的大模型推荐
1deepseek-r1
2gemma2
3llama3.3
04安装本地大模型
Windows电脑打开命令提示符(cmd)
macOS打开终端
粘贴运行刚才复制的代码
ollama会自动下载模型。
等待模型下载成功,中途不要变换网络!
等待下载成功,就可以聊天了。
以下是一些常用的ollama命令
1下载/打开大模型:ollama run 模型名
2查看已安装的大模型:ollama modems
3删除大模型:ollama rm 模型名
05安装UI
本地大模型只能在命令行中使用,很不方便
我们可以为它安装一个类似于open AI的聊天界面,使我们可以微调大模型,上传文件,进行多模型支持,以及保存回话内容。
这里使用开源的Page AssistUI(适用于edge和Chrome)
访问:Page Assist - 本地 AI 模型的 Web UI | Chrome扩展 - Crx搜搜
若报安全问题,请选择保留。
安装成功后点击插件图标,进入聊天界面,开始使用!
这套方法成功率极高,如有问题,请留言!