当前位置： 首页 > java >正文

【macOS操作系统部署开源DeepSeek大模型，搭建Agent平台，构建私有化RAG知识库完整流程】

java 2025/8/14 18:03:17

macOS操作系统部署开源DeepSeek大模型，搭建Agent平台，构建私有化RAG知识库完整流程

  • 1 部署DS大模型
    • 1.1 下载macOS版ollama
    • 1.2 验证
    • 1.3 部署DeepSeek模型
    • 1.4 测试对话
  • 2 搭建Agent
    • 2.1 下载macOS版本 AnythingLLM
    • 2.2 切换中文
    • 2.3 配置本地服务
  • 3 构建RAG知识库
    • 3.1 部署BGE-M3
    • 3.2 配置本地嵌入模型
    • 3.3 新建工作区
    • 3.4 上传文档
    • 3.5 测试对话

昨天在马路上捡到一台全新的Mac Studio。

在这里插入图片描述

拆开一看配置还挺高的，好家伙早就听说macOS操作系统也非常适合拿来跑大模型了，赶紧激活系统试了一下，以下是部署流程的完整记录。

在这里插入图片描述

1 部署DS大模型

1.1 下载macOS版ollama

访问 ollama官网 下载macOS版ollama，将 Ollama 图标拖入 Applications 文件夹。

在这里插入图片描述

1.2 验证

在终端中执行验证是否安装成功

ollama --version

输出（例）：

ollama version is 0.11.2

在这里插入图片描述

1.3 部署DeepSeek模型

在终端中执行部署DeepSeek模型

ollama run deepseek-r1:14b

1.4 测试对话

部署完成后，启动模型进行对话

在这里插入图片描述

或在ollama界面输入问题，观察是否响应，ollama 界面时需要选择指定模型，选择未下载的模型发送信息ollama会自动拉取模型到本地

在这里插入图片描述

2 搭建Agent

2.1 下载macOS版本 AnythingLLM

访问 AnythingLLM官网 下载macOS版本 AnythingLLM
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 切换中文

启动AnythingLLM，进入设置页面，将语言切换为中文
在这里插入图片描述

在这里插入图片描述

2.3 配置本地服务

配置本地ollama deepseek-r1:14b 大模型服务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

做好本地模型、tokens、url等配置

模型勾选ollama已部署的deepseek-r1:14b，tokens上调至8192，本地默认地址及端口为127.0.0.1:11434

完成后右上角 保存【Save changes】

在这里插入图片描述

3 构建RAG知识库

3.1 部署BGE-M3

在终端中执行部署BGE-M3 嵌入模型

ollama run bge-m3

在这里插入图片描述

3.2 配置本地嵌入模型

在AnythingLLM 中配置本地嵌入模型，操作同2.3

在这里插入图片描述

3.3 新建工作区

在这里插入图片描述

在这里插入图片描述

在新建的工作区（my first workspace）配置聊天设置和向量数据库

在这里插入图片描述

在这里插入图片描述

文档相似度阈值设置最高

在这里插入图片描述

3.4 上传文档

这里为了突显测试结果，创建了2个不同格式的文档。

txt文档内容为

高克莱是一个程序员，高克莱养了三只猫。

word文档内容为

第一只猫叫可乐第二只猫叫雪碧第三只猫叫芬达

在这里插入图片描述

在工作区点击上传图标

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存并嵌入后，务必要点击需要参与检索的文档右侧的【Pin to workspace】图标与当前工作区进行关联，这样大模型在检索生成回答内容时会优先参考该文档内容，如果未点击，则只是将文档存储到了全局库中，并不参与检索

在这里插入图片描述

在这里插入图片描述

3.5 测试对话

在这里插入图片描述

部署完成

http://www.xdnf.cn/news/17283.html

相关文章：

  • 29-数据仓库与Apache Hive-创建库、创建表
  • MT信号四通道相关性预测的Informer模型优化研究
  • Linux中Docker Swarm实践
  • 手机控制断路器：智能家居安全用电的新篇章
  • SupChains技术团队：需求预测中减少使用分层次预测（五）
  • VSCode - 设置Python venv
  • PyTorch + PaddlePaddle 语音识别
  • 深入探索C++模板实现的单例模式：通用与线程安全的完美结合
  • 初识C++类的6个默认成员函数
  • 基于 Socket.IO 实现 WebRTC 音视频通话与实时聊天系统（Spring Boot 后端实现）
  • LongVie突破超长视频生成极限：1分钟电影级丝滑视频，双模态控制告别卡顿退化
  • PyTorch如何实现婴儿哭声检测和识别
  • 串联所有单词的子串-leetcode
  • 解读 gpt-oss-120b 和 gpt-oss-20b开源模型
  • 多账号管理方案：解析一款免Root的App分身工具
  • 抖音、快手、视频号等多平台视频解析下载 + 磁力嗅探下载、视频加工（提取音频 / 压缩等）
  • 编程之线性代数矩阵和概率论统计知识回顾
  • 基于langchain的两个实际应用：[MCP多服务器聊天系统]和[解析PDF文档的RAG问答]
  • 表单元素与美化技巧：打造用户友好的交互体验
  • 基于Ruby的IP池系统构建分布式爬虫架构
  • Qt帮助文档跳转问题修复指南
  • Flink-1.19.0源码详解9-ExecutionGraph生成-后篇
  • 通信中间件 Fast DDS(一) ：编译、安装和测试
  • 汽车线束设计—导线的选取
  • WEB开发-第二十七天(PHP篇)
  • 中国MCP市场：腾讯、阿里、百度的本土化实践
  • Disruptor 消费者核心：BatchEventProcessor解析
  • 脱机部署k3s
  • 嵌入式硬件中MOSFET基本控制详解
  • 前端开发(HTML,CSS,VUE,JS)从入门到精通！第七天(Vue)(二)