当前位置: 首页 > news >正文

Ollama+Deepseek+Docker+RAGFlow打造自己的私人AI知识库

打造自己的AI知识库

架构

Ollama+Deepseek+Docker+RAGFlow


部署大模型

下载并安装Ollama

官网地址:Download Ollama on Windows

选择合适版本进行下载安装(注意修改模型下载位置)

在这里插入图片描述

Ollama环境变量配置

增加两个环境变量(rag访问ollama需要)

OLLAMA_HOST:0.0.0.0:11434
OLLAMA_MODELS:E:\AIData\OllamaModels

在这里插入图片描述

部署大模型DeepSeek-R1-Distill-Qwen-14B-GGUF:Q6_K

基于自己硬件配置选择合适的大模型,此大模型适合12g显存,个人可选择量化模型,精度损失不高,速度更快,显存要求大幅下降

ollama run hf.co/bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q6_K

在这里插入图片描述

部署RAG

RAG下载

克隆仓库:ragflow/README_zh.md at main · infiniflow/ragflow

$ git clone https://github.com/infiniflow/ragflow.git

在这里插入图片描述

找到安装文件,由于默认轻量版无embedding模型,要改写配置

在这里插入图片描述

下载并安装Docker

Windows | Docker Docs

在这里插入图片描述

配置镜像加速器(不配的话,会经常超时失败)
在这里插入图片描述

{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"insecure-registries": [],"registry-mirrors": ["https://docker.1ms.run"]
}
拉取RAG镜像

执行命令:

$ cd ragflow/docker
# Use CPU for embedding and DeepDoc tasks:
$ docker compose -f docker-compose.yml up -d# To use GPU to accelerate embedding and DeepDoc tasks:
# docker compose -f docker-compose-gpu.yml up -d

在这里插入图片描述
到这里就已经完全部署好了,剩下的就在页面配置了

最终页面配置

页面访问地址:http://127.0.0.1/user-setting/model

大模型配置

设置默认模型
在这里插入图片描述

创建知识库

在这里插入图片描述
上传文档,注意上传后一定要点解析
在这里插入图片描述

新建助理

选择知识库
在这里插入图片描述

按需调整参数

在这里插入图片描述

创建聊天

在这里插入图片描述

http://www.xdnf.cn/news/1275499.html

相关文章:

  • 计算机网络:超网即路由聚合一定需要连续的IP地址吗?
  • 秋招春招实习百度笔试百度管培生笔试题库百度非技术岗笔试|笔试解析和攻略|题库分享
  • RabbitMQ面试精讲 Day 19:网络调优与连接池管理
  • Spring Boot 注解详解:@RequestMapping 的多种用法
  • 十、Linux Shell脚本:流程控制语句
  • Day41--动态规划--121. 买卖股票的最佳时机,122. 买卖股票的最佳时机 II,123. 买卖股票的最佳时机 III
  • 网闸技术解析:如何实现对国产数据库(达梦/金仓)的深度支持
  • 我如何从安全运维逆袭成企业CSO
  • WiFi原理与WiFi安全
  • 【软考中级网络工程师】知识点之 IPv6 全解析
  • 基于python高校固定资产管理系统
  • 【在线五子棋对战】十二、http请求处理
  • 【经典算法】二叉树最小深度详解:递归解法与可视化分析
  • 【自用】JavaSE--IO流(二)--缓冲流、转换流、打印流、数据流、序列化流、IO框架
  • Redis 数据类型和单线程模型补充
  • Spring的三层架构及其各个层用到注解详细解释。
  • reuse: for booting my spring project with mvn in Windows command line
  • 基于 InfluxDB 的服务器性能监控系统实战(三)
  • Ubuntu 安装 Elasticsearch
  • Elasticsearch 搜索模板(Search Templates)把“可配置查询”装进 Mustache
  • 人工智能-python-机器学习-决策树与集成学习:决策树分类与随机森林
  • 深入浅出DBSCAN:基于密度的聚类算法详解与Python实战
  • redis集群-本地环境
  • AAAI 2025丨具身智能+多模态感知如何精准锁定目标
  • BGP笔记整理
  • CST MATLAB 联合仿真超材料开口谐振环单元
  • PWM波的频谱分析及matlab 验证[电路原理]
  • 企业高性能web服务器——Nginx
  • PySpark
  • 【redis初阶】------List 列表类型