当前位置: 首页 > news >正文

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

在这里插入图片描述

以下是一个使用 DeepSeek 大模型(假设为一个高性能的中文大模型)、LlamaIndexMySQL 数据库知识文档 实现简单 RAG(检索增强生成)系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程,并附带详细代码和注释。


1. 环境准备

1.1 安装依赖

首先,确保安装了必要的 Python 库:

pip install llama-index deepseek-cpm mysql-connector-python
1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库,包含一个 documents 表,结构如下:

CREATE TABLE documents (id INT AUTO_INCREMENT PRIMARY KEY,content TEXT
);

插入一些示例数据:

INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入,预算为2亿元。');
1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt,内容如下:

公司成立于2010年,专注于技术研发。
去年的研发投入为5亿元。

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据
import mysql.connectordef load_data_from_mysql():# 连接 MySQL 数据库conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()# 查询 documents 表中的所有记录cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()# 将查询结果转换为文本列表documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)
2.2 从知识文档加载数据
def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)
2.3 合并数据并构建索引
from llama_index import SimpleDirectoryReader, GPTListIndex, Documentdef build_index(documents):# 将文档列表转换为 Document 对象docs = [Document(text) for text in documents]# 构建索引index = GPTListIndex.from_documents(docs)return index# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)# 构建索引
index = build_index(all_documents)

3. RAG 流程实现

3.1 定义查询函数
def query_index(index, query_text):response = index.query(query_text)return response.response# 测试查询
query = "去年公司的研发投入是多少?"
response = query_index(index, query)
print("Query Response:", response)
3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口:

import deepseek_cpmdef generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例:

import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():conn = mysql.connector.connect(host="localhost",user="yourusername",password="yourpassword",database="yourdatabase")cursor = conn.cursor()cursor.execute("SELECT content FROM documents")rows = cursor.fetchall()documents = [row[0] for row in rows]cursor.close()conn.close()return documents# 2. 从知识文档加载数据
def load_data_from_file(file_path):with open(file_path, 'r', encoding='utf-8') as file:content = file.read()return [content]# 3. 合并数据并构建索引
def build_index(documents):docs = [Document(text) for text in documents]index = GPTListIndex.from_documents(docs)return index# 4. 定义查询函数
def query_index(index, query_text):response = index.query(query_text)return response.response# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):prompt = f"问题: {query}\n上下文: {context}\n回答:"response = deepseek_cpm.generate(prompt)return response# 主程序
if __name__ == "__main__":# 加载数据mysql_documents = load_data_from_mysql()file_documents = load_data_from_file('knowledge.txt')all_documents = mysql_documents + file_documents# 构建索引index = build_index(all_documents)# 测试查询query = "去年公司的研发投入是多少?"context = query_index(index, query)final_response = generate_response_with_model(query, context)print("Final Response with Model:", final_response)

5. 表格整理总结

步骤操作内容注意事项
1. 环境准备安装必要库,准备 MySQL 数据库和知识文档。确保数据库连接信息正确,文档路径有效。
2. 数据加载从 MySQL 和知识文档中加载数据。数据格式应统一,避免编码问题。
3. 索引构建将加载的数据合并并构建 LlamaIndex 索引。索引构建可能耗时,根据数据量选择合适索引类型。
4. RAG 查询使用 LlamaIndex 进行检索,获取相关上下文。查询语句应简洁明了,便于模型理解。
5. 模型生成结合检索结果和原始查询,使用 DeepSeek 大模型生成最终回答。提供足够上下文信息,避免模型“幻觉”现象。
6. 结果展示将最终回答返回给用户。格式化输出,提升用户体验。

6. 总结

通过上述步骤,我们实现了一个简单的 RAG 系统,该系统结合了 DeepSeek 大模型LlamaIndexMySQL 数据库知识文档,能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点,适用于多种实际应用场景(如企业知识库、客服系统等)。

如果需要进一步优化或扩展功能(如多轮对话、错误处理等),可以根据具体需求进行调整。

http://www.xdnf.cn/news/62839.html

相关文章:

  • electron从安装到启动再到打包全教程
  • Python 网络编程:TCP 与 UDP 协议详解及实战代码
  • uni-app 开发企业级小程序课程
  • LangChain、LlamaIndex 和 ChatGPT 的详细对比分析及总结表格
  • 【Flink SQL实战】 UTC 时区格式的 ISO 时间转东八区时间
  • 2025.04.20【Lollipop】| Lollipop图绘制命令简介
  • python——函数
  • Unocss 类名基操, tailwindcss 类名
  • 分数线降低,25西电马克思主义学院(考研录取情况)
  • RESTful学习笔记(一)
  • 国产仪器进化论:“鲁般号”基于无人机的天线测试系统
  • 微软Entra新安全功能引发大规模账户锁定事件
  • 【Vue】组件基础
  • Linux系统下docker 安装 redis
  • Mybatis延迟加载、懒加载、二级缓存
  • 统计图表ECharts
  • 2025年世界职业院校技能大赛实施方案(意见稿)
  • 【单片机 C语言】单片机学习过程中常见C库函数(学习笔记)
  • 由Ai生成的Linux 入门到精通学习路径
  • 记录seatunnel排查重复数据的案例分析
  • ESP8266_ESP32 Smartconfig一键配网功能
  • qt 配置 mysql 驱动问题:Cannot load library qsqlmysql;QMYSQL driver not loaded
  • 如何编写单元测试
  • 运维工程师面试总结21/4
  • 前端笔记-Axios
  • 3步拆解Linux内核源码的思维模型
  • 汽车动力转向器落锤冲击试验台
  • Java+nanomsg快速实现去broker的数据通信
  • 2025年最新服务器、中间件安全(面试题)
  • HADOOP 3.4.1安装和搭建(尚硅谷版~)