当前位置: 首页 > web >正文

使用 n8n 结合通义千问大模型构建业务数据库分析智能体

一、项目概述

本项目致力于构建一个结合 n8n 工作流引擎通义千问大模型 的智能体,旨在对庞大的业务数据库进行自动化分析、语义建模及自然语言问答。通过不同工作流的迭代构建,实现了表结构解析、业务含义提取、关系可视化、问答服务等能力,推动企业数据资产可视化与智能化升级。


二、工作流开发进度

日期工作流名称功能简介
2025/4/24A1分析数据库表作用_V1.0_示例数据库Demo使用示例数据库验证分析流程
2025/5/12A1针对数据库表问答V0.1初步实现结构化问答功能
2025/5/13A1分析数据库表作用_V1.0_全量数据库支持 333 张真实业务表的全量分析
2025/5/15A1针对数据库表问答V0.2_引入知识库引入知识库加速问答分析

三、操作步骤记录

✅ 1. 示例数据库分析

  • 运行 A1分析数据库表作用_V1.0_示例数据库Demo

  • 验证数据合并、分析、文件保存节点功能是否正常

✅ 2. 全量数据库处理

  • 运行 A1分析数据库表作用_V1.0_全量数据库

  • 加载 333 张业务表,处理字段、关系、样例数据等结构信息

  • 合并后送入通义千问模型进行作用分析

✅ 3. 数据合并与输出

  • 使用数据合并节点,整合结构与样例数据为统一格式

  • 智能体节点对合并数据进行作用分析,输出语义结果

  • 保存输出至 allData.txt 及多个 教程表关系_*.txt 文件中,示例路径:/documents/AIBrain_test/now.txt

✅ 4. 自然语言问答功能

  • V0.1版本:直接将所有表格分析结果输入模型,响应慢

  • V0.2版本:引入知识库,先检索相关表,再送入模型分析,大幅提升效率


四、关键技术要点

  • 模型上下文管理:V0.1 中上下文过长,导致 token 消耗大,V0.2 引入知识库缓存显著优化响应速度;

  • 节点模块配置:智能体节点配置部分存在疑似 OCR 识别错误,如“elim”,可能为某内部模块或配置点;

  • 文件输出规范化:自动生成的关系文件命名不一致,存在 zt_actionzt_al agent 等重复或错误命名,后续需清洗合并;

  • 视觉输出待补充:表关系图谱与结构语义图仍在测试阶段,尚未形成完整可视化组件。


五、当前问题与待优化项

问题/风险优化方向
工作流 inactive,尚未上线模型接口打通后激活主流程
表结构合并逻辑未完全验证增加异常数据兼容测试
文件命名混乱引入命名规则和清洗脚本
智能体节点配置未明明确“elim”等关键词实际作用
结果 token 消耗大精简表分析结果内容,控制上下文长度

六、下一步计划

  • 2025/5/27:完成 A1分析数据库表作用_V1.0_全量数据库 流程测试

  • 🔄 集成阿里百炼平台的应用发布能力,发布开放应用

  • 🔄 整理输出文件结构,建立统一命名与归档机制

  • 🔄 推出基于结构化+非结构化内容的资产分析 Beta 服务


七、补充备注

  • 当前版本为开发迭代日志记录,用于后续项目总结与团队协作参考;

  • 所有流程运行截图与输出文件保存在 /documents/AIBrain_test/

  • 项目命名统一使用 A1_ 前缀便于管理与溯源。

八、操作步骤

工作流

主要搭建了4个工作流
在这里插入图片描述

操作步骤

  1. 运行『AI分析数据库表作用_V1.0_示例数据库Demo』,调试流程
    在这里插入图片描述

运行效果见全量运行的截图。

  1. 运行『AI分析数据库表作用_V1.0_全量数据库』,分析真实的业务数据库,包含333张表。

运行效果图

  • 数据合并节点,将表的结构和数据合并到一起
    在这里插入图片描述

  • 模型配置
    在这里插入图片描述

  • 智能体节点对上一步合并的数据进行分析
    在这里插入图片描述

  • 将结果保存到文件
    在这里插入图片描述

  • 表关系分析结果
    在这里插入图片描述

  1. 运行『AI针对数据库表问答V0.1』,测试问答效果。

在这里插入图片描述

  • 模型配置为max,上下文比较长
    在这里插入图片描述

  • 测验问题:一共有多少项目?
    在这里插入图片描述

  • 测验问题:关于『绩效』的最新公告内容
    在这里插入图片描述

  • 测验问题:** 项目最近一条完成的沟通内容
    在这里插入图片描述

  1. 运行『AI针对数据库表问答V0.2_引入知识库』
  • 前面流程直接把所有333张表的分析结果都给了通义,结果token很长,模型分析就比较慢,后面把表格分析结果保存到知识库,然后根据问题分析关联表,接下来从知识库检索相关表结构,把结果给到模型进行分析,效率高了很多。

在这里插入图片描述

后续优化点:
对相似问题可以缓存
对业务数据的分析结果可以再精简,降低token消耗
发布流程,与阿里百炼的应用结合,发布公开应用
结合非结构化数据的分析,可以提供数据资产梳理服务

http://www.xdnf.cn/news/20539.html

相关文章:

  • %前置模糊查询优化
  • shell脚本作业
  • 4.6 多个光源
  • 【数论】P10580 [蓝桥杯 2024 国 A] gcd 与 lcm|普及+
  • MapStruct详解
  • Linux RCU (Read-Copy-Update) 机制深度分析
  • leetcode 912 排序数组(快速排序)
  • 【CV】Opencv图像处理——①几何变换 (1)
  • 神马 M66S+ 282T矿机参数详解:SHA-256算法与Hydro冷却技术
  • 贪心算法应用:食品生产线排序问题详解
  • 继承详解(c++)
  • langchain源码概览
  • Java全栈开发面试实录:从基础到实战的深度解析
  • 【牛客刷题-剑指Offer】BM18 二维数组中的查找:一题四解,从暴力到最优
  • Python元组:不可变但灵活的数据容器
  • LwIP入门实战 — 3 以太网外设 (ETH)
  • 什么是JQ
  • solidity函数篇2
  • Netty从0到1系列之EventLoop
  • 魅族 Note 16 解锁 BL 及 Root 官方刷机包下载Flyme 12.0.1.5A 型号 M521Q
  • 基于SVN搭建企业内部知识库系统实践
  • 试用电子实验记录本ELN的经验之谈
  • 【算法】92.翻转链表Ⅱ--通俗讲解
  • Vue 3项目中引用ECharts并设计多种图表组件的实现方案
  • 行政区划编码树形题解
  • 09_多态
  • `IntersectionObserver`延迟加载不在首屏的自动播放视频/图片/埋点/
  • Boost电路:稳态和小信号分析
  • Linux匿名管道和命名管道以及共享内存
  • C++并发编程指南 递归锁 介绍