当前位置: 首页 > news >正文

原创|查询大数据级数据表的AI实现思路(Excel2SQL,Text2SQL)

背景

遇到一个用户需求:
查询大数据级数据表(如产品表),将查询结果返回,想通过LLM进行精准输出。

一般软件做法为找数据工程师做提数SQL,或通过前台页面筛选条件+查询表单实现相对灵活的查询。

这个需求他们通过截图表格+输入问题的形式问Deepseek等LLM,发现准确度和稳定性都不行,

  • 其一产品ABC命名有相似且产品行数多,噪音大,导致稳定性不足;
  • 其次有一些统计问题回答不对,比如开发售卖的产品有几只,了解LLM原理的也知道数学题超过LLM能力边界。

Boss问我想法时,对于噪音和数学题,我明确知道要借助Workflow可能有解决方案,加上之前接触过Text2SQL,
我的第一反应是以SQL作为对其模态

  • 输入方向(广义的知识构建阶段),将EXCEL输出SQL数据表和数据,并生成足够的释义作为回答的背景;
  • 输出方向(广义的知识检索阶段),初始节点为用户问题Text2SQL,然后执行SQL节点,将问题,SQL和SQL查询结果给到二次LLM节点,输出最终回答。
    通过Dify和FastGPT都可以实现两段式输入到输出

结果
是验证了50条excel含5个字段的产品表,问了30个问题,迭代3版Prompt达到28/30的惊人的95%的正确率。

输入Excel:
在这里插入图片描述
用户问题:
在这里插入图片描述

实操过程

  1. 基本思路的流程图,关键是目标如何达成,串联起来闭环。
    在这里插入图片描述

  2. 上手开撸
    AI workfow其实没什么难度,就是3个节点,LLM或MCP/Faction call进行数据库处理;
    主要还是Prompt,此处分享粗调最后一版prompt。

[构建]读取excel到输出SQL
http://www.xdnf.cn/news/601255.html

相关文章:

  • POI模板生成EXCEL 64000 style in a .xlsx Workbook
  • 数字信号处理大实验2 利用FFT估计信号的频率
  • QML与C++联合编程
  • OpenSSL详解
  • 【数据架构06】可信数据空间架构篇
  • MySQL 8.0 OCP 1Z0-908 题目解析(13)
  • MySQL 8.0 OCP 英文题库解析(八)
  • MySQL 8.0 OCP 1Z0-908 题目解析(12)
  • debian搭建ceph记录(接入libvirt)
  • 打破双亲委派模型的实践:JDBC与Tomcat的深度解析
  • RISC-V 开发板 MUSE Pi Pro OpenCV结合Gstreamer实时显示CSI摄像头
  • 03 基于 java udp 做一个dns服务器 和 一个dns代理服务器
  • Android Raspberry 请求 api 失败 iOS 请求成功【ssl 证书配置问题】
  • Android计算机网络学习总结
  • 【KWDB 创作者计划】_玩转数据库——纯硬核的工业级KWDB数据库产品评测报告(附测试代码)
  • Linux火墙管理及优化
  • 力扣-将x减到0的最小操作数
  • 【Hadoop】大数据技术之 HDFS
  • 对接钉钉消息样例:DING消息、机器人
  • vue3前端开发过程中,解决跨域
  • 如何管理固定资产
  • w~大模型~合集4
  • JAVA05基本数据类型和包装类的转换,转换成其他数据类型,包装类与字符串的转换+学生类的定义实例
  • [数据集]无人机视角检测分割数据集合集
  • 内容中台智能推荐系统实践路径
  • 智慧交通解决了哪些行业难点?
  • 算法轻量化与跨平台迁移:AI边缘计算的核心突破
  • sglang是如何运行?
  • 为什么抗干扰天线不能做RTK差分(三)“既要又要”的抗干扰天线
  • C#串口打印机:控制类开发与实战