自然语言to SQL的评估

一、怎么进行一个自然语言to SQL评估？

1.DB——准备可用的数据表

2.准备问题集，自然语言|正确的预期SQL

3.大模型执行完成的SQL

4.Table.json——一个存储表格数据或者数据库表结构信息的 JSON 文件。当前是存储的表结构信息的，存储数据库表的元数据，例如表名、列名、列类型、主键、外键等信息。

---

二、获取Spider数据集，以及评估代码

https://yale-lily.github.io/spider 

个人理解：如有错误请指出

baselines\ ：包含不同基线模型的代码和文档。
- nl2code\ ：可能是一个将自然语言转换为代码的基线模型目录。
- seq2seq_attention_copy\ ：包含序列到序列注意力复制模型的代码和脚本。
- sqlnet\ ：包含 Modified SQLNet 基线模型的代码和文档。
- typesql\ ：包含 Modified TypeSQL 基线模型的代码和文档。
evaluation_examples\ ：包含评估示例文件。
preprocess\ ：包含数据预处理的脚本和文档。
evaluation.py ：用于评估模型的 Python 脚本。
process_sql.py ：用于处理 SQL 查询的 Python 脚本。

---

三、以上调试成功后，执行命令结果

python evaluation.py --gold [gold file] --pred [predicted file] --etype [evaluation type] --db [database dir] --table [table file]arguments:[gold file]        gold.sql file where each line is `a gold SQL \t db_id`[predicted file]   predicted sql file where each line is a predicted SQL[evaluation type]  "match" for exact set matching score, "exec" for execution score, and "all" for both[database dir]     directory which contains sub-directories where each SQLite3 database is stored[table file]       table.json file which includes foreign key info of each database

[gold file] 提供了正确的 SQL 答案和对应的数据库标识，而 [predicted file] 包含了模型生成的 SQL 预测结果，二者共同用于模型评估。

[evaluation type]：这是对不同评估方式的分类。

• -match（精确集合匹配得分）：当使用 “match” 评估类型时，主要关注的是被评估对象与给定集合在元素上的精确匹配程度。例如在文本处理中，判断一段文本中的词汇集合是否与标准词汇集合完全一致，根据匹配的程度来计算得分。
• -exec（执行得分）：“exec” 评估类型侧重于对某个操作、程序或任务执行结果的评估。比如在代码执行场景下，根据代码执行是否成功、执行结果是否符合预期等方面来计算得分。
• -all（两者兼具）：选择 “all” 意味着同时考虑精确集合匹配得分和执行得分，综合这两个方面来对对象进行评估。