电商公司日活五十万、数据千万级,业务人员不会写 SQL,每个取数需求都要找开发——开发每天处理二十多个查数需求,报表从提需求到交付平均三天。AI 数据分析与智能报表平台(自然语言查数据:AI 生成 SQL、执行、出图、写解读)把这条路压到 30 秒。它的技术核心是 NL2SQL(自然语言转 SQL),也是本项目面试的主战场:准确率从 65% 做到 92% 的每一步都值得讲。
业务提问 → NLU意图识别(查询/对比/趋势/排名/占比)
→ NL2SQL生成SQL → 安全检查 → 执行
→ 结果解读(LLM) → 图表推荐 → 对话式追问
存储:MySQL(OLTP) / ClickHouse(OLAP) / ES(日志)
NL2SQL 五步流水线:Schema 理解(提取表名、字段、注释、外键构建 Schema Prompt);意图识别(不同意图套不同 SQL 模板);SQL 生成(Schema Prompt+Few-Shot 示例喂给 LLM);SQL 校验(语法检查+安全检查+执行计划分析);结果后处理(LLM 生成自然语言解读)。
库里有五十多张表,全塞进 Prompt 必爆上下文窗口,而且表越多模型越容易选错表。解法是动态选表:关键词匹配(「销售额」命中订单表与销售表)+ 向量检索(问题 Embedding 后与表注释向量比对)+ 历史偏好(用户常查的表提权),最终只选五张最相关的表进 Prompt。Schema Prompt 的写法是给足业务语义:表名之外,每个字段写业务含义(amount: 订单金额(元);status: 状态(paid/cancelled/refunded)),再注入当前时间(「上个月」的锚点)。Few-Shot 是第二根支柱:给三到五个典型「问题→SQL」对,模型照葫芦画瓢的准确率远高于零样本——22.2 的 few-shot 技巧在这里不是理论是 KPI。两条优化合计把准确率从 65% 拉到 85% 以上。
自然语言进、SQL 出,意味着注入面与破坏面同时打开,防线四道:只允许 SELECT(白名单校验,DELETE/UPDATE/DROP/INSERT/ALTER/TRUNCATE 全拦截,且必须以 SELECT 开头);强制 LIMIT(没有就自动补 LIMIT 1000,防止返回百万行拖垮服务);执行计划检查(EXPLAIN 后 type 为 ALL 的全表扫描直接拒绝——9.6 的慢 SQL 治理前移为前置闸门);权限三层(表级:用户只能查授权表;行级:自动追加 AND region_id=用户区域;字段级:手机号身份证自动脱敏)。最后还有一道人工闸:金额与隐私类高风险查询先预览 SQL、用户确认再执行。四道闸的顺序也有讲究——白名单与 LIMIT 是零成本的机械检查放最前,EXPLAIN 要真实解析执行计划放中间,人工确认最贵放最后兜底:防线的顺序就是成本的阶梯。
业务数据在 MySQL、分析数据在 ClickHouse、日志在 ES,统一查询层按语义路由:含趋势/对比/排名/统计走 ClickHouse,订单详情/用户信息走 MySQL,日志/报错走 ES。为什么分库是 9.7 的老问题在分析场景的重演:MySQL 做千万级聚合要十秒以上还威胁线上事务,ClickHouse 列存聚合百毫秒内完成——OLTP 保事务一致性,OLAP 保秒级分析,路由让业务无感。缓存两层:语义缓存(「上月销售额」与「上个月卖了多少钱」相似度 0.96 命中同一结果)与热门预计算(Top20 高频问题每小时定时算好,命中延迟低于 100ms)——缓存命中率 35%,平均查询延迟从 3 秒降到 1 秒。
对话式追问靠意图补全:「按品类拆分呢」结合历史先补全为完整问题「上个月各品类销售额分别多少」,再走 NL2SQL——与 26.2 的查询改写同一个技巧。剩下 8% 的错误处理见真章:执行失败的 SQL 返回错误并建议换种说法;结果不对允许用户手改 SQL;失败案例记入 Few-Shot 反面示例池滚动优化;评测用 200 条标注的(问题, SQL)对自动跑分加百例人工抽检——25.4 的 Golden Set 方法原样搬来。
查询结果的最后一公里是「让人看懂」。图表推荐用规则与 AI 双轨:两列数值走折线或柱状、分类加数值走饼图排名、时间序列必折线、地理维度上地图——规则先兜底,拿不准再让 LLM 从列名与数据形态里选。智能报告是第二步:LLM 基于查询结果生成三段式解读(总体趋势、异常点、建议动作),运营例会直接引用。这里有个容易被问的细节:解读 Prompt 里要同时给「问题、SQL、数据」三样——只给数据它会泛泛而谈,给了 SQL 它知道你统计的口径(paid 状态、时间边界),解读才与数字严丝合缝。预计算任务的调度走 XXL-Job 风格的定时器,每小时重算 Top20 热门问题,热门的定义按「近七天提问频次」滚动统计——预计算的本质是把在线计算搬到离线,11.1 与 13.4 的异步思想又一次客串。
| 指标 | 改造前 | 改造后 |
|---|---|---|
| 取数周期 | 3 天 | 30 秒 |
| NL2SQL 准确率 | — | 92% |
| 开发日均取数需求 | 20+ | 3(仅复杂) |
| 报表生成 | 半天 | 1 分钟 |
踩坑清单:五十张表全塞 Prompt(动态选五张,选表比调参重要);零样本直接生成(Few-Shot 三到五例必备);生成的 SQL 直接执行(白名单+LIMIT+EXPLAIN 三闸);「上个月」没有时间锚(当前时间注入 Prompt);聚合查询打 MySQL(OLAP 走 ClickHouse);行级权限靠自觉(自动追加 WHERE 条件);失败案例不回收(反面示例进 Few-Shot 池)。
NL2SQL 平台的本质是把取数能力从开发手里移交到业务手里:Schema 选表与 Few-Shot 决定准头、四道安全闸决定敢用、多源路由与缓存决定好用——30 秒对 3 天的差距,全在工程细节里。