Flink + Kafka 数据血缘追踪与审计机制实战
一、引言
在实时数据系统中，“我的数据从哪来？去往何处？” 是业务方最关心的问题之一。
尤其在以下场景下：
-
📉 金融风控：模型出现预警，需回溯数据源链路。
-
🧾 合规审计：监管要求提供数据全流程路径。
-
🛠 运维排查：Kafka Topic 数据乱序或错发后快速定位来源。
因此，构建一套数据血缘追踪与审计机制，对稳定、高可用、可观测的实时数据平台至关重要。
二、实时数仓中常见的数据血缘诉求
| 场景 | 血缘粒度 | 举例 |
|---|---|---|
| 数据来源标识 | 数据级别 | 明确某条日志来自哪个设备、哪种业务 |
| 加工链路记录 | 算子级别 | 记录 Flink 中每道转换过程（如字段计算、过滤） |
| 多层 Topic 血缘 | 表级别 | 明确某指标来源于哪些 Topic/表 |
| 稽核审计支持 | 时间戳/任务级别 | 支持特定时间段的数据回溯 |