Kafka + Flink + Spark 构建实时数仓全链路实战

本文聚焦如何通过 Kafka + Flink + Spark 构建一套稳定、可扩展、可插拔的实时数仓体系。覆盖从数据接入、实时清洗、指标计算，到离线补数、数据一致性保障的完整链路设计，结合实践样例提供可复制的落地方法。

🧱 一、架构总览

          ┌────────────┐│  数据源    ││  CDC / API │└────┬───────┘│[Kafka 多 Topic]│┌────────┴─────────┐│                  │
┌─────▼──────┐    ┌──────▼──────┐
│ Flink 实时层 │    │ Spark 离线层 │
│ - 数据清洗   │    │ - 离线补数   │
│ - 字段标准化 │    │ - 全量快照   │
│ - 指标聚合   │    │ - 批量校验   │
└─────┬──────┘    └──────┬──────┘│                  │└────┬─────────────┘│┌────▼────┐│ DWD/DWS │ ← 分层输出└────┬────┘│┌───▼────┐│