Debezium系列之:Flink SQL消费Debezium数据,只消费新增数据,过滤掉更新、删除数据
Debezium系列之:Flink SQL消费Debezium数据,只消费新增数据,过滤掉更新、删除数据
- 一、需求背景
- 二、Flink SQL创建Kafka源表
- 三、解析after字段的SQL查询
一、需求背景
- 消费debezium采集数据生成的表级别topic,源表有增删改场景,需求是只消费新增数据,过滤掉更新、删除数据,只把新增数据同步到下游mysql表或者iceberg表
二、Flink SQL创建Kafka源表
这是一个Flink SQL创建Kafka源表的语句,用于从Kafka主题中消费数据并进行实时处理。
CREATE TABLE soure_kafka1 (payload string,op AS JSON_VALUE(payload, '$.op'),