如何通过ETLCloud做数据监听

许多企业为数据库日志解析而头痛，时常因为技术瓶颈，无法保证数据的实时性和一致性。

今天我们为您推荐一款新一代数据集成平台——ETLCloud。这款平台通过可视化的CDC配置能力和开箱即用的链接器，可帮助企业快速完成数据库日志解析，构建高可靠的数据实时管道。

本文将为您深入解析，如何通过ETLCloud快速落地CDC方案，释放实时数据的战略价值。

一、准备工作

1.本地部署ETLCLoud。

2.源库和目标端数据库。

3.源端数据库开启CDC功能，具体开启方法可以参考etlcloud官网帮助文档。

二、配置数据源

首先要配置好数据源，来到平台首页，进入数据源管理模块。

首先创建源端数据库的数据源，这里要监听mysql数据库，所以创建mysql的数据源。

同理创建目标表的数据源链接，这里是sqlserver的数据源。

**二、**创建监听器

创建好数据源后，来到平台首页，进入实时数据集成模块，准备创建数据库监听器。

新建监听器，配置监听器。

启动配置好的监听器。

上面这种情况是做单纯的增量同步，但如果需要对数据进行处理的话，直接传输的模式就不适用了，需要使用传输到etl功能，比如需要监听源表变更的同时打宽源表的数据。

比如这是源表

这是关联表

目标表数据：

这里的需求是，源表监听到数据，要根据id字段值从关联表查出数据并进行leftjoin，最后把合并的数据输出到目标表。
首先先在离线数据集成新建一个etl流程：

配置一个如图的流程：

双流join合并组件配置：

可以预览一下合并后的字段：

创建监听器：

配置完成后启动监听器：

源表新增一条数据：

来到etl流程页面

流程成功运行：

以上便是通过ETLCloud做数据监听的示例，如果源表和目标表的结构一致，我们可以选择监听器的直接传输方式，但当源表与目标表的结构不一致的情况下，可以使用传输到etl流程的方式，并在etl流程配置数据处理的流程。如果源表变更的数据量太大，平台处理速率跟不上的情况还可以选传输到kafka的方式，将变更的数据传到kafka里面再进行消费。