waterdrop介绍

Waterdrop
Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。

Waterdrop尽所能为您解决可能遇到的问题：
数据丢失与重复
任务堆积与延迟
吞吐量低
应用到生产环境周期长
缺少应用运行状态监控

Waterdrop 使用场景
海量数据ETL
海量数据聚合
多源数据处理

Waterdrop 的特性
简单易用，灵活配置，无需开发
实时流式处理
高性能
海量数据处理能力
模块化和插件化，易于扩展
支持利用SQL做数据处理和聚合
Spark Structured Streaming
支持Spark 2.x

Waterdrop 支持的插件
Input/Source plugin
Fake, File, Hdfs, Kafka, S3, Socket, 自行开发的Input plugin

Filter/Transform plugin
Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行开发的Filter plugin

Output/Sink plugin
Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行开发的Output plugin

环境依赖
java运行环境，java >= 8

如果您要在集群环境中运行Waterdrop，那么需要以下Spark集群环境的任意一种：

Spark on Yarn
Spark Standalone
Spark on Mesos
如果您的数据量较小或者只是做功能验证，也可以仅使用local模式启动，无需集群环境，Waterdrop支持单机运行。

https://interestinglab.github.io/waterdrop/#/zh-cn/v2/
https://github.com/InterestingLab/waterdrop

clickhouse
clickhouse及后在那个HDFS、Kafka
https://clickhouse.tech/docs/zh/engines/table-engines/integrations/hdfs/

hangout

PostgreSQL
对象型关系数据库