基于Flink的用户画像 OLAP 实时数仓统计分析
1.基于Flink的用户画像 OLAP 实时数仓统计分析
-
数据源是来自业务系统的T日数据，利用kakfa进行同步
-
拼接多个事实表形成大宽表，优化多流Join方式，抽取主键和外键形成主外键前置层，抽取外键和其余内容形成融合层，将4次事实表关联优化称为1次关联，减轻shuffle带来的网络传输，降低延迟和关联state的存储压力
-
维表采用hbase，存储时采用hash打散rowkey，写入预分区中
HBase的默认RowKey设计可能导致数据集中在单一Region，易因RowKey分布不均导致RegionServer热点问题。通过散列算法（如MD5、SHA1或简单取模）为RowKey添加固定长度前缀，将数据均匀分散到不同Region中。 具体步骤：
优化效果：
-
散列前缀生成：例如，对用户ID取哈希值并取模（
hash(user_id) % N），生成固定长度的前缀（如00|、01|）。 -
预分区设计：根据散列范围预建Region，例如使用
HexStringSplit或自定义分区策略（如SPLITS => ['0|','1|','2|',...]），确保数据均匀分布 -
RowKey拼接：将散列前缀与原始RowKey拼接（如
hash_prefix + original_rowkey），写入HBase时自动路由到目标Region。 -
避免单一Region的写入/查询热点，提升并发吞吐量。
-
结合预分区减少Region Split频率，降低I/O开销
原rowkey hash化后的rowkey 506573390_1474947840000 ffcbf35613ec83d2ad15ea08576ec496_1474947840000
-
-
flink读取时只需要将截取后半段和rowkey关联就行
-
根据用户交易、评价等行为分析用户画像，定义flinkcep模式，计算用户风险等级
SELECT * FROM daily_metrics MATCH_RECOGNIZE ( PARTITION BY user_id ORDER BY window_start MEASURES SUM(A.daily_failed_trans) AS total_failed, SUM(B.daily_high_payment) AS total_high_payment, LAST(C.daily_negative_review) AS last_negative_review, CASE WHEN SUM(A.daily_failed_trans) >=1 AND SUM(B.daily_high_payment) >=1 AND LAST(C.daily_negative_review) >=1 THEN 'HIGH' ELSE 'LOW' END AS risk_level PATTERN (A+ B+ C) WITHIN INTERVAL '7' DAY -- 7天内模式匹配 DEFINE A AS daily_failed_trans >= 1, -- 至少1次失败交易 B AS daily_high_payment >= 1, -- 至少1次大额支付（金额>1万） C AS daily_negative_review >= 1 -- 至少1次差评（评分≤2） );
模式详解：
-
A+：匹配连续多日（≥1天）的失败交易 -
B+：匹配连续多日（≥1天）的大额支付 -
C：匹配最后1次差评事件 -
WITHIN限制整体时间窗口为7天 -
高风险用户写入redis中，提供接口供风控单位调用，全量用户写入doris，上层利用BI可视化工具提供OLAP服务