当前位置: 首页 > news >正文

flink常用算子整理

文章目录

  • 前言
  • 1.重新分配(即打散)
  • 2.合并流的算子
  • 3.算子链操作
  • 4.侧边输出(目前只有一种)
  • 5.键控进行分区
  • 6.输出算子
  • 7.其他基础操作算子
  • 8.其他常用的算子
  • 9.Flink窗口等情况
  • 10.窗口举例


前言

提示:以下是本篇文章正文内容,下面案例可供参考

1.重新分配(即打散)

在这里插入图片描述

2.合并流的算子

在这里插入图片描述

3.算子链操作

*算子链是指在Flink作业中,将多个算子(如map、filter、reduce等)连接在一起,形成一个链式结构。在分布式执行时,这些算子会被组合到一个任务(Task)中,由同一个线程执行。在flinkUI中展示一个节点(节点内包含许多合并的算子)。
在这里插入图片描述

4.侧边输出(目前只有一种)

1).getSideOutput
作用:getSideOutput 是一种用于获取侧输出(side output)的方法。侧输出允许你在处理过程中生成额外的输出流。
此算子目前已使用:例如上报中就有使用到,当有新的充值数据进来后,会再放一份数据到侧边输出中,方便后面上报处理。

5.键控进行分区

1).keyBy
作用:keyBy 是一种用于对流中的元素进行分区的操作(类似group by)。它根据指定的键将流中的元素划分到不同的逻辑分区中,以便后续的操作可以在每个分区上独立执行。
此算子目前已使用:需要基于某个键进行聚合或处理。目前有使用到,基于项目的键做处理。
2).partitionCustom
作用:允许用户根据自定义的分区策略对数据流进行分区。与 keyBy 不同,partitionCustom 可以让用户自定义控制数据如何分区。

6.输出算子

1).addSink
作用: addSink是一种用于向外部系统

http://www.xdnf.cn/news/273709.html

相关文章:

  • QT | 常用控件
  • 个人文章不设置vip
  • MySQL复合查询全解析:从基础到多表关联与高级技巧
  • 【Hive入门】Hive与Spark SQL深度集成:Metastore与Catalog兼容性全景解析
  • 视频转GIF
  • 网狐系列三网通新钻石娱乐源码全评:结构拆解、三端实测与本地部署问题记录
  • ResNet改进(37):DenseBlock模块实现
  • 游戏引擎学习第257天:处理一些 Win32 相关的问题
  • 【Python】一直没搞懂迭代器是什么。。
  • 【Linux】SELinux 的基本操作与防火墙的管理
  • C++负载均衡远程调用学习之上报功能与存储线程池
  • QT对象树
  • C++日志系统实现(二)
  • 三种方式存图分别输出“无向无权图”的“DFS序列”
  • 【PostgreSQL数据分析实战:从数据清洗到可视化全流程】3.2 缺失值检测与处理(NULL值填充/删除策略)
  • Spring MVC设计与实现
  • Win10下安装Linux-Ubuntu24.04双系统
  • 通讯协议开发实战:从零到一打造企业级通信解决方案
  • 第三方组件库:element-uiiviewVant
  • 《MATLAB实战训练营:从入门到工业级应用》工程实用篇-自动驾驶初体验:车道线检测算法实战(MATLAB2016b版)
  • LeetCode 热题 100 54. 螺旋矩阵
  • MVC 安全
  • 表驱动 FSM 在 STM32 上的高效实现与内存压缩优化——源码、性能与实践
  • 4个纯CSS自定义的简单而优雅的滚动条样式
  • 使用 IDEA + Maven 搭建传统 Spring MVC 项目的详细步骤(非Spring Boot)
  • 深入解析Linux进程间通信(IPC):机制、应用与最佳实践
  • 新一代智能座舱娱乐系统软件架构设计文档
  • 理解MAC-IP映射、ARP协议与ARP欺骗及防护
  • 个人健康中枢的多元化AI网络革新与精准健康路径探析
  • Spring Cloud Gateway MVC 基于 Spring Boot 3.4 以 WAR 包形式部署于外部 Tomcat 实战