当前位置: 首页 > web >正文

Flink是如何实现物理分区?

本文重点

前面课程中我们学习了keyby逻辑分区,但是它无法控制数据究竟分到哪个区,也无法保证数据分配的均匀,本文我们学习物理分区。

物理分区

物理分区可以准确的告知流中的每一个数据元素去哪个分区。keyBy之后得到的是一个 KeyedStream,而物理分区之后结果仍是DataStream,这是二者的区别。

常见的物理分区策略有随机分配(Random)、轮询分配(Round-Robin)、重缩放(Rescale) 和广播(Broadcast)、全局分区、自定义分区。

随机分配(shuffle)

随机分配的意思就是每个元素数据经过shuffle之后,随机的分配到下游算子的并行任务中去。

代码:

package flink.test2;import flink.test.ClickSource;
import flink.test.pojo.Event;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class ShuffleTest {public static void
http://www.xdnf.cn/news/16449.html

相关文章:

  • 39.Python 中 list.sort() 与 sorted() 的本质区别与最佳实践
  • C语言开发工具Win-TC
  • Python+Selenium+Pytest+POM自动化测试框架封装
  • C++高效实现AI人工智能实例
  • Flutter开发实战之原生平台集成
  • Flutter开发实战之动画与交互设计
  • 06-ES6
  • Ubuntu22.04提示找不到python命令的解决方案
  • Java 注解(Annotation)详解:从基础到实战,彻底掌握元数据驱动开发
  • 微信小程序 自定义带图片弹窗
  • Windows Server容器化应用的资源限制设置
  • 用户中心项目部署上线03
  • 基于FPGA的SPI控制FLASH读写
  • 服务器:数字世界的隐形引擎
  • JavaScript里的string
  • 使用Python实现单词记忆软件
  • Zookeeper的简单了解
  • 兼容性问题记录
  • Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现轮船检测识别(C#代码UI界面版)
  • 【C/C++】Undefined reference: memset_s
  • 港股历史逐笔十档分钟级订单簿行情数据分析
  • 黑屏运维OceanBase数据库的常见案例
  • 【算法】前缀和经典例题
  • Kubernetes 监控完全指南:PromQL 通用查询与最佳实践
  • Claude 4.0 终极编程指南:模型对比、API配置与IDE集成实战
  • 深度解析【JVM】三大核心架构:运行时数据区、类加载与垃圾回收机制
  • OGG同步Oracle到Kafka不停库,全量加增量
  • 《汇编语言:基于X86处理器》第9章 编程练习
  • 新房装修是中央空调还是壁挂空调好?
  • 背包DP之完全背包