当前位置: 首页 > news >正文

Flink作业执行的第一步:DataFlow graph的构建

本文重点

在前面的课程中,我们学习了算子的概念,我们可以将Flink程序简单的理解为算子的逻辑组合,数据在一系列算子操作中流动,最终完成数据的处理。在运行的时候,客户端会将所有的算子按照逻辑顺序连接起来构成一张图,这张图就叫做“逻辑数据流”(logical dataflow),或者叫“数据流图”(DataFlow graph)。

DataFlow graph 

DataFlow graph的构建是Flink作业执行的第一步,它是在Flink程序被提交到Flink集群之前完成的。

Flink中的DataFlow graph是指Flink程序的执行计划,它描述了Flink作业中的数据流以及数据流之间的转换和操作。DataFlow graph是Flink作业的逻辑表示,通过它可以清晰地了解Flink程序的数据流动和处理逻辑。

在Flink中,DataFlow graph(数据流图)是一个表示Flink程序执行流程的有向无环图(DAG)。它由一组连接的算子(operators)和数据流边(stream edges)组成。DataFlow graph描述了Flink程序中的数据流,其中每个算子代表一个数据转换操作,算子之间的数据流边表示数据在算子之间的传递。

在DataFlow graph中,以一个或多个源(source)开始,并以一个或多个汇(sink)结束。在数据源算子和输出算子之间还可以包含一些特殊的算子,比如转换算子用

http://www.xdnf.cn/news/1315621.html

相关文章:

  • nodejs 错误处理
  • Gradle快速入门学习
  • 数据结构初阶(19)外排序·文件归并排序的实现
  • 机器学习案例——对好评和差评进行预测
  • error #include<cuda_runtime_api.h>解决方案
  • Java基础 8.17
  • 2023年全国研究生数学建模竞赛华为杯F题强对流降水临近预报求解全过程文档及程序
  • RAG 分块中表格填补简明示例:Markdown、HTML、Excel、Doc
  • 机器学习--数据清洗
  • 北京JAVA基础面试30天打卡12
  • STM32CUBEMX配置stm32工程
  • 五、redis入门 之 客户端连接redis
  • Go语言并发编程 ------ 临界区
  • 批次号规则
  • Mac(四)自定义按键工具 Hammerspoon 的安装和使用
  • FX10/20 (CYUSB401X)开发笔记5 固件架构
  • 基于DSP+ARM+FPGA架构的储能协调控制器解决方案,支持全国产化
  • 【完整源码+数据集+部署教程】无人机航拍视角洪水检测与受灾房屋识别图像分割救援指导系统源码和数据集:改进yolo11-DCNV2
  • Tomcat下载、安装及配置详细教程
  • STL 容器
  • Kotlin集合概述
  • 第16节:自定义几何体 - 从顶点构建3D世界
  • 【MySQL学习|黑马笔记|Day7】触发器和锁(全局锁、表级锁、行级锁、)
  • 《Python学习之文件操作:从入门到精通》
  • Linux 服务:iSCSI 存储服务配置全流程指南
  • Java基础面试题(3)—Java(String字符串的存储方式,字面量)
  • 链表OJ题讲解---试金石含金量
  • 6个日常工作中常用的工作法:清单工作法、PDCA循环、SMART原则、6W2H 分析法等方法
  • CSS中linear-gradient 的用法
  • 《Vuejs设计与实现》第 14 章(内建组件和模块)