当前位置: 首页 > ops >正文

启动Flink SQL Client并连接到YARN集群会话

该命令用于启动Flink SQL Client,并连接到YARN集群会话:

${FLINK_HOME}/bin/sql-client.sh embedded -i ${FLINK_HOME}/conf/sql-client-init.sql -s yarn-session

各部分含义如下:

  1. 核心执行文件
  • ${FLINK_HOME}/bin/sql-client.sh:Flink SQL Client启动脚本
    ${FLINK_HOME}:Flink安装目录的环境变量
    sql-client.sh:Flink SQL交互客户端的可执行脚本
  1. 运行模式参数
  • embedded:指定SQL Client以嵌入式模式运行
    – 特点:客户端与Flink集群在同一进程内启动
    – 适用场景:开发调试、单机测试或轻量级作业
    – 对比:remote模式需连接独立部署的Flink集群
  1. 初始化脚本参数
  • -i ${FLINK_HOME}/conf/sql-client-init.sql:指定启动时执行的初始化SQL文件
    – 作用:预加载SQL语句(如创建表、设置配置、注册函数等)
    – 示例场景:
-- sql-client-init.sql可能包含的内容
CREATE TABLE user_log (...); -- 预定义表结构
SET 'execution.checkpointing.interval' = '10s'; -- 设置检查点间隔
  1. 执行环境参数
  • -s yarn-session:指定在YARN会话模式下运行Flink作业
    工作原理:连接到已创建的YARN Session集群(需提前通过yarn-session.sh启动)
    .
    .
    优势
    …资源复用:多个作业共享同一YARN会话资源
    …快速提交:避免每次作业启动时的YARN资源申请开销
    …集群管理:由YARN负责资源调度和容器管理
    .
    .
    执行流程
    …1.解析${FLINK_HOME}环境变量定位Flink安装目录
    …2.以嵌入式模式启动SQL Client进程
    …3.执行初始化脚本sql-client-init.sql,完成环境准备
    …4.连接到YARN集群中的现有会话(需确保yarn-session已提前启动)
    …5.进入交互式SQL命令行界面,可直接输入Flink SQL语句执行
    .
    .
  • 注意事项
  • 需提前启动YARN Session:${FLINK_HOME}/bin/yarn-session.sh -n 2 -s 4(2个TaskManager,每个4个slot)
  • 初始化脚本路径需存在且有执行权限
  • 适用于Flink 1.11+版本,低版本可能参数名称不同(如旧版本用-m yarn-cluster
http://www.xdnf.cn/news/18574.html

相关文章:

  • 拓展:simulink中将仿真环境离散化
  • K8S的部署与常用管理
  • VS2022的MFC中关联使用控制台并用printf输出调试信息
  • Redis 高可用篇
  • rust语言 (1.88) egui (0.32.1) 学习笔记(逐行注释)(十四)垂直滚动条
  • HarmonyOS实战(DevEco AI篇)—深度体验DevEco CodeGenie智能编程助手
  • 算法训练营day60 图论⑩ Bellman_ford 队列优化算法、判断负权回路、单源有限最短路(修改后版本)
  • `strcat` 字符串连接函数
  • 蔬菜溯源系统的开发与设计小程序
  • 新疆地州市1米分辨率土地覆盖图
  • Placement new是什么
  • 这也许就是DeepSeek V3.1性能提升的关键:UE8M0与INT8量化技术对比与优势分析
  • Python Excel
  • 何为‘口业’,怎么看待它
  • C++哈希表:unordered_map与unordered_set全解析
  • 搜索算法在实际场景中的应用
  • 基于ResNet50的血细胞图像分类模型训练全记录
  • 【Kubernetes知识点】Pod调度和ConfigMaps
  • 结构主义神话学的范式突破与后现代转向:从二元对立到数字神话素的符号学革命
  • 【深入理解 Linux 网络】收包原理与内核实现(下)应用层读取与 epoll 实现
  • 20250823解决荣品RD-RK3588-MID开发板在充电的时候大概每10s屏幕会像水波纹闪烁一下
  • douyin_search_tool:用python开发的抖音关键词搜索采集软件
  • 使用tensorRT10部署yolov5实例分割模型(2)
  • k8s总结
  • HTTP的状态码有哪些,并用例子说明一下
  • DS18B20温度传感器详解
  • 注意力机制:捕获长距离依赖关系的革命性技术
  • chapter06_应用上下文与门面模式
  • 每日算法题【链表】:链表的中间节点、返回倒数第k个节点、合并两个有序链表
  • MySQL优化器追踪(Optimizer Trace)详解