当前位置: 首页 > news >正文

kettle从入门到精通 第101课 ETL之kettle DolphinScheduler调度kettle

1、下载DolphinScheduler

DolphinScheduler官网下载安装包,选择合适的版本进行下载,地址为

https://dolphinscheduler.apache.org/zh-cn/docs/3.1.9/guide/installation/standalone

 2、启动 DolphinScheduler Standalone Server

我这里仅仅为了测试使用,启动的是Standalone模式且数据库是H2。注意重启服务后数据会清空。

命令如下:

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 3、登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

 4、租户配置

海豚调度中的租户必须是操作系统的用户,不能随意填写,否则执行工作流时会失败。

 5、用户配置租户

admin用户默认是没有租户的,点击编辑按钮关联我们设置的租户。

 6、创建项目

海豚调度顶层资源隔离是项目,我们这里创建一个项目,名称为Java小金刚测试项目。

 7、创建工作流

点击项目名称即可创建工作流,一个项目有多个工作流。

我这里演示的是使用http调用kettle中的job,job名字为test.kjb,主要设置参数有Authorization、Content-Type、rep、job、level。

 点击保存,然后关联我们之前创建的租户。此时工作流默认状态为下线是无法运行的,点击红色按钮即可上线&运行。

8、查看运行记录

点击任务实例可以查看运行的记录,状态为成功。

 点击2查看详细的运行日志

 查看carte日志,也是运行成功

 写在最后

海豚调度支持quarzt cron方式,使用的时候可以自己摸索下。

另外在使用shell方式调度kettle的时候,提示jdk路径错误,有可能因为我使用电脑我mac的原因,有使用shell方式调度的欢迎评论区留言。

+0000 - -> /opt/java/openjdk
/Users/xxx/Documents/kettle/pdi/pdi-ce-9.3.0.0-428/data-integration/spoon.sh: line 278: /opt/java/openjdk/bin/java: No such file or directory

http://www.xdnf.cn/news/1110709.html

相关文章:

  • 怎么在ComfyUI中查看别人训练的lora模型训练参数
  • 面试150 翻转二叉树
  • 26-计组-寻址方式
  • Git企业级开发(最终篇)
  • 手把手教你用YOLOv10打造智能垃圾检测系统
  • SpringBootloggers未授权访问漏洞处理
  • Java使用Langchai4j接入AI大模型的简单使用(四)--整合Springboot
  • 12.使用VGG网络进行Fashion-Mnist分类
  • 让 VSCode 调试器像 PyCharm 一样显示 Tensor Shape、变量形状、变量长度、维度信息
  • CSS flex
  • 安卓定制功能
  • 外设数据到昇腾310推理卡 之二dma_alloc_attrs
  • Linux系统编程——目录 IO
  • 理解小数的计算机表达
  • PyTorch神经网络实战:从零构建图像分类模型
  • 脉冲神经网络膜电位泄漏系数学习:开启时空动态特征提取的新篇章
  • 复现永恒之蓝
  • Linux - 安全排查 3
  • 飞算JavaAI:重新定义Java开发效率的智能引擎
  • python-for循环
  • 【TA/Unity】Shader基础结构
  • 强化学习、PPO和GRPO的通俗讲解
  • 创客匠人:解析创始人 IP 打造对知识变现的深层赋能
  • os.machine()详解
  • vue3 el-table动态表头
  • 菜鸟的C#学习(二)
  • TDengine 使用最佳实践(1)
  • hot100链表(1)
  • 工业软件出海的ERP-PLM-MES一体化解决方案
  • 自动化运维工具jenkins问题