Apache DolphinScheduler使用学习文档

2022-11-13 13:20:10 浏览数 (1)

目录

一、介绍

二、架构

三、参考资料

四、功能模块

1、页面

2、资源中心

3、数据质量 

4、数据源中心

5、监控中心

6、安全中心

7、项目管理


一、介绍

Apache DolphinScheduler是一个分布式去中心化易扩展的工作流任务调度系统。

二、架构

三、参考资料

shell

api:

http://10.9.255.239:12345/dolphinscheduler/doc.html?language=zh_CN&lang=cn

四、功能模块

1、页面

环境:ds 2.0.5

环境:ds 3.0.x

2、资源中心

3、数据质量 

ds 3.0版本才有

4、数据源中心

5、监控中心

6、安全中心

ds 3.0版本才有

7、项目管理

1.创建好项目后进入,可进行工作流的创建

 2.选择【工作流定义】-【创建工作流】,可以看到支持很多组件,包含数据采集工具【sqoop】【datax】,及脚本开发【python】【sql】【shell】等,还有调度依赖【sub_process】(可配置工作流为子节点实际调度执行)【dependent】(只判断配置的实例有没有执行成功,不会实际调度任务执行)

 3.创建完成后保存发布,点击【工作流定义】,可看到已经创建好的工作流【test_demo】

 4.点击【上线】

5.配置定时任务,配置调度时间

6.执行或补数

7.查看工作流执行状态及任务状态及日志

0 人点赞