【国产】TASKCTL数据仓库ETL统一调度管控运维平台

2022-05-23 10:50:18 浏览数 (4)

概要:

调度管控是指运维监控人员对作业容器,和作业的人工干预过程。对于作业容器来说,可以进行启动、停止,暂停、取消暂停,重置,重载。以及重新设置作业容器的运行参数和并行度。对于作业来说,可以进行执行、运行依赖、中断、中断循环,禁用、禁用一次、启用,强制跳过,锁定,置顶优先级等操作。

​激活调度

激活调度特指启动具备自动化运行特征的作业容器:主控流及定时器。而不具备自动化运行特征的作业容器:作业流启动后,从开始到结束运行一次后就退出了,不适用激活概念。

列表中展示了主控流、定时器相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要激活的作业容器。在右侧操作面板中点击“立即激活”按钮,弹出“启动容器”执行窗口,点击“确认”按钮开始激活作业容器。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。请注意已经启动的作业容器不能再次激活。

​右侧操作面板还提供了设置作业容器运行变量值的快捷方式。

停止激活

停止激活也是特指停止具备自动化运行特征的作业容器:主控流及定时器。操作过程和前面“激活容器”类似,不再累述。停止方式有两种:

1.  停止:发起停止命令,并等待运行中的作业结束。

2.  停止并中断作业:发起停止命令,并尝试中断正在运行的作业。

​注:中断作业默认会调用系统命令杀死作业的程序进程。如果作业进程由第三方容器管理,则需要配置作业类型的停止插件,由停止插件调用第三方容器去中断程序进程。

并行度

作业容器的并行度用于控制其内部作业同时运行数量。是比平台节点并行度更细粒度的,控制作业并发运行的参数。列表中展示了作业容器当前的并行度。在“新并行度”单元格中输入数值,同时选定需要修改的作业容器数据行之后,在右侧操作面板中点击“确认重设”按钮,弹出“批量设置并行度”窗口,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

​变量维护

变量分为平台变量(只读),工程变量及作业容器的私有变量。在左侧的筛选范围区域,对变量按工程口径进行筛选。在变量列表的“重定义值”单元格中输入新值,同时选定需要修改的变量数据行之后,点击“确定”按钮弹出“修改变量”对话框,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

批量操作

批量操作是对作业容器进行批量“启动”“停止”“停止并中断”“重置”“重载”“暂停”“取消暂停”操作。列表中展示了所有类型作业容器的相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要操作的作业容器。在右侧操作面板中选择操作命令后,点击“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。

完毕后在“执行结果”栏中报告执行状态。操作方式详解如下:

1. 启动:以正常模式启动作业容器。

2. 停止:发起停止命令,并等待运行中的作业结束。

3. 停止并中断作业:发起停止命令,并尝试中断正在运行的作业。

4. 重置:设置所有作业运行状态为初始未运行状态(作业容器必须处于停止状态)。

5. 重载:加载最新发布的作业容器信息,并设置所有作业的运行状态为初始未运行状态。(作业容器必须处于停止状态)。

6. 暂停:作业容器运行完当前作业后,锁定不运行后续作业。

7. 取消暂停:将作业容器的暂停状态恢复政策,继续运行后续作业。

​作业管控

批量操作是对作业进行批量“执行”“运行依赖”“中断”“中断循环”“强制通过”“启用”“永久禁用”“禁用一次”“锁定”“解除锁定”“禁用日期计划”“启用日期计划”“置顶优先级”操作。

​点击“筛选条件”按钮,弹出筛选面板。快速筛选提供了常用作业运行状态和特性的快捷方式。还可以通过工程、容器类型和容器范围,作业类型,作业运行的平台节点,以及作业的运行状态等条件进行自定义筛选。

​列表中展示作业的属性和相关运行信息:所属工程,所属容器,名称,类型,描述和运行情况、运行代理。

在列表中选定(可多选)需要操作的作业。在右侧操作面板中选择操作命令后,点击“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

操作方式详解如下:

1. 执行:在作业容器启动的情况下执行作业。运行中的作业不能再次执行。通常用在自由模式启动的作业容器,及需要人工执行的作业。

2. 运行依赖:在作业容器启动的情况下,运行作业及后续依赖作业链。

3. 中断:中止当前正在运行的作业。中断成功后,作业呈“失败状态”。

4. 中断循环:中止正在循环的作业或模块。中断循环作业之后,作业呈“失败状态”。中断循环模块节点后,模块及其内部所有作业将呈“循环中断跳过”状态。

5. 强制通过:只能操作失败状态的作业。强制通过后,作业呈“强制通过”状态。

6. 启用:启用的作业能正常参与调度执行。

7. 永久禁用:永久跳过作业。跳过执行的作业呈“无效通过”状态。

8. 禁止一次:跳过下一次执行后恢复启用状态。跳过执行的作业呈“无效通过”状态。

9. 锁定:流程容器(主控流 / 作业流)运行到锁定作业,暂停执行该作业。流程容器处于暂停状态。

10. 解除锁定:如果流程容器因作业处于锁定状态而暂停,取消作业的锁定状态后流程容器将继续运行。

11. 禁用日期计划:取消作业period日期计划的调度策略。

12. 启用日期计划:恢复作业period日期计划的调度策略。

13. 置顶优先级:设置处于运行队列中的作业为最高优先级。

操作日志

记录了当前登录用户对平台内所有关键信息的操作日志。在工具栏中可按时间范围筛选日志信息。

运行分析

作业容器经过一段时期的调度运行之后,会生产出许多数据。如作业日志和历史记录,作业容器的日志和历史记录等。通过分析这些数据,能帮助用户更好的掌握调度平台使用情况,进一步提高平台的使用效率提供数据参考依据。

​产品官网:www.taskctl.com

1 人点赞