分布式调度中间件xxl-job(一):初识Xxl-Job

2022-02-08 11:26:40 浏览数 (1)

人生苦短,不如养狗

  在上一篇常见分布式任务调度工具浅析中,简单地分析了一下目前比较热门的三个分布式调度中间件。今天,我们就从大众点评许雪里大佬开源的xxl-job开始学习。   什么?你问我为什么从xxl-job开始学习?别问,问就是简单,好学,易上手。

一、基本概念

  在上一篇文章中,闲鱼已经简要的介绍了一下xxl-job。这里我们再详细的介绍一下这款优秀的分布式调度中间件。   在开始xxl-job的学习之前,我们先来看三个作业调度的重要组成部分。

  • 作业:作业,也即是我们所说的任务,是需要计算机去执行的具体的业务逻辑。(操作系统中常用作业这样一个概念)
  • 调度器:调度器(Trigger),作业调度系统中重要组成部分,根据预设好的调度规则调用对应的执行器执行作业。
  • 执行器:执行器(Executor),作业调度系统中重要组成部分,接受调度器的调度,是具体作业的执行者。

  根据调度系统的架构不同,可以将作业调度分为:中心化和非中心化。

  • 中心化:中心化的调度系统存在调度中心的概念,所有的调度都是由调度中心进行统筹协调。
  • 去中心化:去中心化的调度系统没有调度中心的概念,所有的任务都能够实行自治,即自行判断是否要执行任务。

  在集群环境下,根据调度器作业调度方式不同,可以将作业调度分为:作业竞争和作业预分配。

  • 作业竞争:多个执行器竞争一个任务,同一个任务只能由一个执行器竞争获取然后执行。
  • 作业预分配:调度器预先分配好任务执行节点,不需要执行器进行竞争执行权。

二、什么是xxl-job

1. 简介

  xxl-job是大众点评许雪里开源的一款分布式调度中间件。根据上面的分类,xxl-job属于中心化、作业竞争的分布式调度中间件。下面是xxl-job最新版本的架构图:

  从上面的架构图中我们可以看到,在xxl-job中,作业调度是由调度中心来进行统筹协调的,在调度中心中进行调度器和执行器的管理和注册。同时为了调度中心能够感知到对应的作业,xxl-job还提供了服务注册和服务发现功能。执行器完成任务执行之后,会将执行结果回调给调度中心,用户可以在调度中心查看任务的执行结果。除了任务执行结果,通过xxl-job中提供的log api,调度中心还可以获得执行器的执行日志,用户可以很方便地在调度中心中查看对应任务的执行日志。   由于xxl-job是一个作业竞争的分布式调度中间件,这里它没有使用zookeeper,而是使用数据库。通过数据库锁来让每个执行器竞争任务的执行权,保证每个任务每次只有一个节点能够执行任务。

2. 功能特性

  在上面的小节中我们简单地介绍了xxl-job的架构和调度相关的功能。下面我们来具体看下对于业务系统而言,xxl-job集成了哪些非常优秀的功能:

  • 动态化:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效。
  • 事件触发:除了”Cron方式”和”任务依赖方式”触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。
  • Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志。
  • 脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本。
  • 自定义任务参数:支持在线配置调度任务入参,即时生效。
  • 邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件,除此以外,还提供了报警方式的扩展,比如钉钉机器人等。
  • 运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等。

  闲鱼这里挑选了一些业务系统可能较为关系的功能,其他的功能,大家可以到官方文档分布式任务调度平台XXL-JOB[1]中具体了解一下。   除了上述的功能,在调度中心中还可以查看每个应用下的任务列表。由于每个执行器(集群模式下为执行器组)会对应多个调度器,每个调度器是对应一个作业,所以可以通过执行器来检索出所有该执行器对应的调度器,也即任务。而在xxl-job中执行器则与对应的应用相关联,所以使用通过执行器就可以查出应用下所有的任务。具体如下图所示:

三、总结

  总的来看,xxl-job的学习难度和使用难度都相对较低,社区的活跃度也非常的高(看来大家都是喜欢简单易上手的)。相比弱化调度和运维中心概念的elastic-job,xxl-job的运维中心围绕业务系统的常见需求,集成了很多监控、管理和报表等相关的功能。这也是为什么闲鱼选择xxl-job而不是elastic-job来先进行研究学习。   由于网上有太多关于xxl-job安装使用的教程,下一篇我们就直接开始源码的学习。想了解xxl-job安装使用的同学可以自行查询文档。

参考资料

[1]分布式任务调度平台XXL-JOB: https://www.xuxueli.com/xxl-job/

0 人点赞