xxl-job 任务调度 项目的学习(框架使用步骤)

2022-06-14 12:48:57 浏览数 (1)

目录

  • 1 背景概述
  • 2 集中式任务调度
  • 3 分布式任务调度
    • 3.1 集中式 的问题
    • 3.2 解决
  • 4 xxl-job 整体架构
  • 5 案例使用
  • 6 集群
  • 7 路由策略(一致性哈希)
    • 7.1 传统hash算法
    • 7.2 传统hash算法问题
    • 7.3 什么是一致性hash算法

1 背景概述

2 集中式任务调度

3 分布式任务调度

3.1 集中式 的问题

3.2 解决

4 xxl-job 整体架构

5 案例使用

1 先下载服务端,就是下载这个web的管理后台

我们自己写一个项目,这个项目就是执行器了,在新建的项目里面,将核心库引入

代码语言:javascript复制
        <!-- xxl-job-core -->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>${project.parent.version}</version>
        </dependency>

自己写业务,方法上写注解

代码语言:javascript复制
    @XxlJob("自定义名称")

自己写一个yml,里面 的东西是

代码语言:javascript复制
# web port
server.port=8081
# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml

### 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。
# 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";
# 为空则关闭自动注册;
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]:非空时启用;
### xxl-job, access token
xxl.job.accessToken=default_token

### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
### 执行器注册 [选填]:优先使用该配置作为注册地址,
# 为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。
# 从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### xxl-job executor server-info

### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,
# 该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和
# "调度中心请求并触发任务";
xxl.job.executor.ip=
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,
# 单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### xxl-job executor log-path
### 执行器运行日志文件存储磁盘路径 [选填] :
# 需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
### 执行器日志文件保存天数 [选填] : 过期日志自动清理,
# 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30

自己写一个配置类

代码语言:javascript复制
package com.xxl.job.executor.core.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP;
     *
     *      1、引入依赖:
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件,或者容器启动变量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、获取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */


}

自己的controller

代码语言:javascript复制
@Component
public class SampleXxlJob {
    private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);


    /**
     * 1、简单任务示例(Bean模式)
     */
    @XxlJob("demoJobHandler")
    public void demoJobHandler() throws Exception {
        XxlJobHelper.log("XXL-JOB, Hello World.");

        System.out.println("第" "次");

        for (int i = 0; i < 5; i  ) {
            XxlJobHelper.log("beat at:"   i);
            System.out.println("执行");
            System.out.println(i);
            TimeUnit.SECONDS.sleep(2);
        }
        // default success
    }

以上的项目就是执行器项目,就完成了,之后打开管理中心,在管理中心里面进行配置

之后写任务,就是这个执行器项目里面有很多的任务,有的任务需要开启,有的需要关闭,那么每一个方法就是一个任务,那么每一个都需要单独的在这个管理平台进行注册

进行启动就可以了;

以上就开发完成了;就实现了定时功能了;

6 集群

就是我们的执行器项目,一下子部署了多个服务器上面,但是任务执行,只能同一个时间只能一个进行执行,这个就涉及到集群的 分布式调度、;

以上就配置好了集群 的模式;

7 路由策略(一致性哈希)

7.1 传统hash算法

7.2 传统hash算法问题

就是新增服务器节点,删除服务器节点,存储数据的时候,会根据节点个数进行重新计算,这个是会导致之前的缓存进行失效,会造成缓存雪崩;所以就引出了一致性的hash算法

7.3 什么是一致性hash算法

0 人点赞