目录
- 1 背景概述
- 2 集中式任务调度
- 3 分布式任务调度
- 3.1 集中式 的问题
- 3.2 解决
- 4 xxl-job 整体架构
- 5 案例使用
- 6 集群
- 7 路由策略(一致性哈希)
- 7.1 传统hash算法
- 7.2 传统hash算法问题
- 7.3 什么是一致性hash算法
1 背景概述
2 集中式任务调度
3 分布式任务调度
3.1 集中式 的问题
3.2 解决
4 xxl-job 整体架构
5 案例使用
1 先下载服务端,就是下载这个web的管理后台
我们自己写一个项目,这个项目就是执行器了,在新建的项目里面,将核心库引入
代码语言:javascript复制 <!-- xxl-job-core -->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>${project.parent.version}</version>
</dependency>
自己写业务,方法上写注解
代码语言:javascript复制 @XxlJob("自定义名称")
自己写一个yml,里面 的东西是
代码语言:javascript复制# web port
server.port=8081
# no web
#spring.main.web-environment=false
# log config
logging.config=classpath:logback.xml
### 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。
# 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";
# 为空则关闭自动注册;
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]:非空时启用;
### xxl-job, access token
xxl.job.accessToken=default_token
### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
### 执行器注册 [选填]:优先使用该配置作为注册地址,
# 为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。
# 从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### xxl-job executor server-info
### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,
# 该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和
# "调度中心请求并触发任务";
xxl.job.executor.ip=
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,
# 单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### xxl-job executor log-path
### 执行器运行日志文件存储磁盘路径 [选填] :
# 需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
### 执行器日志文件保存天数 [选填] : 过期日志自动清理,
# 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30
自己写一个配置类
代码语言:javascript复制package com.xxl.job.executor.core.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* xxl-job config
*
* @author xuxueli 2017-04-28
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP;
*
* 1、引入依赖:
* <dependency>
* <groupId>org.springframework.cloud</groupId>
* <artifactId>spring-cloud-commons</artifactId>
* <version>${version}</version>
* </dependency>
*
* 2、配置文件,或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}
自己的controller
代码语言:javascript复制@Component
public class SampleXxlJob {
private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
/**
* 1、简单任务示例(Bean模式)
*/
@XxlJob("demoJobHandler")
public void demoJobHandler() throws Exception {
XxlJobHelper.log("XXL-JOB, Hello World.");
System.out.println("第" "次");
for (int i = 0; i < 5; i ) {
XxlJobHelper.log("beat at:" i);
System.out.println("执行");
System.out.println(i);
TimeUnit.SECONDS.sleep(2);
}
// default success
}
以上的项目就是执行器项目,就完成了,之后打开管理中心,在管理中心里面进行配置
之后写任务,就是这个执行器项目里面有很多的任务,有的任务需要开启,有的需要关闭,那么每一个方法就是一个任务,那么每一个都需要单独的在这个管理平台进行注册
进行启动就可以了;
以上就开发完成了;就实现了定时功能了;
6 集群
就是我们的执行器项目,一下子部署了多个服务器上面,但是任务执行,只能同一个时间只能一个进行执行,这个就涉及到集群的 分布式调度、;
以上就配置好了集群 的模式;
7 路由策略(一致性哈希)
7.1 传统hash算法
7.2 传统hash算法问题
就是新增服务器节点,删除服务器节点,存储数据的时候,会根据节点个数进行重新计算,这个是会导致之前的缓存进行失效,会造成缓存雪崩;所以就引出了一致性的hash算法