(一)定时任务的场景:
在开发中,定时任务是一种十分常见的应用场景,比如每天晚上12点同步数据,又或者每隔一个小时拉取一次数据。
在Java中,实现定时任务的方式有很多,最简单的在线程中通过Thread.sleep睡眠线程,或者采用SpringBoot中的@Schedule注解,又或者采用定时线程池ScheduledExecutorService来实现。
(二)问题:
在集群环境下,如果不对代码作控制,就会导致集群的每一台机器都会执行一次定时任务。并且我们无法动态地控制定时任务的运行和停止。
(三)使用xxl-job
常见的分布式任务调度框架有:quartz、elastic-job、xxl-job,这里我们就使用xxl-job
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用
执行sql语句:tables_xxl_jobs.sql
下载后解压,然后使用idea导入现有模块导入该项目
按需修改application.properties的配置
一般只需要修改数据库连接地址和数据库密码为自己的即可(上述执行的sql语句会创建一个新的数据库xxl_job)
如果需要发送邮件,则需要有开启了25端口的搭建了smtp服务的服务器,或者使用腾讯、163邮箱。
accessToken为调度器连接到调度中心时,所配置的accessToken必须和调度中心的accessToken一致
配置完成过后启动xxl-job-admin
(调度中心默认启动端口是8080,这里我修改为了9090)
然后就可以通过:http://localhost:9090/xxl-job-admin 进入任务调度中心页面了
一次简单的使用步骤
- 创建一个Springboot项目,并添加xxl-job-core的依赖
<!--XXL-JOB-->
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.3.1</version>
</dependency>
- 在application.properties或者application.yml文件中配置xxl-job-admin的地址和执行器的基本信息
xxl:
job:
admin:
addresses: http://127.0.0.1:9090/xxl-job-admin
accessToken: default_token
executor:
#appname为我们在调度中心执行器管理中存在的执行器(需要手动创建)
appname: community-controller
#置空则自动获取当前机器的ip地址
address: ''
#执行器的注册地址,也就是调度地址,不写会使用和address一样的地址
ip: ''
port: 9999
logpath: /data/applogs/xxl-job/jobhandler
logretentiondays: 30
- 创建XxlJobConfig配置类
package cc.oolo.config;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
@RefreshScope
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP;
*
* 1、引入依赖:
* <dependency>
* <groupId>org.springframework.cloud</groupId>
* <artifactId>spring-cloud-commons</artifactId>
* <version>${version}</version>
* </dependency>
*
* 2、配置文件,或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}
配置完成后启动该Springboot,如果在调度中心OnLine机器地址中出现了该服务的ip地址和端口号,那么说明该服务已经注册到了调度中心
- 编写任务处理类,用@XxlJob注解标注方法名
package cc.oolo.job;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.stereotype.Component;
import java.util.Date;
@Component
public class SimpleXxlJob {
@XxlJob("demoJobHandler")
public void jobSimple() {
System.out.println("执行定时任务"+new Date());
}
}
然后重启该项目
- 在xxl-job-admin管理界面菜单上点击新增,并设置调度参数和触发规则
设置完成后保存,回到任务管理菜单后,启动该任务,我们就可以看到控制台打印定时任务的字符串了
glue运行模式
刚刚我们使用的运行模式是bean模式
- bean模式是基于类或方法的开发方式,每个任务对应一个类或方法,需要在执行器端编写和部署代码,支持自动扫描任务并注入到执行器容器。
- glue模式是基于脚本的开发方式,每个任务对应一个脚本,支持Java、Shell、Python、PHP、Nodejs、PowerShell等语言,可以直接在调度中心维护和运行代码,不需要在执行器端部署。
- bean模式的优点是方便快速,缺点是要求Spring容器环境,且每个任务需要占用一个类或方法。
- glue模式的优点是灵活多样,缺点是性能较低,且不支持IDEA等开发工具的智能提示和调试功能。
现在我们演示一下glue模式
首先新建一个任务:运行模式选择GLUE模式,每秒执行一次
保存后找到该任务,点击操作->GLUE IDE,就可以打开一个在线的ide编辑器,在这个execute方法里面,就是我们所需要运行的定时任务
需要注意的是,glue模式默认并不支持直接注入dubbo服务。
xxl-job路由策略
路由策略,也就是对执行器的负载均衡
如果我们的环境为集群环境,那么就有多个执行器被注册到xxl-job,那么路由策略就是从执行器集群种选出执行定时任务的执行器的策略,xxl-job有10种路由策略
- 第一个:选择执行器集群中第一台机器执行任务。
- 最后一个:选择执行器集群中最后一台机器执行任务。
- 随机:随机选择一台执行器集群中的机器执行任务。
- 轮询:按照顺序依次选择执行器集群中的机器执行任务,到最后一台后再从头开始。
- 一致性hash:根据任务参数和执行器地址计算hash值,然后按照顺时针方向找到第一个匹配的节点作为目标节点。
- 最不经常使用:选择执行器集群中最近最少使用的机器执行任务。
- 最近最久未使用:选择执行器集群中最近最久没有使用的机器执行任务。
- 故障转移:按照顺序依次选择执行器集群中的机器执行任务,如果第一台失败则重试下一台,直到成功或者全部失败。
- 忙碌转移:按照顺序依次选择执行器集群中的机器执行任务,如果第一台忙碌则继续下一台,直到找到空闲的机器或者全部忙碌。
- 分片广播:将任务分片后广播给所有的执行器集群中的机器,每个机器只负责自己对应的分片。