皮皮网

1.10. xxl-job 分布式任务调度
2.分布式任务调度平台xxl-job
3.一文带你搞懂xxl-job（分布式任务调度平台）
4.xxjob使用
5.工作笔记（五十六）— xxl-job
6.xxl-job定时任务触发实现分析

10. xxl-job 分布式任务调度

       xxl-job

       xxl-job是一个分布式任务调度平台，具备迅速开发、简单学习、轻量级、易扩展等核心设计目标。它已开放源代码，beego 源码解析被多家公司纳入线上产品线，可开箱即用。

       使用xxl-job实现特定时间完成特定任务，例如每天早上9:定时发送营销短信给每个客户。

       访问官网xuxueli.com/xxl-job获取详细信息。

       xxl-job安装与配置

       下载源码、初始化数据库脚本，执行脚本生成xxl_job库。

       修改配置文件，包括application.properties和logback.xml。

       Maven编译打包，生成xxl-job-admin-2.4.0.jar。

       运行jar包，访问地址为localhost:/xxl-job，并使用默认账号admin/登录。

       集成xxl-job到SpringBoot

       在pom.xml中添加依赖、在application.properties中配置相关参数，注入XxlJobSpringExecutor。

       编写具体的任务执行方法SampleXxlJob。

       执行器、任务管理与调度日志

       使用Cron表达式设置任务执行频率，JobHandler与代码方法对应。

       记录调度日志，cobol源码使用SpringBoot打印。

       总结

       xxl-job是一个功能强大、易于使用的分布式任务调度框架，适用于各种任务调度场景。提供任务调度、执行监控、失败重试等功能，简化开发和管理，提升系统可靠性和稳定性。

       完整代码在仓库的sourcecode/spring-cloud-demo目录下，推荐访问gitee或github。

       关注微信公众号“小虎哥的技术博客”，一起成为更优秀的程序员。

分布式任务调度平台xxl-job

       后端服务都无法避免遇到需要定时调度任务的场景，为了满足需求，介绍一款 “开发迅速、学习简单、轻量级、易扩展” 的分布式任务调度平台xxl-job。 现已开放源代码并接入多家公司线上产品线，开箱即用。

一、介绍1.1 主要部分

       xxl-job 主要包含2部分：

调度中心(xxl-job-admin)

       管理调度任务，负责触发调度执行，并且提供web任务管理平台。

       运行报表：统计任务的执行状态

       执行器管理：注册调度任务执行的AppName, 其由服务IP+端口列表组成

       任务管理：在执行器下，设置需要调度的任务

       新增任务：

       基础配置：执行器、任务描述、armnoneeabigcc源码负责人、任务失败后的报警邮箱

       调度配置：调度类型(默认CRON)、CRON表达式

       任务配置：运行模式分BEAN 和 GLUE, JobHandler(执行器服务中声明的Handler)、任务参数(可选)

       高级配置：路由策略(多个执行服务的路由策略)、子任务ID(任务完成后继续执行的任务ID)、调度过期策略(调度中心错过调度时间的补偿处理策略)、阻塞处理策略、任务超时时间、失败重试次数

       调度日志：筛选和查看各定时任务执行的日志

执行器

       负责接收调度中心的请求并执行任务逻辑。

       执行器 就是在 后台服务 中内嵌Server , 来支持 调度中心 的调用，服务地址通过appname归类

       使用ip+port来确定执行器地址。

1.2 流程1.3 架构图二、使用

       Xxl-job对 java 的支持度较好, 同时也提供 RESTful API 服务，从而方便对其他语言的支持。

2.1 java项目(with SpringBoot)

       在pom.xml中添加xxl-job-core包

<!--定时任务所需要的jar包 --><dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.3.0</version></dependency>

       配置configuration 以及 配置类

       在application.yml添加配置，如果使用配置服务例如Spring Cloud Config或Nacos等配置服务时修改对应服务的配置文件即可。

#xxljob 分布式调度配置xxl-job:appname: my-local-job-executorport: addresses: /post/

一文带你搞懂xxl-job（分布式任务调度平台）

       本篇文章主要记录项目中遇到的 xxl-job 的实战，希望能通过这篇文章告诉读者们什么是 xxl-job 以及怎么使用 xxl-job 并分享一个实战案例。

       xxl-job 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。设计思想是将调度行为抽象形成 调度中心 平台，平台本身不承担业务逻辑，而是负责发起 调度请求 后，由 执行器 接收调度请求并执行 任务，这里的fastxml源码 任务 抽象为 分散的 JobHandler。通过这种方式即可实现 调度 与 任务 相互解耦，从而提高系统整体的稳定性和拓展性。

       任务调度指的是系统在约定的指定时间自动去执行指定的任务的过程。在开发项目时大家可能遇到过类似的场景问题，如系统需要定时在每天0点进行数据备份、活动开始前几小时预热执行一些前置业务、定时对 MQ 消息表的发送装填等。这些场景问题都可以通过任务调度 来解决。

       单体系统 中有许多实现 任务调度 的方式，如多线程方式、Timer 类、Spring Tasks 等等。这里比较常用的是 Spring Tasks（通过 @EnableScheduling + @Scheduled 的注解可以自定义定时任务，有兴趣的可以去了解一下）。

       在分布式系统下，每个服务都可以搭建为集群，这样的好处是可以将任务切片分给每一个服务从而实现并行执行，提高任务调度的处理效率。那么为什么分布式系统 不能使用 单体系统 的任务调度实现方式呢？在集群服务下，如果还是使用每台机器按照单体系统的任务调度实现方式实现的话，会出现下面这四个问题：怎么做到对任务的控制（如何避免任务重复执行）、如果某台机器宕机了，会不会存在任务丢失、如果要增加服务实例，怎么做到弹性扩容、如何做到对任务调度的执行情况统一监测。通过上面的问题可以了解到分布式系统下需要一个满足高可用、容错管理、tronscan源码负载均衡等功能的任务调度平台来实现任务调度。

       xxl-job 分布式任务调度系统是一个开源软件，可以在 github 或 gitee 上查看和下载 xxl-job 的源码。在 docker 下安装 xxl-job、创建映射容器的文件目录、在/mydata/xxl-job 的目录下创建 application.properties 文件、导入 tables_xxl-job.sql 文件到指定的数据库、配置参数如数据库位置、访问口令等。

       在 Spring Boot 项目中，导入 xxl-job 的 maven 依赖，配置application.yml 文件指定调度中心地址、访问口令、执行器名称和端口等属性，编写配置类配置自定义任务和执行器，完成 SpringBoot 集成 xxl-job 实现分布式任务调度的全过程。

       实战案例：当前项目需要对上传到分布式文件系统 minio 中的视频文件进行统一格式的视频转码操作。利用 xxl-job 的方式以任务调度的方式定时处理视频转码操作，以任务调度的方式，可以使得视频转码操作不会阻塞主线程，避免影响主要业务的吞吐量；以集群服务分片接收任务的方式，可以将任务均分给每个机器使得任务调度可以并行执行，提高总任务处理时间以及降低单台机器 CPU 的开销。

       xxl-job 执行流程图：在集群部署时，配置路由策略中选择分片广播的方式，可以使一次任务调度会广播触发集群中所有的执行器执行一次任务，并且可以向系统传递分片参数。利用这一特性可以根据当前执行器的分片序号和分片总数来获取对应的任务记录。通过 Bean 模式（基于方法）获取分片序号和分片总数，编写 sql 获取任务记录，实现对集群服务均分任务的操作。

       确保任务不会被重复消费：通过幂等性实现，依靠任务的状态（未处理1；处理中2；处理失败3；处理成功4）通过比较和设置的方式只有在状态为未处理或处理失败时才能设置为处理中，避免多个执行器同时处理该任务。设置调度过期策略和阻塞处理策略保证真正的幂等性。

       编写完成所有任务：分片视频转码处理，通过分片广播拿到的参数以取模的方式获取当前执行器所属的任务记录集合，遍历集合并发执行任务，使用乐观锁抢占当前任务，执行任务过程包含分布式文件系统下载、视频转码、上传转码后的视频、更新任务状态（处理成功），使用 JUC 工具类 CountDownLatch 实现所有任务执行完后才退出方法，中间使用 xxl-job 的日志记录错误信息和执行结果。

       清理任务表中转码成功的任务的记录并将其插入任务历史表，视频补偿机制处理任务超时情况下的任务，做出补偿，处理失败次数大于3次的任务，做出补偿。测试并查看日志，准备好的任务表记录，启动三台媒资服务器，并开启任务，可以单独查看每个任务的日志，通过日志中的执行日志查看具体日志信息，可以看到直接为了测试改错的路径导致下载视频出错，查看数据库表的变化，核心的视频转码任务执行成功，并且逻辑正确，能够起到分布式任务调度的作用。

xxjob使用

       å‚考文献 /p/fabeab

        源码版本 /xuxueli/xxl-job/releases

        1). springboot为例:复制源码xxl-job-executor-sample-springboot项目中com.xxl.job.executor.core.config.XxlJobConfig到自己项目

        2). 复制对应的配置文件到自己项目,xxljob依赖

        3). 编写定时任务demo

        补充:

        1. 报警邮件配置(发送者),需要在对应邮箱设置中开启SMTP获取授权码:

工作笔记（五十六）— xxl-job

       xxl-job是一个专门用于处理分布式定时任务的高效任务调度框架，它由调度中心和执行器两个核心组件构成。调度中心作为可视化管理平台，负责管理和发出调度请求，管理调度信息；而执行器则负责接收这些请求并执行相应的任务逻辑。

       要使用xxl-job，首先进行安装和配置。从源码开始，解压后初始化数据库，并运行提供的SQL脚本创建相关表。调度中心配置主要包括配置文件设置，它是一个基于springBoot的项目，通过jar包启动。部署时，保持数据库配置一致性以及机器时钟同步至关重要。访问调度中心的默认地址是http://localhost:/xxl-job-admin，登录名为“admin/”。

       执行器配置涉及将xxl-job jar包引入业务模块的pom.xml中。执行器通过XxlJobConfig根据配置生成XxlJobSpringExecutor，并允许用户以两种模式创建任务：一是通过实现IJobHandler接口，自定义execute()方法；二是使用方式模式，通过注解在Job方法上指定初始化和销毁方法，并在调度中心配置执行策略。调度中心支持自动注册执行器实例并添加任务，确保任务执行的唯一性。

       为了保证分布式集群环境中的任务执行一致性，xxl-job采用并发加锁策略。调度中心通过获取数据库中的xxl_job_lock悲观锁，防止同一时刻多个实例并发执行。执行器通过任务队列进一步确保任务只执行一次，确保任务的正确调度和执行。

xxl-job定时任务触发实现分析

       在深入探讨《调度中心启动流程分析》中的调度任务启动源码时，重点解析了JobScheduleHelper类的start方法。此方法启动了两个关键线程：scheduleThread和ringThread。具体而言，scheduleThread线程和ringThread线程的run方法包含调度任务执行的逻辑。在分析这两个线程的运行机制前，提出以下两个问题以加深理解：

       在xxl-job集群部署中，如何有效防止多个服务器同时调度任务？

       在xxl-job集群部署时，避免多个服务器同时调度任务通过使用MySQL的悲观锁实现分布式锁。这确保了在任何时候，只有一个服务器能够访问和更新xxl_job_info表，有效防止了并发调度冲突。

       如何实现定时任务触发机制？

       定时任务的实现流程主要涉及定时任务的存储与调度。xxl-job通过xxl_job_info表记录定时任务信息，特别是下一次执行的时间戳。定时任务每执行一次，数据库中的该时间戳更新，以确定下一次触发时间。任务调度过程如下：周期性地从数据库中读取5秒内的任务，根据下一次触发时间决定是否执行，同时任务被放入时间轮中，由ringThread线程进行任务调度。

       时间轮的概念及其在xxl-job中的应用。时间轮将一段时间分割为等分时间段，每个时间段关联对应任务。具体实现中，ringData结构以秒数（1-）为key，任务ID列表为value。ringThread线程的run方法通过获取当前秒数及前两个秒数的任务列表，触发任务执行，并清空已执行任务列表。此设计旨在避免长时间任务处理导致错过调度时机。

       总结xxl-job的定时任务调度机制，核心在于时间轮的高效管理，结合数据库查询和线程调度策略，确保任务按计划有序执行。本文主要分析了定时任务的启动与调度流程，未来将会探讨任务执行的详细流程。通过解析上述内容，xxl-job提供了一种灵活、高效的任务调度解决方案，适用于大规模并发场景。

任务调度平台XXL-JOB使用

        分布式任务调度平台xxl-job是一个开源框架。

        2.1 application.yml的配置文件

        yml配置文件加上配置。

        其中的”@xxl.job.executor.appname@”等配置是在config_ local.properties 文件里，参数具体意思参考文档。通常yml里是写具体的参数值，这里用这种方式是如何实现和config_ local.properties 文件对应的，是通过maven的prefile配置吗？暂时不懂，还需去了解。

        编写XxlJobConfigç±»

        写一个任务类，继承IJobHandler。这个类需要在上面的XxlJobConfig里配置的包下？

        2.2 application.properties的配置文件

        application.properties配置文件加上配置。

        然后编写XxlJobConfig类、写一个任务类，继承IJobHandler，同上。到这里就把springboot的配置讲完了。源码里还有和spring整合的demo，也很简单，可以参考。

        任务管理添加任务

        到此，整合xxl-job就完成了，非常方便实用。

欢迎工作一到五年的Java工程师朋友们加入Java高并发QQ群：，群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料）合理利用自己每一分每一秒的时间来学习提升自己，不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代！

Springboot项目整合xxl -job

       搭建并启动xxl-job服务：

       前往github下载源码，选择与springboot版本匹配的分支，执行相关SQL至数据库。若在创建xxl_job_registry表时遇到长度限制错误，需调整索引长度或替换。

       配置数据库连接信息至application.properties文件，确保指定服务端口与上下文名称。

       启动项目，或打包成jar文件。

       访问后台管理页面，地址为http://localhost:/xxl-job-admin，使用用户名admin与密码登录。

       整合springboot与xxl-job：

       在pom.xml引入所需jar包，调整bootstrap.yml或application.yml应用配置信息，确保appnamedingding的命名与执行器中的名称一致。设置addresses与xxl-job服务地址路径匹配。

       编写配置类以加载配置信息。

       创建定时任务类，并编写运行自己的项目代码，配置执行任务。

       在后台端页面配置执行器，确保appname与配置一致，新建任务并启动。任务jobHandler需与注解value值匹配。

       任务启动成功后，后台将显示调度日志，证明任务执行过程无误。