Quartz集群后，动态添加的相同任务会在不同的节点上同时执行

aT阿汤 2016-03-11 10:43:04

Quartz集群，使用spring4.x和Quartz2.2,按照官网的说明配置，然后在每个节点上动态添加的相同任务，会在每个节点上同时执行任务。看了下数据库表记录，只有两个表有数据。这个里还有什么坑？

...全文

382 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一.基于JDBC-Jobstore的方式实现集群（有数据库JobStoreTX或JobStoreCMT）二.TerracottaJobStore的配置（无数据库的集群）本文介绍的是JDBC-Jobstore基于数据库的集群： 1.目前，群集仅适用于JDBC-Jobstore（JobStoreTX或JobStoreCMT），通过使群集的每个节点共享相同的数据库来工作。 2.负载平衡自动发生，群集的每个节点都尽可能快地触发jobs。当Triggers的触发时间发生时，获取任务的第一个节点（通过在其上放置一个锁定）是将触发它的节点。 3.当其中一个节点在执行一个或多个作业期间失败时发生故障切换。当节点出现故障时，其他节点会检测到该状况并识别数据库中在故障节点内正在进行的作业。任何标记为恢复的作业（在JobDetail上都具有“请求恢复”属性）将被剩余的节点重新执行。没有标记为恢复的作业将在下一次相关的Triggers触发时简单地被释放以执行。 4.集群功能最适合扩展长时间运行或cpu密集型作业（通过多个节点分配工作负载）。如果需要扩展以支持数千个短期运行（例如1秒）作业，则可以考虑通过使用多个不同的调度程序（包括HA的多个群集调度程序）对作业集进行分区。调度程序使用集群范围的锁，这种模式会在添加更多节点（超过三个节点 - 取决于数据库的功能等）时降低性能。

概述为什么需要集群：防止单点故障，减少对业务的影响。通过负载减少节点的压力，例如在 10 点要触发 1000 个任务，如果有 10 个节点，则每个节点只需要执行 100 个任务。集群需要解决的问题：任务重跑，因为节点部署的内容是一样的，到 10 点的时候，每个节点都会执行相同的操作，引起数据混乱。比如跑批，绝对不能执行多次。任务漏跑，一个任务分配到某个节点上，但是因为该节点故障了，一直没有得到执行的情况。水平集群需要注意服务器时间的同步。 Quartz 使用的是随机的负载均衡算法，不能指

Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的Java组件或 EJBs。 Quartz的优势： 1、Quartz是一个任务调度框架(库)，它几乎可以集成到任何应用系统中。 2、Quartz是非常灵活的，它让您能够以最“自然”的方式来编写您的项目的代码，实现您所期望的行为 3、Quartz是非常轻量级的，只需要非常少的配置 —— 它实际上可以被跳出框架来使用，如果你的需求是一些相对基本的简单的需求的话。 4、Quartz具有容错机制，并且可以在重启服务的时候持久化（”记忆”）你的定时任务，你的任务也不会丢失。 5、可以通过Quartz，封装成自己的分布式任务调度，实现强大的功能，成为自己的产品。6、有很多的互联网公司也都在使用Quartz。比如美团 Spring是一个很优秀的框架，它无缝的集成了Quartz，简单方便的让企业级应用更好的使用Quartz进行任务的调度。课程说明：在我们的日常开发中，各种大型系统的开发少不了任务调度，简单的单机任务调度已经满足不了我们的系统需求，复杂的任务会让程序猿头疼，所以急需一套专门的框架帮助我们去管理定时任务，并且可以在多台机器去执行我们的任务，还要可以管理我们的分布式定时任务。本课程从Quartz框架讲起，由浅到深，从使用到结构分析，再到源码分析，深入解析Quartz、Spring+Quartz，并且会讲解相关原理，让大家充分的理解这个框架和框架的设计思想。由于互联网的复杂性，为了满足我们特定的需求，需要对Spring+Quartz进行二次开发，整个二次开发过程都会进行讲解。Spring被用在了越来越多的项目中, Quartz也被公认为是比较好用的定时器设置工具，学完这个课程后，不仅仅可以熟练掌握分布式定时任务，还可以深入理解大型框架的设计思想。

目录背景使用quartz总结背景我们的各个服务需要改造支持集群，现在的授权、日程使用的是基于内存的spring scheduler定时任务，如果部署多个节点，那么到了时间点，多个节点都会开始执行定时任务从而可能引起业务和性能上的问题。服务中的定时任务比较轻量，为了避免引入redis、zookeeper、单独的定时任务程序，所以建议选用quartz这种基于数据库的分布式定时任务调度框架，无需引用多余中间件。使用quartz 在官网下载quartz 下载之后解压，进入src\org\quart

背景我们一个单体项目中有个定时任务，每隔一个小时会从各业务表中查询并计算不同用户的得分、排名，是使用 Quartz 实现的；这在后来进行横向扩展为多实例集群部署时，遇到了问题：定时任务在多个应用实例中重复执行了，显然这不是我们期望的结果，同时对计算资源来说也是一种浪费，更为严重的是会导致一段时间内数据的不一致问题，这时便涉及到集群环境下定时任务的幂等性问题。定时任务关于定时任务的实现，可通过 Spring 的 @EnableScheduling ， quartz ， xxl-job , elastic

81,091

社区成员

341,719

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章