几种主流的分布式定时任务,你知道哪些?
单点定时任务JDK原生
自从JDK1.5之后,提供了 ScheduledExecutorService 代替 TimerTask 来执行定时任务,提供了不错的可靠性。 public class SomeScheduledExecutorService { public static void main(String[] args) { // 创建任务队列,共 10 个线程 ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(10); // 执行任务: 1秒 后开始执行,每 30秒 执行一次 scheduledExecutorService.scheduleAtFixedRate(() -> { System.out.println("执行任务:" + new Date()); }, 10, 30, TimeUnit.SECONDS); } } 复制代码 Spring Task
Spring Framework 自带定时任务,提供了 cron表达式 来实现丰富定时任务配置。新手推荐使用 https://cron.qqe2.com/ 这个网站来匹配你的 cron表达式 。 @Configuration @EnableScheduling public class SomeJob { private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class); /** * 每分钟执行一次(例:18:01:00,18:02:00) * 秒 分钟 小时 日 月 星期 年 */ @Scheduled(cron = "0 0/1 * * * ? *") public void someTask() { //... } } 复制代码
单点的定时服务在目前 微服务 的大环境下,应用场景越来越局限,所以尝鲜一下 分布式定时任务 吧。
关于该功能的使用,DD的Spring Boot教程中也有介绍,感兴趣的小伙伴可以通过这个链接查看:https://blog.didispace.com/spring-boot-learning-2-7-1/ 基于 Redis 实现
相较于之前两种方式,这种基于Redis的实现可以通过多点来增加定时任务,多点消费。但是要做好防范重复消费的准备。 通过ZSet的方式
将定时任务存放到 ZSet 集合中,并且将 过期时间 存储到 ZSet 的 Score 字段中,然后通过一个循环来判断 当前时间 内是否有需要执行的定时任务,如果有则进行执行。
具体实现代码如下: /** * Description: 基于Redis的ZSet的定时任务 .
* * @author mxy * @Date 2020/8/25 11:54 */ @Configuration @EnableScheduling public class RedisJob { public static final String JOB_KEY = "redis.job.task"; private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class); @Autowired private StringRedisTemplate stringRedisTemplate; /** * 添加任务. * * @param task */ public void addTask(String task, Instant instant) { stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond()); } /** * 定时任务队列消费 * 每分钟消费一次(可以缩短间隔到1s) */ @Scheduled(cron = "0 0/1 * * * ? *") public void doDelayQueue() { long nowSecond = Instant.now().getEpochSecond(); // 查询当前时间的所有任务 Set strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond); for (String task : strings) { // 开始消费 task LOGGER.info("执行任务:{}", task); } // 删除已经执行的任务 stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond); } } 复制代码
适用场景如下: 订单下单之后 15分钟 后,用户如果没有付钱,系统需要 自动取消订单 。 红包 24小时 未被查收,需要延迟执 退还 业务; 某个 活动 指定在某个时间内 生效 & 失效 ;
优势是: 省去了 MySQL 的查询操作,而使用性能更高的 Redis 做为代替; 不会因为 停机 等原因,遗漏要执行的任务; 键空间通知的方式
我们可以通过 Redis 的键空间通知来实现定时任务,它的实现思路是给所有的定时任务设置一个 过期时间 ,等到了过期之后,我们通过 订阅 过期消息就能感知到定时任务需要被执行了,此时我们执行定时任务即可。
默认情况下 Redis 是不开启 键空间通知 的,需要我们通过 config set notify-keyspace-events Ex 的命令手动开启。
开启之后定时任务的代码如下: 自定义监听器 /** * 自定义监听器. */ public class KeyExpiredListener extends KeyExpirationEventMessageListener { public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) { super(listenerContainer); } @Override public void onMessage(Message message, byte[] pattern) { // channel String channel = new String(message.getChannel(), StandardCharsets.UTF_8); // 过期的key String key = new String(message.getBody(), StandardCharsets.UTF_8); // todo 你的处理 } } 复制代码 设置该监听器/** * Description: 通过订阅Redis的过期通知来实现定时任务 .
* * @author mxy * @Date 2020/8/25 12:07 */ @Configuration public class RedisExJob { @Autowired private RedisConnectionFactory redisConnectionFactory; @Bean public RedisMessageListenerContainer redisMessageListenerContainer() { RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer(); redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory); return redisMessageListenerContainer; } @Bean public KeyExpiredListener keyExpiredListener() { return new KeyExpiredListener(this.redisMessageListenerContainer()); } } 复制代码
Spring 会监听符合以下格式的Redis消息 private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*"); 复制代码
基于 Redis 的定时任务能够适用的场景也比较有限,但实现上相对简单,但对于功能幂等有很大要求。从使用场景上来说,更应该叫做 延时任务 。
场景举例: 订单下单之后 15分钟 后,用户如果没有付钱,系统需要 自动取消订单 。 红包 24小时 未被查收,需要延迟执 退还 业务;
优劣势是: 被动触发,对于服务的资源消耗更小; Redis的 Pub/Sub 不可靠,没有ACK机制等,但是一般情况可以容忍; 键空间通知功能会耗费一些CPU 分布式定时任务引入分布式定时任务组件or中间件
将定时任务作为单独的服务,遏制了 重复消费 ,独立的服务也有利于扩展和维护。 quartz
依赖于 MySQL ,使用相对简单,可多节点部署,通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面,使用相对麻烦。 elastic-job-lite
依赖于 Zookeeper ,通过zookeeper的注册与发现,可以动态的添加服务器。 多种作业模式 失效转移 运行状态收集 多线程处理数据 幂等性 容错处理 支持spring命名空间 有图形化管理页面
关于该框架的实用,DD在博客也连载过,通过这个链接可以直接看详细教程:https://blog.didispace.com/tags/Elastic-Job/
LTS
依赖于 Zookeeper ,集群部署,可以动态的添加服务器。可以手动增加定时任务,启动和暂停任务。 业务日志记录器 SPI扩展支持 故障转移 节点监控 多样化任务执行结果支持 FailStore容错 动态扩容 对spring相对友好 有监控和管理图形化界面 xxl-job
国产,依赖于 MySQL ,基于竞争数据库锁保证只有一个节点执行任务,支持水平扩容。可以手动增加定时任务,启动和暂停任务。 弹性扩容 分片广播 故障转移 Rolling实时日志 GLUE(支持在线编辑代码,免发布) 任务进度监控 任务依赖 数据加密 邮件报警 运行报表 优雅停机 国际化(中文友好) 总结
微服务 下,推荐使用 xxl-job 这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性,适用于规模较小、对未来扩展要求不高的服务。
相对而言,基于 spring task 的定时任务最简单快捷,而 xxl-job 的难度主要体现在集成和调试上。无论是什么样的定时任务,你都需要确保: 任务不会因为集群部署而被多次执行。 任务发生异常得到有效的处理 任务的处理过慢导致大量积压 任务应该在预期的时间点执行
中间件可以将服务解耦,但增加了复杂度
作者:襄垣
后发先至!这家券商率拿到上市路条中国基金报晨曦谁能成为2022年首家上市券商?这个问题或许将有新的答案。11月10日,证监会官网公布了关于核准首创证券股份有限公司首次公开发行股票的批复,核准首创证券发行不超过2。
油价深夜突然大跳水,利空冲击下回调变反转?来源能源研发中心后市观点油价夜盘走出大幅下挫行情,尤其是在铜贵金属等普遍强势背景下,这样的表现尤其让市场意外。周二亚欧时段油价表现相对符合预期,整体震荡回落调整,从波动节奏来看仍属
胡润百富榜,你能不能严谨点?1999年,英国会计师RupertHoogewerf(胡润)利用自己的业余时间,整理出了一份关于中国大陆地区的富豪排行榜,成为国内第一份与国际接轨的财富榜单。虽然在第一届的胡润百富
降价超过500的五款旗舰手机,双十一正是入手好时机双十一优惠活动已经接近尾声了,不少的旗舰手机都给出了最大的优惠,现在正是入手的最后时机。老刘分析了各个厂家的旗舰系列,找出了一些优惠幅度超过500元的旗舰手机,大家可以理性参考,下
王永利美国通胀真的降温了吗从20202022年美国CPI同比涨幅合计情况看,今年10月比前3个月都高,且10月核心CPI环比仍然上涨0。3。从这一角度看,美国通胀降温并未出现,通胀压力远未解除,货币政策仍需
入境隔离要求再放松!人民币日内涨千点,港股上演大逼空国务院联防联控机制11月11日发布进一步优化新冠肺炎疫情防控措施科学精准做好防控工作的通知。通知指出,取消入境航班熔断机制,并将登机前48小时内2次核酸检测阴性证明调整为登机前48
北斗仓履新达达配送量破亿2022京东双11当GMV焦虑不再,向实而升每经记者王郁彪每经编辑宋思艰第14个京东双11,11月12日零点落下帷幕。那个外界都在期盼的数字没有最终定格的画面,但按照京东官方口径截至11月11日2359,今年京东超越了行业增
吉利收购的魅族FlymeAuto车机设计篇今天亮相!或与领克联动!大家都知道今年7月吉利旗下湖北星纪时代正式宣布收购魅族,并希望魅族能够在消费电子产业的优势与汽车产业深度融合,实现生态上的优势。FlymeAuto是魅族Flyme在智能座舱上的延续
阿里巴巴戴珊天猫双11见证中国消费活力封面新闻记者张越熙11月11日晚间,阿里巴巴国内数字商业板块总裁戴珊表示,通过今年天猫双11,我们看到了中国市场的巨大内需潜力和消费活力,中国经济和产业的持续韧性。这让我们有信心更
暴涨1200点猛拉近8!港股9个交易日已反弹近3000点市场观察隔夜美国通胀数据低于预期,市场对美联储加息幅度的预期降低,隔夜美股等海外股市大涨。大涨超过1200点!继早上直接跳空高开一千点之后,11月11日午盘,在内地防疫政策调整的刺激下,港
四季度的猪肉价格是涨还是跌?2022年初,市场对猪周期一直有重大分歧,当时的争议是这一轮猪周期(上行)能否成立?当时我对猪周期的判断就是四月见底,7月拉升,可以在46月依次建仓以生猪为主的猪周期相关题材产品。
誉衡药业控股股东被法院裁定终止重整程序并宣告破产中证网讯(记者宋维东)誉衡药业11月11日晚公告称,哈尔滨市中级人民法院根据公司控股股东誉衡集团管理人的申请,依照中华人民共和国企业破产法规定,于11月10日作出裁定,终止誉衡集团
青春期的赵奕欢,可惜了在偌大的娱乐圈里,曾经流传着这样一句话!南奕欢北景甜,唱不火的庄心妍。如今,景甜凭借着司藤再次翻红,庄心妍也在歌唱事业里不断前行。只有赵奕欢,她不仅原地踏步不说,还走起了倒退的步伐
香港打女李赛凤被豪门丈夫诬陷出轨义子,42岁成港圈笑话当时罗启仁一纸声明离婚,将李赛凤赶出了家门,而离婚的理由是,他指责李赛凤和自己的干儿子宗天意有不清不楚的关系。没过多久这则劲爆的消息就传遍了圈内,李赛凤的清白也因此被无数网友质疑,
夜读丨正青春,别仿徨从小到大,你可能听过这些扎心问题考试考得怎么样工作找得怎么样未来规划做好了吗那些迷茫的青春,我们都一样!青春,是做不完的考卷,是带着阳光气息的纯白岁月青春,是场未知的旅行,是旅途中
梦时代,来了!明天,武商梦时代(以下简称梦时代)开业,武珞路上的巨无霸终揭面纱。抛开投资120亿,全球最大纯商业体,商文旅综合体,90品牌同步开业,3天3夜逛不完等众多光环不表,梦时代最大的意义
全国有3个滕王阁,许多人只知其一,不知其二豫章故郡,洪都新府。星分翼轸,地接衡庐。襟三江而带五湖,控蛮荆而引瓯越。物华天宝,龙光射牛斗之墟人杰地灵,徐孺下陈蕃之榻。这是千古名篇滕王阁序中的一段话。我相信,许多朋友对这一段话
世界死亡率最高的10座山峰每年会有许多的登山爱好者,追求刺激专去攀爬海拔很高环境很恶劣的山,其中世界死亡率最高的10座山峰,它们分别是珠穆朗玛峰,马特洪峰,文森峰,菲茨罗伊峰,干城章嘉峰,南迦帕尔巴特峰,勃
房车旅游车轮上的淘金记11月5日10日,第五届中国国际进口博览会在上海举办。展会上,由商用车品牌依维柯与改装厂戴德房车合作的URV房车亮相,吸引外界关注。近年来,随着露营走俏,房车旅游也一同出圈。今年4
人民币中间价大涨515个基点创下近半年最大升幅昨夜美元指数大跌,今日人民币汇率大涨。11月11日,中国人民银行授权中国外汇交易中心公布,当日人民币对美元中间价为7。1907,较昨日调升515个基点,创下2022年5月23日以来
双11全网交易额破5571亿元,京东天猫交易额能否再创新高?第14个双11来了!据已公布数据可知,双11全网交易额为5571亿元。据悉,本次双11分两波售卖期,第一波售卖期为10月31日晚8点11月3日第二波售卖期为11月10日晚8点11月
十月社融不及预期,后续如何发展?最终的十月社融数据已经出炉,看图就好了,无论是新增人民币贷款还是新增社融数据,都是大大低于前值,大大低于预期。金融数据是实体经济需求的一种反映。目前市场上是不缺钱的,缺的是信心及预