golang 有没有支持分布式定时任务的中间件？

方明驹 2019-09-30 10:13:25

各位大佬，因为现在go是集群模式，有n台服务器，这样实现同一时间定时任务只在一台上执行，基于web开发的

...全文

931 7 打赏收藏转发到动态举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_37380547 2021-08-14

打赏
举报

回复 1

https://github.com/busgo/forest

瑞卡哥哥 2021-05-07

打赏
举报

回复

可以使用开源的xxl-job做框架通过web接口实现任务调度

尐千叶 2021-02-21

打赏
举报

回复

我用的消息队列+cron去处理的0.0

学生董格 2020-06-12

打赏
举报

回复

go cron

「已注销」 2020-04-01

打赏
举报

回复

用etcd解决

方明驹 2019-10-08

打赏
举报

回复

引用 1 楼 qybao 的回复:

有好几种方案 1.只有一台服务器启动定时任务（其他服务器不启动定时任务） 2.通过环境变量控制是否启动定时服务器（go读取环境变量，只有一台服务器的环境变量是启动定时服务，其他服务器的环境变量为不启动定时服务） 3.如果用的是同一个数据库，可以通过锁表记录来控制 4.和3类似，不直接锁表，而是向某中心服务申请执行任务，某中心服务一旦有重复申请就拒绝执行任务等等

有没有什么中间件可以直接支持的，这些方法我们都用不了

qybao 2019-09-30

打赏
举报

回复

有好几种方案
1.只有一台服务器启动定时任务（其他服务器不启动定时任务）
2.通过环境变量控制是否启动定时服务器（go读取环境变量，只有一台服务器的环境变量是启动定时服务，其他服务器的环境变量为不启动定时服务）
3.如果用的是同一个数据库，可以通过锁表记录来控制
4.和3类似，不直接锁表，而是向某中心服务申请执行任务，某中心服务一旦有重复申请就拒绝执行任务
等等

大数据分布式有序计算(例如行情数据处理-定时任务调度等).zip 分布式强有序实时计算 -- 第一版（一个master节点多个slave节点，轻量级storm golang版本）应用场景：大数据(行情数据)处理/定时任务调度等功能： 1：选举出master节点/slave节点 2：master节点指派slave节点处理某一分区数据 3：由master节点从数据源接收数据,分发给slave节点 4: slave节点处理数据 5: 数据源-master节点-slave节点之间采用nsq进行数据交互 6: master/slave众节点可相互故障转移以及slave节点可动态扩展问题：单一master节点会有性能瓶颈，slave节点中已参与计算的数据需要可以rollback，避免突发节点故障数据丢失,有一定的事务保证场景 TODO 1:多master节点管理，随着数据量的增长，可以实现无限的横向扩展 TODO 2:数据事务保证，有ACK消息确认机制 TODO 3:中间件模块化可插拔数据结构为了速度设计的比较混乱-- 请略过启动步骤（本地模式）： 1：etcd 2：nsqlookupd nsqd --lookupd-tcp-address=127.0.0.1:4160 nsqadmin --lookupd-http-address=127.0.0.1:4161 3：开启5个终端分别go run main.go

大数据分布式有序计算(例如行情数据处理/定时任务调度等)分布式强有序实时计算 -- 第一版（一个master节点多个slave节点，轻量级storm golang版本）应用场景大数据(行情数据)处理/定时任务调度等功能1选举出master节点/slave节点2master节点指派slave节点处理某一分区数据3由master节点从数据源接收数据,分发给slave节点4: slave节点处理数据5: 数据源-master节点-slave节点之间采用nsq进行数据交互6: master/slave众节点可相互故障转移以及slave节点可动态扩展问题单一master节点会有性能瓶颈，slave节点中已参与计算的数据需要可以rollback，避免突发节点故障数据丢失,有一定的事务保证场景TODO 1:多master节点管理，随着数据量的增长，可以实现无限的横向扩展TODO 2:数据事务保证，有ACK消息确认机制TODO 3:中间件模块化可插拔数据结构为了速度设计的比较混乱-- 请略过启动步骤（本地模式）1etcd2nsqlookupd nsq

开源项目-RichardKnop-machinery.zip,Machinery: Celery for Golang

球杆芹菜的 golang 工人。在开发中，除非你想贡献，否则不要使用。它不会做任何事情。

基于 Redis 的延迟消息队列中间件，采用 Golang 开发，支持 PHP、Golang 等多种语言客户端。

2,348

社区成员

923

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章