社区
Hadoop生态社区
帖子详情
storm 定时产生特殊tuple
wi_python
2016-06-18 11:12:04
一个Bolt 接收消息缓存一段时间,用storm 定时产生特殊tuple把数据 写入redis
比如间隔是60秒,导致每60秒一个Bolt多个task同时写人redis
我希望的是一个Bolt多个task 间隔还是60秒,但是这不同的时间执行特殊tuple
...全文
549
1
打赏
收藏
storm 定时产生特殊tuple
一个Bolt 接收消息缓存一段时间,用storm 定时产生特殊tuple把数据 写入redis 比如间隔是60秒,导致每60秒一个Bolt多个task同时写人redis 我希望的是一个Bolt多个task 间隔还是60秒,但是这不同的时间执行特殊tuple
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xuliurong
2017-05-05
打赏
举报
回复
很简单,bolt收到tuple后,sleep随机秒数后再执行就可以避开同时写了
storm
定时
任务使用实例
都是利用系统自带的
定时
tuple
来完成,相当于系统自动发一个带有
特殊
标记的
tuple
,然后自己在bolt中判断,若为此
特殊
tuple
,执行
定时
函数。 (1)如果所有bolt都需要
定时
,可在topology入口处通过config设置 ...
storm
定时
任务【tick】
storm
作为流计算,处理数据通常以数据驱动。即只有当spout发射数据才会进行计算。那么如果想要做
定时
任务如何处理哪,例如有的bolt需要输出一段时间统计的结果,这里一段时间可能是几秒、几分钟或者几小时。如果...
Storm
笔记整理(五):可靠性分析、
定时
任务与
Storm
UI参数详解
特别说明:前面的四篇
Storm
笔记中,关于计算总和的例子中的spout,使用了死循环的逻辑,实际上这样做是不正确的,原因很简单,
Storm
提供给我们的API中,next
Tuple
方法就是循环执行了,这相当于是做了双层循环。...
storm
入门简介、架构原理分析
一、
Storm
简介
Storm
是由Nathan Marz开发的,一个免费并开源的分布式实时计算系统。
Storm
是基于数据流的实时处理系统,提供了大吞吐量的实时计算能力。通过数据入口获取每条到来的数据,在一条数据到达系统的...
《分布式实时计算系统之
Storm
》一、基本原理
Storm
架构
Storm
是一个分布式、可靠的实时计算系统。与Hadoop不同的是,它采用流式的消息处理方法,对于每条消息输入到系统中后就能被立即处理。适用于一些对实时性要求高的场景,比如广告点击在线统计、交易额实时...
Hadoop生态社区
20,809
社区成员
4,691
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章