storm 定时产生特殊tuple

wi_python 2016-06-18 11:12:04

一个Bolt 接收消息缓存一段时间，用storm 定时产生特殊tuple把数据写入redis
比如间隔是60秒，导致每60秒一个Bolt多个task同时写人redis
我希望的是一个Bolt多个task 间隔还是60秒，但是这不同的时间执行特殊tuple

...全文

548 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

xuliurong 2017-05-05

打赏
举报

回复

很简单，bolt收到tuple后，sleep随机秒数后再执行就可以避开同时写了

我们通过一些代码片段学习Swift中的constant和variable、各种基本types和tuple以及Swift中重要的语言特性之一: type inference。并录制了泊学高清视频，同步搭配了泊阅文档，为开发者朋友们的学习提供了一种全新的...

[http://twitter.github.io/heron/docs/getting-started/] 1.背景需要在bolt中定时执行某些操作 2.方法都是利用系统自带的定时tuple来完成，相当于系统自动发一个带有特殊标记的tuple，然后自己在bolt中判断，若为此特殊tuple，执行定时函数。 (1)如果所有bolt都需要定时，可在topology入口处通过config设置 ...

一. 简介 storm作为流计算，处理数据通常以数据驱动。即只有当spout发射数据才会进行计算。那么如果想要做定时任务如何处理哪，例如有的bolt需要输出一段时间统计的结果，这里一段时间可能是几秒、几分钟或者几小时。如果还是以数据进行驱动的话必然会输出时间不可确定。同样也可以启一个线程一段时间执行一次，这也是一种解决方案。但是我希望有种更优雅的解决方案，就是这里说的tick。tick...

[TOC] 特别说明：前面的四篇Storm笔记中，关于计算总和的例子中的spout，使用了死循环的逻辑，实际上这样做是不正确的，原因很简单，Storm提供给我们的API中，nextTuple方法就是循环执行了，这相当于是做了双层循环。因为后面在做可靠性acker案例分析时发现，加入死循环逻辑后，该nextTuple所属于的那个task根本就没有办法跳出这个nextTuple方法，也就没有办法执...

一、 Storm简介 Storm是由Nathan Marz开发的，一个免费并开源的分布式实时计算系统。 Storm是基于数据流的实时处理系统，提供了大吞吐量的实时计算能力。通过数据入口获取每条到来的数据，在一条数据到达系统的时候，立即会在内存中进行相应的计算；Storm适合要求实时性较高的数据分析场景。 Storm 不处理静态数据,但它处理连续的流数据。二、 Storm的特点 Storm实

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章