Storm的Stream grouping-数据分发策略中有一个None Grouping，感觉没意义？

温纸入画 2021-09-02 10:14:12

Storm的Stream grouping-数据分发策略中有一个None Grouping，感觉没意义？

...全文

1836 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-09-02

打赏
举报

回复

不分组，这个分组的意思是说stream不关心到底怎样分组。目前这种分组和Shuffle grouping是一样的效果。有一点不同的是storm会把使用none grouping的这个bolt放到这个bolt的订阅者同一个线程里面去执行（未来Storm如果可能的话会这样设计）

分析storm的相关框架，底层实现原理。

"Getting Started with Storm" --Continuous streaming computation with Twitter's cluster technology By Jonathan Leibiusky, Gabriel Eisbruch, Dario Simonassi

1. Shuffle Grouping 随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同。轮询，平均分配 2. Fields Grouping 按字段分组，比如，按"user-id"这个字段来分组，那么具有同样"user-id"的 tuple 会被分到相同的Bolt里的一个task，而不同的"user-id"则可能会被分配到不同的...

Topology：一个实时计算应用程序逻辑上被封装在Topology对象中,类似Hadoop中的作业与作业不同的是, Topology会一直运行直到显式地杀死它Storm中运行的一个实时应用程序,因为各个组件间的消息流动形成逻辑上的一个拓扑结构。一个 Topology是Spouts和Bolts组成的流程图,通过Stream Groupings将图中的 Spouts和Bolts连接起来，完成实时流业...

为什么80%的码农都做不了架构师？>>> ...

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章