storm 问题求助求解答，谢谢

Acmed 2015-02-02 02:28:44

storm 事务处理(BaseBatchBolt)的并行度问题
事务处理storm-batch-boltboltbatch
我建立了一个批处理的bolt,StatisticBolt extends BaseBatchBolt，设置其并行度为2，
在其中的exceute 和finishBathc方法中打印了batchId和this.hashCode，发现对于每一个
batch，finishBatch会被调用两次，其中一个其实未收到任何的tuple,而且对于对于每一个
batch,hashCode都会不同(标准的BaseBasicBolt则所有batch都相同)。所有请问，storm对于BatchBolt的并行度是如何处理的呢? 每次处理batch的batchbolt对象(是否是对象)是如何生成的呢?

...全文

610 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

博客园Logo 首页新闻博问专区闪存班级代码改变世界搜索注册登录返回主页哥不是小萝莉博客园首页新随笔联系订阅管理随笔 - 145 文章 - 0 评论 - 425 Kafka数据每5分钟同步到Hive 1.概述最近有同学留言咨询Kafka数据落地到Hive的一些问题，今天笔者将为大家来介绍一种除Flink流批一体以外的方式（流批一体下次再单独写一篇给大家分享）。 2.内容首先，我们简单来描述一下数据场景，比如有这样一个数据场景，有一批实时流数据实时写入Kafka，然后

大数据工程师(开发)面试 1.HBase和Hive都是基于Hadoop，为什么Hive查询起来非常慢，但HBase不是？ Hive是类SQL引擎，其查询都需要遍历整张表，跑MapReduce自然很慢，但HBase是一种NoSQL的列式数据库，基于Key/Value的存储格式，不需要像Hive一样遍历，自然在速度上，乃至写的性能上是相当之快的。相关参考文献 HIVE和HBASE区别 2.通过Jav...

在啃掉一本本计算机经典书籍和写下大量代码以后。疫情原因回不去学校，作为一个马上毕业，即将入职腾讯的大四生，分享一下自己的学习历程吧。本人在大学之前从未接触过编程，最开始的编程学习还是在高考完后，从书店买了本C Primer Plus，然后暑假开始啃，前前后后也就看了几十页。大一上的时候，来到了华中师范大学，还没有转专业到计算机，一直在自学C语言和看一些计算机入门书籍（编码、计算机科学概论）。当时也很迷茫，不知道以后道路如何，所以也学了一些杂七杂八的东西（前端 python啥的），所幸的是，当时坚持把C Pr

程序员修炼手册

由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ———————————————————————————————————————  初创网站与开源软件 6  谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+S

778

社区成员

370

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章