社区
Hadoop生态社区
帖子详情
Strom的spout任务失败后,怎么处理?
西红小柿
2017-01-08 09:15:12
Spout任务挂掉,怎么做检查点机制?
...全文
357
回复
打赏
收藏
Strom的spout任务失败后,怎么处理?
Spout任务挂掉,怎么做检查点机制?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
漫谈大数据第四期-storm
任务
失败
时,它会负责从消息源重试消息。 快速。系统的设计保证了消息能得到快速的
处理
,使用ØMQ作为其底层消息队列。 本地模式。Storm有一个“本地模式”,可以在
处理
过程中完全模拟Storm集群。这让你可以快速进行...
流
处理
旅程——storm之
spout
介绍
核心
Spout
中方法的说明1、
Spout
数据源 消息源
Spout
是storm的Topology中的消息生产者。...
Spout
从外部获取数据后,向Topology中发出的Tuple可以是可靠的,也可以是不可靠的。 注意:一个可靠的消息源可以重新发射
storm学习笔记(二)——Storm组件详解之Tuple、
Spout
Stream是被
处理
的数据,
Spout
是数据源,Bolt是
处理
数据的容器,Tuple是数据单元,Task是运行
Spout
和Bolt中的线程,Worker是运行这些线程的进程,StreamGrouping规定了Bolt接受何种类型的数据最为输入,Topology是由....
storm 如何编写可靠的
spout
和bolt
对于不使用trident的人来说,使用基本的storm
spout
,bolt操作,需要理解storm的ack机制,保证消息的完整性,Storm 提供了三种不同层次的消息保证机制,分别是 At Most Once、At Least Once 以及 Exactly Once。...
Storm容错机制
任务
级
失败
1.Bolt
任务
crash引起的消息未被应答。此时,acker中所有与此Bolt
任务
关联的消息都会因为超时而
失败
,对应的
Spout
的...3.
Spout
任务
失败
。在这种情况下,与
Spout
任务
对接的外部设备(如MQ)负责消息的完整性
Hadoop生态社区
20,809
社区成员
4,691
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章