关于kafka,spark streaming的困惑

yingping1898 2016-06-01 10:59:55
首先,六一快乐!

有几个关于kafka,spark streaming的问题。
1:好像没有从offset处读起,它只从streaming启动之时读起。
2:异常消息处理机制。像storm,从kafka读取的消息处理可以有ack() 各fail()两种处理方法,streaming里是怎样处理的?
...全文
386 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
xiao_jun_0820 2016-06-29
  • 打赏
  • 举报
回复
首次启动时从最新的offset开始读取的,因为zk上并没有对应的consumer group的offset纪录,停掉再启动就从上次的offset开始消费了。spark streaming是一批一批处理消息的,storm是一条一条处理消息的。

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧