社区
Spark
帖子详情
关于kafka,spark streaming的困惑
yingping1898
2016-06-01 10:59:55
首先,六一快乐!
有几个关于kafka,spark streaming的问题。
1:好像没有从offset处读起,它只从streaming启动之时读起。
2:异常消息处理机制。像storm,从kafka读取的消息处理可以有ack() 各fail()两种处理方法,streaming里是怎样处理的?
...全文
386
2
打赏
收藏
关于kafka,spark streaming的困惑
首先,六一快乐! 有几个关于kafka,spark streaming的问题。 1:好像没有从offset处读起,它只从streaming启动之时读起。 2:异常消息处理机制。像storm,从kafka读取的消息处理可以有ack() 各fail()两种处理方法,streaming里是怎样处理的?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xiao_jun_0820
2016-06-29
打赏
举报
回复
首次启动时从最新的offset开始读取的,因为zk上并没有对应的consumer group的offset纪录,停掉再启动就从上次的offset开始消费了。spark streaming是一批一批处理消息的,storm是一条一条处理消息的。
爱奇艺实时流处理项目实战 (
Spark
Streaming
)
本课程以爱奇艺视频实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列
Kafka
、分布式列式数据库HBase、及当前最火爆的
Spark
Streaming
打造实时流处理项目实战,一套代码让你...
关于
Spark
Streaming
微批次,Flink真正流处理 消费
Kafka
数据,处理数据的差距对比
困惑
1:
Spark
Streaming
微批次,Flink真正流处理系统差别在哪里?是因为消费
Kafka
数据的逻辑不同吗?(本文以
Kafka
为数据源举例)
Spark
Streaming
微批次很容易理解,一次处理一个微批次的数据。而Flink代表的真正...
Spark
Streaming
一文读懂
我们常常能看到这样的架构——以
Kafka
、Storm 为代表的流计算框架用于实时计算,而
Spark
或 MapReduce 则负责每天、每小时的数据批处理。在 ETL 等场合,这样的设计常常导致同样的计算逻辑被实现两次,耗费人力不...
Spark
定制班第1课:通过案例对
Spark
Streaming
透彻理解三板斧之一:解密
Spark
Streaming
另类实验及
Spark
Streaming
本质解析
从今天起,我们踏上了新的
Spark
学习旅途。我们的目标是要像
Spark
官方机构那样有能力去定制
Spark
。...
Spark
的子框架已有若干,为何选择
Spark
Streaming
?让我们细细道来。
Spark
最开始只有
Spark
Cor
分布式离线计算—
Spark
—
Spark
Streaming
原文地址:一文读懂
Spark
和
Spark
Streaming
目录 MapReduce 的问题所在
Spark
与 RDD 模型 流计算框架:
Spark
Streaming
流计算与 SQL:
Spark
Structured
Streaming
系统架构 总结 前言 Apache
Spark
...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章