spark的流处理

yhblog 2019-01-08 04:08:52
spark小白一只,在学习spark过程中了解到,从spark是一个可批处理和流处理的大数据应用框架,对比了flink框架后从网上了解到,spark是伪流处理的框架,相比flink而言,spark只是对数据集进行了小部分的批处理包装,想当于spark处理的是一段时间内的数据,而不是真正意义上的实时处理,处理的相应时间虽然在秒级范围,但对于flink而言稍有差距(借于网上评论)。

问题1:spark和flink未来发展趋势是并存还是取代?

问题2:spark2.0版本以后实现了真正意义上的流处理了吗?
...全文
136 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
LinkSe7en 2019-01-09
  • 打赏
  • 举报
回复
1、各有优势。spark在离线领域仍是无可争议的王者,并且社区在努力把spark打造成大数据处理生态系统。flink专注流式处理,在原生语义上实现了很多spark原生没有实现的流处理范式。建议两者都学,以适应不同场景下的选型。 2、2.4+实现了类似flink的连续流处理。

695

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧