Spark Streaming 如何保证数据不丢失

SeaTalks 2017-10-12 01:47:42

在Spark Streaming的Receiver-based模式下，如果在WAL过程中HDFS宕了，Spark Streaming还能保证正确计算吗？如何保证的？

...全文

506 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

SeaTalks 2017-10-14

打赏
举报

回复

恳请大侠为我解答疑惑

sparkStreaming消费数据不丢失，sparkStreaming消费数据不丢失

本文谈及SparkStreaming容错的改进和零数据丢失的实现。本文来自Spark Streaming项目带头人 TathagataDas的博客文章，他现在就职于Databricks公司。过去曾在UC Berkeley的AMPLab实验室进行大数据和Spark ...

1.Spark Streaming：缓存与持久化机制 2.Spark Streaming：Checkpoint机制 3.Spark Streaming：部署、升级和监控应用程序 4.Spark Streaming：容错机制以及事务语义详解

sparkStreaming接收kafka数据的方式有两种： 1.利用Receiver接收数据； 2.直接从kafka读取数据（Direct 方式） 保证数据不丢失（1）Receiver方式为确保零数据丢失，必须在Spark Streaming中另外启用预写日志...

在Spark Streaming的生产实践中，要做到数据零丢失，需要满足以下几个先决条件: 1.输入的数据源是可靠的/数据接收器是可靠的 2.应用程序的metadata被application的driver持久化了(checkpointed ) 3.启用了WAL特性...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章