七个pdf理解spark系列_6-CacheAndCheckpoint下载

weixin_39821051 2020-08-17 02:00:40

GitHub上某位大牛JerryLead对Spark的理解，大量图示，生动形象，总共7个pdf，看完对spark的原理，运行机制以及后续性能调优有很大的帮助，这是第六个pdf，讲述了cache、checkpoint的实现、使用等常见问题
相关下载链接：//download.csdn.net/download/anjingwunai/9886528?utm_source=bbsseo

...全文

13 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

compile group: 'org.apache.spark', name: 'spark-streaming-kafka-0-10_2.10', version: '2.2.0' } 详见官网： http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#storing-offsets

背景介绍在日常工作中，我们可以在一个shell脚本里面利用spark-sql -e执行sql脚本，而且可以传参数，但是存在一个问题，shell脚本对格式要求严格，而且shell脚本和spark-sql的脚本混在一起，内容庞大凌乱，不好管理...

Kafka的安装，请看另外一文，一定要选择和自己电脑上已经安装的scala版本号一致才可以，本教程安装的Spark版本号是1.6.2，scala版本号是2.10，所以，一定要选择Kafka版本号是2.10开头的。比如，到Kafka官网中，可以...

使用spark-streaming 和kafka集成进行wordcount，spark和kafka版本分别为：spark-1.6.0和kafka_2.10-0.8.2.2，开发时只需要spark-assembly-1.6.0-hadoop2.6.0.jar包和spark-streaming-kafka_2.10-1.6.0.jar包就够了...

记一次神奇的mongo-spark-connector

下载资源悬赏专区

13,655

社区成员

12,654,251

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章