七个pdf理解spark系列_3-JobPhysicalPlan下载

weixin_39821526 2020-08-17 02:00:34

在GitHub上找到的，国内某大牛JerryLead对spark的理解，生动形象，看完这7个pdf，对spark的运行机制，原理，以及后续性能调优有很大的帮助，这是第二个pdf-Job的物理执行图，详细描述了如何生成Job，提交 job 的实现细节，
相关下载链接：//download.csdn.net/download/anjingwunai/9886516?utm_source=bbsseo

...全文

23 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

compile group: 'org.apache.spark', name: 'spark-streaming-kafka-0-10_2.10', version: '2.2.0' } 详见官网： http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#storing-offsets

背景介绍在日常工作中，我们可以在一个shell脚本里面利用spark-sql -e执行sql脚本，而且可以传参数，但是存在一个问题，shell脚本对格式要求严格，而且shell脚本和spark-sql的脚本混在一起，内容庞大凌乱，不好管理...

Kafka的安装，请看另外一文，一定要选择和自己电脑上已经安装的scala版本号一致才可以，本教程安装的Spark版本号是1.6.2，scala版本号是2.10，所以，一定要选择Kafka版本号是2.10开头的。比如，到Kafka官网中，可以...

使用spark-streaming 和kafka集成进行wordcount，spark和kafka版本分别为：spark-1.6.0和kafka_2.10-0.8.2.2，开发时只需要spark-assembly-1.6.0-hadoop2.6.0.jar包和spark-streaming-kafka_2.10-1.6.0.jar包就够了...

记一次神奇的mongo-spark-connector

下载资源悬赏专区

13,656

社区成员

12,673,480

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章