spark-2.3.1源码包下载

AI100_小助手 2018-07-05 11:34:55

spark2.3.1源码包官网给了两种编译方式，个人喜欢打包的方式，因为打包完成后可以根据自己的需要去部署spark环境，所以也推荐打包编译方式
相关下载链接：//download.csdn.net/download/weixin_36146358/10521288?utm_source=bbsseo

...全文

84 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

spark2.3.1源码包官网给了两种编译方式，个人喜欢打包的方式，因为打包完成后可以根据自己的需要去部署spark环境，所以也推荐打包编译方式

问题描述当spark源码编译完成，并导入IDEA后，打开spark-examples子模块，试图运行其中的 SparkPi 程序进行测试，发现各种报错，这些错提示spark依赖或者scala依赖的各种类找不到。为了解决这些问题，花了好几天时间，查了各种博客，大部分都解决不了我的问题 (网上博客等资料十有八九都是互相抄袭，来自亲身实践的很少，有真知灼见的就更少了)。大海捞针，也发现有一两篇，讲的虽不详细，但是提供了方向。指导思想需要为 spark-example 子模块提...

1. 前置要求（地址我给也贴下来，方便大家快速上手）注意:我个人的环境是centos6.5,编译的是 spark-2.3.1-bin-2.6.0-cdh5.7.5 版本:scala 2.11.8 -- maven 3.3.9 -- java 1.8 -- spark 2.3.1 -- hadoop 2.6.0-cdh5.7.5 安装 apache-maven-3.3.9(或者...

一、前提 1.配置好maven：intellij idea maven配置及maven项目创建 2.下载好spark源码: 二、导入源码： 1.将下载的源码包spark-2.3.1.tgz解压（E:\spark-2.3.1.tgz\spark-2.3.1.tar）至E:\spark-2.3.1-src 2.在ideal导入源码： a.选择解压的源代码文件夹 ...

最近闲来，下载了spark源码编译调试一下，看看最新的东西。。。一、下载源码地址：http://spark.apache.org/downloads.html 选择源码包下载 https://archive.apache.org/dist/spark/spark-2.3.1/spark-2.3.1.tgz 二、环境准备 1、一个Linux系统环境 2、在Linux系统上安装J...

下载资源悬赏专区

12,887

社区成员

12,441,276

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章