关于在hadoop基础上安装spark的问题

liam_forever 2017-12-24 12:03:24

我的hadoop是apache2.5.0，用spark-1.6.1-bin-hadoop2.4.tgz可以吗？

...全文

453 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

基于Hadoop的spark环境搭建已有环境情况 Hadoop HA Java 软件版本 Hadoop 2.7.2 Java 1.8.0_301 Scala 2.11.8 Spark 2.1.0 下载地址 Scala下载地址：Index of /dist/spark Spark下载地址：Index of /dist/spark 安装下载好的安装包，进行解压解压命令如下：tar -zxvf 压缩包 -C 解压所至的目录 tar -zxvf scala-2.11.8.tgz.

hadoop2.4.1集群安装spark1.1.0 [复制链接] desehawk 454 主题 919 帖子 5058 积分实习版主积分 5058 收听TA 发消

参考文章一参考文章二先安装完hadoop3.2.1之后，再安装的spark，基于上面的参考安装，spark要依赖scala，然后配置环境坑一：ssh权限问题生成的密钥文件无法修改chattr -ia ~/.ssh/authorized_keys移除无法修改的属性，chmod加权 **坑二：安装完成之后,运行spark-all出现 Unable to initialize main class org.apache.spark.deploy.master.Master Caused By: java.

基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0) 目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看 1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz) 地址: http://spark.apache.org/downloads.html https://dow

1.环境配置 Hadoop安装与安装前的环境配置流程 •如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。在下载好的ubuntu中需要创建hadoop用户，并为其设置密码以及所需权限，为后续的实验方便： sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo 在创建成功后注销现在的环境，再次进入虚拟机使用创建的hadoop用户登录开始实验。

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章