社区
Hadoop生态社区
帖子详情
关于在hadoop基础上安装spark的问题
liam_forever
2017-12-24 12:03:24
我的hadoop是apache2.5.0,用spark-1.6.1-bin-hadoop2.4.tgz可以吗?
...全文
462
回复
打赏
收藏
关于在hadoop基础上安装spark的问题
我的hadoop是apache2.5.0,用spark-1.6.1-bin-hadoop2.4.tgz可以吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
基于
Hadoop
安装
spark
集群
基于
Hadoop
的
spark
环境搭建 已有环境情况
Hadoop
HA Java 软件版本
Hadoop
2.7.2 Java 1.8.0_301 Scala 2.11.8
Spark
2.1.0 下载地址 Scala下载地址:Index of /dist/
spark
Spark
下载地址:Index of /dist/
spark
安装
下载好的
安装
包,进行解压 解压命令如下:tar -zxvf 压缩包 -C 解压所至的目录 tar -zxvf scala-2.11.8.tgz.
hadoop
集群上面
安装
spark
1.1.0
hadoop
2.4.1集群
安装
spark
1.1.0 [复制链接] desehawk 454 主题 919 帖子 5058 积分 实习版主 积分 5058 收听TA 发消
linux
安装
hadoop
3.2.1
基础
上
安装
spark
3.0.1
参考文章一 参考文章二 先
安装
完
hadoop
3.2.1之后,再
安装
的
spark
,基于上面的参考
安装
,
spark
要依赖scala,然后配置环境 坑一:ssh权限
问题
生成的密钥文件无法修改chattr -ia ~/.ssh/authorized_keys移除无法修改的属性,chmod加权 **坑二:
安装
完成之后,运行
spark
-all出现 Unable to initialize main class org.apache.
spark
.deploy.master.Master Caused By: java.
基础
架构系列篇-基于win10
安装
SPARK
3与
HADOOP
环境
基础
架构系列篇-基于win10
安装
SPARK
3与
HADOOP
环境(这里版本是
spark
-3.1.2
hadoop
-3.2.0) 目录1. 下载
安装
spark
(这里版本是
spark
-3.1.2-bin-
hadoop
3.2.tgz)2.下载
安装
hadoop
(按
SPARK
版本选择)3. 测试查看 1. 下载
安装
spark
(这里版本是
spark
-3.1.2-bin-
hadoop
3.2.tgz) 地址: http://
spark
.apache.org/downloads.html https://dow
hadoop
和
spark
的
安装
,详细步骤
1.环境配置
Hadoop
安装
与
安装
前的环境配置流程 •如果你
安装
Ubuntu 的时候不是用的 “
hadoop
” 用户,那么需要增加一个名为
hadoop
的用户。 在下载好的ubuntu中需要创建
hadoop
用户,并为其设置密码以及所需权限,为后续的实验方便: sudo useradd -m
hadoop
-s /bin/bash sudo passwd
hadoop
sudo adduser
hadoop
sudo 在创建成功后注销现在的环境,再次进入虚拟机使用创建的
hadoop
用户登录开始实验。
Hadoop生态社区
20,810
社区成员
4,691
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章