社区
Cloud Foundry
帖子详情
使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
liygcoding
2016-12-15 04:23:17
1)使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
2) 使用cdh5安装完spark后,难道还需要手工配置一些文件才能让gateway显示正常吗?
3)cdh5自带的spark前台显示gateway状态怎么样才算正确呢?
...全文
9979
4
打赏
收藏
使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
1)使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗 2) 使用cdh5安装完spark后,难道还需要手工配置一些文件才能让gateway显示正常吗? 3)cdh5自带的spark前台显示gateway状态怎么样才算正确呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
夜间独白
2019-01-09
打赏
举报
回复
感觉这个状态是正常的今天,弄了好久的这个网关,都是不适用,但是也不会影响程序运行,如果spark on yarn 跑的运行失败,不放试试su hdfs,在hdfs 下执行spark-submit。我自己感觉cdh安装的spark(on yarn就是上面那个,下面还有一个单机版好像)应该有个自带yarn,可以提交,默认是用这个,所以还需要自己调整环境,配置一些权限。
Xiao 伙伴
2017-01-07
打赏
举报
回复
正常现象,gateway只是spark任务提交的入口,只配置一个history server其实就够了
liygcoding
2016-12-15
打赏
举报
回复
期待大神的回答!非常感谢!!!
CD
H
gateway
不
适用
前因:在部署
cd
h后
发现
spark
、hive等的
gateway
状态
显示
不
适用
,就搜了一下,没有找到一条合适答案,所以就去
cd
h的官网找,皇天不负有心人呀,被我找到了 官网链接:https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_managing_roles.html#managing_roles 意思大意: 网关是一种特殊
类型
的
角色
,其唯一目的是指定一个主机,当该主机上没有运行任何
角色
时,该主机应接收特定服务
spark
-1.6.0-
cd
h5
.
8.3
安装
下载tar包:
spark
-1.6.0-
cd
h5
.
8.3
.tar.gz scala-2.11.7.tgz scala
安装
: 将scala下载到/usr/scala中并解压 在/etc/profile export SCALA_HOME=/usr/scala/scala-2.11.7 并将scala的path添加到环境变量中 进入到/usr/bin目录中并建立软连接:ln -s /usr/scal...
CD
H
使用
独立的
Spark
CD
H
使用
独立的
Spark
1. 下载
安装
spark
2. 配置环境变量 # vim ~/.bashrc export HADOOP_HOME=/opt/cloudera/parcels/
CD
H/lib/hadoop export HADOOP_CONF_DIR=/etc/hadoop/conf export YARN_CONF_DIR=/etc/hadoop/conf export
SPARK
_CONF_DIR=/bigdata/
spark
/conf export
SPARK
_HOME=/dat
CD
H环境故障:linux jdk环境部署不规范导致部署
spark
2
gateway
失败,
spark
2-submit无法执行
问题概述 在
CD
H中离线部署
完
spark
2
之后
,执行
spark
2-submit命令测试部署的
spark
2是否可用,结果立即提示请
安装
spark
gateway
角色
。说明我的
spark
2并未成功部署,或者它依赖的环境没有满足 问题详情 问题出现 如图,在
spark
2集群页面,选择【部署客户端配置操作】 一段时间后,部署崩溃! 查看日志 查看崩溃的日志,
spark
2部署的每个客户端有2份日志,1份stout,1份sterr stout日志 sterr日...
CD
H 离线
安装
spark
2.3
一、
安装
准备 1、下载csd包 wget http://archive.cloudera.com/
spark
2/csd/
SPARK
2_ON_YARN-2.3.0.cloudera2.jar 2、下载parcel包 wget http://archive.cloudera.com/
spark
2/parcels/2.3.0.cloudera2/
SPARK
2-2.3.0.cloudera2-1.
cd
h5
.13.3.p0.316101-el7.parcel wget http://archive.cloudera
Cloud Foundry
547
社区成员
352
社区内容
发帖
与我相关
我的任务
Cloud Foundry
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
复制链接
扫一扫
分享
社区描述
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章