社区
Cloud Foundry
帖子详情
使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
liygcoding
2016-12-15 04:23:17
1)使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
2) 使用cdh5安装完spark后,难道还需要手工配置一些文件才能让gateway显示正常吗?
3)cdh5自带的spark前台显示gateway状态怎么样才算正确呢?
...全文
9981
4
打赏
收藏
使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
1)使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗 2) 使用cdh5安装完spark后,难道还需要手工配置一些文件才能让gateway显示正常吗? 3)cdh5自带的spark前台显示gateway状态怎么样才算正确呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
夜间独白
2019-01-09
打赏
举报
回复
感觉这个状态是正常的今天,弄了好久的这个网关,都是不适用,但是也不会影响程序运行,如果spark on yarn 跑的运行失败,不放试试su hdfs,在hdfs 下执行spark-submit。我自己感觉cdh安装的spark(on yarn就是上面那个,下面还有一个单机版好像)应该有个自带yarn,可以提交,默认是用这个,所以还需要自己调整环境,配置一些权限。
Xiao 伙伴
2017-01-07
打赏
举报
回复
正常现象,gateway只是spark任务提交的入口,只配置一个history server其实就够了
liygcoding
2016-12-15
打赏
举报
回复
期待大神的回答!非常感谢!!!
CD
H6.x企业级大数据平台搭建
实战演练基于Cloudera Manager(
CD
H6)
安装
部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练,从设计思想到流程实施,亲力亲测,你也绝对可以。推荐进阶课程:大数据运维尖刀班
CD
H
gateway
不
适用
前因:在部署
cd
h后
发现
spark
、hive等的
gateway
状态
显示
不
适用
,就搜了一下,没有找到一条合适答案,所以就去
cd
h的官网找,皇天不负有心人呀,被我找到了 官网链接:https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_managing_roles.html#managing_roles 意思大意: 网关是一种特殊
类型
的
角色
,其唯一目的是指定一个主机,当该主机上没有运行任何
角色
时,该主机应接收特定服务
spark
-1.6.0-
cd
h5
.
8.3
安装
下载tar包:
spark
-1.6.0-
cd
h5
.
8.3
.tar.gz scala-2.11.7.tgz scala
安装
: 将scala下载到/usr/scala中并解压 在/etc/profile export SCALA_HOME=/usr/scala/scala-2.11.7 并将scala的path添加到环境变量中 进入到/usr/bin目录中并建立软连接:ln -s /usr/scal...
CD
H
使用
独立的
Spark
CD
H
使用
独立的
Spark
1. 下载
安装
spark
2. 配置环境变量 # vim ~/.bashrc export HADOOP_HOME=/opt/cloudera/parcels/
CD
H/lib/hadoop export HADOOP_CONF_DIR=/etc/hadoop/conf export YARN_CONF_DIR=/etc/hadoop/conf export
SPARK
_CONF_DIR=/bigdata/
spark
/conf export
SPARK
_HOME=/dat
CD
H环境故障:linux jdk环境部署不规范导致部署
spark
2
gateway
失败,
spark
2-submit无法执行
问题概述 在
CD
H中离线部署
完
spark
2
之后
,执行
spark
2-submit命令测试部署的
spark
2是否可用,结果立即提示请
安装
spark
gateway
角色
。说明我的
spark
2并未成功部署,或者它依赖的环境没有满足 问题详情 问题出现 如图,在
spark
2集群页面,选择【部署客户端配置操作】 一段时间后,部署崩溃! 查看日志 查看崩溃的日志,
spark
2部署的每个客户端有2份日志,1份stout,1份sterr stout日志 sterr日...
Cloud Foundry
547
社区成员
352
社区内容
发帖
与我相关
我的任务
Cloud Foundry
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
复制链接
扫一扫
分享
社区描述
Cloud Foundry是业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章