ambari 安装的spark 怎么使用Standalone方式提交任务

jsjhkw 2016-12-29 05:50:20
安装的版本分别是:
Ambari: 2.4.1
Spark: 2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6


安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢? 自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错:
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED

The currently active SparkContext was created at:
(No active SparkContext.)

java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

ambari安装spark的结果:
...全文
1842 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_37267676 2019-12-31
  • 打赏
  • 举报
回复
这是由于使用远程连接的情况比较少,除了是用于测试,很少需要用到standalone模式,所以ambari默认集群之间的通讯通过yarn管理,而standalone则需要由用户自行管理,其实很好理解,standalone模式翻译过来就是独立模式
rewerma 2018-01-22
  • 打赏
  • 举报
回复
在master上进入目录::/usr/hdp/2...../spark2/sbin,运行:./start-all.sh,就可以启动standlone模式,只是配置文件不能再ambari里统一管理
qq_19541689 2017-04-13
  • 打赏
  • 举报
回复
楼主,你的问题是如何解决的
java8964 2017-03-27
  • 打赏
  • 举报
回复
1) You need to start the Spark Master demon. 2) You need to start the Spark Workers on all your slave nodes. 3) Submit your application using "--master spark://master:7077", or point to this master URL in your application. 4) Last but no least, why do you want to use standalone mode, if you already have YARN? This is a strange requirement
qicaiyulin 2017-03-26
  • 打赏
  • 举报
回复
我也遇到这个问题,你的问题解决了吗,求解决方案

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧