安装的版本分别是:
Ambari: 2.4.1
Spark: 2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6
安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢? 自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错:
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED
The currently active SparkContext was created at:
(No active SparkContext.)
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
ambari安装spark的结果: