用Spark-submit。报错:Error: Must specify a primary resource (JAR or Python or R fil

yiranAGONY 2015-10-31 04:20:48
自己练习的一个java的SparkPi程序,已经尝试过在本地(local)跑成功了。现在想在公司的集群中跑一下。

我所做的步骤如下,如有错误,请您们多多指出:
1. Eclipse中的项目SparkPi,右键export成一个SparkPiTest.jar文件。

2. 这个项目中用到一个spark-assembly-1.5.1-hadoop1.2.1.jar依赖。将 SparkPiTest.jar 和 spark-assembly-1.5.1-hadoop1.2.1.jar移到了 master中 /root/spark-1.5.1-bin-hadoop1-scala2.11/bin 路径下。(这一步我不太确定,只需要把整个项目拷贝到master中,还是还需要把项目中的依赖包spark-assembly-1.5.1-hadoop1.2.1.jar也移动进去?但是不论我怎么操作,报错一直没变)

3.最后一步我在putty中操作,这一步也不太确定,怕某一行写错了,但是不论怎么改,报错一直没变。
在bin路径下:
./spark-submit\
--class org.apache.spark.examples.JavaSparkPi\
--master spark://192.168.0.208:7077\
--jars spark-assembly-1.5.1-hadoop1.2.1.jar\
--executor-memory 20G\
--total-executor-cores 1\
/root/spark-1.5.1-bin-hadoop1-scala2.11/bin/SparkPiTest.jar\

然后报错:Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output

我查了很多资料,通通没有解决。我不知道是配置原因,还是./spark-submit这个指令没有写对,总之一直没有头绪。求帮助!多谢大神指点!
...全文
775 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧