spark standalone模式 以cluster模式提交时找不到jar包

[qq_23852677]

由于网络问题8081端口访问不了



jar包确实是存在的

[qq_23852677]

任务提交命令 spark-submit --master spark://master_ip:7077 --deploy-mode cluster --driver-memory 20g --class Main xxxxx.jar

[eiffel_0311]

在master 是yarn 的时候, cluster 才好用 spark-submit --master yarn --deploy-mode cluster --class xxxxxxx xxxxx.jar

[淘之夭夭2016]

spark-submit --master spark://xxxx:7077 \ --deploy-mode cluster \ --supervise \ --driver-memory 512m \ --total-executor-cores 1 \ --executor-memory 512m \ --executor-cores 1 \ --class xxx \ hdfs://xxx:8020/user/hutao/xxx.jar 注意：standalone 模式的 cluster 要把jar 文件传到hdfs上面去，因为driver在集群中的任意一个节点