-
本版专家分：0结帖率 50% -
小弟最近初学spark，每次跑spark的job，都需要在命令行输bin/spark-submit XXXX，十分的繁琐，于是我想有没有一种方法，可以在代码中跑spark-submit，但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码
SparkResult result = spark.submit();
不胜感激~
-
本版专家分：40
-
两种方式：
http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/
http://www.open-open.com/lib/view/open1397180071590.html
-
本版专家分：30
-
写Linux脚本
#!/bin/sh
if [ $# -lt 2 ] ;then
echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>"
exit
else
echo "wordcount is starting!"
spark-submit \
--master spark://spark:7077 \
--class WordCount \
--executor-memory 512m \
--total-executor-cores 6 \
~/input/WordCount.jar \
"$1" \
"$2"
echo "wordcount is stopped!"
fi
就象这样
-
本版专家分：57
-
本版专家分：2643 -
SparkLauncher
