如何在代码中执行spark-submit,而不是在命令行中

cjyang1123 2015-05-20 11:43:40
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码
SparkResult result = spark.submit();
不胜感激~
...全文
911 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
LinkSe7en 2015-07-21
  • 打赏
  • 举报
回复
SparkLauncher
FightForProgrammer 2015-07-20
  • 打赏
  • 举报
回复
风雨之间 2015-06-25
  • 打赏
  • 举报
回复
写Linux脚本 #!/bin/sh if [ $# -lt 2 ] ;then echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>" exit else echo "wordcount is starting!" spark-submit \ --master spark://spark:7077 \ --class WordCount \ --executor-memory 512m \ --total-executor-cores 6 \ ~/input/WordCount.jar \ "$1" \ "$2" echo "wordcount is stopped!" fi 就象这样
kxld1986 2015-06-12
  • 打赏
  • 举报
回复
两种方式: http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/ http://www.open-open.com/lib/view/open1397180071590.html

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧