社区
Spark
帖子详情
如何在代码中执行spark-submit,而不是在命令行中
cjyang1123
2015-05-20 11:43:40
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码
SparkResult result = spark.submit();
不胜感激~
...全文
931
5
打赏
收藏
如何在代码中执行spark-submit,而不是在命令行中
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码SparkResult result = spark.submit();不胜感激~
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LinkSe7en
2015-07-21
打赏
举报
回复
SparkLauncher
FightForProgrammer
2015-07-20
打赏
举报
回复
http://spark.apache.org/docs/latest/submitting-applications.html
官方的说明最好。
风雨之间
2015-06-25
打赏
举报
回复
写Linux脚本 #!/bin/sh if [ $# -lt 2 ] ;then echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>" exit else echo "wordcount is starting!" spark-submit \ --master spark://spark:7077 \ --class WordCount \ --executor-memory 512m \ --total-executor-cores 6 \ ~/input/WordCount.jar \ "$1" \ "$2" echo "wordcount is stopped!" fi 就象这样
kxld1986
2015-06-12
打赏
举报
回复
两种方式: http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/ http://www.open-open.com/lib/view/open1397180071590.html
spark
-2.4.8-bin-hadoop2.7.tgz
spark
-2.4.8-bin-hadoop2.7.tgz
spark
-2.1.0-bin-without-hadoop.tgz
Linux系统 大数据开发
spark
-2.1.0-bin-without-hadoop.tgz
spark
-2.3.3-bin-hadoop2.6.tgz
spark
-2.3.3-bin-hadoop2.6.tgz
Spark
job
submit
.zip
本地提交
spark
任务至yarn,本地无须安装hadoop环境,适合批量新手入门。
spark
-3.2.1 安装包 集成 hadoop3.2
spark
-3.2.1 安装包 集成 hadoop3.2 只将原安装包再压缩为Zip
Spark
1,270
社区成员
1,170
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章