社区
Spark
帖子详情
如何在代码中执行spark-submit,而不是在命令行中
cjyang1123
2015-05-20 11:43:40
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码
SparkResult result = spark.submit();
不胜感激~
...全文
1007
5
打赏
收藏
如何在代码中执行spark-submit,而不是在命令行中
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码SparkResult result = spark.submit();不胜感激~
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LinkSe7en
2015-07-21
打赏
举报
回复
SparkLauncher
FightForProgrammer
2015-07-20
打赏
举报
回复
http://spark.apache.org/docs/latest/submitting-applications.html
官方的说明最好。
风雨之间
2015-06-25
打赏
举报
回复
写Linux脚本 #!/bin/sh if [ $# -lt 2 ] ;then echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>" exit else echo "wordcount is starting!" spark-submit \ --master spark://spark:7077 \ --class WordCount \ --executor-memory 512m \ --total-executor-cores 6 \ ~/input/WordCount.jar \ "$1" \ "$2" echo "wordcount is stopped!" fi 就象这样
kxld1986
2015-06-12
打赏
举报
回复
两种方式: http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/ http://www.open-open.com/lib/view/open1397180071590.html
Spark
-
submit
执行
流程,了解一下
摘要:本文主要是通过
Spark
代码
走读来了解
spark
-
submit
的流程。 1.任务命令提交 我们在进行
Spark
任务提交时,会使用“
spark
-
submit
-class .....”样式的命令来提交任务,该命令为
Spark
目录下的shell脚本。它的作用是查询
spark
-home,调用
spark
-class命令。 if [ -z "${
SPARK
_HOME}" ]; then source "$(dirname "$0")"/find-
spark
-home fi # disable ra
spark
-
submit
命令行
提交
Spark
任务流程解读
spark
-
submit
方式提交应用 启动脚本文件 #
命令行
提交
Spark
应用样例: #./bin/
spark
-
submit
\ # --class com.imooc.
spark
.Test.TestOf
Spark
Context2 \ # --conf
spark
.master
spark
://localhost:7077 \ # --master local[2] \ # /home/hadoop/data/test-jar/sql-1.0.jar arg1 arg2 # if [ -z "${
Spark
Submit
任务提交流程
1,简介 在上一篇博客
中
,我们详细介绍了
Spark
Standalone模式下集群的启动流程。在
Spark
集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍
Spark
Submit
提交任务的流程。 2,
Spark
任务的提交 我们可以从
spark
的官网看到,
spark
-
submit
的提交格式如下: ./bin/
spark
-
submit
–class –ma...
【
Spark
】
spark
-
submit
作业提交及参数设定
随着 application 的增加,需要不断安装新的包,而且不同 application 可能存在版本问题,这对于 client 模式来说或许还可以接受,但 cluster 模式肯定不行的,如果集群很大,装环境会很麻烦。在 client 模式下,Driver 就找在 Client 端,可以把 client 端的资源分发,而 cluster 模式下,Driver 可在集群任一节点,该节点是没有资源的。client:在客户端上启动driver,这样逻辑运算在client上
执行
,任务
执行
在cluster上。
submit
获取返回值_
Spark
-
submit
执行
流程,了解一下
摘要:本文主要是通过
Spark
代码
走读来了解
spark
-
submit
的流程。1.任务命令提交我们在进行
Spark
任务提交时,会使用“
spark
-
submit
-class .....”样式的命令来提交任务,该命令为
Spark
目录下的shell脚本。它的作用是查询
spark
-home,调用
spark
-class命令。随后会
执行
spark
-class命令,以
Spark
Submi...
Spark
1,274
社区成员
1,171
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章