社区
Spark
帖子详情
如何在代码中执行spark-submit,而不是在命令行中
cjyang1123
2015-05-20 11:43:40
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码
SparkResult result = spark.submit();
不胜感激~
...全文
911
5
打赏
收藏
如何在代码中执行spark-submit,而不是在命令行中
小弟最近初学spark,每次跑spark的job,都需要在命令行输bin/spark-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑spark-submit,但是又不想是以在代码中跑命令行的方式跑。比如有没有这样的代码SparkResult result = spark.submit();不胜感激~
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LinkSe7en
2015-07-21
打赏
举报
回复
SparkLauncher
FightForProgrammer
2015-07-20
打赏
举报
回复
http://spark.apache.org/docs/latest/submitting-applications.html
官方的说明最好。
风雨之间
2015-06-25
打赏
举报
回复
写Linux脚本 #!/bin/sh if [ $# -lt 2 ] ;then echo "Useage:$0 <hdfs_input_file> $1 <hdfs_output_file>" exit else echo "wordcount is starting!" spark-submit \ --master spark://spark:7077 \ --class WordCount \ --executor-memory 512m \ --total-executor-cores 6 \ ~/input/WordCount.jar \ "$1" \ "$2" echo "wordcount is stopped!" fi 就象这样
kxld1986
2015-06-12
打赏
举报
回复
两种方式: http://blog.sequenceiq.com/blog/2014/08/22/spark-submit-in-java/ http://www.open-open.com/lib/view/open1397180071590.html
Py
spark
学习笔记(二)---
spark
部署及
spark
-
submit
命令简介
Py
spark
学习笔记(二)---
spark
-
submit
命令 非交互式应用程序,通过
spark
-
submit
命令提交任务,官方讲解如下链接所示 ...
spark
-
submit
指令详解
编写好的
Spark
程序一般通过
Spark
-
submit
指令的方式提交给
Spark
集群进行具体的任务计算,
Spark
-
submit
指令可以指定一些向集群申请资源的参数(也可直接在
Spark
程序
代码
中
指定,参数生效的优先级最高),在Linux环境下...
spark
-
submit
命令使用详解
spark
-
submit
命令使用详解
spark
-
submit
用户打包
Spark
应用程序并部署到
Spark
支持的集群管理气上,命令语法如下:
spark
-
submit
[options] <python file> [app arguments] app arguments 是传递给应用...
spark
-
submit
命令行
提交
Spark
任务流程解读
spark
-
submit
方式提交应用 启动脚本文件 #
命令行
提交
Spark
应用样例: #./bin/
spark
-
submit
\ # --class com.imooc.
spark
.Test.TestOf
Spark
Context2 \ # --conf
spark
.master
spark
://localhost:7077 \ # --master ...
spark
-
submit
与
spark
-shell 介绍
一、
spark
-
submit
介绍 1、
spark
-
submit
介绍 程序一旦打包好,就可以使用 bin/
spark
-
submit
脚本启动应用了。这个脚本负责设置
spark
使用的 classpath 和依赖,支持不同类型的集群管理器和发布模式。 2、运行方式 ...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章