请问spark submit 怎么指定jar包路径？

z630860668 2017-03-30 09:41:17

我集成了hbase，有很多jar包，如果--jars指定的话要写一长串，spark submit里有什么指定路径的方法吗？
或者代码里可以指定？

...全文

1546 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

shadon178 2017-07-04

打赏
举报

回复

可以使用*匹配符

z630860668 2017-06-27

打赏
举报

回复

自己结吧给后来的人用，用fatjar来打包就可以解决jar包的问题了

spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。

spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。... 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal

SparkDemos DataStax Cassandra Java ...dse spark-submit --class simpleSpark.BasicSparkSQL ./target/BasicSparkDemo-0.1.jar **如果您没有Maven 下载Maven：：添加到路径导出PATH = [dir] /apache-maven-3

找到spark-submit文件的目录目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数： --...

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇...

1,274

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章