spark on yarn 执行,总是会上传jar包

天水炎 2017-04-27 01:44:57
如题,每次执行任务的时候,都会有上传jar包的日志,这部分执行时长大概有10s左右,怎么能将这部分的时间优化?
sprak的配置文件中有这个配置:
spark.yarn.jars hdfs://hadoop-server-master-196:9000/spark/lib_jars/*.jar

任务的部分日志如下图:
...全文
995 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
火山1 2017-08-09
  • 打赏
  • 举报
回复
spark-env.sh 脚本里面添加一行 export SPARK_DIST_CLASSPATH=”SPARK_DIST_CLASSPATH:/usr/lib/path/*” 项目中用到的jar包放到这个目录下就行了
天水炎 2017-04-28
  • 打赏
  • 举报
回复
自己顶一下,别沉了

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧