spark on mesos以cluster模式提交任务时--jar无法使用怎么解?

uygej 2018-01-25 11:49:35
我提交的kafka streaming任务,提交的脚本是:submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.0.2.jar --master mesos://HOST:7077 --deploy-mode cluster --executor-memory 2G --total-executor-cores 50 --conf spark.default.parallelism=600 --conf spark.streaming.kafka.maxRatePerPartition=30 http://HOST:PORT/main.py,然后运行的时候会报jar包缺失:
我尝试把jar包直接放到 $SPARK_HOME/lib 目录,在创建SparkContext时就会报另外的错误,求大神指教!
...全文
483 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧