spark-submit之后提示出错

扫帚油松 2020-01-22 09:53:39

log4j:WARN No appenders could be found for logger (org.apache.spark.deploy.SparkSubmit$$anon$2).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

请大神们指点迷津

...全文

406 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

悦嘟嘟嘟 2021-04-23

打赏
举报

回复

老哥你解决了吗？请问如何解决的

我一直在关注本教程为scala安装spark：https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm但是,当我尝试运行spark-shell时,我在控制台中收到此错误./usr/local/spark/bin/spark-shell: line 57: /usr/local/spark/bin/bin/sp...

出错情况： spark-submit --driver-class-path /home/package/*:/opt/spark/jars/*:/opt/kafka/libs/* --master spark://localhost:8088 --class Producer --executor-memory 500m /root/IdeaProjects/Case7/target/Cas...

前提：本地java、hadoop已经安装好，但本地cmd启动spark-shell报出下面错误，我的配置是hadoop2.7、spark-2.3.1。提示:没有配置好hadoop、spark(两者版本有联系，有对应)请先在本地安装好hadoop、spark。出错原因：本地java版本过高. 处理方法：降低java版本到java8。如果不想影响你之前的java环境配置，你可以在本地多安一个java，想用哪个就到环境变量里面修改路径即可。 java8百度云资源：链接: https://pan.b

一、提交任务代码 @Override public Response submitApplication(String[] args) throws IOException, InterruptedException { log.info("spark任务传入参数args:{}", args); args[0] = args[0].replace("}}", "} }").replace("{{", "{ {"); SparkLauncher ha.

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章