spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties

weixin_47176354 2024-04-26 13:37:06

spark-submit \ –class com.example.YourMainClass \ –master yarn \ –deploy-mode cluster \ –files /path/to/log4j.properties#log4j.properties \ –conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties" \ –conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties" \ /path/to/your_spark_application.jar spark在yarn的cluster命令为啥配置这个log4j文件有时候可以有时候不行,是有啥报错吗?还是啥原因,有人遇到过吗

...全文
179 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,269

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧