spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties

weixin_47176354 weixin_47176354 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

spark-submit \ –class com.example.YourMainClass \ –master yarn \ –deploy-mode cluster \ –files /path/to/log4j.properties#log4j.properties \ –conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties" \ –conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties" \ /path/to/your_spark_application.jar spark在yarn的cluster命令为啥配置这个log4j文件有时候可以有时候不行,是有啥报错吗?还是啥原因,有人遇到过吗

...全文

相关推荐

评论
收藏 已收藏
分享
返回顶部
weixin_47176354
Spark 1,274 成员 1,171 内容