spark.history.fs.logdirectory下没有日志文件

yux007 2016-02-24 01:33:41
Spark集群搭建采用一个master,2个worker, 在root账户下 ./start-historyserver.sh后,history server web可以访问,但是运行日志为空,Sparkspark-default.conf的配置为:
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.eventLog.enabled true
spark.eventLog.dir file:/tmp/sparkserverlog
#hdfs://master:9000/historyserverforspark
spark.yarn.historyserver.address Master:18080
spark.history.fs.logDirectory file:/tmp/sparkserverlog

spark.history.fs.logDirectory设置为HDFS或者file都不能创建日志文件。

请问可能的原因是啥?


...全文
286 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧