spark driver日志配置和查看的问题

上岸の鱼 2016-08-15 05:05:08
master以yarn的方式跑,通过http://node1:18088/history/application_1470281024284_0054/executors/,可以看到如下图所示信息,


应用程序即driver的日志无法查看,我试过将logger.info改成logger.warn也看不到。
故请问:
1.driver的日志如何查看?
2.我的程序如何指定自己的log4j.properties,不要告诉我放到${SPARK_HOME}/conf/下,因为那会对所有spark应用都生效,我只想对自己这个应用生效;我试过把log4j.properties放到项目的resources下,但不管用。
...全文
864 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧