集群日志在哪?

雪狐 2018-01-09 04:22:18
小弟刚学spark,用CDH搭了一个集群服务器,写了spark程序跑在yarn上,找不到程序的调试日志,用了网上说的修改spark-conf下的log4j.properties 配置,增加了:
log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.FILE.Threshold=DEBUG
log4j.appender.FILE.file=/opt/app/sparkServicesLog/spark.log
log4j.appender.FILE.DatePattern='.'yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n:mm:ss}] [%C{1}:%M:%L] %m%n
日志有了,但也只是spark的输出日志,没有程序的输出的调试日志,请教各位大神,怎么解决???万分感谢。。
...全文
428 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
KingOfJelly 2018-01-16
  • 打赏
  • 举报
回复
没用过Yarn模式,StandAlone模式的话,需要继承Logging,然后使用logInfo记录日志,会在Executor上生成记录的日志

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧