如何rotate HDFS下的log目录/tmp/hadoop-yarn/staging/history/done_intermediate

[wenjie2016]

如何rotate HDFS下的log目录/tmp/hadoop-yarn/staging/history/done_intermediate
配置文件中没有找到相应的参数
请大侠指点

[u010967406]

<property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value> <description>The staging dir used while submitting jobs. </description> </property> 这个是在hadoop源码mapred-default.xml里，粘到mapred-site.xml并修改参数就好。 不过我也想知道怎么改至本地，好像怎么样都是在hdfs上。。 一同等回答

[u010967406]

应该是不能 你只能hadoop fs -get 手动下载了。 改路径行不通。 eg: 14/11/26 17:20:46 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/home/zhangzeyang/rundata/hadoop2.2.0/tmp/logs/userlogs/zhangzeyang/.staging/job_1416993590420_0001 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: file:/home/zhangzeyang/rundata/hadoop2.2.0/tmp/logs/userlogs/zhangzeyang/.staging/job_1416993590420_0001, expected: hdfs://10.3.1.76:33000