mapreduce的IsolationRunner调试的问题

饭饭之悖 2013-04-11 03:02:38
在用IsolationRunner调试失败的task的时候,抛出错误,我看源码中是mapred.local.dir找不到,但我是在task的目录下运行IsolationRunner的,task目录/hadoop/mapred/taskTracker/root/jobcache/job_201304031632_0307/attempt_201304031632_0307_m_000003_0,
job.xml中<property><name>mapred.local.dir</name><value>/hadoop/mapred/taskTracker/root/jobcache/job_201304031632_0307/attempt_201304031632_0307_m_000003_0</value></property>
是一致的,
hadoop org.apache.hadoop.mapred.IsolationRunner job.xml
Exception in thread "main" java.lang.NullPointerException
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.ifExists(LocalDirAllocator.java:508)
at org.apache.hadoop.fs.LocalDirAllocator.ifExists(LocalDirAllocator.java:216)
at org.apache.hadoop.mapred.IsolationRunner.run(IsolationRunner.java:195)
at org.apache.hadoop.mapred.IsolationRunner.main(IsolationRunner.java:238)

请教诸位大牛,这是为什么,怎样解决?
...全文
92 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
撸大湿 2013-04-11
  • 打赏
  • 举报
回复
引用 楼主 Zivon_F 的回复:
在用IsolationRunner调试失败的task的时候,抛出错误,我看源码中是mapred.local.dir找不到,但我是在task的目录下运行IsolationRunner的,task目录/hadoop/mapred/taskTracker/root/jobcache/job_201304031632_0307/attempt_201304031632_0307_……
mapred.local.dir 是本地磁盘的路径 ,不是HDFS文件系统路径 所有的MAP和REDUCE都需要把预读数据和中间结果保存在本地磁盘上 1、关闭HADOOP 2、检查一下mapred.local.dir这个配置,确保本地路径存在 3、启动HADOOP再试

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧