20,808
社区成员
发帖
与我相关
我的任务
分享求助一个关于入门程序wordcount的问题，谢谢各位。
我想在windows上的eclipse连接hadoop集群运行wordcount，可是配置完了之后点了run on hadoop，参数必须要加上hdfs://node0:6000之后才行，而且集群上并没有jobid之类的信息。所以应该还是在本地运行的，只不过是去hdfs上取的文件。
然后我加上了conf.set("mapred.job.tracker",ip地址和端口)，这样集群上能查到jobid了，但是参数仍然要加上hdfs://node0:6000，而且是failed。一旦不加hdfs://而直接写/input，就说找不到路径，而且控制台打印的信息是d盘下路径/input，也就是工程目录作为根目录的路径，而不是hdfs上的路径。这就说明了我配置的参数在运行时没有起作用。
我很奇怪为什么会这样，希望大家能帮帮我，谢谢。要是说的不明白，希望大家能跟贴指出来，我再解释，初学者欠缺的可能很多，谢谢各位！
然后我加上了conf.set("mapred.job.tracker",ip地址和端口)，这样集群上能查到jobid了，但是参数仍然要加上hdfs://node0:6000，而且是failed。一旦不加hdfs://而直接写/input，就说找不到路径，而且控制台打印的信息是d盘下路径/input，也就是工程目录作为根目录的路径，而不是hdfs上的路径。这就说明了我配置的参数在运行时没有起作用。
我很奇怪为什么会这样，希望大家能帮帮我，谢谢。要是说的不明白，希望大家能跟贴指出来，我再解释，初学者欠缺的可能很多，谢谢各位！
...全文
请发表友善的回复…
发表回复
BaYangMoBeiBei 2012-12-05
- 打赏
- 举报
我都是先打成Jar包后，在集群中运行的，这种情况没有碰到过
cqroy1976 2012-12-03
- 打赏
- 举报
我也想了解这方面的内容
