hadoop 为什么输出文件只有一个？

dongdandan 2014-04-07 11:22:03

我的完全分布式环境（虚拟机下的）有一个namenode，两个datanode.运行单词统计程序，输入为一个目录，包含3个文件，都只包含几个单词。job.setNumReduceTasks(2)。为什么我的输出文件总是一个part-r-0000，不是说有几个reduce就有几个输出文件吗？

...全文

639 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

为何hadoop集群只有一个datanode呢？ 1.看配置 hadoop2的看slaves文件配置；hadoop3的看workers文件配置 2.同步的错误在同步时将hadoop文件夹全部都同步过去了，里面的log日子也同步过去了，这样的的话，就会导致datanode只有一个。解决办法：删除data和logs文件然后重新初始化naname ...

为什么要使用Hadoop？什么是Hadoop？Hadoop有什么作用？

启动hadoop集群后，查看了50070端口，发现三台虚拟机都是有的之后查看8088端口发现只有一个节点运行很明显问题出在了yarn上，首先我查看了yarn的配置文件在这里我修改了红色部分为: yarn.resourcemanager.address Mastertjy43:8032 因为修改了配置文件所以要重修格式化，格式化之前，删除 hadoop目录下 hdfs/name 下的所有文件，以及hdfs/data下的所有文件，之后重新启动hadoop并访问8088发现问题..

在Hadoop的运行环境中，什么文件是小文件？在Hadoop的世界中，小文件是指文件大小远远小于HDFS块大小的文件。Hadoop2.0中，HDFS默认的块大小是128MB，所以，比如2MB,7MB或9MB的文件就认为是小文件。在Hadoop的环境中，块大小是可以通过参数配置的，这个参数由一个名为dfs.block.size定义。如果一个应用要处理一个超大的文件，可以通过这个参数设置更大更...

2. 重新启动hadoop，jps中仍然只有一个jps进程，之后查看日志。之后搜索java.net.UnknownHostException，vi /etc/hosts 添加上正确的地址。不能ping通，说明主机名没有绑定ip,再启动hadoop,打开jps，正常了。之前已经创建了密钥，直接复制进来。在ping wyq，可以ping通。1.没有配置SSH免密码登录。ssh本机ip，配置成功。...

547

社区成员

352

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章