Hadoop中master和slave机器性能差异怎么分配好，master需要好性能或说slave可以差一点？

小敏纸 2015-01-21 11:17:24

我的Hadoop集群配置如下：
master：机子性能非常好，内存8G，硬盘1T以上
4个slaves：全是差机子，内存只有2G，真正剩余的只有1G左右，硬盘500G

主要看内存，master和slaves差别有点大，不知道这样的配置是不是非常不好，因为我实际测试起来效果不太理想，经常还出现“out of memory”的错误，我想问的是slave机子的性能需要和master一样好吗？master负责调度、资源分配等任务，需要好性能，而slaves只是负责执行程序，只要内存够执行程序应该就没问题吧？另外，我想让master也作为一个slave执行程序好不好呢（充分利用master机子的性能）。Hadoop初学者，诸多疑问，还请谅解。

...全文

1444 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

alinly 2015-09-16

打赏
举报

回复

关注下hadoop的各种角色，应该就明白了比如namenode，resourceManager，datanode等.

fly_air 2015-03-03

打赏
举报

回复

干活的是slave，master只是调度，个人感觉配置应该反过来

Hadoop入门和大数据应用视频教程，该课程主要分享Hadoop基础及大数据方面的基础知识。讲师介绍：翟周伟，就职于百度，Hadoop技术讲师，专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。新出版书籍《Hadoop核心技术》。

个人谈谈阅读hadoop源代码的经验。首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，

hadoopHadoop的功能以及模块功能：Hadoop解决的问题模块下面哪个程序负责 HDFS 数据存储？hdfs 中的 block 默认保存几份？下列哪个程序通常与NameNode 在一个节点启动？HDFS 默认 Block SizeClient 端上传文件的时候下列哪项正确下面与 HDFS 类似的框架是？Ganglia 不仅可以进行监控，也可以进行告警。（正确）Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop支持。（错误）如果 NameNode 意外终止，SecondaryN

Hadoop(英译: 大数据分析/云计算/分布式计算) 框架图,借助Hadoop框架及云计算核心技术MapReduce来实现数据的计算和存储，并且将HDFS分布式文件系统和HBASE分布式数据库很好地融入到云计算框架中，从而实现了云计算的分布式、并行计算和存储，并且得以实现很好的处理大规模数据的能力。

四台centos：master slave1 slave2 slave3一：编辑/etc/ntp.conf $ sudo vi /etc/ntp.conf 同时在后面加上 server 127.127.1.0 Fudge 127.127.1.0 stratum 10至于第一个红圈写你的网段，后面时子网掩码，涉及到网络的一点知识。二：重新启动服务： service ntpd sto

1,163

社区成员

921

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章