新手求问,hadoop集群中,master节点上会跑map/reduce任务吗

kartve1990 2014-07-16 09:18:58
如题,新手小白,理解不是很深,求助~比如 1 master+ 1slave 组成的两台计算机的集群,性能(运行hive sql)和伪分布式比有什么区别?
...全文
573 4 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
运维小白 2014-07-20
  • 打赏
  • 举报
回复
一般来说,namenode只存储元数据,datanode存储的是实际的数据(关于元数据的概念可以自行谷歌和度娘)。而如果决定执行任务的是jobtracker和tasktracker,jobtracker是调度任务给tasktracker执行,一般情况下是master上面部署了namenode和jobtracker,slave上面部署了datanode和tasktracker。所以,只有没有tasktracker这个进程的话,就不会执行计算任务
kartve1990 2014-07-17
  • 打赏
  • 举报
回复
求问,大致给我说下就ok啦
liqi_wj 2014-07-17
  • 打赏
  • 举报
回复
最后的map task 和 reduce task 都是在nodeManage中执行的 ,如果你的master是nodemanger就会跑
tchqiq 2014-07-17
  • 打赏
  • 举报
回复
master和salve不都是自己指定的么?关键看里面有什么进程在跑着。你所谓的master是指这台机器上有namenode和jobtracker的进程,slave是datanode和tasktracker的进程吧?namenode是hdfs的老大,datanode是小弟,和老大有个心跳,有个节点挂了的话,老大找不到,他上边的数据放到其它小弟那。jobtracker是mapreduce的老大,老大不干活,它是交给各个小弟干活的,他只管调度,比如有个tasktracker任务失败了,他就让其它小弟代替这个不行的小弟干活。hdfs管存数据,mapreduce管计算,他俩的老大没必要非在一个机器上啊~ 你伪分布就一个机器,老大、小弟都在上边,相当于一个机器跑全部数据。多台就可以把数据切片分给多个小弟跑任务,而且也可以给多个节点存数据,不管是安全还是效率肯定比一个的强啊。 我也是刚工作不久~我的理解比较浅显。你参考参考~有什么问题请指正

20,848

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧