社区
Hadoop生态社区
帖子详情
新手求问,hadoop集群中,master节点上会跑map/reduce任务吗
kartve1990
2014-07-16 09:18:58
如题,新手小白,理解不是很深,求助~比如 1 master+ 1slave 组成的两台计算机的集群,性能(运行hive sql)和伪分布式比有什么区别?
...全文
573
4
打赏
收藏
新手求问,hadoop集群中,master节点上会跑map/reduce任务吗
如题,新手小白,理解不是很深,求助~比如 1 master+ 1slave 组成的两台计算机的集群,性能(运行hive sql)和伪分布式比有什么区别?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
运维小白
2014-07-20
打赏
举报
回复
一般来说,namenode只存储元数据,datanode存储的是实际的数据(关于元数据的概念可以自行谷歌和度娘)。而如果决定执行任务的是jobtracker和tasktracker,jobtracker是调度任务给tasktracker执行,一般情况下是master上面部署了namenode和jobtracker,slave上面部署了datanode和tasktracker。所以,只有没有tasktracker这个进程的话,就不会执行计算任务
kartve1990
2014-07-17
打赏
举报
回复
求问,大致给我说下就ok啦
liqi_wj
2014-07-17
打赏
举报
回复
最后的map task 和 reduce task 都是在nodeManage中执行的 ,如果你的master是nodemanger就会跑
tchqiq
2014-07-17
打赏
举报
回复
master和salve不都是自己指定的么?关键看里面有什么进程在跑着。你所谓的master是指这台机器上有namenode和jobtracker的进程,slave是datanode和tasktracker的进程吧?namenode是hdfs的老大,datanode是小弟,和老大有个心跳,有个节点挂了的话,老大找不到,他上边的数据放到其它小弟那。jobtracker是mapreduce的老大,老大不干活,它是交给各个小弟干活的,他只管调度,比如有个tasktracker任务失败了,他就让其它小弟代替这个不行的小弟干活。hdfs管存数据,mapreduce管计算,他俩的老大没必要非在一个机器上啊~ 你伪分布就一个机器,老大、小弟都在上边,相当于一个机器跑全部数据。多台就可以把数据切片分给多个小弟跑任务,而且也可以给多个节点存数据,不管是安全还是效率肯定比一个的强啊。 我也是刚工作不久~我的理解比较浅显。你参考参考~有什么问题请指正
Hadoop
Map
/
Reduce
执行流程详解
Hadoop
Map
/
Reduce
执行流程详解 转载
Map
/
Reduce
一个
Map
/
Reduce
作业(job) 通常会把输入的数据(input file)切分为若干独立的数据块(splits),然后由
map
任务
(task)以完全并行的方式处理它们。
Map
/...
Hadoop
:
Map
/
Reduce
的理解
(1)
Map
/
Reduce
库将输入文件分成大小相等的M 份,并在
集群
的不同机器上执行程序的备份。 (2)
Master
节点
的程序负责找出空闲的worker
节点
并为它们分配子
任务
(M 个
Map
子
任务
和R 个
Reduce
子
任务
)。 (3)被分配到
Map
...
一步一步跟我学习
hadoop
(4)----
hadoop
Map
/
Reduce
教程(1)
hadoop
Map
/
Reduce
是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型
集群
上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个
Map
/
Reduce
作业经常讲数据集切分成...
Hadoop
Map
/
Reduce
教程
<br />【目的】<br /> 这篇教程从用户的角度出发,全面地介绍了
Hadoop
... <br />
Hadoop
集群
搭建对大规模分布式
集群
。 <br />【概述】<br />
Hadoop
Map
/
Reduce
是一个使用简易的软件框架,基于它写出来的应用程序能
hadoop
集群
中
增加
节点
hadoop
集群
中
增加新
节点
向一个正在运行的
Hadoop
集群
中
增加几个新的Nodes 1. 新
节点
上部署java/
hadoop
程序,配置相应的环境变量 2. 新
节点
上增加用户,从
master
上拷贝id_rsa.pub并配置authorized_keys 3. 新...
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章