新手求问，hadoop集群中，master节点上会跑map/reduce任务吗

kartve1990 2014-07-16 09:18:58

如题，新手小白，理解不是很深，求助~比如 1 master+ 1slave 组成的两台计算机的集群，性能（运行hive sql）和伪分布式比有什么区别？

...全文

530 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

运维小白 2014-07-20

打赏
举报

回复

一般来说，namenode只存储元数据，datanode存储的是实际的数据（关于元数据的概念可以自行谷歌和度娘）。而如果决定执行任务的是jobtracker和tasktracker，jobtracker是调度任务给tasktracker执行，一般情况下是master上面部署了namenode和jobtracker，slave上面部署了datanode和tasktracker。所以，只有没有tasktracker这个进程的话，就不会执行计算任务

kartve1990 2014-07-17

打赏
举报

回复

求问,大致给我说下就ok啦

liqi_wj 2014-07-17

打赏
举报

回复

最后的map task 和 reduce task 都是在nodeManage中执行的，如果你的master是nodemanger就会跑

tchqiq 2014-07-17

打赏
举报

回复

master和salve不都是自己指定的么？关键看里面有什么进程在跑着。你所谓的master是指这台机器上有namenode和jobtracker的进程，slave是datanode和tasktracker的进程吧？namenode是hdfs的老大，datanode是小弟，和老大有个心跳，有个节点挂了的话，老大找不到，他上边的数据放到其它小弟那。jobtracker是mapreduce的老大，老大不干活，它是交给各个小弟干活的，他只管调度，比如有个tasktracker任务失败了，他就让其它小弟代替这个不行的小弟干活。hdfs管存数据，mapreduce管计算，他俩的老大没必要非在一个机器上啊~ 你伪分布就一个机器，老大、小弟都在上边，相当于一个机器跑全部数据。多台就可以把数据切片分给多个小弟跑任务，而且也可以给多个节点存数据，不管是安全还是效率肯定比一个的强啊。我也是刚工作不久~我的理解比较浅显。你参考参考~有什么问题请指正

hadoop 1.2 api 伪中文版。支持即时查询，高级查询。方便编码学习。大数据炙手可热！hadoop是一个大数据分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。 HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job）通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。通常，hadoop Map/Reduce框架和分布式文件系统是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。 Map/Reduce框架由一个单独的master JobTracker 和每个集群节点一个slave TaskTracker共同组成。master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上，master监控它们的执行，重新执行已经失败的任务。而slave仅负责执行由master指派的任务。应用程序至少应该指明输入/输出的位置（路径），并通过实现合适的接口或抽象类提供map和reduce函数。再加上其他作业的参数，就构成了作业配置（job configuration）。然后，Hadoop的 job client提交作业（jar包/可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行，同时提供状态和诊断信息给job-client。虽然Hadoop框架是用JavaTM实现的，但Map/Reduce应用程序则不一定要用 Java来写。

Hadoop Map/Reduce说明 hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce作业经常讲数据集切分成独立的块，这些块通过map任务并行处理，框架对map的输出进行排序，排序结果会被reduce以输入参数进行接收。通常作

此课程是Docker技术+Hadoop技术+ Linux Shell编程的深度综合应用。本课程的成果，自己平时工作学习就能用，可以轻松在自己笔记本上启动10~20个分布式节点！在找工作和面试时，能用它进行演示，展示自己的水平，为自己加分！只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建、Docker存储驱动使用、Docker bridge网络、Docker Overlay网络、基于Docker的分布式集群构建、Hadoop集群构建等多种技术的综合应用。

Hadoop Map/Reduce执行流程详解转载Map/Reduce 一个Map/Reduce 作业（job）通常会把输入的数据（input file）切分为若干独立的数据块（splits），然后由 map任务（task）以完全并行的方式处理它们。Map/Reduce框架会对map的输出做一个 Shuffle 操作，Shuffle 操作的后的结果会输入给reduce任

三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->（2）编辑Hadoop核心配置文件 - core-site.xml。--用来指定hadoop运行时产生文件的存放目录-->（3）编辑HDFS配置文件 - hdfs-site.xml。--配置资源管理器：集群master-->--配置节点管理器上运行的附加服务-->）在master、slave1与slave2虚拟机上。--配置MR资源调度框架YARN-->

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章