Mapreduce中的作业指的是什么

yhlaxs 2014-12-15 05:40:46

是指的自己编写的mapreduce函数然后打包成的jar文件吗，每次jobtracker调度的都是自己编写的jar文件吗，说的jobtracker节点的内存不足提交的作业太多是指的想要处理的不同种类的任务太多吗，我理解的是每个jar包的功能不一样，一次提交好多个进行不同的数据分析处理。那tasktracker节点呢，说的移动计算比移动数据方便，是指jobtracker把提交的作业也就是自己写的jar文件复制到各个含有tasktracker的datanode节点上去吗？

...全文

291 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

mopishv0 2014-12-18

打赏
举报

是指的自己编写的mapreduce函数然后打包成的jar文件吗，每次jobtracker调度的都是自己编写的jar文件吗是，会把你的jar传到hdfs，然后每个tasktracker执行时会下载说的jobtracker节点的内存不足提交的作业太多是指的想要处理的不同种类的任务太多吗，我理解的是每个jar包的功能不一样，一次提交好多个进行不同的数据分析处理内存不足有多种情况，看log，有时是jt并发过高，机器性能不行，有的是task占内存过高tt性能不行那tasktracker节点呢，说的移动计算比移动数据方便没看懂