Mapreduce中的作业指的是什么

yhlaxs 2014-12-15 05:40:46
是指的自己编写的mapreduce函数然后打包成的jar文件吗,每次jobtracker调度的都是自己编写的jar文件吗,说的jobtracker节点的内存不足提交的作业太多是指的想要处理的不同种类的任务太多吗,我理解的是每个jar包的功能不一样,一次提交好多个进行不同的数据分析处理。那tasktracker节点呢,说的移动计算比移动数据方便,是指jobtracker把提交的作业也就是自己写的jar文件复制到各个含有tasktracker的datanode节点上去吗?
...全文
285 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
mopishv0 2014-12-18
  • 打赏
  • 举报
回复
是指的自己编写的mapreduce函数然后打包成的jar文件吗,每次jobtracker调度的都是自己编写的jar文件吗 是,会把你的jar传到hdfs,然后每个tasktracker执行时会下载 说的jobtracker节点的内存不足提交的作业太多是指的想要处理的不同种类的任务太多吗,我理解的是每个jar包的功能不一样,一次提交好多个进行不同的数据分析处理 内存不足有多种情况,看log,有时是jt并发过高,机器性能不行,有的是task占内存过高tt性能不行 那tasktracker节点呢,说的移动计算比移动数据方便 没看懂

932

社区成员

发帖
与我相关
我的任务
社区描述
云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧