社区
Spark
帖子详情
Hadoop 如何将结果分配到指定的机器上去?
GeoWin_CAU
2016-03-31 08:40:45
如题,比如reduce结果有10个block,集群有3台slaves,我想把part-00000到part-00003放在一台机器上,把part-00004到part-00006放到一台机器上,剩下的放到另外一台机器上,求大神解决,多谢!!!!!!!!!
...全文
453
8
打赏
收藏
Hadoop 如何将结果分配到指定的机器上去?
如题,比如reduce结果有10个block,集群有3台slaves,我想把part-00000到part-00003放在一台机器上,把part-00004到part-00006放到一台机器上,剩下的放到另外一台机器上,求大神解决,多谢!!!!!!!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
hjskl1
2016-04-19
打赏
举报
回复
重写partitioner类
GeoWin_CAU
2016-04-17
打赏
举报
回复
已经解决。多谢回复
Jacky_chf
2016-04-17
打赏
举报
回复
自己重写partitioner类
wao20xx
2016-04-15
打赏
举报
回复
参考:http://ask.csdn.net/questions/249840 类似的问题
GeoWin_CAU
2016-04-06
打赏
举报
回复
没有人回复吗?
Fourinone分布式计算框架
“农民工”为一个计算节点,可以部署在多个
机器
,它由开发者自由实现,计算时,“农民工”到“手工仓库”获取输入资源,再将计算结果放回“手工仓库”返回给“包工头”。“包工头”负责承包一个复杂项目的一部分,...
Fourinone分布式并行计算四合一框架
“农民工”为一个计算节点,可以部署在多个
机器
,它由开发者自由实现,计算时,“农民工”到“手工仓库”获取输入资源,再将计算结果放回“手工仓库”返回给“包工头”。“包工头”负责承包一个复杂项目的一部分,...
fourinone-3.04.25
“农民工”为一个计算节点,可以部署在多个
机器
,它由开发者自由实现,计算时,“农民工”到“手工仓库”获取输入资源,再将计算结果放回“手工仓库”返回给“包工头”。“包工头”负责承包一个复杂项目的一部分,...
hadoop
相关
hadoop
Hadoop
的功能以及模块功能:
Hadoop
解决的问题模块下面哪个程序负责 HDFS 数据存储?hdfs 中的 block 默认保存几份?下列哪个程序通常与NameNode 在一个节点启动?HDFS 默认 Block SizeClient 端上传文件的时候...
Hadoop
集群与
Hadoop
性能优化
Hadoop
性能优化:
Hadoop
机架感知实现及配置:分布式的集群通常包含非常多的
机器
,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的
机器
共同组成一个分布式集群。...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章