mapreduce输入输出顺序问题

a921122 2014-04-01 10:14:21
我刚刚接触hadoop,我知道在shuffle阶段,数据都是随机发给reduce,比如,我有个文本文件用wordcount来计算。
test.txt的内容
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
我想利用reduce将里面每个数据加倍,然后输出
得到结果是:
2
20
22
24
26
28
30
32
34
36
38
40
4
6
8
10
12
14
16
18
是这样一个局部有序的序列


我想得到一个和输入顺序相同的输出序列,应该如何完成?
是否要重新排序,那这样不是做了很多重复的工作。
是否使用partitioner 或是 采样器之类的东西,我对这些都不了解。
...全文
257 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
浮生(FS) 2014-04-09
  • 打赏
  • 举报
回复
太深奥

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧