MapReduce FileInputFormat.addInputPath()读取顺序问题

PrimerLife 2015-03-23 11:30:10
各位大神,求助!

我想按顺序处理map的输入,比如:
FileInputFormat.addInputPath(job, new Path("file1.txt"));
FileInputFormat.addInputPath(job, new Path("file2.txt"));

我想先处理file1.txt的数据再处理file2.txt,能实现吗?

自己试验发现,map阶段会首先读取较大的一个文件的数据,比如:
file1,100KB;file2,80KB,首先读取file1,反之则先读取file2。

hadoop版本是2.6.0

多谢了!
...全文
158 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧