MapReduce FileInputFormat.addInputPath()读取顺序问题
各位大神,求助!
我想按顺序处理map的输入,比如:
FileInputFormat.addInputPath(job, new Path("file1.txt"));
FileInputFormat.addInputPath(job, new Path("file2.txt"));
我想先处理file1.txt的数据再处理file2.txt,能实现吗?
自己试验发现,map阶段会首先读取较大的一个文件的数据,比如:
file1,100KB;file2,80KB,首先读取file1,反之则先读取file2。
hadoop版本是2.6.0
多谢了!