20,808
社区成员
发帖
与我相关
我的任务
分享mapreduce不切分文件
如果 mapreduce TextInputFormat源码把
这个方法
protected boolean isSplitable(JobContext context, Path filename) {
// TODO Auto-generated method stub
return false;
}
这个方法改为false，不进行切分，比如hdfs有30个块，那么MapReduce会怎么对hdfs这30个块进行处理？
求指教！
这个方法
protected boolean isSplitable(JobContext context, Path filename) {
// TODO Auto-generated method stub
return false;
}
这个方法改为false，不进行切分，比如hdfs有30个块，那么MapReduce会怎么对hdfs这30个块进行处理？
求指教！
...全文
请发表友善的回复…
发表回复
tchqiq 2017-04-06
- 打赏
- 举报
mr默认是按block块大小切分的,一个block块对应一个map(可以查查map数的几个参数),如果修改这个参数,应该是就只有一个map去处理30个block了
