hadoop streaming遇到一个很奇怪的问题

[luoryan]

我用streaming去计算数据的条数
hadoop fs -rm -r -skipTrash /tmp/output;
hadoop jar /home/hadoop/hadoop-streaming.jar \
-input /data/000000_0 \
-output /tmp/output \
-mapper "wc -l"

得到的结果是两个数字，加起来才等于实际的条数，我的input文件只有一个，为什么好像是会分开两个去计算结果，是不是与这个文件的格式有什么关系？？？

[人生偌只如初见]

不是，是因为map tasks 等于 2， 你只要指定设置一下map tasks num 为 1 就可以 hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.4.1.jar -D mapred.map.tasks=1 -input /user/hadoop/data/temp/word/input -output /user/hadoop/data/temp/word/output5 -mapper "wc -l"

[luoryan]

引用 1 楼 wulinshishen 的回复:

不是，是因为map tasks 等于 2， 你只要指定设置一下map tasks num 为 1 就可以 hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.4.1.jar -D mapred.map.tasks=1 -input /user/hadoop/data/temp/word/input -output /user/hadoop/data/temp/word/output5 -mapper "wc -l"

这个有用，谢谢