第一个mapreduce程序wordcount

zengqingfu1442 2016-11-20 03:14:52

计/wordcount下的文件的单词数:
hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount2 /output2
出来这么些信息(其中一部分),怎么看统计的单词数是否正确?统计的结果是哪个?
Map-Reduce Framework
Map input records=1
Map output records=5
Map output bytes=57
Map output materialized bytes=61
Input split bytes=101
Combine input records=5
Combine output records=4
Reduce input groups=4
Reduce shuffle bytes=61
Reduce input records=4
Reduce output records=4
Spilled Records=8
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=707
CPU time spent (ms)=5290
Physical memory (bytes) snapshot=221282304
Virtual memory (bytes) snapshot=631783424
Total committed heap usage (bytes)=137498624
Shuffle Errors

...全文
327 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
zengqingfu1442 2016-11-20
  • 打赏
  • 举报
回复
知道了,可以用hadoop fs -cat /output/part-r-00000 查看统计的各类单词数

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧