文件中存储10亿个用户姓名，如何快速找到出现频率最高的前100名？

[架构师卖油翁]

文件中存储10亿个用户姓名，如何快速找到出现频率最高的前100名？

[Daly罗]

Hadoop 自带示例WordCount可以计算出单词出现的次数，分析这个文件即可。

[人生偌只如初见]

可以写2个MapReduce，第一个MapReduce统计每个姓名出现的频率，第二个MapReduce利用Shuffle Sort 将姓名和出现频率当作KEYr然后取Top N

[江南浙里]

2楼正解,可以参考

[yanghaishui351988]

典型的TOP N问题，思路就是分而治之，将文件split多个块，每个块取TOP N，或者最简单的就是先拿100 个出来，以后每次拿出来相比较呗

[tchqiq]

十亿，估计awk不行了~两个mapreduce就可以。你们要是有hive那就一句sql的事情：

select name,count(1) as num from t1
group by name
order by num desc
limit 100

不过你可以试试awk：

awk ‘{a[$1]++} END {for (i in a) print i,a[i]}' file | sort -rn 2 |  head 100

[Evankaka]

好熟悉的面试题目。。。