前两天困惑的面试题,求大佬解答

[陌生人的魅力]

题目: 给你一个500G的文件, 用java算出其中重复最多的记录

[陌生人的魅力]

自己 顶顶顶

[ITjavaman]

按这个量级，要效率的话我脑海里只有一个词hadoop

[ITjavaman]

引用 3 楼 陌生人的魅力 的回复:

[quote=引用 2 楼 ITjavaman 的回复:] 按这个量级，要效率的话我脑海里只有一个词hadoop

不讲效率的情况下呢?有啥办法?[/quote] 拆分文件，分别统计，再汇总

[陌生人的魅力]

引用 2 楼 ITjavaman 的回复:

按这个量级，要效率的话我脑海里只有一个词hadoop

不讲效率的情况下呢?有啥办法?

[陌生人的魅力]

引用 4 楼 ITjavaman 的回复:

[quote=引用 3 楼 陌生人的魅力 的回复:]
[quote=引用 2 楼 ITjavaman 的回复:]
按这个量级，要效率的话我脑海里只有一个词hadoop

不讲效率的情况下呢?有啥办法?[/quote]
拆分文件，分别统计，再汇总[/quote]行吧,谢谢老大哥建议,

[宾灬]

map-reduce思想； 500g文件可以拆分成多个小文件，写一个程序统计一个文件中每条记录的次数（文件作为输入，输出为记录与记录次数的Map映射 Map可以按key排序）。再写一个程序将上一个程序的输出作为输入，和并map中key相同的记录。

[陌生人的魅力]

引用 6 楼 宾灬 的回复:

map-reduce思想； 500g文件可以拆分成多个小文件，写一个程序统计一个文件中每条记录的次数（文件作为输入，输出为记录与记录次数的Map映射 Map可以按key排序）。再写一个程序将上一个程序的输出作为输入，和并map中key相同的记录。

很强,大佬!