请问大侠关于排序大量数据

[kolapig]

有10个文件，每个文件1G，
每个文件的每一行都存放的是用户的query，每个文件的query都可能重复

按照query的频度排序


如果内存够大怎么做
内存不够大怎么做


我有一些思路，就是利用map之类的东西，大家觉得对吗？

[showjim]

想简单一点解决问题:导入数据库,group by;
自己写程序,内存足够的话,就先用hash表记录次数,然后根据次数进行排序;用hash内存不够的话,用数组排序记录次数,然后根据次数进行排序;内存还是不够的话,根据内存大小多路归并排序两次,第一次字符串排序用于统计次数,每二次根据次数排序

[little06]

内存够大
用TreeMap

不过10G数据，都转为内存对象，不知道要多大了

[蒋晟]

用Merge sort

[绿色夹克衫]

内存大的话利用map就可以，如果不够大，可以先按照url的前3位进行分治(36^3 = 46656)，将源文件分为若干个小文件，
再分别统计。相同的url肯定会在同一个文件里。

[AYZBL]

合并排序，那还用说么

[光宇广贞]

外排。

[kolapig]

没有个结论阿

[猫已经找不回了]

内存不够打的话，用归并来实现外排。