文件中有10亿记录，怎样从中查找出现次数最多的10条

2011-06-02 08:24:51 1.1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

从一千万条短信中找出重复次数最多的前10条题目：有1千万条短信，有重复，以文本文件的形式保存，一行一条。请用5分钟时间，找出重复出现最多的前10条。 struct TNode { BYTE* pText; //直接指向文件映射的内存地址 DWORD dwCount; //计算器，记录此节点的相同短信数 TNode* ChildNodes[256]; //子节点数据，由于一个字母的ASCII值不可能超过阅读详情

rtt

...全文

在一个很大的日志文件中查找到出现最多的ip并且记录次数在一个100G的日志文件中, 查找到访问最多的IP, 获得前3个IP, 限制内存只有 1G, 不能使用MapReduce, 请使用Java实现问题解析既然内存只有1G那么就不能直接使用HashMap进行统计, 可以使用MapReduce原理, 先切片, 通过Hash码进行分片, IP 相同的肯定在一个文件中, 分片不宜太大,也不宜太小, 就用1000片吧,之后统计每个... 阅读详情

mikemeego001

C语言 70,040 成员 243,237 内容

+ 关注 + 加入社区

切换为时间正序

suisui008 2011-06-02

打赏
举报

冒泡怎么样
只需要 10*10亿次
时间效率是O(10n）

maoxing63570 2011-06-02

打赏
举报

[Quote=引用 8 楼 supermegaboy 的回复:]
引用 6 楼 maoxing63570 的回复:
引用 4 楼 demon__hunter 的回复:
我一个算法比较牛x同学告诉我，去面试时，凡是牵扯到数据量相当大的问题，都可以向hash靠拢~~~~

问题是如果散列函数要自己设计不就有点嘈耐了，这么大的数据量，冲突怎么解决？

实际上就是要计数冲突的次数。
[/Quote]
但是冲突也不一定就是相同的吧，还要取决于你的散列函数啊

飞天御剑流 2011-06-02

打赏
举报

[Quote=引用 6 楼 maoxing63570 的回复:]
引用 4 楼 demon__hunter 的回复:
我一个算法比较牛x同学告诉我，去面试时，凡是牵扯到数据量相当大的问题，都可以向hash靠拢~~~~

问题是如果散列函数要自己设计不就有点嘈耐了，这么大的数据量，冲突怎么解决？
[/Quote]

实际上就是要计数冲突的次数。

nand库路泽 2011-06-02

打赏
举报

记得好像归并排序算法，非常适用于海量数据，同样可以参照一下归并算法试一下！！

maoxing63570 2011-06-02

打赏
举报

[Quote=引用 4 楼 demon__hunter 的回复:]
我一个算法比较牛x同学告诉我，去面试时，凡是牵扯到数据量相当大的问题，都可以向hash靠拢~~~~
[/Quote]
问题是如果散列函数要自己设计不就有点嘈耐了，这么大的数据量，冲突怎么解决？

飞天御剑流 2011-06-02

打赏
举报

把记录当字符，到达相同末端就计数一次，保存十条最多的。

机智的呆呆 2011-06-02

打赏
举报

我一个算法比较牛x同学告诉我，去面试时，凡是牵扯到数据量相当大的问题，都可以向hash靠拢~~~~

ryfdizuo 2011-06-02

打赏
举报

[Quote=引用 1 楼 supermegaboy 的回复:]

散列算法，这样遍历文件一次就OK了。
[/Quote]
不知这个散列算法如何确定呢？

ischarles 2011-06-02

打赏
举报

对10亿条记录进行排序，如果用快排，复杂度是O(N*logN)，然后再遍历一遍进行计数，输出前10个，复杂度是O(N)。总的复杂度是O(N+N*logN) = O(N*logN)
或者也可以对每条记录进行hash运算，映射为一个整数，同时，可以用一个变量进行计数，这让你可以遍历一遍就找出前10个记录，但是复杂度取决于你用的hash函数的好坏，也就是要看你文件中的10亿条记录的具体特征了。

飞天御剑流 2011-06-02

打赏
举报

散列算法，这样遍历文件一次就OK了。

文件中有10亿记录，怎样从中查找出现次数最多的10条

相关推荐