算法:比如我下载一个网站的所以连接,我的怎么去去重的问题

[tdjdyq]

一个网站首页有好多超连接,它们每天都在变动,我怎么去控制不去下重复的连接,以前我是记录在内存,不过到现在已经下载过URL超过了3百万,现在我想改变这样做法,该怎么做,大家帮我想象办法.

[太乙]

那就记录到硬盘呗！~

[chenzhp]

纪录了这么多的URL，楼主是用什么方法来检查不是重复的啊。那得要好长时间。真强！

[wuyu637]

用一个复杂的hash算法生成不同的键值。

[猫已经找不回了]

你这去重还真是个庞大的工程，只能想办法映射，直接匹配查找是不行。

[猫已经找不回了]

[Quote=引用 3 楼 wuyu637 的回复:]
用一个复杂的hash算法生成不同的键值。
[/Quote]
几百万的hash。。冲突次数为多少比较合适呢，表的预留大小该多少呢。
观望谁给点好的算法，这么大规模的还真没实践过。

[tdjdyq]

[Quote=引用 1 楼 hqin6 的回复:]
那就记录到硬盘呗！~
[/Quote]

如果能实现一个小数据库,也许可以

[Paradin]

[Quote=引用 3 楼 wuyu637 的回复:]
用一个复杂的hash算法生成不同的键值。
[/Quote]
。

[「已注销」]

内存映射文件

[hemiya]

3百万，用数据库比你自己解决方便点。