65,210
社区成员
发帖
与我相关
我的任务
分享算法:比如我下载一个网站的所以连接,我的怎么去去重的问题
一个网站首页有好多超连接,它们每天都在变动,我怎么去控制不去下重复的连接,以前我是记录在内存,不过到现在已经下载过URL超过了3百万,现在我想改变这样做法,该怎么做,大家帮我想象办法.
...全文
请发表友善的回复…
发表回复
hemiya 2009-03-30
- 打赏
- 举报
3百万，用数据库比你自己解决方便点。
「已注销」 2009-03-30
- 打赏
- 举报
内存映射文件
Paradin 2009-03-30
- 打赏
- 举报
[Quote=引用 3 楼 wuyu637 的回复:]
用一个复杂的hash算法生成不同的键值。
[/Quote]
。
用一个复杂的hash算法生成不同的键值。
[/Quote]
。
tdjdyq 2009-03-30
- 打赏
- 举报
[Quote=引用 1 楼 hqin6 的回复:]
那就记录到硬盘呗！~
[/Quote]
如果能实现一个小数据库,也许可以
那就记录到硬盘呗！~
[/Quote]
如果能实现一个小数据库,也许可以
猫已经找不回了 2009-03-27
- 打赏
- 举报
[Quote=引用 3 楼 wuyu637 的回复:]
用一个复杂的hash算法生成不同的键值。
[/Quote]
几百万的hash。。冲突次数为多少比较合适呢，表的预留大小该多少呢。
观望谁给点好的算法，这么大规模的还真没实践过。
用一个复杂的hash算法生成不同的键值。
[/Quote]
几百万的hash。。冲突次数为多少比较合适呢，表的预留大小该多少呢。
观望谁给点好的算法，这么大规模的还真没实践过。
猫已经找不回了 2009-03-27
- 打赏
- 举报
你这去重还真是个庞大的工程，只能想办法映射，直接匹配查找是不行。
wuyu637 2009-03-27
- 打赏
- 举报
用一个复杂的hash算法生成不同的键值。
chenzhp 2009-03-27
- 打赏
- 举报
纪录了这么多的URL，楼主是用什么方法来检查不是重复的啊。那得要好长时间。真强！
太乙 2009-03-27
- 打赏
- 举报
那就记录到硬盘呗！~
