如何用搜索树和散列表存储爬虫已访问的URL

cliffbaby 2012-11-29 08:00:11

不需要具体过程，只需要思路！

...全文

179 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

cliffbaby 2012-12-06

打赏
举报

回复

在一本书看到。他就这么写，我没有理解，就贴出来问下了。

neofung 2012-11-30

打赏
举报

回复

问题描述太少了面试题吧？

除了爬虫网页去重这个例子，还有比如统计一个大型网站的每天的UV数，也就是每天有多少用户访问了网站，我们就可以使用布隆过滤器，对重复访问的用户，进行去重。布隆过滤器的误判率，主要跟哈希函数的个数、位图的...

网页爬虫是搜索引擎中的非常重要的系统，负责爬取几十亿、上百亿的网页。爬虫的工作原理是，通过解析已经爬取页面中的网页链接，然后再爬取这些链接对应的网页。而同一个网页链接有可能被包含在多个页面中，这就会...

散列表一种经典的查找的算法，应用于在海量信息中进行高效检索。简单需求假设我们需要把10000000个字符串对象存放在数组中，使用什么存放策略能够快速定位某一个字符串的的数组位置，从而实现快速查找的效果? 暴力...

1.散列表来源于数组，它借助散列函数对数组这种数据结构进行扩展，利用的是数组支持按照下标随机访问元素的特性。 2.需要存储在散列表中的数据我们称为键，将键转化为数组下标的方法称为散列函数，散列函数的计算...

本节课程思维导图：网页...最容易想到的方法就是，我们记录已经爬取的网页链接（也就是 URL），在爬取一个新的网页之前，我们拿它的链接，在已经爬取的网页链接列表中搜索。如果存在，那就说明这个网页已经被爬取过了；

数据结构与算法

33,009

社区成员

35,326

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章