豆瓣网的数据采集技术

seadreamer 2006-07-03 03:22:40

豆瓣网中有很多的图书、电影、音乐专辑的介绍和评论，并且用户通过键入搜索，就能获得当当、卓越等购物网站的价格信息。网站的这些元数据是怎么获得呢？从豆瓣创始人的介绍看，当当和卓越好像也并没有向他开放什么接口。豆瓣好像用的是搜索引擎技术，但又不同于传统的搜索引擎，感到很迷惑，还请高人指点。

...全文

682 7 打赏收藏举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

happyczp 2006-08-14

打赏
举报

回复

大家看看这个站：
http://home.qd.sd.cn/geren/rmore.php?PHPSESSID=59ac6e7efc92b742ac6baad3d2d5499f

里面都是租房的。我想把它的1个展开页面：http://home.qd.sd.cn/geren/qouzu.php?id=176164

里面的字段都采集过来保存到临时库里待审核，请问如何采集，用什么采集程序，哪里可以下载啊？？

我找了很长时间了，，可惜。。。。。。

seadreamer 2006-07-04

打赏
举报

回复

在看过一些文章后,觉得豆瓣应该采用的是垂直搜索技术,就是通过spider先对网页进行抓取，然后在对这些网页进行信息提取，形成结构化数据。不知道大家有何看法。

xxsoft 2006-07-04

打赏
举报

回复

豆瓣做得比较好！

chinastorm 2006-07-04

打赏
举报

回复

搜索引擎技术吧

「已注销」 2006-07-04

打赏
举报

回复

用XMLHTTP定时抓取之后筛选存入数据库或者直接生成缓存~

用不着抓取之后就显示~

seadreamer 2006-07-04

打赏
举报

回复

用即时性XMLHTTP调用实现是没问题,但是在面对大的并发用户数时,这样做的效率是极低的,服务器负荷也会很大.不知道楼上考虑过没有.

cueixu1 2006-07-03

打赏
举报

回复

即时性XMLHTTP调用就可以实现
通过XMLHTTP抓取对方页面然后通过程序或者正则表达式分析页面内容，取得指定的数据。在反馈到客户面前

argparse模块是Python标准库的一部分，旨在简化命令行接口的创建过程。它允许开发者定义程序接受哪些命令行参数，并自动解析这些参数，同时提供帮助信息和错误处理。以下是关于argparse模块更深入的理解，包括其基本用法、特性以及一些高级功能。

Python之 import argparse模块 argparse 是 Python 内置的一个用于命令项选项与参数解析的模块，通过在程序中定义好我们需要的参数，argparse 将会从 sys.argv 中解析出这些参数，并自动生成帮助和使用信息。 argparse 使用我们先来看一个简单示例。主要有三个步骤 1、创建 ArgumentParser() 对象 2、调用 add_argument() 方法添加参数 3、使用 parse_args() 解析添加的参数 import argparse p

argparse模块使用教程1、argparse介绍1 未使用argparse2 使用argparse2.1 argparse简单示例2.2 argparse进阶示例2.2.1 可选参数设置2.2.2 可选参数引用名2.2.3 清除帮助中的参数名信息2.2.4 必选参数设置列表参数（多参数）传入设置2.2.6 互斥参数使用 1、argparse介绍 argparse 是一个用来解析命令行参数的 Python 库，它是 Python 标准库的一部分。基于 python 2.7 的 stdlib 代码。

python3中argparse模块 1、作用：argparse是python标准库里面用来处理命令行参数的库 2、命令行参数分为位置参数和选项参数：位置参数就是程序根据该参数出现的位置来确定的如：[root@openstack_1 /]# ls root/ #其中root/是位置参数选项参数是应用程序已经提前定义好的参数，不是随意指定的如：[root@openstack_...

Python argparse模块详解 argparse 是一个用来解析命令行参数的 Python 库，它是 Python 标准库的一部分。基于 python 2.7 的 stdlib 代码。argparse 模块使编写用户友好的命令行界面变得容易。程序定义了所需的参数，而 argparse 将找出如何从 sys.argv 中解析这些参数。argparse 模块还会自动生成帮助和使用消息，并在用户为程序提供无效参数时发出错误。简单实现圆柱体体积的计算为了便于对argparse命令行参数解析模块的理解，我

28,402

社区成员

356,940

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章