Spider读取网页最快的方法

Brodie 2010-04-26 10:45:36

读取指下载HTML内容和解码成STRING，可以使用JDK包，第三方包(httpclient)

...全文

206 13 打赏收藏转发到动态举报

写回复

用AI写文章

13 条回复

切换为时间正序

请发表友善的回复…

发表回复

OopsJeff 2010-04-27

打赏
举报

第三方?? 又要学怎么用?

不姓贾_请叫我甄先生 2010-04-27

打赏
举报

说具体点撒

zfq642773391 2010-04-26

打赏
举报

apache的项目嘛
据说挺好用
先顶个

24K純帥 2010-04-26

打赏
举报

LZ您也说具体点撒

hjjk123 2010-04-26

打赏
举报

不懂.............

Aniao 2010-04-26

打赏
举报

httpclient的最新版本已经叫http-component了

其实用URLHttpConnection已经很高效了，Spider的性能高效主要体现在多线程的使用上

xooxoo 2010-04-26

打赏
举报

heritrix 啊又简单又好用

小_Y 2010-04-26

打赏
举报

那怎么个快法？

小糊涂 2010-04-26

打赏
举报

楼主你说的怎么提高读取网页的速度吗？？

yugong2009 2010-04-26

打赏
举报

学习……

岁月之梦 2010-04-26

打赏
举报

蜘蛛跟抓取网页不同吧蜘蛛只是在网页爬取meta 和title，抓取网页是针对哪个网页去取数据！

valen_jia 2010-04-26

打赏
举报

还好，也不算很快的吧

梦_枫 2010-04-26

打赏
举报

没怎么看懂LZ的意思，
友情帮顶下个。。。。

Spider 类是 Scrapy 中的主要核心类，它定义了爬取网站的规则。 Spider 是循环爬取，它的而爬取步骤是： start_requests 方法用 start_urls 中的 URL 初始化 Request ，然后将请求返回结果 Response 作为参数传递给 parse 方法； parse 是回调函数，它分析传递过来的 Response 的内容，从中提取出 Item 对象、 di...

Spiders Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。对spider来说，爬取的循环类似下文: 以初始的URL初始化Request，并设置回调函数。当该request下载完毕并返回时，将生

Spider（爬虫）负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。具体一些就是Spider定义了一个特定站点（或一组站点）如何被抓取的类，包括如何执行抓取（即跟踪链接）以及如何从页面中提取结构化数据（即抓取项）。也就是说我们要抓取的网站的链接配置、抓取逻辑、解析逻辑等其实都是在 Spider 中定义的。在实现 Scrapy 爬虫项目时，最核心的类便是 Spider 类了，它定义了如何爬取某个网站的流程和解

写这篇的动力源于上一篇中反复出现的robots，它让我想起了spider(蜘蛛)与crawler(爬虫)。此二者一样?不一样?　　以前就看过一篇文章，说此二者不一样，或是严格说不一样。刚才又在网上搜了搜，大部分意见说此二者一样。这个大部分的意见，我就不在此熬述了，网上找吧，一大堆呢。我就这篇说说“此二者不一样”。对或不对，全当个参考，百家争鸣、百花齐放。　　在 WebmasterWorl

Java SE

62,622

社区成员

307,252

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章