Spider读取网页最快的方法

Brodie 2010-04-26 10:45:36
读取指下载HTML内容和解码成STRING，可以使用JDK包，第三方包(httpclient)
...全文
151 13 打赏 收藏 转发到动态 举报
写回复
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
OopsJeff 2010-04-27
  • 打赏
  • 举报
 回复
第三方?? 又要学怎么用?
不姓贾_请叫我甄先生 2010-04-27
  • 打赏
  • 举报
 回复
说具体点撒
zfq642773391 2010-04-26
  • 打赏
  • 举报
 回复
apache的项目嘛
据说挺好用
先顶个
24K純帥 2010-04-26
  • 打赏
  • 举报
 回复
LZ您也说具体点撒
hjjk123 2010-04-26
  • 打赏
  • 举报
 回复
不懂.............
Aniao 2010-04-26
  • 打赏
  • 举报
 回复
httpclient的最新版本已经叫http-component了

其实用URLHttpConnection已经很高效了，Spider的性能高效主要体现在多线程的使用上
xooxoo 2010-04-26
  • 打赏
  • 举报
 回复
heritrix 啊 又简单又好用

小_Y 2010-04-26
  • 打赏
  • 举报
 回复
那怎么个快法？
小糊涂 2010-04-26
  • 打赏
  • 举报
 回复
楼主你说的怎么提高读取网页的速度吗？？
yugong2009 2010-04-26
  • 打赏
  • 举报
 回复
学习……
岁月之梦 2010-04-26
  • 打赏
  • 举报
 回复
蜘蛛跟 抓取网页不同吧 蜘蛛只是在网页爬 取meta 和title， 抓取网页是针对哪个网页去取数据！
valen_jia 2010-04-26
  • 打赏
  • 举报
 回复
还好，也不算很快的吧
梦_枫 2010-04-26
  • 打赏
  • 举报
 回复
没怎么看懂LZ的意思，
友情帮顶下个。。。。
相关推荐
VISSIM极简操作教程
以最简单的方式，最快的进行VISSIM学习，通过项目熟练操作（以哈尔滨市某信号交叉口仿真项目为例）通过本门课程可以学到：1. VISSIM道路的绘制方法2. VISSIM交叉口的绘制方法3. VISSIM仿真的基本参数设置4. VISSIM信号配时设置5. VISSIM结果参数配置  
spider的 c#实现
以前看到很多关于spider , crawler , robot的的一些介绍, 闲着无聊 自己就try ,try ; 完美实现 可能无法完称; spider 的实现最基本的几个方法;1:根据url地址取得网页内容;2:根据网页内容取得它所包含的所有url地址;一下为两个方法;----------------------------------------------------
搜索引擎蜘蛛算法与蜘蛛程序构架-参考知识
搜索引擎蜘蛛算法与蜘蛛程序构架 网络Spider即Web Spider，是一个很形象的名字。把互联网比喻成一个Spider网，那么Spider就是在网上爬来爬去的Spider。网络Spider是通过网页的链接(LINK)地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接(LINK)地址，然后通过这些链接(LINK)地址寻找下一个网页，这样一直循环...
搞定Linux-Java程序猿版
Linux是一个领先的操作系统，可以运行在服务器和其他大型平台之上，如大型机和超级计算机。Linux与其他操作系统相比 ，具有开放源码、没有版权、技术社区用户多等特点 ，开放源码使得用户可以自由裁剪，灵活性高，功能强大，成本低。世界上500个最快的超级计算机90%以上运行Linux发行版或变种，最快的前10名超级计算机运行的都是Linux操作系统。 Linux也广泛应用在嵌入式设备上，如手机、平板电脑、路由器、电视和电子游戏机等。在移动设备上广泛使用的Android操作系统就是创建在Linux内核之上。我们学习的各种软件开发，服务端都是部署在linux系统之上。不会linux的程序猿，是不合格的。
Java SE

62,568

社区成员

307,521

社区内容

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告