社区
Java SE
帖子详情
Spider读取网页最快的方法
Brodie
2010-04-26 10:45:36
读取指下载HTML内容和解码成STRING,可以使用JDK包,第三方包(httpclient)
...全文
151
13
打赏
收藏
Spider读取网页最快的方法
读取指下载HTML内容和解码成STRING,可以使用JDK包,第三方包(httpclient)
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
OopsJeff
2010-04-27
打赏
举报
回复
第三方?? 又要学怎么用?
不姓贾_请叫我甄先生
2010-04-27
打赏
举报
回复
说具体点撒
zfq642773391
2010-04-26
打赏
举报
回复
apache的项目嘛
据说挺好用
先顶个
24K純帥
2010-04-26
打赏
举报
回复
LZ您也说具体点撒
hjjk123
2010-04-26
打赏
举报
回复
不懂.............
Aniao
2010-04-26
打赏
举报
回复
httpclient的最新版本已经叫http-component了
其实用URLHttpConnection已经很高效了,Spider的性能高效主要体现在多线程的使用上
xooxoo
2010-04-26
打赏
举报
回复
heritrix 啊 又简单又好用
小_Y
2010-04-26
打赏
举报
回复
那怎么个快法?
小糊涂
2010-04-26
打赏
举报
回复
楼主你说的怎么提高读取网页的速度吗??
yugong2009
2010-04-26
打赏
举报
回复
学习……
岁月之梦
2010-04-26
打赏
举报
回复
蜘蛛跟 抓取网页不同吧 蜘蛛只是在网页爬 取meta 和title, 抓取网页是针对哪个网页去取数据!
valen_jia
2010-04-26
打赏
举报
回复
还好,也不算很快的吧
梦_枫
2010-04-26
打赏
举报
回复
没怎么看懂LZ的意思,
友情帮顶下个。。。。
相关推荐
VISSIM极简操作教程
以最简单的方式,
最快
的进行VISSIM学习,通过项目熟练操作(以哈尔滨市某信号交叉口仿真项目为例)通过本门课程可以学到:1. VISSIM道路的绘制
方法
2. VISSIM交叉口的绘制
方法
3. VISSIM仿真的基本参数设置4. VISSIM信号配时设置5. VISSIM结果参数配置
spi
der
的 c#实现
以前看到很多关于
spi
der
, crawler , robot的的一些介绍, 闲着无聊 自己就try ,try ; 完美实现 可能无法完称;
spi
der
的实现最基本的几个
方法
;1:根据url地址取得
网页
内容;2:根据
网页
内容取得它所包含的所有url地址;一下为两个
方法
;----------------------------------------------------
搜索引擎蜘蛛算法与蜘蛛程序构架-参考知识
搜索引擎蜘蛛算法与蜘蛛程序构架 网络
Spi
der
即Web
Spi
der
,是一个很形象的名字。把互联网比喻成一个
Spi
der
网,那么
Spi
der
就是在网上爬来爬去的
Spi
der
。网络
Spi
der
是通过
网页
的链接(LINK)地址来寻找
网页
,从网站某一个页面(通常是首页)开始,
读取
网页
的内容,找到在
网页
中的其它链接(LINK)地址,然后通过这些链接(LINK)地址寻找下一个
网页
,这样一直循环...
搞定Linux-Java程序猿版
Linux是一个领先的操作系统,可以运行在服务器和其他大型平台之上,如大型机和超级计算机。Linux与其他操作系统相比 ,具有开放源码、没有版权、技术社区用户多等特点 ,开放源码使得用户可以自由裁剪,灵活性高,功能强大,成本低。世界上500个
最快
的超级计算机90%以上运行Linux发行版或变种,
最快
的前10名超级计算机运行的都是Linux操作系统。 Linux也广泛应用在嵌入式设备上,如手机、平板电脑、路由器、电视和电子游戏机等。在移动设备上广泛使用的Android操作系统就是创建在Linux内核之上。我们学习的各种软件开发,服务端都是部署在linux系统之上。不会linux的程序猿,是不合格的。
Java SE
62,568
社区成员
307,521
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告