开发搜索引擎爬虫程序的网页下载程序,如何不堵塞tcp

alineo 2010-02-20 04:19:56
用java做了个爬虫程序,没搞清楚http1.0和http1.1,如何利用持续链接或者socket下载等手段,不让Ip端口用完,而且下载速度要快,我要下载的都是生成好的某一个网站的所有url的。
...全文
22 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
相关推荐
发帖
Java

4.9w+

社区成员

Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
帖子事件
创建了帖子
2010-02-20 04:19
社区公告
暂无公告