怎样遍历一个网站所有页面

2015-04-15 06:04:49 1.1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

python爬取5442网站图片 python爬取5442网站图片 python3环境下： #!/usr/bin/python #encoding: utf-8 """ 本次爬虫使用的是python3的版本，并且本次的目标网站并没有采用js来加载图片，所以没有涉及对js脚本的解析，都是通过来分析html文件通过正则来一步步提取图片网址，然后存起来。首先这个网站有很多分类，到美女图这个子网页，可以发现有很多阅读详情

我想使用jsp通过下面的代码获取一个网页的Document 。
Document doc=null;
Connection conn = Jsoup.connect(url);
conn.timeout(60000);
doc = conn.get();
Document doc = Jsoup.connect(url).timeout(60000).get();
conn.disconnect();
如果只是获取一个网页就这样就行了。但是我要批量获取以下地址从1到50翻页，每页的Document。是不是要connect 50次，还是有什么其他好的办法，求大神赐教。谢谢！
http://apk.hiapk.com/apps?sort=5&pi=1
http://apk.hiapk.com/apps?sort=5&pi=2
……
http://apk.hiapk.com/apps?sort=5&pi=50

我现在是用循环执行上面的代码50次，我发现服务器会禁止我的IP访问一段时间。有什么好的解决办法吗？谢谢！

...全文