怎样遍历一个网站所有页面

[不知取啥名]

我想使用jsp通过下面的代码获取一个网页的Document 。
Document doc=null;
Connection conn = Jsoup.connect(url);
conn.timeout(60000);
doc = conn.get();
Document doc = Jsoup.connect(url).timeout(60000).get();
conn.disconnect();
如果只是获取一个网页就这样就行了。但是我要批量获取以下地址从1到50翻页，每页的Document。是不是要connect 50次，还是有什么其他好的办法，求大神赐教。谢谢！
http://apk.hiapk.com/apps?sort=5&pi=1
http://apk.hiapk.com/apps?sort=5&pi=2
……
http://apk.hiapk.com/apps?sort=5&pi=50

我现在是用循环执行上面的代码50次，我发现服务器会禁止我的IP访问一段时间。有什么好的解决办法吗？谢谢！

[u010093435]

你这每执行一次就disconnect一下。这样不合适，一次获取所有的数据再disconnect。

[不知取啥名]

引用 1 楼 wangadong0109 的回复:

其实并没有必要! http://apk.hiapk.com/web/api.do?qt=1301&num=100 这就是你要的东西!

大神，不好意思，刚开始学，不同，你的这个url，我输入到浏览器后没有下载链接了。我就是想解析安卓市场每一页的下载链接。

[不知取啥名]

引用 3 楼 u010093435 的回复:

你这每执行一次就disconnect一下。这样不合适，一次获取所有的数据再disconnect。

比如我要获取上面50个页面的所有下载链接，怎样一次获取完呢？ 我现在的实现方式是每次输入连接一个页面的url获取这个页面的链接，断开。然后再连接第二个页面，获取链接……

[该用户不会设置昵称]

其实并没有必要!
http://apk.hiapk.com/web/api.do?qt=1301&num=100
这就是你要的东西!

[hch126163]

递归 或者 循环