爬虫：爬取分页，如何保证数据爬全

[ostarsier]

我现在在做一个爬取分页的功能。
我是按时间倒序，从第一页开始爬，一直爬到最后一页。
但是我发现每次爬取到20多层的时候就爬取不到了，导致异常。
我不知道是因为被爬网站的ip限制或者别的什么原因，总之就抛异常了。
但是我在爬取第一页时候，就把第一条的时间存储了，以后就只会爬取最新的，爬到存储的时间就不爬了。
比如如果第10页抛异常了，10页后面的数据我就爬取不到。
请问有什么好的办法能保证数据被爬全吗？

[caoqinghua]

[比如如果第10页抛异常了，10页后面的数据我就爬取不到。] 当出现异常的时候,手工打开浏览器访问异常的网址,如果浏览器能正常显示,就是你程序的问题.如果不能,对方服务器把你的ip封了.

[sigangjun]

模拟浏览器客户端抓取，直接爬肯定被拒

[我不是卖车滴！！！]

引用 2 楼 caoqinghua 的回复:

[比如如果第10页抛异常了，10页后面的数据我就爬取不到。]
当出现异常的时候,手工打开浏览器访问异常的网址,如果浏览器能正常显示,就是你程序的问题.如果不能,对方服务器把你的ip封了.

被禁掉怎么破解？？？

[offer、绝缘体]

那就只能使用代理池，禁了再换ip，然后尽可能的控制爬取速度等等