50,530
社区成员
发帖
与我相关
我的任务
分享如何解决频繁访问ip被封，或被限制问题？
我要抓取一个网站的内容,需要访问那个网站
由于访问太频繁，比如雅虎,百度等等 如果太快了,他们反爬程序就会封锁我的IP
或者暂时不让我的IP去访问 程序就会时常链接失败,中断等等. 内容就抓不全或者没抓到，
能不能在程序里，伪装成他们的IP来访问他们，这样的话就应该不会有问题，或者有没有其他方式解决？？？
还有一种情况，访问过于频繁，就会有验证码输入信息，如何跳过验证信息，或其他方式，能够正确解析网页内容。
不知道有没有什么方法解决上面的问题，大神指教！！！
由于访问太频繁，比如雅虎,百度等等 如果太快了,他们反爬程序就会封锁我的IP
或者暂时不让我的IP去访问 程序就会时常链接失败,中断等等. 内容就抓不全或者没抓到，
能不能在程序里，伪装成他们的IP来访问他们，这样的话就应该不会有问题，或者有没有其他方式解决？？？
还有一种情况，访问过于频繁，就会有验证码输入信息，如何跳过验证信息，或其他方式，能够正确解析网页内容。
不知道有没有什么方法解决上面的问题，大神指教！！！
...全文
请发表友善的回复…
发表回复
沙土 2014-06-09
- 打赏
- 举报
同问，我也遇到这样的问题，一些金融类的网站都会做限制处理，求解决办法
没有昵称不代表懒 2014-04-08
- 打赏
- 举报
想问下您的问题解决了吗
詠逺的朋友 2013-08-28
- 打赏
- 举报
这已经加了，但是有些需求还是不能够满足，有没有比较彻底点方法。
ghostkngiht 2013-08-28
- 打赏
- 举报
增加两次抓取的时间间隔。
