python爬虫,如何在代理的IP被封后立刻换下一个IP继续任务?

mmz0707 2017-12-22 02:06:11
最近在爬某个目标网站,需要使用到代理,但是我要如何在代理的IP被封后立刻换下一个IP继续任务?求大神帮忙
...全文
888 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
耳朵会咬人 2020-05-13
  • 打赏
  • 举报
回复
引用 7 楼 qq_42345443 的回复:
我觉得楼主的关键问题是想知道爬到一半的时候,IP被封了,怎么换IP继续进行下面的爬取
对,只要是想异常断开之后接着断开的位置爬,有没有具体例子?
尾鱼 2019-10-30
  • 打赏
  • 举报
回复
如果ip被封,返回的应该是403,我感觉可以在接受返回参数的时候验证一下,如果是错误代码,就换ip重新请求,代码正常后才进行解析。
qq_42345443 2019-10-28
  • 打赏
  • 举报
回复
我觉得楼主的关键问题是想知道爬到一半的时候,IP被封了,怎么换IP继续进行下面的爬取
p_xiaobai 2019-09-06
  • 打赏
  • 举报
回复
在使用ip之前测试一下 确定是否能用 能用则用 不能用了直接换就行了
weixin_45066115 2019-06-25
  • 打赏
  • 举报
回复
有种你们放代码出来啊
不要说啊
睿哥n 2019-06-21
  • 打赏
  • 举报
回复
引用 楼主 mmz0707的回复:
最近在爬某个目标网站,需要使用到代理,但是我要如何在代理的IP被封后立刻换下一个IP继续任务?求大神帮忙
最好来延时,减少风险
睿哥n 2019-06-21
  • 打赏
  • 举报
回复
引用 楼主 mmz0707的回复:
最近在爬某个目标网站,需要使用到代理,但是我要如何在代理的IP被封后立刻换下一个IP继续任务?求大神帮忙
用random.choice 随机选取ip
weixin_45066115 2019-06-18
  • 打赏
  • 举报
回复
一楼说的那我看不懂,
是我太菜了,
还是你们太牛呢?
oyljerry 2017-12-22
  • 打赏
  • 举报
回复
直接搞一个IP代理池。然后循环使用代理IP

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧