python scrapy 暂停采集,重启代理程序后再继续执行采集

longdrake 2019-09-02 05:53:21
在用python scrapy 采集时,需要用到vpn来能访问某些网站进行采集,但是vpn有时不稳定,需要重启,这样就影响了采集的过程。
怎么利用scrapy 返回的url 状态status来重启这个vpn软件(假设路径在D:/vpn.exe)呢? 就是当response.statusi不为200时,暂停采集,自动重启vpn.exe后,再继续执行后面未采的url的采集。
...全文
114 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

37,722

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧