请问下,python爬虫为啥刚爬10个数据就断开连接了?-CSDN论坛

baibyebye 2018-02-11 05:28:04
是反爬虫吗?每次刚爬十个数据,也就是前后一共请求了十个页面,就这样了,这是啥原因?
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
...全文
1536 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
无聊的上午 2018-02-24
  • 打赏
  • 举报
回复
你爬数据时,多少时间间隔爬一次? 时间如果较短,被爬方会认为你恶意攻击它,就会禁你的ip,一般都会禁1小时或者更久 这里一定要线程休眠几分钟再爬
TheLittlePython 2018-02-13
  • 打赏
  • 举报
回复
是的,我也碰到过 https://www.zhihu.com/question/28168585
oyljerry 2018-02-11
  • 打赏
  • 举报
回复
看上去是有点反爬处理,阻止了请求

37,718

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧