37,719
社区成员
发帖
与我相关
我的任务
分享[爬虫] 网站怪我抓取网页太快, BAN 了我 5 分钟? 肿么办?
现在网站用什么技术来判断短时间内访问过多的啊? 我试过加 cookie 了, 没用. 只能睡 300 秒么?
...全文
请发表友善的回复…
发表回复
mcxxkj 2018-04-25
- 打赏
- 举报
因为你是同一个IP, 一直在访问，很容易就判断出来
半吊子Py全栈工程师 2018-04-25
- 打赏
- 举报
第一就是User-Agent:**********，第二就是ip地址，第三是能不登录就不登陆，登陆以后可能会记录你的行为，如果必须登录，可以使用多账号来爬取，还有一些其它的就是不通用的了
