求助我写爬虫被发现导致浏览器也上不了怎么破

阿震� 2019-07-06 11:12:02

忘了设置时间延迟，结果被封了。真的要用代理了吗~

...全文

496 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

joanagle 2020-06-12

打赏
举报

回复

我当年爬的人家网站直接DOMN机了，后来对方设了反爬虫技术，就爬不了了

武稀松 2019-07-09

打赏
举报

回复

单个IP频繁访问，会被设置一段时间内禁止访问。
如果对方网站加了这个限制，那么你可能要买代理IP，分配每个IP的访问频次。

ooolinux 2019-07-06

打赏
举报

回复

哪个网站？字数字数字数

ooolinux 2019-07-06

打赏
举报

回复

人家数据值钱，不让随便爬吧。

阿震� 2019-07-06

打赏
举报

回复

我爬的是磨房网，好狠呐直接把ip都封了~

因为同一个电影，会有多个译名，所以爬出来，电影名错位了，找了半天也没发现问题所在所以来求助了。 # -*- coding:utf-8 -*- # author: yukun import requests from bs4 import BeautifulSoup # 发出请求获得HTML...

来源 | 编程技术宇宙封图 |CSDN 付费下载自视觉中国爬虫原理我是一个爬虫，每天穿行于互联网之上，爬取我需要的一切。说起来还要感谢HTTP协议，因为它，全世界的网站和浏览器才能够连...

人们生活水平的不断提高，日常生活中人们对scrapy分布式爬虫方面的要求也在不断提高，scrapy分布式爬虫得到广大用户的青睐，使得scrapy分布式爬虫的开发成为必需而且紧迫的事情。scrapy分布式爬虫主要是借助计算机，...

已解决Python爬虫报错[403]＞

python 爬虫系列教程，2023 年国内最系统+最强（本阶段完结）

网络通信/分布式开发

1,593

社区成员

32,964

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章