Python微博爬虫418错误，请教大佬

pandasgb 2019-04-05 10:02:08

最近在尝试抓微博的数据，但发现用selenium、requests请求都会在一段时间后出现状态码为418的问题，自己也加了cookie池，是不是因为没有换代理ip的问题？看了几个git上star多的微博爬虫项目好像都没有提到有这个问题，而且网上也没找到相关的解释，现在暂时只能每次请求等待2-3秒，这速度一天太慢了..

...全文

1878 8 打赏收藏转发到动态举报

写回复

8 条回复

切换为时间正序

请发表友善的回复…

发表回复

小羽Jary 2019-12-03

打赏
举报

回复

随机header+ip池就可以

weixin_42789202 2019-12-02

打赏
举报

回复

一样怎么解决....

鸡蛋煎饼饭 2019-11-08

打赏
举报

回复

我之前也是这个问题，今天加了headers，每次请求使用fake_useragent构造headers再加上cookie池，现在没有问题了，没出现418问题了。

大岭聊编程 2019-10-10

打赏
举报

回复

大佬解决了么.用代理也不行

w5555sxa 2019-09-16

打赏
举报

回复

大佬，请问你们解决了吗？418的问题

pandasgb 2019-04-22

打赏
举报

回复

引用 4 楼 weixin_43945615 的回复:

握爪我也遇到了我去年就有爬微博数据当时爬了挺多的没出现过这个问题现在需要爬些新的数据验证结果刚发现爬到的稍微快点就会出现418 而且网上也查不到可能微博新加强了反爬？我再想想办法你解决了吗

还没有，暂时只能降低速度...

weixin_43945615 2019-04-17

打赏
举报

回复

握爪我也遇到了我去年就有爬微博数据当时爬了挺多的没出现过这个问题现在需要爬些新的数据验证结果刚发现爬到的稍微快点就会出现418 而且网上也查不到可能微博新加强了反爬？我再想想办法你解决了吗

getlaid 2019-04-16

打赏
举报

回复

而且我等待3秒都不行，还出现418

对于崔大的这本《python3网络爬虫开发实战(第二版)》，其实还得从大一下学期的时候参加老师的课题说起，当时老师的课题需要采集一些旅游网站的评论数据，对于当时的我一筹莫展。然后通过请教老师和查询资料了解到爬虫这个东西，当时刚好课程在学习Python，然后碰巧中用度娘以及知乎这些工具搜索发现了python网络爬虫开发，对于当时基础很差的我，然后就考虑买一本厚一点的基础的爬虫书籍，然后结合豆瓣知乎的评价就冲了《python3网络爬虫开发实战(第一版)》，然后因此也和爬虫结下了不解之缘。后续学习过程中发现第一版

基于Pyhon爬虫的国内现状现阶段属于什么阶段呢？（向大佬请教） 1）对于爬虫方面国内有没有自己研发的相关技术。 2）Pyhon网络爬虫在国内现阶段的进程到了什么样的地步。 ...

这个故事，从头讲起。 2022 年上班第一天，我们做了一个重要决定，就是打造精品学习路线，为初学者指明前进的方向，以及常见的避坑技巧。我承认这是一件非常有挑战的事情，它考验的是一个程序员的综合实力。这个程序员最好是一个 T 型人才，既对某个领域有深入的研究，也对其它技能有所涉猎。因为要深度思考，因为要持续学习，因为要请教大佬，所以咱们学习路线的创作周期被不断拉长。截至目前，咱们一共发布了两套学习路线，分别是： - C/C++ 学习路线之 Windows 开发 - Java 学习路线完整版（

问题：python爬虫请教一下，python怎么连接websocket描述:现在在做一个项目，需要用到websocket，需要python去连接websocket，但是不知道怎么用python连接websocket，找了好久没找到，求各位大佬帮忙~~解决方案1:建议使用tornado，它支持websocket，知乎后端就是使用tornado构建的解决方案2:感谢各位，百度了好久都找不到解决办法，...

import timeimport requestsfrom lxml import etreeimport pymysqlclass GuPiao_spider():def __init__(self):self.headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:70.0) Gecko/20100101 Firefox/70...

37,719

社区成员

34,238

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章