在阿里云上爬虫无法登录新浪

weixin_38078242 2019-09-20 10:01:19

本地可以登录新浪并获取cookie 可是一放到云服务器上就不行了一开始认为是操作系统的问题
已经试过windows server 2016 centos ubuntu 都不行好像是服务器限制

大家有遇到过这样问题的嘛

...全文

129 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

老栗子 2019-09-20

打赏
举报

回复

虽然没有遇到过，但是你说这个理由不能够的，阿里云上的centos肯定是可以爬新浪的数据；你频繁的访问会不会阿里云把你给放入黑名单了呢，这个以前倒是遇到过

本文详细介绍如何在阿里云ECS上部署Python爬虫，涵盖实例创建、远程连接、环境配置、项目上传、进程管理和定时任务等关键步骤。通过Supervisor和crontab实现爬虫的持久化与自动化运行，并提供安全加固与日志管理方案，适用于希望将爬虫迁移至云端的开发者。

本文介绍Scrapy分布式爬虫，阐述其原理，包括共享爬取队列、去重和防止中断的方法，使用Redis维护队列和去重集合。还介绍了Scrapy - redis库，说明了分布式环境搭建步骤，涉及远程Linux服务器上Redis和MongoDB的安装配置，最后以新浪新闻为例进行实战。

本文介绍了一种利用微博API接口及爬虫技术抓取微博数据的方法，通过分析微博内容可评估用户对特定主题的态度，如银行服务满意度或明星粉丝画像。

2019独角兽企业重金招聘Python工程师标准>>> ...

本文分享了作者使用阿里云解决数据抓取与网站建设两大任务的经历，包括技术选型、域名备案等过程，以及对阿里云稳定性的评价。

其他技术讨论专区

478

社区成员

790,949

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章