在阿里云上爬虫无法登录新浪

weixin_38078242 2019-09-20 10:01:19

本地可以登录新浪并获取cookie 可是一放到云服务器上就不行了一开始认为是操作系统的问题
已经试过windows server 2016 centos ubuntu 都不行好像是服务器限制

大家有遇到过这样问题的嘛

...全文

99 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

老栗子 2019-09-20

打赏
举报

回复

虽然没有遇到过，但是你说这个理由不能够的，阿里云上的centos肯定是可以爬新浪的数据；你频繁的访问会不会阿里云把你给放入黑名单了呢，这个以前倒是遇到过

通过python爬虫获取人民网、新浪等网站新闻作为训练集，基于BERT构建新闻文本分类模型，并结合node.js+vue完成了一个可视化界面。.zip

如何构建爬虫系统

【资源说明】基于集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友资料齐全+详细文档+源码.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。欢迎下载，沟通交流，互相学习，共同进步！

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

Web编程课设-基于JavaScript+Vue+Express开发的新闻聚合网站项目源码（含前端+后端+详细运行教程）.zip 【项目简介】本次项目是Web编程项目demo，为新闻聚合网站（聚合了网易新闻/新浪新闻/新华网/人民网），在此网站中有独立的热搜模块（较为简陋），四个新闻平台热点关键词词云及其数据量，同时您可以在网站中进行筛选搜索，结果会以模态框形式弹出，点击对应的结果即可跳转到对应的新闻原URL，所有结果均为定时爬虫所爬取。本站使用了Vue3+NaiveUI作为前端框架与组件，使用了Nodejs+Express作为项目后端，阿里云MySQL数据库作为项目数据库。项目展示选取其中部分功能截图作为项目展示（见资源内部）项目运行本项目前后端分离，前端为front文件夹，后端为back文件夹，进入前后端文件夹后分别运行 npm install 下载相应的module文件（如果没有的话）由于本项目为demo项目，因此并没有做过深的负载等考虑，为开发模式，仅作为演示，因此Vue项目并未打包，均为源码开发模式呈现。在front文件夹下运行 npm run

其他技术讨论专区

473

社区成员

791,201

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章