爬取微博数据遇到的问题

Towan 2013-10-28 11:27:14

现在已经能够进行模拟登陆了。
为什么只能查看到一个公众人物的相关信息，诸如易中天、王文京、曾志勇等，却不能通过模拟登陆查看到诸如我的同事相关的信息呢？自己真的是想得太简单了，请解决了的、碰到了此问题的帮忙解答下

...全文

1486 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

shen_wei 2014-01-22

打赏
举报

还是用开放的API更实在。。

Towan 2013-11-25

打赏
举报

其实就是抓包进行模拟登陆，再解析。

ghw554557313 2013-11-25

打赏
举报

引用 3 楼 s060403072 的回复:

[quote=引用 2 楼 beijing20120926 的回复:] 不是，自个写的爬虫，硬爬，没有借助开放的api。

可以拿出来展示，大家研究下~~[/quote] 用api不是更容易嘛?! 分享一下"硬爬"

海兰 2013-11-22

打赏
举报

引用 2 楼 beijing20120926 的回复:

不是，自个写的爬虫，硬爬，没有借助开放的api。

可以拿出来展示，大家研究下~~

Towan 2013-10-28

打赏
举报

不是，自个写的爬虫，硬爬，没有借助开放的api。

海兰 2013-10-28

打赏
举报

你是通过开放平台爬取微博数据的么？

背景介绍我微博玩的晚，同学里面加上好友的也就40不到，为了把那些隐藏的好友揪出来。用scrapy写一个爬虫试一试。思路微博上面关注和粉丝都是公开的数据，可以用爬虫获取到的。而一个好友圈子里面的人，相互粉的比例也会比较大。这就是找到隐藏的好友的一个切入点。于是思路如下：从自己的账号入手，先抓取自己关注的人和自己的粉丝（0级好友）从第一批抓的数据开始，继续爬取0级好友的关注人和粉丝在爬取的数据中分析他们的网络关系，找到可能是自己好友的人遇到的问题爬取的数据量需要控制，每级迭代，用户的数量都是爆炸式的增长，需要进行一定筛选爬取的速度的限制，我的破电脑实测爬取速度大概在17page/

相信爬取大公司的数据时，常常会遇到页面信息动态加载的问题，如果仅仅使用content = urllib2.urlopen(URL).read()，估计信息是获取不全的，这时候就需要模拟浏览器加载页面的过程， selenium提供了方便的方法，我也是菜鸟，试了很多种方式，下面提供觉得最靠谱的（已经证明对于爬取新浪微博的topic、twitter under topic完全没问题）。至于下面的browser变量是什么，看前面的几篇文章。首先是请求对应的URL： right_URL = URL.split("from")[0] + "current_page="+str(current_pa

本课程的Python项目案例介绍：案例1：爬取微博数据存入Excel表格。案例2：爬取微博评论存入Excel表格。案例3：爬取芒果TB弹幕内容存入Excel表格。案例4：爬取豆瓣电影信息TXT文档。案例5：爬取简书图片保存到...

ECommerceCrawlers包含了多种电商商品数据爬虫，整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评。通过每个项目的 readme，了解爬取过程分析。对于精通爬虫的 pyer，这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护，确保即下即用，减少爬取的时间。对于小白通过实战项目，了解爬虫的从无到有。爬虫知识构建可以移步项目 wiki。爬虫可能是一件非常复杂、技术门槛很高的事情，但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议从一开始就要有一个具体的目标。在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。

python 爬取微博展开全文数据

OpenAPI

2,245

社区成员

699

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章