求助:python 抓取动态网页的问题

kongbob123 2013-04-25 10:22:12
大家好,python新人,轻轻拍。最近遇到一个问题,查了很多资料暂时无法解决。如下网页:

http://vip.stock.finance.sina.com.cn/mkt/#cyb_root

我想抓取上面的创业板信息,可是对照chrome的审查元素在源代码找不到数据,要是想抓取这种动态网页的信息,该怎么解决呢?
...全文
933 11 打赏 收藏 举报
写回复
11 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
二狗几 2015-07-28
  • 打赏
  • 举报
回复
引用 10 楼 crifan 的回复:
给你写了,足够详尽的教程了: 【教程】以抓取新浪财经的创业板的信息为例,解释如何分析并模拟动态网页抓取
翻页呢?不是还有下一页的么
crifan 2013-04-30
  • 打赏
  • 举报
回复
ImN1 2013-04-26
  • 打赏
  • 举报
回复
用抓包工具就知道了
BLUE_LG 2013-04-26
  • 打赏
  • 举报
回复
能否问下,楼上是这么得到的这个地址?
kongbob123 2013-04-26
  • 打赏
  • 举报
回复
引用 7 楼 openXMPP 的回复:
抓的是AJAX?
您能帮我看一下看一下么,网址如下: http://vip.stock.finance.sina.com.cn/mkt/#cyb_root
kongbob123 2013-04-26
  • 打赏
  • 举报
回复
引用 4 楼 crifan 的回复:
简答: 1.用工具分析内部逻辑 2.用代码(python)实现此逻辑。 详解: Python专题教程:抓取网站,模拟登陆,抓取动态网页
您的博客我之前有较为系统的看过,有三个不情之请: 1、能不能把有关网易博客评论的那篇博客的代码继续写下去 2、能不能介绍一下在chrome下怎么实现和在网易的那篇文章中IE F12的相同功能,在chrome的network中查找的结果和IE里不一样。 3、http://vip.stock.finance.sina.com.cn/mkt/#cyb_root这个网页为什么在IE里抓取不成功,能帮忙看一下吗
乔巴好萌 2013-04-26
  • 打赏
  • 举报
回复
抓的是AJAX?
kongbob123 2013-04-26
  • 打赏
  • 举报
回复
引用 3 楼 snmr_com 的回复:
用抓包工具就知道了
能不能简单介绍一下用什么抓包工具,怎么分析,新人,谢谢
kongbob123 2013-04-26
  • 打赏
  • 举报
回复
引用 1 楼 xfcy06 的回复:
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page=1&num=40&sort=symbol&asc=1&node=cyb&_s_r_a=init 这个才是真实的地址。注意抓包分析。
能不能简单介绍一下用什么抓包工具,怎么分析,新人,谢谢
crifan 2013-04-26
  • 打赏
  • 举报
回复
简答: 1.用工具分析内部逻辑 2.用代码(python)实现此逻辑。 详解: Python专题教程:抓取网站,模拟登陆,抓取动态网页
xfcy06 2013-04-25
  • 打赏
  • 举报
回复
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page=1&num=40&sort=symbol&asc=1&node=cyb&_s_r_a=init 这个才是真实的地址。注意抓包分析。
发帖
脚本语言

3.7w+

社区成员

JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • ITBOB • 鲍勃
加入社区
帖子事件
创建了帖子
2013-04-25 10:22