导航
  • 主页
  • Python 数据分析三剑客
  • Python 问答

求助:python 抓取动态网页的问题

kongbob123 2013-04-25 10:22:12
大家好,python新人,轻轻拍。最近遇到一个问题,查了很多资料暂时无法解决。如下网页:

http://vip.stock.finance.sina.com.cn/mkt/#cyb_root

我想抓取上面的创业板信息,可是对照chrome的审查元素在源代码找不到数据,要是想抓取这种动态网页的信息,该怎么解决呢?
...全文
831 点赞 收藏 11
写回复
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
二狗几 2015-07-28
引用 10 楼 crifan 的回复:
给你写了,足够详尽的教程了: 【教程】以抓取新浪财经的创业板的信息为例,解释如何分析并模拟动态网页抓取
翻页呢?不是还有下一页的么
回复
ImN1 2013-04-26
用抓包工具就知道了
回复
BLUE_LG 2013-04-26
能否问下,楼上是这么得到的这个地址?
回复
kongbob123 2013-04-26
引用 7 楼 openXMPP 的回复:
抓的是AJAX?
您能帮我看一下看一下么,网址如下: http://vip.stock.finance.sina.com.cn/mkt/#cyb_root
回复
kongbob123 2013-04-26
引用 4 楼 crifan 的回复:
简答: 1.用工具分析内部逻辑 2.用代码(python)实现此逻辑。 详解: Python专题教程:抓取网站,模拟登陆,抓取动态网页
您的博客我之前有较为系统的看过,有三个不情之请: 1、能不能把有关网易博客评论的那篇博客的代码继续写下去 2、能不能介绍一下在chrome下怎么实现和在网易的那篇文章中IE F12的相同功能,在chrome的network中查找的结果和IE里不一样。 3、http://vip.stock.finance.sina.com.cn/mkt/#cyb_root这个网页为什么在IE里抓取不成功,能帮忙看一下吗
回复
乔巴好萌 2013-04-26
抓的是AJAX?
回复
kongbob123 2013-04-26
引用 3 楼 snmr_com 的回复:
用抓包工具就知道了
能不能简单介绍一下用什么抓包工具,怎么分析,新人,谢谢
回复
kongbob123 2013-04-26
引用 1 楼 xfcy06 的回复:
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page=1&num=40&sort=symbol&asc=1&node=cyb&_s_r_a=init 这个才是真实的地址。注意抓包分析。
能不能简单介绍一下用什么抓包工具,怎么分析,新人,谢谢
回复
crifan 2013-04-26
简答: 1.用工具分析内部逻辑 2.用代码(python)实现此逻辑。 详解: Python专题教程:抓取网站,模拟登陆,抓取动态网页
回复
xfcy06 2013-04-25
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page=1&num=40&sort=symbol&asc=1&node=cyb&_s_r_a=init 这个才是真实的地址。注意抓包分析。
回复
发动态
发帖子
脚本语言(Python,Perl 等)
创建于2007-08-27

3.6w+

社区成员

Python,JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
申请成为版主
社区公告

CSDN 脚本语言社区接受专栏投稿(专栏会在顶部创建专属你的栏目),投稿需满足以下要求:

  • 脚本语言技术相关;
  • 文章持续更新,保持活跃;
  • 内容清晰明了,干货为主;
  • 文章排版有序,有条有理。

本社区开通招聘专栏,发布招聘信息请联系版主,发布者需要保证招聘信息真实有效,CSDN 平台和版主不对招聘内容负责!

联系方式:私聊版主、发送邮件、QQ联系等均可: