110,534
社区成员
发帖
与我相关
我的任务
分享如何获取动态加载的网页内容？
本人想用抓取新浪微博页面上的数据，碰到个问题，求指点！！
问题背景：新浪微博的页面在浏览器中不是一次显示完的，需要下拉滚动条才分几次显示完全的，不知道是怎么实现的...
问题描述：我现在用HttpWebRequest 去获取网页数据，使用HttpWebRequest获取新浪微博的页面数据的时候不能完全获取“正在加载中，请稍候......”后面的数据拿不回来， 有什么办法能让我一次把数据都取回来呢？？ 我又用webbrowser控件做了，但是动态加载的那部分源代码里还是不显示？用firebug就可以查看加载的那部分源码。用别的浏览器查看源代码就不行，求高手指点，如何才能得到动态加载的网页内容呢？
问题背景：新浪微博的页面在浏览器中不是一次显示完的，需要下拉滚动条才分几次显示完全的，不知道是怎么实现的...
问题描述：我现在用HttpWebRequest 去获取网页数据，使用HttpWebRequest获取新浪微博的页面数据的时候不能完全获取“正在加载中，请稍候......”后面的数据拿不回来， 有什么办法能让我一次把数据都取回来呢？？ 我又用webbrowser控件做了，但是动态加载的那部分源代码里还是不显示？用firebug就可以查看加载的那部分源码。用别的浏览器查看源代码就不行，求高手指点，如何才能得到动态加载的网页内容呢？
...全文
请发表友善的回复…
发表回复
yonglaixiazaide 2012-09-07
- 打赏
- 举报
推荐神器,火狐浏览器HttpFox 你抓包吧，你会发现一个大页 是45条微薄，默认显示15条，当你拉动滚动条时候，显示第16-15条微薄，类推，你要多请求2次的
benxiaohai_2012 2012-09-07
- 打赏
- 举报
主要是想用里面的数据，还是请高手指点
benxiaohai_2012 2012-09-07
- 打赏
- 举报
主要是想用里面的数据，还是请高手进来指点···
yonglaixiazaide 2012-09-07
- 打赏
- 举报
其实 我是知道的，但是你抓包还是要会啊，要不总是有问题的
csdn_风中雪狼 2012-09-07
- 打赏
- 举报
抓包，分析
yonglaixiazaide 2012-09-07
- 打赏
- 举报
HttpFox 插件[Quote=引用 5 楼 的回复:]
我在火狐浏览器里加上firebug插件，在firebug里可以看到html源文件，但是如何得到哪些源码的呢？还请高手在指点指点，我就是想要加载完毕的源文件，用httpwebrequest不能到的加载内容的源码
[/Quote]
我在火狐浏览器里加上firebug插件，在firebug里可以看到html源文件，但是如何得到哪些源码的呢？还请高手在指点指点，我就是想要加载完毕的源文件，用httpwebrequest不能到的加载内容的源码
[/Quote]
benxiaohai_2012 2012-09-07
- 打赏
- 举报
我在火狐浏览器里加上firebug插件，在firebug里可以看到html源文件，但是如何得到哪些源码的呢？还请高手在指点指点，我就是想要加载完毕的源文件，用httpwebrequest不能到的加载内容的源码
yonglaixiazaide 2012-09-06
- 打赏
- 举报
现在 人人来都来搞新浪微博了。。。我的个去。。。。搞吐了。。。
