求大神，怎么抓取用ajax来控制内容显示的网页

AndyXuq 2012-08-18 01:55:21

RT，最近有一个抓网页的需求，但有些网页是用js来控制内容显示的

如果直接根据url来抓取的话，得到的是一个html框架，没有任何内容
通过查看网页源代码，发现我需要抓取的是js中的一个变量..

肿么办？？求指点，小弟先谢过了。

...全文

198 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

AndyXuq 2012-08-18

打赏
举报

回复

[Quote=引用 1 楼的回复:]

如果是简单JS可以尝试用 HtmlUnit 模拟执行。

否则的话，直接硬编码去抓JS的这个变量吧。。。
[/Quote]
多谢楼上啦，不过页面是ajax异步调用加载出来的，我就像平常那样去抓这个网页的话，根本连js都木有显示，也就没办法去硬编码抓js了额.

MiceRice 2012-08-18

打赏
举报

回复

如果是简单JS可以尝试用 HtmlUnit 模拟执行。

否则的话，直接硬编码去抓JS的这个变量吧。。。

自答一波：经过了三天的摸索，终于找到了一些眉目，把这几天看来的各家情况和最后尝试出来的方法都放在这里，一方面作为这个问题的一个小结，一方面万一有后来的python小白，如我一样，也算是有个帮助吧。1. 问题归纳搜索答案的过程中发现，关于爬虫中网页翻页的问题还是挺多的，各家由于网站数据规范性不一，遇到的问题也略有出入，主要有两大类，还有我遇到的这第三类：一是，网页静态加载，现象是每次翻页都提供一个新...

有时候我们在利用requests抓取网页时，得到的结果可能与在浏览器中看到的结果不一样：在浏览器中能看到的东西，但是在爬取下来的网页源代码中看不到。这是因为requests获取的都是最原始的HTML文档，而浏览器中的页面则是经过JS处理数据得到的结果，这些数据的来源有很多种，第一种方式是：通过Ajax，第二种方式：在HTML文档中，第三种方式：经过JS和特定的算法实现的。对于第一种情况，原始的界面...

Selenium是一个流行的Web自动化测试框架，它支持多种编程语言和浏览器，并提供了丰富的API和工具来模拟用户在浏览器中的行为。Selenium可以通过代码驱动浏览器自动化测试流程，包括页面导航、元素查找、数据填充、点击操作等。与PyAutoGUI和AutoIt相比，Selenium更适合于处理Web界面上的自动化操作。它可以轻松地测试像网页表单、AJAX异步请求、JavaScript交互等功能。Selenium有一个活跃的社区，确保持续的开发和更新，也有许多用例和最佳实践可供借鉴。

Python大数据分析系列博客，包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。前文分享了疫情相关新闻数据爬取，并进行中文分词处理及文本聚类、LDA主题模型分析。这篇文章将抓取微博话题及评论信息，采用SnowNLP进行简单的情感分析及文本挖掘，包括随时间的情感分布。希望这篇基础性文章对您有所帮助

以下内容转载自某大神的付费文章，我是付过费的，我是觉得这节内容很有用，所以转载出来了，原文链接就不贴出来了我们在爬取网站的时候，经常会遇到各种各样类似加密的情形，比如：某个网站的 URL 带有一些看不懂的长串加密参数，想要抓取就必须要懂得这些参数是怎么构造的，否则我们连完整的 URL 都构造不出来，更不用说爬取了。分析某个网站的 Ajax 接口的时候，可以看到接口的一些参数也是加密的，或者 Req...

81,092

社区成员

341,716

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章