自动抓取动态网页（网页使用ajax、js技术）中下一页的信息

菜的抠脚弟弟 2013-07-21 03:48:05

大家好，最近在写一个简单的爬虫程序。现在需要爬一个网页信息，但该网页为动态网页，网页内容使用分页效果，并且下一页的路径用js封装了，所以小弟只能爬到当前界面信息，下一页的不知如何抓取。网上查了一些资料，但都没有找到合适的答案，希望做个这一方面的朋友能给个指点，最好详细一些。在此先谢过大家了

...全文

562 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

paladinosment 2014-02-28

打赏
举报

回复

关注，基本难点都这样。我个人认为也是跟模拟登陆一样。用js提交申请，接收返回的url

gobitan 2014-02-13

打赏
举报

回复

顶，看来遇到类似问题的人很多，等我解决后一定写篇文章出来与大家分享一下。

wblzu 2013-11-09

打赏
举报

回复

请问这个解决了吗？我也有同样的需求

aaaabbbccd9876 2013-07-21

打赏
举报

回复

将js封装的url抓过来

猫大叔 2013-07-21

打赏
举报

回复

可以分析源码找出下一页的url，也可以使用网络抓包工具看看他下一页是发送的url

摘要：动态网页数据通常通过AJAX和JavaScript加载，传统爬虫难以直接抓取。本文介绍了AJAX逆向与浏览器自动化两种关键技术： AJAX逆向：通过分析网络请求（如URL、参数、响应格式），模拟AJAX请求直接获取JSON数据，适用于API接口明确的场景；浏览器自动化（如Selenium）：模拟用户滚动、点击等操作，解决JavaScript渲染内容抓取问题，适合交互复杂的网页。结合这两种方法，可高效应对动态网页的数据采集需求。

1.selenium抓取动态网页数据基础介绍 1.1 什么是AJAX 　　AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行局部更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。 ...

已写章节第一章网络爬虫入门第二章基本库的使用第三章解析库的使用第四章数据存储第五章动态网页的抓取文章目录已写章节第五章动态网页的抓取(Selenium)5.1 Ajax的原理5.2 Selenium的使用5.2.1 准备工作5.2.2 Selenium的使用1. 声明浏览器对象2. 访问页面3. 查找节点4. 查找多个节点5. 节点交互6. 动作链7. 滑动页面8. 执行JavaScript9. 获取节点的信息10. 切换Frame11. 等待12. 控制页面前进和后退13. 对c.

Ajax动态网页加载爬取新浪微博某关键词下的信息前言有些时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面html得到的数据不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些处理过的数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。一、Ajax原理 1、什么是Ajax？ Ajax全称为Asynchronous JavaScript and XML，即为异步的JavaScrip

但是，由于主流网站都使用JavaScript展现网页内容，和静态网页不同的是，在使用JavaScript时，很多内容并不会出现在HTML源代码中，所以爬取静态网页的技术可能无法正常使用。上述的教学，只是爬取文章的第一页评论，十分简单。例如，我们打开天猫的某商品的产品页面，并点击“累计评价”，我们可以发现上面的url地址没有任何改变，并没有重新加载整个网页，对网页的评论部分进行更新。上述的结果比较杂乱，但是它其实是 json 数据，我们可以使用 json 库解析数据，从中提取我们想要的数据。

51,408

社区成员

86,093

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章