自动抓取动态网页（网页使用ajax、js技术）中下一页的信息-CSDN论坛

CSDN论坛 > Java > Java相关

自动抓取动态网页（网页使用ajax、js技术）中下一页的信息 [问题点数：20分]

⋅自动抓取动态网页（网页使用ajax、js技术）中下一页的信息 ⋅最近开始学对象与类及派生类等，晕了 更多帖子 关注私信空间博客 菜的抠脚弟弟 本版专家分：0 结帖率 50%: 大家好，最近在写一个简单的爬虫程序。现在需要爬一个网页信息，但该网页为动态网页，网页内容使用分页效果，并且下一页的路径用js封装了，所以小弟只能爬到当前界面信息，下一页的不知如何抓取。网上查了一些资料，但都没有找到合适的答案，希望做个这一方面的朋友能给个指点，最好详细一些。在此先谢过大家了

0 2013-07-21 15:48:05

回复数 5 只看楼主引用举报楼主

猫大叔 本版专家分：510 版主: 可以分析源码找出下一页的url，
也可以使用网络抓包工具看看他下一页是发送的url

0 2013-07-21 16:27:59

只看TA 引用举报 #1 得分 0

aaaabbbccd9876 本版专家分：584: 将js封装的url抓过来

0 2013-07-21 18:01:00

只看TA 引用举报 #2 得分 0

wblzu 本版专家分：30: 请问这个解决了吗？我也有同样的需求

0 2013-11-09 22:31:12

只看TA 引用举报 #3 得分 0

gobitan 本版专家分：0 版主: 顶，看来遇到类似问题的人很多，等我解决后一定写篇文章出来与大家分享一下。

0 2014-02-13 16:47:34

只看TA 引用举报 #4 得分 0

paladinosment 本版专家分：0: 关注，基本难点都这样。我个人认为也是跟模拟登陆一样。用js提交申请，接收返回的url

0 2014-02-28 14:45:10

只看TA 引用举报 #5 得分 0

收藏帖子