21,889
社区成员
发帖
与我相关
我的任务
分享如何用curl去抓取一个带有ajax获取信息的页面
那个页面通过浏览器打开，可以看到页面加载后的所有内容，包括在页面上通过AJAX来获取并显示到页面的信息。
而curl却不能获取到那些通过ajax加载的东西，只能获取到相当于“查看源代码”的内容？？？
怎么抓取ajax生成的数据呢？？？
...全文
请发表友善的回复…
发表回复
feiyangdeling 2012-09-22
- 打赏
- 举报
有些ajax的路径能找到，有些找不到，有什么好的方法抓到ajax路径，模拟ajax请求过程是怎么模拟的呢。
ImN1 2012-09-22
- 打赏
- 举报
手动方法，上面说了
自动方法，自己弄个javascript引擎去执行ajax
javascript引擎，mozilla和GG好像都有公开的代码，不过我是没空去研究这咚咚
自动方法，自己弄个javascript引擎去执行ajax
javascript引擎，mozilla和GG好像都有公开的代码，不过我是没空去研究这咚咚
xuzuning 2012-09-22
- 打赏
- 举报
浏览器能找到的，你也一定能找到
所以我说要“分析出ajax的目标url和动态参数的构成”
所以我说要“分析出ajax的目标url和动态参数的构成”
bojimiyabojimiya 2012-09-21
- 打赏
- 举报
你直接抓ajax路径的东西不就行了，
xuzuning 2012-09-21
- 打赏
- 举报
抓取页面后，分析出ajax的目标url和动态参数的构成
逐一模拟ajax请求过程，注意取回的不一定是最终效果
curl 不能执行 js 代码，所以组装页面的工作只能由你完成
逐一模拟ajax请求过程，注意取回的不一定是最终效果
curl 不能执行 js 代码，所以组装页面的工作只能由你完成
