如何用curl去抓取一个带有ajax获取信息的页面

feiyangdeling 2012-09-21 03:24:00

那个页面通过浏览器打开,可以看到页面加载后的所有内容,包括在页面上通过AJAX来获取并显示到页面的信息。

而curl却不能获取到那些通过ajax加载的东西,只能获取到相当于“查看源代码”的内容???

怎么抓取ajax生成的数据呢???
...全文
540 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
feiyangdeling 2012-09-22
  • 打赏
  • 举报
回复
有些ajax的路径能找到,有些找不到,有什么好的方法抓到ajax路径,模拟ajax请求过程是怎么模拟的呢。
ImN1 2012-09-22
  • 打赏
  • 举报
回复
手动方法,上面说了

自动方法,自己弄个javascript引擎去执行ajax
javascript引擎,mozilla和GG好像都有公开的代码,不过我是没空去研究这咚咚
xuzuning 2012-09-22
  • 打赏
  • 举报
回复
浏览器能找到的,你也一定能找到
所以我说要“分析出ajax的目标url和动态参数的构成”
bojimiyabojimiya 2012-09-21
  • 打赏
  • 举报
回复
你直接抓ajax路径的东西不就行了,
xuzuning 2012-09-21
  • 打赏
  • 举报
回复
抓取页面后,分析出ajax的目标url和动态参数的构成
逐一模拟ajax请求过程,注意取回的不一定是最终效果

curl 不能执行 js 代码,所以组装页面的工作只能由你完成

21,893

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧