社区
基础编程
帖子详情
如何用curl去抓取一个带有ajax获取信息的页面
feiyangdeling
2012-09-21 03:24:00
那个页面通过浏览器打开,可以看到页面加载后的所有内容,包括在页面上通过AJAX来获取并显示到页面的信息。
而curl却不能获取到那些通过ajax加载的东西,只能获取到相当于“查看源代码”的内容???
怎么抓取ajax生成的数据呢???
...全文
539
5
打赏
收藏
如何用curl去抓取一个带有ajax获取信息的页面
那个页面通过浏览器打开,可以看到页面加载后的所有内容,包括在页面上通过AJAX来获取并显示到页面的信息。 而curl却不能获取到那些通过ajax加载的东西,只能获取到相当于“查看源代码”的内容??? 怎么抓取ajax生成的数据呢???
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
feiyangdeling
2012-09-22
打赏
举报
回复
有些ajax的路径能找到,有些找不到,有什么好的方法抓到ajax路径,模拟ajax请求过程是怎么模拟的呢。
ImN1
2012-09-22
打赏
举报
回复
手动方法,上面说了
自动方法,自己弄个javascript引擎去执行ajax
javascript引擎,mozilla和GG好像都有公开的代码,不过我是没空去研究这咚咚
xuzuning
2012-09-22
打赏
举报
回复
浏览器能找到的,你也一定能找到
所以我说要“分析出ajax的目标url和动态参数的构成”
bojimiyabojimiya
2012-09-21
打赏
举报
回复
你直接抓ajax路径的东西不就行了,
xuzuning
2012-09-21
打赏
举报
回复
抓取页面后,分析出ajax的目标url和动态参数的构成
逐一模拟ajax请求过程,注意取回的不一定是最终效果
curl 不能执行 js 代码,所以组装页面的工作只能由你完成
PHP
抓取
淘宝商品的用户晒单评论+图片+搜索商品列表实例
下面是小编在前段时间做淘宝客引发的一些思考,有关PHP
抓取
淘宝商品的用户晒单评论+图片实例的方法,需要的朋友参考下吧
php通过
cURL
爬取数据(1):
ajax
接口、cookie伪造爬取、文件头信息
cURL
是
一个
利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。当然,PHP也支持
cURL
库,用来模拟浏览器访问网页、上传文件、下载文件等操作
php的
curl
扩展
抓取
信息——模拟登陆成功却无法
抓取
页面
等问题
最近我编辑了
一个
程序
抓取
某平台的用户的新信息并将其以邮件的形式发送。与普通的
抓取
页面
信息不同的是,此程序涉及到了模拟登陆的过程。 技术:php的
curl
扩展和smtp/mime 发送邮件 难点说明:1.模拟登陆对于cookie的处理是将其存在
一个
文件中,
页面
跳转
抓取
信息时用来当通信证,程序结束时再删除该文件。 $cookie= dirname(__FILE__
php
curl
ajax
get请求,使用
CURL
实现GET和POST方式请求
/** 使用
curl
方式实现get或post请求@param $url 请求的url地址@param $data 发送的post数据 如果为空则为get方式请求return 请求后获取到的数据*/function
curl
Request($url,$data = ''){$ch =
curl
_init();$params[
CURL
OPT_URL] = $url; //请求url地址$params[...
php用
curl
算异步,关于 php 通过
curl
的伪异步方式
抓取
数据,下面这种
curl
方式和普通的
curl
同步请求有什么区别?...
请求 url 个数@var int/private $size = 1;/*等待所有
cURL
批处理中的活动连接等待响应时间@var int/private $timeout = 5;/*完成请求回调函数@var string/private $callback = null;/*cRUL 配置@var array/private $options = array (
CURL
OPT_SSL_VE...
基础编程
21,893
社区成员
140,347
社区内容
发帖
与我相关
我的任务
基础编程
从PHP安装配置,PHP入门,PHP基础到PHP应用
复制链接
扫一扫
分享
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章