【已解决】PHP怎样抓取网页代码中动态(Ajax)显示的数据？

2013-12-17 07:08:54 614 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

利用python抓取网页各种类型内容（静态、动态）声明：本实验的操作系统是ubuntu,python 2.X Code-1:抓取静态的title数据（无需登录用户）获取淘宝主页的页面静态数据 url:http://www.taobao.com #!/usr/bin/env python #-*- coding: utf-8 -*- #@author Amiber #@date 2012-12-01 #@bri 阅读详情

比如淘宝的宝贝页：
http://item.taobao.com/item.htm?id=36221049162

价　　格： ¥596.00
参加促销：全年抄底价 ¥298.00
价格在网页html代码中有，但是参加促销网页html中没有，如何抓取？

效果图：

已解决，不要后面的商店地址就行了。
http://detailskip.taobao.com/json/sib.htm?itemId=36221049162&sellerId=110811289&p=1&rcid=16&sts=504983568,1170940490216898572,144678138062864512,36028801320484867&chnl=pc&price=59600&shopId=&vd=1&skil=false&prior=1&ref=

...全文

动态网页 —— 逆向分析法 + 案例引入：本章主要讲解的是动态网页爬取的相关技术。动态网页的爬取呢，主要有逆向分析法和模拟法。我们今天主要介绍逆向分析法，后面会重点介绍模拟法中selenium库的使用。动态网页一、动态网页概述 1.1 什么是动态网页动态网页是基本的html语法规范与Python、Java、C#等高级程序设计语言、数据库编程等多种技术的融合，以期实现对网站内容和风格的高效、动态和交互式的管理。因此，从这个意义上来讲，凡是结合了HTML以外的高级程序设计语言和数据库技术进行的网页编程技术生成的网页都是动态网页阅读详情

mrtelanpu

基础编程 21,889 成员 140,329 内容

+ 关注 + 加入社区

切换为时间正序

mrtelanpu 2013-12-23

打赏
举报

引用 4 楼 liangchusohu 的回复:

楼主，我也遇到了和你一样的问题，但是我像你说的去掉后面的店铺地址也不行啊，是什么原因呢，这个地址：http://detailskip.taobao.com/json/sib.htm?itemId=36386887896&sellerId=196755313&p=1&rcid=16&sts=404230144,1170940438677291084,144185556853620864,70373045502979&chnl=pc&price=13900&shopId=&vd=1&skil=false&pf=1&al=false&ap=0&ss=0&free=1&st=1&ct=1&prior=1&ref=

恩，是不行，要用curl要拿。 function curl_taobao_detail($url) { //模拟提交数据函数 $ch = curl_init(); //启动一个CURL会话 $header = array(); //http头数组 $header[] = 'Host:detail.taobao.com'; $header[] = 'User-Agent:Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:23.0) Gecko/20100101 Firefox/23.0'; $header[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'; $header[] = 'Accept-Language:"en-Us,en;q=0.5"'; $header[] = 'Accept-Encoding:"deflate"'; $header[] = 'Referer:"http://www.taobao.com"'; $header[] = 'Cookie:mall_fp_ab=2012b; cna=bBiqCsrWeRUCAXbGun/HhKLU; cq=ccp=1; otherx=e=1&p=*&s=0&c=0&f=0&g=0&t=0; x=__ll=-1&_ato=0; t=7009aef24f80bf19638795f67e442046; tracknick=hellobiaobiao; _tb_token_=KYsNvQICZGpL; cookie2=2d70cfb31e8da274de2f3eaed2d1612e; pnm_cku822=008uZ+ZXOTBiNH0MRQyyh8Jj9nPuf+Zr9lfeqJ6|uqxpf0k/uS85fwk/Oa/JX4c=|u51Y4MWiOxFIIdhSd7KXsYeiZ0KFHPWvJQDYAA==|vIpP92FnosSSV0FnYUeClAKUgkdRd/H3MrSytHFnQVcBxLLEonqi|vauNSG17TTu9Kz17DTs9q81b/fseCH54fmheCF54DkjOSN7IvvjdBQ==|vqg++0N1sCYgpmMl4MUARoOVsGiw|v/n/+Tw6/9kcer+p7+ksGkwq8g=='; $header[] = 'Connection:keep-alive'; curl_setopt($ch, CURLOPT_URL, $url); //要访问的地址 curl_setopt($ch, CURLOPT_HTTPHEADER, $header); //设置http头 curl_setopt($ch, CURLOPT_HEADER, 0); //显示返回的Header区域内容 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //获取的信息以文件流的形式返回 curl_setopt($ch, CURLOPT_TIMEOUT, 20); //设置超时限制防止死循环 $content = curl_exec($ch); //执行操作 preg_match_all('/price:"(.*)\.00"/iU', $content, $goods_price); //拿到价格 $goods_price = $goods_price[1][0] ? $goods_price[1][0] : '??'; $curl_errno = curl_errno($ch); $curl_error = curl_error($ch); curl_close($ch); //关闭CURL会话 return $goods_price; //返回数据 }

liangchusohu 2013-12-23

打赏
举报

引用 7 楼 qq37431300 的回复:

[quote=引用 6 楼 liangchusohu 的回复:] [quote=引用 5 楼 qq37431300 的回复:] [quote=引用 4 楼 liangchusohu 的回复:] 楼主，我也遇到了和你一样的问题，但是我像你说的去掉后面的店铺地址也不行啊，是什么原因呢，这个地址：http://detailskip.taobao.com/json/sib.htm?itemId=36386887896&sellerId=196755313&p=1&rcid=16&sts=404230144,1170940438677291084,144185556853620864,70373045502979&chnl=pc&price=13900&shopId=&vd=1&skil=false&pf=1&al=false&ap=0&ss=0&free=1&st=1&ct=1&prior=1&ref=

[/quote] 楼主你可以发这个php文件到我的邮箱吗，谢谢了！我想仔细看看，310976780@qq.com

mrtelanpu 2013-12-23

打赏
举报

引用 6 楼 liangchusohu 的回复:

[quote=引用 5 楼 qq37431300 的回复:]
[quote=引用 4 楼 liangchusohu 的回复:]
楼主，我也遇到了和你一样的问题，但是我像你说的去掉后面的店铺地址也不行啊，是什么原因呢，这个地址：http://detailskip.taobao.com/json/sib.htm?itemId=36386887896&sellerId=196755313&p=1&rcid=16&sts=404230144,1170940438677291084,144185556853620864,70373045502979&chnl=pc&price=13900&shopId=&vd=1&skil=false&pf=1&al=false&ap=0&ss=0&free=1&st=1&ct=1&prior=1&ref=

恩，是不行，要用curl要拿。

function curl_taobao_detail($url) { //模拟提交数据函数
$ch = curl_init(); //启动一个CURL会话
$header = array(); //http头数组
$header[] = 'Host:detail.taobao.com';
$header[] = 'User-Agent:Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:23.0) Gecko/20100101 Firefox/23.0';
$header[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';
$header[] = 'Accept-Language:"en-Us,en;q=0.5"';
$header[] = 'Accept-Encoding:"deflate"';
$header[] = 'Referer:"http://www.taobao.com"';
$header[] = 'Cookie:mall_fp_ab=2012b; cna=bBiqCsrWeRUCAXbGun/HhKLU; cq=ccp=1; otherx=e=1&p=*&s=0&c=0&f=0&g=0&t=0; x=__ll=-1&_ato=0; t=7009aef24f80bf19638795f67e442046; tracknick=hellobiaobiao; _tb_token_=KYsNvQICZGpL; cookie2=2d70cfb31e8da274de2f3eaed2d1612e; pnm_cku822=008uZ+ZXOTBiNH0MRQyyh8Jj9nPuf+Zr9lfeqJ6|uqxpf0k/uS85fwk/Oa/JX4c=|u51Y4MWiOxFIIdhSd7KXsYeiZ0KFHPWvJQDYAA==|vIpP92FnosSSV0FnYUeClAKUgkdRd/H3MrSytHFnQVcBxLLEonqi|vauNSG17TTu9Kz17DTs9q81b/fseCH54fmheCF54DkjOSN7IvvjdBQ==|vqg++0N1sCYgpmMl4MUARoOVsGiw|v/n/+Tw6/9kcer+p7+ksGkwq8g==';
$header[] = 'Connection:keep-alive';

curl_setopt($ch, CURLOPT_URL, $url); //要访问的地址
curl_setopt($ch, CURLOPT_HTTPHEADER, $header); //设置http头
curl_setopt($ch, CURLOPT_HEADER, 0); //显示返回的Header区域内容
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //获取的信息以文件流的形式返回
curl_setopt($ch, CURLOPT_TIMEOUT, 20); //设置超时限制防止死循环
$content = curl_exec($ch); //执行操作
preg_match_all('/price:"(.*)\.00"/iU', $content, $goods_price); //拿到价格
$goods_price = $goods_price[1][0] ? $goods_price[1][0] : '??';
$curl_errno = curl_errno($ch);
$curl_error = curl_error($ch);
curl_close($ch); //关闭CURL会话
return $goods_price; //返回数据
}[/quote]

我就按照楼主你给我的代码，输入url参数为：http://detailskip.taobao.com/json/sib.htm?itemId=35277493308&sellerId=905487172&p=1&rcid=16&sts=337186818,1170936092103278604,72127962815692928,13510803217056771&chnl=pc&price=7900&shopId=&vd=1&skil=false&pf=1&al=false&ap=1&ss=0&free=0&st=1&ct=1&prior=1 也不行啊，是不是我哪里弄错了啊[/quote]

你的价格有小数，自己改一下
preg_match_all('/price:"(.*)\.00"/iU', $content, $goods_price); //拿到价格
改成
preg_match_all('/price:"(.*)",/iU', $content, $goods_price); //拿到价格
这样就拿到
17.90

liangchusohu 2013-12-23

打赏
举报

引用 5 楼 qq37431300 的回复:

[quote=引用 4 楼 liangchusohu 的回复:] 楼主，我也遇到了和你一样的问题，但是我像你说的去掉后面的店铺地址也不行啊，是什么原因呢，这个地址：http://detailskip.taobao.com/json/sib.htm?itemId=36386887896&sellerId=196755313&p=1&rcid=16&sts=404230144,1170940438677291084,144185556853620864,70373045502979&chnl=pc&price=13900&shopId=&vd=1&skil=false&pf=1&al=false&ap=0&ss=0&free=1&st=1&ct=1&prior=1&ref=

liangchusohu 2013-12-21

打赏
举报

楼主，我也遇到了和你一样的问题，但是我像你说的去掉后面的店铺地址也不行啊，是什么原因呢，这个地址：http://detailskip.taobao.com/json/sib.htm?itemId=36386887896&sellerId=196755313&p=1&rcid=16&sts=404230144,1170940438677291084,144185556853620864,70373045502979&chnl=pc&price=13900&shopId=&vd=1&skil=false&pf=1&al=false&ap=0&ss=0&free=1&st=1&ct=1&prior=1&ref=

码无边 2013-12-17

打赏
举报

恭喜！！！！！

mrtelanpu 2013-12-17

打赏
举报

已解决，不要后面的商店地址就行了。 http://detailskip.taobao.com/json/sib.htm?itemId=36221049162&sellerId=110811289&p=1&rcid=16&sts=504983568,1170940490216898572,144678138062864512,36028801320484867&chnl=pc&price=59600&shopId=&vd=1&skil=false&prior=1&ref=

mrtelanpu 2013-12-17

打赏
举报

好像是这个ajax生成的，
http://detailskip.taobao.com/json/sib.htm?itemId=36221049162&sellerId=110811289&p=1&rcid=16&sts=504983568,1170940490216898572,144678138062864512,36028801320484867&chnl=pc&price=59600&shopId=&vd=1&skil=false&prior=1&ref=http://shop36048351.taobao.com

可是，直接打开那个地址，看不到价格，是参数错了还是淘宝限制了不能直接打开的？
那该如何取得它里面的json数据呢？

【已解决】PHP怎样抓取网页代码中动态(Ajax)显示的数据？

相关推荐