用php的curl_post写一个爬取淘宝商品详情数据的api

电商数据girl 2023-09-05 09:25:05

01

 

抓包做准备

要做一个抓取的，当然是先抓包啦~

拿出我的bp，和zoomeye篇一样先输入一个关键字，方便在bp里面找我输入的关键字

然后回车~

发现我输入的关键字在这个GET的请求包里面

用repeat模块后:

发现返回了我要的搜索结果

 

2

 

使用php的curl来模拟访问

PHP支持的由Daniel Stenberg创建的libcurl库允许你与各种的服务器使用各种类型的协议进行连接和通讯。

libcurl目前支持http、https、ftp、gopher、telnet、dict、file和ldap协议。libcurl同时也支持HTTPS认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies和用户名+密码的认证。

PHP中使用cURL实现Get和Post请求的方法

这些函数在PHP 4.0.2中被引入。

就是说，在php4.0.2中就已经引入了curl，而且还可以做post和get，真是太有用了有木有

 

拿出我刚刚记录好的请求包~

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Connection: closeUpgrade-Insecure-Requests: 1User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36Sec-Fetch-Dest: documentAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9Sec-Fetch-Site: noneSec-Fetch-Mode: navigateSec-Fetch-User: ?1Accept-Language: zh-CN,zh;q=0.9Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw

然后用php语言来描述他:

<?php
function curl_post($url){
	//$url='https://www.baidu.com/s?wd=%22Office%20Anywhere%22&tn=93348797_hao_pg&ie=utf-8&ch=1&pn='.$pn;
     $ch = curl_init();
	 curl_setopt($ch, CURLOPT_URL, $url);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
	 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	 curl_setopt($ch, CURLOPT_HEADER, TRUE);
	$headers = array();
    $headers[] = 'Connection: close';
	$headers[] = 'Upgrade-Insecure-Requests: 1';
	$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36';
	$headers[] = 'Sec-Fetch-Dest: document';
	$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
	$headers[] = 'Sec-Fetch-Site: none';
	$headers[] = 'Sec-Fetch-Mode: navigate';
	$headers[] = 'Sec-Fetch-User: ?1';
	$headers[] = 'Accept-Language: zh-CN,zh;q=0.9';
    $headers[] = 'Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw';
     curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
     $output= curl_exec($ch);
     curl_close($ch);
     return $output;
}
?>1234567891011121314151617181920212223242512345678910111213141516171819202122232425

这样子就可以完成一次php中curl对baidu的请求了

然后用正则的方法取出其中的链接(http://www.baidu.com/link?url=xxxxx)

$a=curl_post($url);
$pattern = '/<a target="_blank" href="(.*?)"(.*?)" class="(.*?)/i';
preg_match_all($pattern, $a, $match);

如果有不会的可以看我的第一篇(zoomeye篇)

)

保留head

最后就会把返回值$a打印在屏幕上了

但是百度的返回值是www.baidu.com/link?url=xxxxxxxx

所以要获取真实链接：

function get_real($url){
$info = parse_url($url);
$fp = fsockopen($info['host'], 80,$errno, $errstr, 30);
fputs($fp,"GET {$info['path']}?{$info['query']} HTTP/1.1\r\n");
fputs($fp, "Host: {$info['host']}\r\n");
fputs($fp, "Connection: close\r\n\r\n");
$rewrite = '';
while(!feof($fp)) {
    $line = fgets($fp);
    if($line != "\r\n" ) {
        if(strpos($line,'Location:') !== false) {
            $rewrite = str_replace(array("\r","\n","Location: "),'',$line);
        }
    }else {
        break;
    }
}
return $rewrite; 
}

 

 

 

最后输出即可

 

3

 

所以完整代码如下

 

<?phpfunction get_real($url){$info = parse_url($url);$fp = fsockopen($info['host'], 80,$errno, $errstr, 30);fputs($fp,"GET {$info['path']}?{$info['query']} HTTP/1.1\r\n");fputs($fp, "Host: {$info['host']}\r\n");fputs($fp, "Connection: close\r\n\r\n");$rewrite = '';while(!feof($fp)) {
    $line = fgets($fp);
    if($line != "\r\n" ) {
        if(strpos($line,'Location:') !== false) {
            $rewrite = str_replace(array("\r","\n","Location: "),'',$line);
        }
    }else {
        break;
    }}return $rewrite; }function getSubstr($str, $leftStr, $rightStr){$left = strpos($str, $leftStr);//echo '左边:'.$left;$right = strpos($str, $rightStr,$left);//echo '<br>右边:'.$right;if($left < 0 or $right < $left) return '';return substr($str, $left + strlen($leftStr), $right-$left-strlen($leftStr));}function curl_post($url){
	//$url='https://www.baidu.com/s?wd=%22Office%20Anywhere%22&tn=93348797_hao_pg&ie=utf-8&ch=1&pn='.$pn;
     $ch = curl_init();
	 curl_setopt($ch, CURLOPT_URL, $url);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
	 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	 curl_setopt($ch, CURLOPT_HEADER, TRUE);
	$headers = array();
    $headers[] = 'Connection: close';
	$headers[] = 'Upgrade-Insecure-Requests: 1';
	$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36';
	$headers[] = 'Sec-Fetch-Dest: document';
	$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
	$headers[] = 'Sec-Fetch-Site: none';
	$headers[] = 'Sec-Fetch-Mode: navigate';
	$headers[] = 'Sec-Fetch-User: ?1';
	$headers[] = 'Accept-Language: zh-CN,zh;q=0.9';
    $headers[] = 'Cookie: PSTM=1588249253; BAIDUID=C34E0834A4B2DA6CBA0B25FA3A67FC8D:FG=1; BIDUPSID=735A45B6473102ED12E4236A4401AE21; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDUSS=2FaaXBqcDhaY0p-U1JvMXJ3dnVVdnJlSklhelZkSEQ1aGF1a1lWYjh3WnNVOUplSVFBQUFBJCQAAAAAAAAAAAEAAADfyRotztLX3MrHzvvO-7n-uf4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGzGql5sxqpeZ; H_PS_PSSID=1461_31325_21098_31254_31342_31271_31464_30824_31164_22158; delPer=0; BD_CK_SAM=1; PSINO=5; sug=3; sugstore=0; ORIGIN=2; bdime=0; H_PS_645EC=fe7bDpIqw0Ye%2FC9V9rTqXv5ARp5x3G1lJcPTrEHREGKf1YbuRCoB6oR0frw';
     curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
     $output= curl_exec($ch);
     curl_close($ch);
     return $output;}function get_url($page){$start='"<a target="_blank" href="';$end='" class="';$a='';/*这里是关键词*/$wddd="'Office Anywhere'";/*这里是关键词*/$url="https://www.baidu.com/s?wd=".urlencode($wddd)."&tn=93348797_hao_pg&ie=utf-8&ch=1&pn=".$page;$a=curl_post($url);$pattern = '/<a target="_blank" href="(.*?)"(.*?)" class="(.*?)/i';preg_match_all($pattern, $a, $match);$first=count($match);$aaa=array();$o=1;
	for($j=0;$j<=count($match[0]);$j++){

		
		if(strpos($match[0][$j],'http://www.baidu.com/link?url=') !== false){ 

	$match1[$o]=get_real('h'.getSubstr($match[0][$j],$start,$end));
	$o++;}
	}

	return $match1;}for($i=0;$i<=500;$i+=10){
	$aaa[$o]=get_url($i);
	$o++;}$bbb=array();$ccount=count($aaa[""]);for($i=1;$i<=$ccount;$i++){
	$bbb[$i]=$aaa[""][$i];}$aaaaaaaa=count($aaa[$i]);for($i=1;$i<=count($aaa);$i++){
	for($j=1;$j<=$aaaaaaaa;$j++){
		if($aaa[$i][$j]!=''){echo $aaa[$i][$j].'</p>';}
	
	}}for($i=1;$i<=count($bbb);$i++){
	
		if($bbb[$i]!=''){echo $bbb[$i].'</p>';}
	
	}?>123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156

关键词要自己设定哦。我在源码中已经标明设定关键词的地方辽

...全文
26 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
【Python全栈】第八周 Python网络爬虫基础(下)
本周课程继续讲解Python网络爬虫的基础内容。具体有：网页信息解析库的使用（Xpath，BeautifulSoup，PyQuery），Fiddler抓包工具和浏览器的伪装介绍、Ajax的信息爬取和验证码的识别。关于实战案例有：豆瓣电影Top250信息爬取实战，京东商品图片信息爬取实战，京东商品评论信息爬取实战，今日头条的街拍美图信息爬取实战。
selenium爬取淘宝商品基础数据以及商品详情（茶叶数据）
爬取淘宝商品基础数据以及商品详情
淘宝商品详情API接口,淘宝商品详情API接口代码
淘宝商品详情爬取需要登录然后滑块认证，效率非常低，因此，我把我这几天总结的经验以及淘宝商品详情API接口接入代码分享给大家，希望对大家有个参考建议。其次，在淘宝商品详情API接口的右边栏，有在线调试工具，把获取的秘钥以及想要爬取的淘宝商品ID贴上去，调试。首先，需要接入淘宝商品详情API接口，就必须需要有一个秘钥，在个人中心-获取api接口秘钥；最后，附上我调试淘宝商品详情API接口接入成功代码。
淘宝资源采集（从零开始学习淘宝数据爬取）
对于获取淘宝商品详情数据，可以通过爬虫技术模拟用户登录、搜索和浏览商品等操作，然后解析网页获取商品详情数据。目前市场上有很多数据服务公司提供淘宝商品数据的 API 接口或数据下载，用户只需支付一定费用即可获取所需的数据。通过淘宝数据爬取，可以获取到大量的商品信息，包括价格、销量、评价等，这对于市场分析、竞品分析、价格监控等方面都有很大的帮助。数据全面：淘宝 API 提供了丰富的数据接口，可以获取到详细的商品信息和用户数据。专业数据：购买数据服务可以获取到专业的淘宝商品数据，无需自行处理和清洗数据。
通过API爬取到的淘宝商品详情数据展示（api测试入口）
【代码】通过API爬取到的淘宝商品详情数据展示（api测试入口）
谷歌开发者

1,339

社区成员

600

社区内容

发帖
与我相关
我的任务
社区描述
加入“谷歌开发者”社区，一起“共码未来。
android 企业社区
社区管理员
  • 谷歌开发者
  • 开发者大赛发布
  • 活动通知
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章