抓取1688网站内容不行,抓别的站可以。

张海霖 2016-04-07 01:40:05
测试网址
https://detail.1688.com/offer/520938481930.html?spm=a260k.635.199825914.5.MRicAH
要求能取到网页html代码即可。

我取到的始终只有一行
<script>top.location.href='/login.php';</script>
怀疑是做了防抓取的处理。


不管用什么方法,只要取得真正的商品页面html代码就行,谢谢。
...全文
390 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
张海霖 2016-04-07
  • 打赏
  • 举报
回复
引用 1 楼 vipstar 的回复:
看提示的意思是不是必须让登录 ? 如果用CURL模拟登录后再试呢。 curl_setopt($ch,CURLOPT_POSTFIELDS,$post_file); ////传递一个作为HTTP "POST"操作的所有数据的字符串。 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); /////把返回来的cookie信息保存在$cookie_jar文件中 curl_exec($ch);///执行 curl_close($ch);////关闭
你分析的有道理,可是对我并没有什么用,要能取到才行。
努力的老孙 2016-04-07
  • 打赏
  • 举报
回复
看提示的意思是不是必须让登录 ? 如果用CURL模拟登录后再试呢。 curl_setopt($ch,CURLOPT_POSTFIELDS,$post_file); ////传递一个作为HTTP "POST"操作的所有数据的字符串。 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); /////把返回来的cookie信息保存在$cookie_jar文件中 curl_exec($ch);///执行 curl_close($ch);////关闭

21,886

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧