请问为什么有的页面可以打开,但是抓取的时候却是要登录

张海霖 2015-12-05 11:20:38

比如这个页面
https://rate.taobao.com/user-rate-UMFQWMGxWMFHG.htm?spm=a1z10.1-c.0.0.FlEX6Z
不登陆也可以查看的,
但是我去抓取,抓到的是登陆页面。

我的目的是用QueryList获取卖家信用: ,等信息。

求帮助。
...全文
193 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
张海霖 2015-12-22
  • 打赏
  • 举报
回复
引用 9 楼 fdipzone 的回复:
这边抓取都正常,不需要登录哦。
问题就在此,不知道什么时候要登陆,就算知道要登陆也解决不了。
傲雪星枫 2015-12-06
  • 打赏
  • 举报
回复
这边抓取都正常,不需要登录哦。
傲雪星枫 2015-12-05
  • 打赏
  • 举报
回复
抓取时你没有把登入后的cookie带过去,当然就是没有登入的状态。 你登入是在浏览器,而你抓取是curl,不同会话。 你应该在curl模拟登入,保存cookies数据,然后再用这cookies数据去请求。 可以参考我之前写的模拟登入并获取google report例子:http://blog.csdn.net/fdipzone/article/details/8821957
xuzuning 2015-12-05
  • 打赏
  • 举报
回复
那就是你那的问题了
张海霖 2015-12-05
  • 打赏
  • 举报
回复
引用 7 楼 xuzuning 的回复:
那就是你那的问题了
张海霖 2015-12-05
  • 打赏
  • 举报
回复
引用 5 楼 xuzuning 的回复:
$url = 'https://rate.taobao.com/user-rate-UMFQWMGxWMFHG.htm?spm=a1z10.1-c.0.0.FlEX6Z';
echo file_get_contents($url);
我这里不行,抓到的是登陆页面
xuzuning 2015-12-05
  • 打赏
  • 举报
回复
$url = 'https://rate.taobao.com/user-rate-UMFQWMGxWMFHG.htm?spm=a1z10.1-c.0.0.FlEX6Z';
echo file_get_contents($url);

张海霖 2015-12-05
  • 打赏
  • 举报
回复
引用 3 楼 xuzuning 的回复:
你是怎么抓的?
$infos = new \QueryList($url, $rate, '', 'file_get_contents');//$infos就是整个网页 //$infos = file_get_contents($url); 这两种都试了。都不行。
xuzuning 2015-12-05
  • 打赏
  • 举报
回复
你是怎么抓的?
张海霖 2015-12-05
  • 打赏
  • 举报
回复
这个页面并不需要登录,你可以清空所有cookie试试就知道了。
引用 1 楼 fdipzone 的回复:
抓取时你没有把登入后的cookie带过去,当然就是没有登入的状态。 你登入是在浏览器,而你抓取是curl,不同会话。 你应该在curl模拟登入,保存cookies数据,然后再用这cookies数据去请求。 可以参考我之前写的模拟登入并获取google report例子:http://blog.csdn.net/fdipzone/article/details/8821957

21,886

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧