php如何抓取js动态载入的数据?

qq316235872 2014-10-18 03:44:29



这张图 是火狐中F12看到的数据。






右键 查看源代码 里面找不到商品相关的数据




php获取dom模型,也找不到商品相关的数据


右键源码,找到js引入文件,发现这个链接应该与商品数据有关,但是这个链接点不进去,我就把地址复制下来了 直接在浏览器访问 出现下图


访问这个js提示了一个新的地址,于是我又复制新地址在浏览器打开,出现了js压缩后的代码。我想请教一下各位大哥大姐,通过这种办法显示的数据,我有办法抓取到吗?
希望各位指点一二,问了好多人了都没有办法,只能求助最大的CSDN了。。。



...全文
9358 19 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
19 条回复
切换为时间正序
请发表友善的回复…
发表回复
xinren369 2018-07-16
  • 打赏
  • 举报
回复
为什么不用phpquery
qq_37514473 2018-07-13
  • 打赏
  • 举报
回复
刚学采集,百度的时候看到了这个,不知道对你有没有用


这个是链接地址:http://www.zjmainstay.cn/php-curl
AveCsdn 2017-06-29
  • 打赏
  • 举报
回复
跟楼主遇到一样的问题,同求
一维b5 2016-09-03
  • 打赏
  • 举报
回复
其实使用浏览器右键“另存为”,选择类型为“网页,全部”就可以得到一个html页面,里面就包含了所需要的数据,这对我们来说有什么用呢
一维b5 2016-09-03
  • 打赏
  • 举报
回复
感觉抓取好难啊…………我也卡在这里了
Wisteriapcp 2016-03-24
  • 打赏
  • 举报
回复
我想知道你们怎么解决了,不想通过selenium这些
最后的诗人 2016-02-25
  • 打赏
  • 举报
回复
js动态加载,是通过ajax方式吗?那就用firefox找到网络通信的http请求地址,获取数据源
  • 打赏
  • 举报
回复
我也遇到该问题,楼主解决没有。
WishYouAFortune 2015-10-10
  • 打赏
  • 举报
回复
解决了没有? 别沉啊
「已注销」 2015-05-07
  • 打赏
  • 举报
回复
解决了没有?
mickey302 2015-02-25
  • 打赏
  • 举报
回复
放弃php,用nodejs
gtchjc 2014-12-22
  • 打赏
  • 举报
回复
同求该问题,顶起 顶起啊
qq316235872 2014-10-21
  • 打赏
  • 举报
回复
上面的代码 我试了,不管用。

我用phpQuery抓取下来的老乱码,正在解决乱码问题。如果搞不定就试试这个《页面底部添加js代码,将浏览器渲染好的产品数据打包发给服务器》

智商众筹 2014-10-20
  • 打赏
  • 举报
回复
这种js数据有2种获取方法 一个是直接抓取页面,并在页面底部添加js代码,将浏览器渲染好的产品数据打包发给服务器,当然页面引入的相对地址要改成绝对地址,涉及跨域问题也比较多 更好的就是跟踪流程直接找到数据来源地址,然后用正则匹配
传说中胖子 2014-10-20
  • 打赏
  • 举报
回复
<?php
// 创建一个新cURL资源
$ch = curl_init();

// 设置URL和相应的选项
curl_setopt($ch, CURLOPT_URL, "http://skin.1yyg.com/JS/GoodsListFun.js?date=20141020");
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

// 抓取URL并把它传递给浏览器
curl_exec($ch);
$contents = curl_multi_getcontent($ch);

// 关闭cURL资源,并且释放系统资源
curl_close($ch);

echo $contents;
?>
天涯过客009 2014-10-18
  • 打赏
  • 举报
回复
不会.不过,我可以帮你顶一下,让更多的人看到.
qq316235872 2014-10-18
  • 打赏
  • 举报
回复
http://www.1yyg.com/list/i100b59.html 需要在程序中获取这里面的商品名称和商品图片链接哦
xuzuning 2014-10-18
  • 打赏
  • 举报
回复
连原始的 url 都不给?

20,398

社区成员

发帖
与我相关
我的任务
社区描述
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
phpphpstorm 技术论坛(原bbs)
社区管理员
  • 开源资源社区
  • phpstory
  • xuzuning
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧