php采集高手进:利用curl模拟登录抓取数据遇到json调用问题不成功,求助!

tiafun tiafun 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
我在抓取一个页面的信息(假设a.php),这个页面只是一些基本的html框架,其他关键信息是通过ajax请求(b.php)回来的,返回的是json,然后在通过页面js将json解析,绘制到页面上。问题的关键是ajax请求的信息里有个手机号码需要登录后才显示完整,
我尝试的方法一:模拟登录后直接抓取页面(a.php),遇到ajax不能跨域调用;
方法二:用模拟登录抓取json数据(b.php)得到(api.php)想要的手机信息仍不能完全显示,
方法三:通过替换把ajax调用的页面(b.php)替换为本地地址(api.php),仍不能显示。
请问是我抓取的方法不对还是这种数据根本没办法抓取到,再或是我的方法中关键参数不对?求大神指点
...全文

相关推荐

PHP中使用CURL模拟登录并获取数据实例

主要介绍了PHP中使用CURL模拟登录并获取数据实例,登录成功后获取个人头像并输出显示,需要的朋友可以参考下

weixin_38700779

PHP调用接口用post方法传送json数据的实例

PHP调用接口用post方法传送json数据的实例 PHP调用接口用post方法传送json数据的实例

weixin_39260028

PHP CURL 新浪好友邀请邮箱登录

新浪邮箱用的人估计不是很多,不过继续功能实现了就分享给大家

wangjia731

PHP CURL 126好友邀请 126邮箱登录

登录126邮箱,并取得联系人。有时候可能会因为网络的情况,无法正常取到,显示error,再换浏览器再次测试

wangjia731

PHP模拟登录与数据采集实战:QQ空间访客查看器技术解析

Web数据采集(爬虫)是获取网络信息的重要技术,其核心原理是通过程序模拟浏览器行为向服务器发送HTTP请求并解析响应数据。在PHP开发中,cURL库是实现网络请求的关键组件,配合Cookie管理可维持会话状态,而DOM解析与正则表达式则用于从HTML或JSON中提取结构化信息。这项技术的工程价值在于能够自动化处理网页交互,广泛应用于数据监控、内容聚合和接口测试等场景。以QQ空间访客查看器为例,项目完整展示了模拟登录、页面抓取与数据解析的实战流程,涉及反爬虫策略应对和隐私安全考量,为学习PHP网络编程与爬虫开

绵羊料理
评论 4
收藏 已收藏
分享
返回顶部
tiafun
基础编程 21,889 成员 140,329 内容