异步爬虫如何获取XHR中的response返回的数据？

qq_24620729 2018-10-19 05:32:14

各位爬虫大佬，求帮忙解答一下这个问题

就是想获取response中返回的json数据。
by the way，这个给出的url是无法访问的，返回数据是503，所以到底该如何获取那个json数据哇

...全文

1521 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

我是老孙 2021-02-05

打赏
举报

回复 1

这个不是实际地址吧，是不是经过了跳转？用浏览器模拟访问进行解析页面数据

fighting_man_mumu 2021-02-04

打赏
举报

回复

楼主，这个问题解决了吗，我也遇到了，把URL 输入到浏览器中，返回401，但实际上是有数据的。

梓栋Code 2019-08-08

打赏
举报

回复

这个主要你要构建url后面的参数

oyljerry 2018-10-21

打赏
举报

回复

503是服务器内部出错了。

在实际应用中，爬虫技术需要结合网络协议、数据格式处理和反爬虫策略等多方面知识，以确保数据获取的完整性和准确性。此外，数据可视化和分析过程同样需要结合统计学知识，以便更好地解读数据信息。在实施爬虫项目时...

1. **数据获取困难：** 动态加载的数据往往不在HTML源码中，而是通过Ajax请求从服务器获取。 2. **数据格式复杂：** 获取的数据往往是JSON格式，需要解析才能提取有用信息。 3. **动态链接处理：** 部分网站会使用`...

GET请求会将参数附加到URL中，而POST请求则将数据放在请求体中。 - **状态码**：xhr.status返回HTTP响应的状态码，200表示成功，404表示未找到，500表示服务器内部错误等。 - **readyState**：xhr.readyState表示...

- **获取响应数据**：`xhr.responseText`（文本）或`xhr.responseXML`（XML）。 ### 2. GET与POST请求 - **GET**：请求数据附加到URL后面，限制长度，适合获取少量数据，不安全。 - **POST**：数据放在请求体中，无...

5. **接收响应**：在回调函数中，使用`responseText`或`responseXML`获取响应数据。 ```javascript xhr.onreadystatechange = function() { if (xhr.readyState === 4 && xhr.status === 200) { var data = xhr....

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章