为什么requests访问百度需要百度安全验证啊？

RandintX 2020-01-30 08:41:43

用浏览器直接访问https://www.baidu.com/s?wd=python没问题
header 是浏览器复制过来的

返回的页面是个百度安全验证的页面
https://wappass.baidu.com/static/captcha/tuxing.html?&ak=c27bbc89afca0463650ac9bde68ebe06&backurl=https%3A%2F%2Fwww.baidu.com%2Fs%3Fwd%3Dpython&logid=9429735157699859545&signature=ab2baa7ec785cf123cfa8f498a9a0664×tamp=1580387558

代码如下



import requests



kw = {'wd' : 'python'}

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)\

                 AppleWebKit/537.36 (KHTML, like Gecko)\

                 Chrome/79.0.3945.130 Safari/537.36 Edg/79.0.309.71'}



r = requests.get("https://www.baidu.com/s?", params = kw , headers = headers)

r.encoding = 'utf-8'



f = open('baidu.html' , 'w' , encoding = 'utf-8')

f.write(r.text)

f.close()



print(r.url)

...全文

6442 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

m0_73758745 2022-10-31

打赏
举报

回复

https 把s去了，headers里把cookie加上

孤芳不自赏 2020-01-30

打赏
举报

回复

你试一下把HTTPS改成http

Terryhualu 2021-12-01

举报

回复

@孤芳不自赏没用

孤芳不自赏 2021-12-01

举报

回复

@Terryhualu 那就不改了，我随便打开个网页，把请求头换进去，可以正常请求网页，可能是请求头太老了。

孤芳不自赏 2021-12-01

举报

回复

@Terryhualu 或者安装新的requests包

如果想要使用Python编写一个请求百度翻译API的程序，可以按照以下步骤进行操作：导入所需的库：使用requests库来发送HTTP请求，获取API响应。准备请求参数：根据百度翻译API的文档，准备请求参数，包括待翻译的文本、源语言和目标语言等。在请求参数中，需要包含开发者密钥（API Key）作为身份验证信息，以便访问百度翻译API。构建API请求：使用requests.get()或requests.post()方法构建HTTP请求，设置请求URL和请求参数。将API Key和请求参数传递给API请求。发送API请求并获取响应：使用requests.get()或requests.post()方法发送API请求，并获取API的响应。可以通过检查HTTP响应状态码来确保请求成功（如200表示成功）。解析API响应：解析API响应，提取出需要的翻译结果。根据API的返回格式（如JSON或XML），使用相应的方法来解析API响应数据。处理翻译结果：提取翻译结果并进行进一步处理，根据需要进行格式化、保存或展示。请注意，以上描述提供了一个基本的请

抓包查看了他们的数据，刚开始。这两解析的ip不一样，以为是ip的问题，就把www.baidu.com 换成了curl解析到的ip。结果可以！！一阵欢呼。但是转念一想，用另一个ip是不是也可以。是的IP都可以。把域名化成解析到的ip都可以！！！...

好像是可以了，又好像不可以，求哪位大神能给个解答

python爬取百度使用kw关键字爬取时出现，百度安全验证，解决方法之前爬取百度用kw时的代码（没有任何问题） import requests url = 'http://www.baidu.com/s' headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36", }

不知道啥原理，请求后缀加上 &usm=3&rsv_idx=2&rsv_page=1 即可如：fullurl = “http://www.baidu.com/s?” + wd + “&usm=3&rsv_idx=2&rsv_page=1” 原文：https://www.jianshu.com/p/e58123bddd49

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章