社区
脚本语言
帖子详情
python爬虫只要post就是403错误
Zjly__
2019-06-30 06:20:09
已经按照网上的各种方法,添加请求头等各种方法尝试,都是失败的
而且网页采用的是json,直接爬到的源代码是不一样的,需要post信息才能得到
大神们有没有什么办法能够得到这里面的信息并且不403,网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
...全文
950
7
打赏
收藏
python爬虫只要post就是403错误
已经按照网上的各种方法,添加请求头等各种方法尝试,都是失败的 而且网页采用的是json,直接爬到的源代码是不一样的,需要post信息才能得到 大神们有没有什么办法能够得到这里面的信息并且不403,网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ZhuCheng Xie
2019-07-04
打赏
举报
回复
403是访问被拒绝了,应该是缺少什么参数。
小羽Jary
2019-07-03
打赏
举报
回复
def send1(): headers = { "Cookie": "csrftoken=OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG", "X-Csrftoken": "OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG", "Referer": "https://taoke.ziqiang.net.cn/", "Content-Type": "application/json; charset=utf-8", } postdata = { "per_page": 20, "page": 3 } posturl = 'https://taoke.ziqiang.net.cn/api/course/public/elective/' rep = requests.post(url=posturl, data=json.dumps(postdata), headers=headers) print(rep) print(rep.text) 结帐吧
Zjly__
2019-07-01
打赏
举报
回复
引用 2 楼 kxltsuperr 的回复:
登录了吗,先模拟登录才行。
登陆的时候post信息就被打回来了,不管在哪个界面都没办法post
小小爬虾
2019-07-01
打赏
举报
回复
登录了吗,先模拟登录才行。
一笑程序猴
2019-07-01
打赏
举报
回复
403是访问被拒绝了,估计是缺少什么参数,或者是需要登录等。
Zjly__
2019-07-01
打赏
举报
回复
引用 4 楼 So灬低调 的回复:
你是要爬取什么内容?
里面的课程信息
So灬低调
2019-07-01
打赏
举报
回复
你是要爬取什么内容?
python
爬虫
提示403
如果你在使用
Python
爬虫
时遇到了 HTTP 状态码 403,这意味着你的
爬虫
被服务器拒绝了。有很多原因可能会导致这种情况,例如: 服务器的安全设置禁止了你的 IP 地址访问 服务器需要你提供身份验证凭据(例如用户名和密码) 服务器认为你的
爬虫
是恶意软件 要解决这个问题,你需要找出导致这个问题的原因,然后采取相应的解决措施。例如,你可以尝试更换你的 IP 地址或者给
爬虫
添加身份验证凭据,...
Python
爬虫
遇到Cloudflare
403错误
的解决方法
在解决问题之前,我们首先需要了解Cloudflare的防护机制。在
爬虫
过程中,我们经常会遇到Cloudflare的防护机制导致的
403错误
。这种错误提示表示我们的请求被服务器拒绝,往往是由于Cloudflare的反
爬虫
机制将我们的请求识别为恶意行为。通过使用该库,我们可以成功地绕过Cloudflare的防护机制,实现数据的正常获取。代理服务器可以隐藏我们的真实IP地址,使得我们的请求看起来来自不同的IP。除了上述的解决方法,我们还可以使用穿云API作为终极解决方案来绕过Cloudflare的防护机制。
当
Python
爬虫
遭遇HTTP
403错误
:这7种破解姿势你一定要会!!!
不要用固定User-Agent!准备个UA池随机切换控制请求频率!建议每秒不超过3次请求及时处理异常!遇到403先暂停而不是继续硬刚尊重robots.txt!有些网站明确禁止
爬虫
就不要强行抓取最近帮朋友调试一个
爬虫
时,发现即使用上了所有方法还是403。最后发现是对方网站启用了TLS指纹验证(这种高级反爬就需要更复杂的对抗手段了)。所以网络
爬虫
本质上是场攻防战,需要持续学习新技术!(超级重要)最后提醒:技术无罪,但请遵守法律法规和网站的使用条款!爬取公开数据时也要注意不要对目标服务器造成过大压力~
python
爬虫
之
post
请求ajax数据
python
爬虫
之
post
请求ajax数据
【
python
爬虫
】—
爬虫
报错:403访问太过频繁,禁止访问
@【
python
爬虫
】—
爬虫
报错:403访问太过频繁,禁止访问 前言 使用requests包建立访问时,正常的访问状态会返回状态代码200,但是在爬一些网站时,经常会返回403(众所周知的404代表的是网站disappear了。而403代表我们当前的IP被forbidden了)。这是因为在短时间内直接使用Get获取大量数据,会被服务器认为在对它进行攻击,所以拒绝我们的请求,自动把电脑IP封了。 因此,这里介绍两种解决办法。 方案一、请求页面的是添加headers 我们平时使用浏览器下载的图片或者是文
脚本语言
37,743
社区成员
34,212
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章