社区
脚本语言
帖子详情
python爬虫只要post就是403错误
Zjly__
2019-06-30 06:20:09
已经按照网上的各种方法,添加请求头等各种方法尝试,都是失败的
而且网页采用的是json,直接爬到的源代码是不一样的,需要post信息才能得到
大神们有没有什么办法能够得到这里面的信息并且不403,网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
...全文
1056
7
打赏
收藏
python爬虫只要post就是403错误
已经按照网上的各种方法,添加请求头等各种方法尝试,都是失败的 而且网页采用的是json,直接爬到的源代码是不一样的,需要post信息才能得到 大神们有没有什么办法能够得到这里面的信息并且不403,网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ZhuCheng Xie
2019-07-04
打赏
举报
回复
403是访问被拒绝了,应该是缺少什么参数。
小羽Jary
2019-07-03
打赏
举报
回复
def send1(): headers = { "Cookie": "csrftoken=OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG", "X-Csrftoken": "OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG", "Referer": "https://taoke.ziqiang.net.cn/", "Content-Type": "application/json; charset=utf-8", } postdata = { "per_page": 20, "page": 3 } posturl = 'https://taoke.ziqiang.net.cn/api/course/public/elective/' rep = requests.post(url=posturl, data=json.dumps(postdata), headers=headers) print(rep) print(rep.text) 结帐吧
Zjly__
2019-07-01
打赏
举报
回复
引用 2 楼 kxltsuperr 的回复:
登录了吗,先模拟登录才行。
登陆的时候post信息就被打回来了,不管在哪个界面都没办法post
看雪山海间
2019-07-01
打赏
举报
回复
登录了吗,先模拟登录才行。
一笑程序猴
2019-07-01
打赏
举报
回复
403是访问被拒绝了,估计是缺少什么参数,或者是需要登录等。
Zjly__
2019-07-01
打赏
举报
回复
引用 4 楼 So灬低调 的回复:
你是要爬取什么内容?
里面的课程信息
So灬低调
2019-07-01
打赏
举报
回复
你是要爬取什么内容?
从入门到实战:
Python
Requests 手把手教程,爬取数据不再踩坑
本文是一篇针对零基础学习者的
Python
Requests
爬虫
实操指南,以 “跟着做能跑通” 为核心,从环境搭建到实战项目,系统覆盖 Requests
爬虫
的核心知识与避坑技巧,全程配完整代码、注释及运行结果,助力初学者轻松掌握网页数据爬取。 开篇通过 “批量获取电影数据、电商比价、离线保存博客” 等实际需求,点明 Requests
爬虫
的实用价值,随后从基础准备切入:详细讲解 Windows/Mac 系统的
Python
+Requests 环境搭建步骤,明确
爬虫
的合法边界与注意事项(如公开数据可爬、隐
爬虫
500 internal server error_
爬虫
的基本原理和基本库使用
爬虫
的基本原理和基本库使用
爬虫
简单来说就是获取网页并提取和保存信息的自动化程序。获取网页获取网页的源代码:向网站的服务器发送一个请求,返回的响应体便是网页源代码。提取信息分析网页源代码,从中提取我们想要的数据。最通用的方式便是采用正则表达式提取保存数据将提取到的数据保存到某处以便以后使用自动化程序利用
爬虫
代替我们完成这份爬取工作的自动化程序
爬虫
过程中遇到的一些情况:比如
403错误
,打开网页一看,可...
Python
爬虫
:一些常用的
爬虫
技巧总结
用
Python
也差不多一年多了,
Python
应用最多的场景还是Web快速开发、
爬虫
、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。
爬虫
在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。 1、基本抓取网页 get方法 import urllib2url = "http://www.baidu.com"response = urllib2.urlopen(url)print response.read
post
方法 import urllibimpor.
爬取携程景点可能遇到的问题
打开文件要加上encoding否则可能GBK编码错误 携程的某些数据无法爬取,获得的HTML里不是真实数据 获取li列表个数有变化的时候最好用selector,获得整个列表,然后再分离 strip()可以修改自己想剃掉的参数 携程的评论,点击第二页后网站并没有变化,如果直接通过div列表只能获得第一页的评论 ...
爬南航研究生院题库
上图! 直接下载文件zip,链接: 没有链接, py代码,改一下第三行的保存路径,运行一下,ok https://vigigo.lanzous.com/b015ds4gd 密码:dezu
脚本语言
37,739
社区成员
34,211
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章