而且网页采用的是json，直接爬到的源代码是不一样的，需要post信息才能得到
大神们有没有什么办法能够得到这里面的信息并且不403，网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
-
本版专家分：0结帖率 100% -
已经按照网上的各种方法，添加请求头等各种方法尝试，都是失败的
而且网页采用的是json，直接爬到的源代码是不一样的，需要post信息才能得到
大神们有没有什么办法能够得到这里面的信息并且不403，网址是https://taoke.ziqiang.net.cn/#!/course/public/elective
展开阅读全文
-
本版专家分：2672
-
- 红花 2019年5月 其他开发语言大版内专家分月排行榜第一
-
-
黄花
2019年7月 其他开发语言大版内专家分月排行榜第二
2019年6月 其他开发语言大版内专家分月排行榜第二
-
-
403是访问被拒绝了，估计是缺少什么参数，或者是需要登录等。
-
本版专家分：25
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
登录了吗，先模拟登录才行。
-
本版专家分：0
-
登陆的时候post信息就被打回来了，不管在哪个界面都没办法post
-
本版专家分：0
-
- 图书勋章 CSDN技术图书作者专属勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
你是要爬取什么内容？
-
本版专家分：612
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
-
def send1():
headers = {
"Cookie": "csrftoken=OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG",
"X-Csrftoken": "OtRSZCvfwh3iuH6WgzAVYjkYLAUIi4QG",
"Referer": "https://taoke.ziqiang.net.cn/",
"Content-Type": "application/json; charset=utf-8",
}
postdata = {
"per_page": 20,
"page": 3
}
posturl = 'https://taoke.ziqiang.net.cn/api/course/public/elective/'
rep = requests.post(url=posturl, data=json.dumps(postdata), headers=headers)
print(rep)
print(rep.text)
结帐吧
-
本版专家分：1540
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 红花 2019年6月 其他开发语言大版内专家分月排行榜第一
-
-
403是访问被拒绝了，应该是缺少什么参数。
- Python爬虫抓取图片以及使用Spider模仿用户行为抓取403错误网页
Python爬虫入门所有代码，其中包括Python爬虫抓取网页、Python爬虫抓取图片以及使用Spider模仿用户行为抓取403错误网页
- python3爬虫源码可跳过错误程序不中断
把第一次的爬虫代码做了改进，增加了容错机制，可按照预定的数量完成爬虫任务，输出到excel；中间发现页面错误不会因为报错中断程序
- 爬虫卡死问题解决.zip
爬虫百例第68案例素材，可以直接下载运行，主要是解决了tkiner页面卡死的问题
- 学习python爬虫过程中整理的常见错误笔记
该excel文件是本人在学习使用python做爬虫过程中遇到的问题及解决办法、参考网站链接等信息【请忽略出现文件位置这列】。供交流学习使用。
- Python爬虫——Post请求示例
Python爬虫——Post请求示例 本文使用的版本为Python3，使用的IDE为Pycharm 点击此处访问 测试链接 右键测试链接，查看源代码，发现两个字段分别为：name, pass 示例代码： # urllib Post Demo # 测试链接：...
- python爬虫状态码403解决办法
python爬虫出现403无权限访问 当get请求网址时出现403,无网站访问权限，加入headers伪装成浏览器就可以访问了。 header = { ‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...
- Python爬虫的post请求简单实例
首先查看页面源代码，注意form表单部分，哪里是需要递交的表单信息 运行代码 import urllib.request import urllib.parse url='http://www.iqianyue.com/mypost' postdata=urllib.parse.urlencode({'name':'...
- python爬虫之post请求
构建表单数据（在http://www.iqianyue.com/mypost实验）查看源代码，发现name属性值为“name”，密码对应的输入框中，name属性值为“pass”。因此构建表单的数据中要包含两个字段，字段名为“name”，“pass”，字段...
- Python爬虫入门项目
Python是什么 Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。 创始人Guido van Rossum是BBC出品英剧Monty Python’s Flying Circus（中文：蒙提·派森的...
- python爬虫---post抓取查询数据简单说明
一、做python爬虫，在爬取数据前，一般需要对网页进行简单分析。这里推荐用火狐的HttpFox，简单实用。 二、爬取查询数据，查询类型的，说明是要post相关数据过去才能get到想要的数据。 如下图，巨潮信息网的，通过...
- Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作
原计划继续写一下关于手机APP的爬虫，结果发现夜神模拟器总是卡死，比较懒，不想找原因了，哈哈，所以接着写后面的博客了，从50篇开始要写几篇python爬虫的骚操作，也就是用Python3通过爬虫实现一些小工具。...
- 我的第一个Python爬虫——谈心得
相信各大高校应该都有本校APP或超级课程表之类的软件，在信息化的时代能快速收集/查询自己想要的咨询也是种很重要的能力，所以记下了这篇博客，用于总结我所学到的东西，以及用于记录我的第一个爬虫的初生。...
- python 爬虫教程
From：https://piaosanlang.gitbooks.io/spiders/content/ 如何入门 python 爬虫：... Python爬虫入门教程：http://blog.csdn.net/column/details/why-bug.html Python爬虫之Selenium+Phantomjs+...
- Python爬虫基础-01-带有请求参数的爬虫
在上一篇文章Python爬虫入门中，Python爬虫程序爬取了指定网页的信息，爬虫发出的请求是一个固定的URL和部分请求信息，并没有请求参数，但是爬虫工作过程中发出的请求一般都需要加上请求参数，以完成对指定内容的...
- python爬虫如何POST request payload形式的请求
python爬虫如何POST request payload形式的请求 1. 背景 最近在爬取某个站点时，发现在POST数据时，使用的数据格式是request payload，有别于之前常见的 POST数据格式（Form data）。而使用Form data数据的提交...
- Python/打响2019年第一炮-Python爬虫入门（一）
打响2019第一炮-Python爬虫入门 2018年已经成为过去，还记得在2018年新年写过一篇【Shell编程】打响2018第一炮-shell编程之for循环语句，那在此时此刻，也是写一篇关于编程方面，不过要比18年的稍微高级点。 So...
- python爬虫之POST登录方式之Cookie、Session
import re import requests ...然后你正常登录，下面的网络中会出现很多请求，找POST请求中的login，复制set-Cookie里面的内容就ok了。最后就是把生成的内容存到一个html里面，可以在网页里面打开...
- python爬虫 Get 和 Post的区别
GET请求 HTTP默认的请求方法就是GET * 没有请求体 * 数据必须在1K之内！ * GET请求数据会暴露在浏览器的地址栏中 GET请求常用的操作： ... 提交表单时，表单默认使用GET请求，但可以设置为POST...
- python爬虫post
# -*- coding: UTF-8 -*- import requests import re url = 'https://www.crowdfunder.com' data = { 'entities_only':'true', 'page':'1' } html_post = requests.post(url,data=data) title = re.findal...
- python爬虫post请求payload参数
今天在写小米有品爬虫, 对某个商品进行抓包分析时发现post请求发送的不是form data, 而是 request payload, 所以请求页面时失败了 post请求中的form data post请求中的request payload 错误的做法 错误的...