python requests模块post获取302页面的cookies值,然后get重定向到另一个页面带上在302页上set-cookies后的值,怎么操作。

elliott_c 2016-03-24 02:43:27
python requests模块post获取302页面的cookies值,然后get重定向到另一个页面带上在302页上set-cookies后的值,怎么操作。

我在抓取我们学校的服务器时遇到如下情况:



firefox浏览器请求情况,首先我输入自己的学号密码,因为是在浏览器上操作的所以肯定post提交之前先带上了get页面时自己的header和cookie ,所以post时的请求头信息如下:



那么我想,在用python request请求时,先得get获取cookie和header然后带着请求和cookie模拟浏览器再post。但我发现此处post后是302(重定向)而且在302页面上已经set-cookie了,即验证后的cookie值!


然后服务器自动重定向到另一个页面,即详细内容页面(get方式且带着在302页面上获取的已验证的cookie值)如下图:


那么我该如何用urllib2模块或者 request模块写呢?

我的思路 先get获得请求的header和cookie,post给302,让302返回header和cookie,然后再带着302返回的headers和cookies去get请求详细页面。但我失败了。。。。。。求大神指教= =。。。。。。。。。。。。。。。。
要用学号模拟,请加我qq1352133162
...全文
1822 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
elliott_c 2016-04-01
  • 打赏
  • 举报
回复
我用了selenium+python 很轻松的解决了这个问题,但是模拟浏览器后再进行爬去的操作,成本高,效率低,容易卡在页面出错==
「已注销」 2016-03-25
  • 打赏
  • 举报
回复
可能网站用了cas认证,所以会重定向,登录之后先进行cas认证 认证通过了才能跳转到登录后的学生管理系统界面

37,744

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧