[python爬虫] 爬取动态网站时候遇到的一些问题

zzkyeee 2016-07-20 10:58:30
我最近爬取天下3藏宝阁网页时http://tx3.cbg.163.com/cgi-bin/equipquery.py?act=show_overall_search 点击搜索按钮,想要获取搜索结果 搜索结果应该是ajax异步请求 发现每个人都有一个serverid和equip_id 用谷歌chrome浏览器network发现XHR文件中有一个overall_search.py文件点击preview发现里面有每个人的serverid和equipid 正是我想要的(但是双击无法打开 显示:出错了: 没有找到相关的action)我想问一下如何用python获取overall_search.py文件
...全文
326 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
zzkyeee 2016-07-24
  • 打赏
  • 举报
回复
引用 1 楼 Maceetea的回复:
http://tx3.cbg.163.com/cgi-bin/overall_search.py?act=overall_search_role&school=8&level_min=1&level_max=80&price_min=8000&price_max=30000000&order_by=&page=1&other_arg=&
我找到了 请问request payload直接加在url里面就可以了吗
Maceetea 2016-07-21
  • 打赏
  • 举报
回复
http://tx3.cbg.163.com/cgi-bin/overall_search.py?act=overall_search_role&school=8&level_min=1&level_max=80&price_min=8000&price_max=30000000&order_by=&page=1&other_arg=&

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧