Scrapy爬虫:知乎个人动态页面的URL怎么处理才能模拟鼠标滚动获得更多的动态

lkangkang 2018-02-28 10:19:53

首次载入的页面不在XHR里面,之后用鼠标滚动URL中含有每滚动一次最后一个项目的id,这样的URL怎么处理。例如,刚进去页面会刷出来8个项目,第八个id为123456,那么下一次请求的URL就是...&limit=8&after_id=123456
...全文
1097 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
python_T 2018-03-10
  • 打赏
  • 举报
回复
selenium+无头浏览器。
虾米馅煎包 2018-03-02
  • 打赏
  • 举报
回复
用浏览器驱动模拟JS,实现动态加载。

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧