Scrapy爬虫：知乎个人动态页面的URL怎么处理才能模拟鼠标滚动获得更多的动态

lkangkang 2018-02-28 10:19:53

首次载入的页面不在XHR里面，之后用鼠标滚动URL中含有每滚动一次最后一个项目的id，这样的URL怎么处理。例如，刚进去页面会刷出来8个项目，第八个id为123456，那么下一次请求的URL就是...&limit=8&after_id=123456

...全文

1099 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

python_T 2018-03-10

打赏
举报

回复

selenium+无头浏览器。

虾米馅煎包 2018-03-02

打赏
举报

回复

用浏览器驱动模拟JS，实现动态加载。

scrapy安装在windows下，在dos中运行pip install Scrapy报错采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required，解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑1...

selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护

动手前准备了解内容 Ajax内容了解链接第三方库 pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip ins

目录动态HTML介绍 JavaScript jQuery Ajax DHTML Selenium与PlantomJS Selenium PhantomJS 案例一：网站模拟登录案例二：动态页面模拟点击机器视觉与Tesseract介绍处理给规范的文字尝试对验证码进行机器识别处理爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti...

本文介绍了Python网络爬虫的基本概念与应用，重点阐述了其技术实现与优化方法。主要内容包括：1）网络爬虫的工作原理及其在数据挖掘中的重要性；2）Python作为爬虫开发语言的优势，如丰富的库支持和易用性；3）开发环境搭建与基础爬虫实例（豆瓣电影数据抓取）；4）动态网页处理方案（Selenium应用）；5）数据存储方式（CSV和数据库）；6）性能优化技巧（并发请求、代理使用等）；7）反爬机制应对策略。文章通过具体代码示例，系统性地展示了网络爬虫从入门到进阶的全过程，为数据采集工作提供了实用指导。

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章