Scrapy爬虫：知乎个人动态页面的URL怎么处理才能模拟鼠标滚动获得更多的动态

lkangkang 2018-02-28 10:19:53

首次载入的页面不在XHR里面，之后用鼠标滚动URL中含有每滚动一次最后一个项目的id，这样的URL怎么处理。例如，刚进去页面会刷出来8个项目，第八个id为123456，那么下一次请求的URL就是...&limit=8&after_id=123456

...全文

1103 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

python_T 2018-03-10

打赏
举报

回复

selenium+无头浏览器。

虾米馅煎包 2018-03-02

打赏
举报

回复

用浏览器驱动模拟JS，实现动态加载。

本文将详细介绍如何使用Python中最新的爬虫技术模拟登录知乎网站。我们将从爬虫基础讲起，逐步深入到高级技巧，涵盖Selenium和Playwright两种主流工具的实现方式，并讨论反爬虫策略、验证码处理、Cookie管理等关键技术。文章包含完整的代码示例和详细解释，旨在为读者提供一份全面的知乎爬虫开发指南。关键词：Python爬虫、知乎登录、Selenium、Playwright、反爬虫网络爬虫(Web Crawler)是一种自动获取网页内容的程序，广泛应用于搜索引擎、数据分析和内容聚合等领域。

scrapy安装在windows下，在dos中运行pip install Scrapy报错采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required，解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑1...

selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护

动手前准备了解内容 Ajax内容了解链接第三方库 pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip ins

目录动态HTML介绍 JavaScript jQuery Ajax DHTML Selenium与PlantomJS Selenium PhantomJS 案例一：网站模拟登录案例二：动态页面模拟点击机器视觉与Tesseract介绍处理给规范的文字尝试对验证码进行机器识别处理爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti...

37,743

社区成员

34,211

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章