Scrapy爬虫：知乎个人动态页面的URL怎么处理才能模拟鼠标滚动获得更多的动态

lkangkang 2018-02-28 10:19:53

首次载入的页面不在XHR里面，之后用鼠标滚动URL中含有每滚动一次最后一个项目的id，这样的URL怎么处理。例如，刚进去页面会刷出来8个项目，第八个id为123456，那么下一次请求的URL就是...&limit=8&after_id=123456

...全文

1131 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

python_T 2018-03-10

打赏
举报

回复

selenium+无头浏览器。

虾米馅煎包 2018-03-02

打赏
举报

回复

用浏览器驱动模拟JS，实现动态加载。

本文将详细介绍如何使用Python中最新的爬虫技术模拟登录知乎网站。我们将从爬虫基础讲起，逐步深入到高级技巧，涵盖Selenium和Playwright两种主流工具的实现方式，并讨论反爬虫策略、验证码处理、Cookie管理等关键技术。文章包含完整的代码示例和详细解释，旨在为读者提供一份全面的知乎爬虫开发指南。关键词：Python爬虫、知乎登录、Selenium、Playwright、反爬虫网络爬虫(Web Crawler)是一种自动获取网页内容的程序，广泛应用于搜索引擎、数据分析和内容聚合等领域。

页面内容完全由JS渲染，HTML源码为空需要模拟用户交互（点击、滚动、输入）处理“加载更多”或无限滚动需要登录或有复杂操作流程页面结构复杂，用CSS/XPath更容易定位Selenium是一把双刃剑：它能让你拿到几乎任何网页的数据，但也容易被网站识别和拦截。掌握本文介绍的核心用法、等待机制、反检测技巧，再配合合理的爬取策略，你就能在动态网页的海洋里游刃有余。技术本身没有善恶，但使用技术的方式决定了一切。请尊重网站的robots.txt，控制合理的爬取频率，让我们的爬虫更优雅、更可持续。

scrapy安装在windows下，在dos中运行pip install Scrapy报错采用pip安装，安装时可能会出现安装错误Microsoft Visual C++ 14.0 is required，解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑1...

selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护

动手前准备了解内容 Ajax内容了解链接第三方库 pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip ins

37,741

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章