Scrapy集成selenium爬取简书（2）

资深Python开发工程师 2023-01-13 12:11:24

课时名称	课时知识点
Scrapy集成selenium爬取简书（2）	Scrapy集成selenium爬取简书（2）

...全文

316 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_45549683 2022-03-13

打赏
举报

回复

150讲的Python网络爬虫课程非常棒。但是里面缺了一块儿内容，就是怎么爬取APP里面的信息。黄勇老师有没有补充这块儿的课程，求推荐

weixin_49633244 2022-02-14

打赏
举报

回复

request类中没有proxyHandler函数，怎么办

资深Python开发工程师 2022-03-06

举报

回复

@weixin_49633244 <p>我这边是可以使用的，你再检查下代码，实在不行拿我的代码运行下试试</p>

该项目是一款基于Scrapy和Selenium构建的简书全站文章抓取与解析系统源码，总计包含22个文件，涵盖了7个Python字节码文件、7个Python源代码文件、4个XML配置文件、1个IntelliJ IDEA项目文件、1个Markdown文件、1个文本文件、1个配置文件。此系统旨在高效地从简书平台抓取并解析全站文章内容，适用于需要进行大规模文章采集和分析的用户或机构。

Scrapy + selenium爬取简书全站环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容文字标题作者作者头像发布日期内容文章连接文章ID 思路分析简书文章的url规则使用selenium请求页面使用xpath获取需要的数据初步存储数据到MySQL（提高存储效率）实现前戏：创建scrapy项目建立crawlsipder爬虫文件： pipelines和middleware 初步：分析简书文章的url 可以jianshu.com/p/文章ID url规则为jianshu.com/p/文章ID ，然后再crawlsipder中设置url规则 class JsSpider ( CrawlSpider ): name = 'js' allowed_domains = [ 'jianshu.com' ]

使用Scrapy+ Selenium+ChromeDriver爬取简书所有文章，然后存储到mysql数据库中，作为爬虫的练习。当然也可以用这些文章进行数据分析等等。该压缩包有项目的完整源码和数据库的sql文件。读者可以直接使用。

爬虫脚本项目源码-爬取简书个人文章

爬取电影天堂最新的电影数据 - xpath 爬取腾讯招聘的职位数据 - xpath 爬取中国天气网全国天气并生成饼状图 - bs4 爬取古诗词网的数据 - re 爬取糗事百科上的段子数据 - re 多线程爬虫多线程爬取斗图吧的表情图并下载到本地 - xpath + threading 使用 itchat 发送表情到指定的人和微信群多线程爬取百思不得姐的文字和图片信息并写入到csv中 Selenium 自动化爬虫爬取拉勾网的职位信息 - selenium + requests + lxml 爬取 Boss 直聘网的职位信息 - selenium + lxml Scrapy 框架爬虫爬取糗事百科的段子保存到 JSON 文件中爬取微信小程序论坛的数据登录豆瓣网并修改个性签名下载汽车之家的高清图片到本地爬取简书网所有文章数据爬取房天下所有房的数据，包含新房、二手房 feapder feapder AirSpider实例 Node.js 爬虫使用 puppeteer 爬取简书文章并保存到本地其他使用 Python 定位到女朋友的位置

黄勇的课程社区_NO_1

5

社区成员

158

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章