实操：使用线程给爬虫提速

懒编程-二两 2023-01-13 02:05:49

课时名称	课时知识点
实操：使用线程给爬虫提速	实操：使用线程给爬虫提速

...全文

421 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本课程零基础的同学，以深入浅出的方式讲解Python的基本知识，此外课程中还是涉及自动化办公、网络爬虫、数据分析三个方面的实战开发，以实战为辅，让你在掌握Python语法后立即上手使用，加深你的理解，让你可以理解将所学知识用于实际的生活与工作中。注意：本课程早鸟优惠价仅需29！学完即可轻松应对工作中 99...

今天我要给大家分享的是如何爬取中农网产品报价数据，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。目标URL：爬取产品品名、最新报价、单位、报价数、报价时间等信息，保存到本地Excel。今天我演示了简单的单线程爬虫、多线程爬虫和协程异步爬虫。可以看到一般情况下异步爬虫速度最快，多线程爬虫略慢一点，单线程爬虫速度较慢，必须上一个页面爬取完成才能继续爬取。

今天在浏览知乎时，发现一个有趣的问题：如何优化 Python 爬虫的速度？他的问题描述是：目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法？这个问题还蛮多人关注的，但是回答的人却不多。我今天就来尝试着回答一下这个问题。程序提速这个问题其实解决方案就摆在那里，要么通过并发来提高单位时间内处理的工作量，要么从程序本身去找提效点，比如爬取的数据用gzip传输、提高处理数据的速度等。

今天我演示了简单的单线程爬虫、多线程爬虫和协程异步爬虫。可以看到一般情况下异步爬虫速度最快，多线程爬虫略慢一点，单线程爬虫速度较慢，必须上一个页面爬取完成才能继续爬取。但协程异步爬虫相对来说并不是那么好编写，数据抓取无法使用 request 库，只能使用aiohttp，而且爬取数据量大时，异步爬虫需要设置最大信号量来控制协程数，防止爬的过快被反爬。

爬虫的加速目前掌握了两种方法:aiohttp模块+单线程多任务异步协程requests模块+线程池爬虫接触的模块有三个:requestsurllibaiohttp接触了一下flask开启服务器。

廖茂文的课程社区_NO_1

4

社区成员

178

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章