爬虫百例第76例子.zip下载

[PIPI_333]

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。

今天继续通过`celery`实现分布式爬虫爬取`https://book.douban.com/tag/?view=type&icn=index-sorttags-all`

简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。

队列的输入是一个作业单元，被称为`task`，我们只需要在定义好的函数上方，增加`@app.task` 装饰一下即可，查阅手册可以查看其它参数内容。

定义好task之后，执行`worker` 监控这个队列，有新作业即执行。
相关下载链接：//download.csdn.net/download/hihell/12709771?utm_source=bbsseo