分布式爬虫-运行分布式爬虫

资深Python开发工程师 2023-01-13 12:11:24

课时名称	课时知识点
分布式爬虫-运行分布式爬虫

...全文

174 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

张么人 2021-12-01

打赏
举报

回复

黄老师你好，运行分布式爬虫那块在pycharm运行无法暂停，报错是redis.exceptions.ConnectionError: Error 10061 connecting to 192.168.197.131:6379. 由于目标计算机积极拒绝，无法连接

资深Python开发工程师 2021-12-19

举报

回复

@张么人 <p>1、redis没有运行。</p> <p>2、Redis运行了，但是在redis的配置文件中，bind参数设置成了127.0.0.1，但是你的redis所在设备和爬虫代码所在设备不是同一个</p>

张么人 2022-01-01

举报

回复

@张么人好的解决了

scrapy-redis搭建分布式爬虫环境 - 温良Miner - 博客园1

代码下载链接： https://pan.quark.cn/s/3d4edae43b45 分布式爬虫架构并非一蹴而就，而是经历了一个渐进式的演化历程。在初次接触并编写爬虫程序时，通常会在个人电脑上进行入门学习和开发工作，然而在正式的生产环境中，个人电脑并不适合用来执行爬虫程序，而是需要将爬虫程序配置在服务器上。借助服务器持续运行且不会关机的特点，爬虫得以实现全天候不间断地执行任务。单机爬虫的结构示意图如下所示。然而，由于爬虫在采集数据过程中，其数据抓取频率受到限制，即便爬虫在服务器上持续运行，其工作效率可能仍无法满足实际应用的要求。在这种情况下，就需要通过在多台机器上部署爬虫程序，并运用分布式爬虫架构来进行数据采集。 分布式爬虫的架构通常呈现如下形式。实施分布式爬虫架构后，能够获得以下几个方面的优势。 1，爬虫的运行效率得以显著提升。这一点显而易见，与之前单机运行的方式相比

#资源达人分享计划#

用eclipse和hadoop0.19.2实现的分布式爬虫

知乎爬虫(scrapy默认配置下单机1小时可爬取60多万条数据)

黄勇的课程社区_NO_1

5

社区成员

158

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章