scrapy框架的基本使用

一、使用场景在需要爬取的数据量极大的情况下，建议使用scrapy框架。性能好。二、scrapy工作原理engine 引擎，类似于一个中间件，负责控制数据流在系统中的所有组件之间流动，可以理解为“传话者” spider 爬虫，负责解析response和提取Item downloader 下载器，负责下载网页数据给引擎 scheduler 调度器，负责将...