scrapy如何同时运行多个spider

mmmaxxx 2017-04-18 03:51:28

是不是需要scrapy redis？如何操作，是把spider都写在一个 spider.py里吗？
求问。
我的几个spider爬的字段都完全一样，是不是可以共用item

...全文

517 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Maxwelll_ 2017-04-26

打赏
举报

回复

同样的item,那只要把spider都放在spiders文件夹中就可以了，运行的时候cmd打scrapy crawl 你需要运行的spider名

实战项目来实现原生代码如何网络爬取数据的：获取美食网站中图片讲解多线程以及队列在爬虫项目中的应用通过获取所有大学的校名以及学习的简介来巩固多线程爬取数据下载安装scrapy框架以及通过scrapy.spider类爬取...

2019独角兽企业重金招聘Python工程师标准>>> ...

最近需要爬取大概10个网站的数据，如果创建10个项目的话，pipelines文件和items文件还有middleware，settings文件都是可以共用的。没必要每个项目都写一遍。所以用scrapy只创建一个项目，创建多个spider，启动爬虫时只写一个启动脚本就可以全部同时启动。但是问题出现了，编写完多个spider文件之后，启动时报错。查完网上各种解答方案，找到解决办法。最后会发上参考的...

现在来看一个问题：当存在多个爬虫的时候如何指定对应的管道呢？这里定义了两个爬虫：film、meiju 1.首先想到settings设置文件。 settings里针对item_pipelines的设置如下：内置设置参考:ITEM_PIPELINES 默认： {} 包含要使用的项目管道及其顺序的字典。顺序值是任意的，但通常将它们定义在0-1000范围内。较低订单处理较高订单前。例：对应管道文件：但是我遇到一个问题，当我单独运行film或者meiju时总会指定到settings里的第一个配

一、scrapy多个spider爬取数据我们知道爬虫刚开始的时候，通过start_requests(self)方法把所有的url一次性传给调度器，后面的事情就是由调度器来完成的 start_requests(self)：方法的代码如下在第7行到10行然后我提醒一下，这个是我一个spider，不是多个spidr 我把截图拿出来是因为要让你们知道，我在讲的是哪一个spider 为什么要多个spider呢？答：一个spider就只能进行一个类型的链接的抓取，比如翻页操作，如果是其他的链接就不能抓取了，可

37,719

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章