目前在学习scrapy框架的使用,但是在编写自己爬虫的过程中,我使用两个pipeline文件处理爬取到的数据,并分别命名为save_mongo.py和filtration.py。在settings.py进行了如下设置:
ITEM_PIPELINES = {
'scrapy_test.pipelines.filtration.FiltrationPipeline':300,
'scrapy_test.pipelines.save_mongo.MongoDBPipeline':500,}
但是在运行过程中,通过log日志发现能够完成filtration.py的过滤,但并没有写入数据库,但是如果settings.py中只保留save_mongo.py设置的话,是能够写入数据库的。
所以想请教各位大神,在scrapy中,pipeline文件不是按照顺序依次执行的吗?还是每一个爬虫文件只能对应一个pipeline文件?
小女纸在这儿谢谢各位了~~~~~