用scrapy实现爬虫时,每个爬虫文件只能对应一个pipeline文件吗?

Cristal_tina 2016-12-16 04:02:35
目前在学习scrapy框架的使用,但是在编写自己爬虫的过程中,我使用两个pipeline文件处理爬取到的数据,并分别命名为save_mongo.py和filtration.py。在settings.py进行了如下设置:
ITEM_PIPELINES = {
'scrapy_test.pipelines.filtration.FiltrationPipeline':300,
'scrapy_test.pipelines.save_mongo.MongoDBPipeline':500,}


但是在运行过程中,通过log日志发现能够完成filtration.py的过滤,但并没有写入数据库,但是如果settings.py中只保留save_mongo.py设置的话,是能够写入数据库的。

所以想请教各位大神,在scrapy中,pipeline文件不是按照顺序依次执行的吗?还是每一个爬虫文件只能对应一个pipeline文件?

小女纸在这儿谢谢各位了~~~~~
...全文
376 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
Cristal_tina 2016-12-16
  • 打赏
  • 举报
回复 1
已解决,是顺序执行的,不能保存是因为编码问题,当不涉及到汉语的utf-8的编码方式,是可以正常保存的。

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧