有没有会scrapy框架的兄弟,我的Pipeline简单问题。······

泡白 2018-05-15 10:29:19
这是我Pipeline的代码。
class MypjtPipeline(object):

def process_item(self, item, spider):
print("321")

return item

def close_spider(self,spider):
print("123")
setting也配置了。
settings.py:
#Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'mypjt.pipelines.MypjtPipeline': 300,
}
spider也写了:
class ZycSpider(scrapy.Spider):
name = 'zyc'
allowed_domains = ['sina.com.cn']
start_urls = ['http://news.sina.com.cn/c/xl/2018-05-12/doc-ihamfahw9148834.shtml']

def parse(self, response):
item=MypjtItem()
item["title"]=response.xpath("/html/head/title/text()")
print(item["title"])
items也写了:
class MypjtItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
pass
都是最基础的代码。为什么我的Pipeline的process_item函数自己不会调用。就是不输出。?close_spider函数会自己调用的。
我很奇怪啊,谁可以来看看嘛?
...全文
769 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

37,721

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧