有没有会scrapy框架的兄弟,我的Pipeline简单问题。······
泡白 2018-05-15 10:29:19 这是我Pipeline的代码。
class MypjtPipeline(object):
def process_item(self, item, spider):
print("321")
return item
def close_spider(self,spider):
print("123")
setting也配置了。
settings.py:
#Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'mypjt.pipelines.MypjtPipeline': 300,
}
spider也写了:
class ZycSpider(scrapy.Spider):
name = 'zyc'
allowed_domains = ['sina.com.cn']
start_urls = ['http://news.sina.com.cn/c/xl/2018-05-12/doc-ihamfahw9148834.shtml']
def parse(self, response):
item=MypjtItem()
item["title"]=response.xpath("/html/head/title/text()")
print(item["title"])
items也写了:
class MypjtItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
pass
都是最基础的代码。为什么我的Pipeline的process_item函数自己不会调用。就是不输出。?close_spider函数会自己调用的。
我很奇怪啊,谁可以来看看嘛?