scrapy拆分

moveonzz 2019-10-28 11:55:00

有需求将scrapy的请求与解析分割开,请求后将整个页面存入mysql,解析部分负责从mysql再将网页提出来.
问题:
解析部分是重写一个spider,将MySQL中的网页提到本地,spider进行本地请求后进行解析,还是写一个py文件进行解析.
①:重写spider可以用到以前的item pipeline进行入库比较方便
②:写py文件的话,可以将返回的item传入item pipeline进行入库嘛？不用spider的话，是不是item pipeline就用不了了

...全文

31 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

使用邮箱抓取头像可以使用gravatar和qq抓取用户头像，优先大图，...当email_list比较大的时候，为了使用更多的进程你可以将email_list拆分成多个list 例如 email_list_0.json email_list_1.json 你就可以使用 python

用pip安装scrapy的时候出现的问题。但是微软网站又抽风了，半天下载不下来。放在这里做个备份。由于CSDN的上传限制，把文件拆分了，这里是第一部分。

用pip安装scrapy的时候出现的问题。但是微软网站又抽风了，半天下载不下来。放在这里做个备份。由于CSDN的上传限制，把文件拆分了，这里是第二部分。

scrapy边爬虫边对爬取到的文本进行分割爬取的目标网页如下：拿到a标签的text之后，还需要分别取到公司名称和公司id，这个时候就需要对字符串进行split了。这时直接对爬取道的内容进行split然后往item里...

scrapy抓企查查数据，scrapy爬虫核心代码，可以直接拿来参考 # -*- coding: utf-8 -*- import scrapy class SpiderSpider(scrapy.Spider): name = 'spider' allowed_domains = ['qcc.com'] def parse(self, ...

37,719

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章