scrapy中rules的问题

Maxwelll_ 2017-09-12 10:51:08

start_urls= [''http://www.abc.cn/abcc/index.html']
Rule(LinkExtractor(allow=(r'http://www.abc.cn/abcc/index_[0-9]+.html')),callback='parse_start_url'
,follow=False)]

这个follow=False表示访问全站所有符合规则的URL吗？为什爬虫只能访问start_urls中的网页就停了

...全文

388 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

maya8maya85 2018-06-17

打赏
举报

回复

follow=True

Maxwelll_ 2017-12-01

打赏
举报

回复

aaaaaaa

代码如下：from scrapy.selector import Selectorfrom scrapy.spiders import CrawlSpider, Rulefrom scrapy.linkextractors import LinkExtractorfrom scrapy import Requestfrom newspider.items import NewspiderItemc...

1. rules规则 start_urls = ['　'] rules = [Rule(SgmlLinkExtractor(allow=[r'　']), callback='　', follow=True)] 　其中callback一般不使用parse，因为parse是默认的，如果用parse的话，会导致重写．　rules规则是指在start_urls下所有的链接中符合allow规则的，进

总结Rules的优势：代码简洁、易于维护、扩展性强。延伸思考：与其他组件（如Item Loader、Feed Export）的协作。

文章目录4.6. CrawlSpiderCrawlSpiders源码参考rulesLinkExtractors爬取规则(Crawling rules)CrawlSpider 版本LoggingLog levelslogging设置 4.6. CrawlSpider CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板的代码： scrapy genspider -t...

Rules与手动编写Request的优劣对比复杂场景下的混合策略建议调试规则匹配。

37,738

社区成员

34,210

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章