scrapy中rules的问题

Maxwelll_ 2017-09-12 10:51:08

start_urls= [''http://www.abc.cn/abcc/index.html']
Rule(LinkExtractor(allow=(r'http://www.abc.cn/abcc/index_[0-9]+.html')),callback='parse_start_url'
,follow=False)]

这个follow=False表示访问全站所有符合规则的URL吗？为什爬虫只能访问start_urls中的网页就停了

...全文

382 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

maya8maya85 2018-06-17

打赏
举报

回复

follow=True

Maxwelll_ 2017-12-01

打赏
举报

回复

aaaaaaa

本文介绍了一个使用Scrapy框架实现的爬虫实例，目标是从新华网军事新闻页面抓取所有链接。然而，在实际运行中遇到了规则未生效的问题，即定义的回调函数未能执行。

本文介绍了Scrapy爬虫的基本配置方法，包括rules规则的应用、递归调用URL的实现方式及编码问题解决方案。此外，还讲解了如何利用ItemPipeline进行数据清理、验证和存储。

本文介绍如何使用Scrapy的Rules机制实现自动化URL跟踪与数据采集，重点讲解CrawlSpider中Rule的配置方法、实战应用及性能优化策略，帮助提升爬虫效率并解决常见问题。

本文介绍了CrawlSpider的使用，包括源码参考、CrawlSpider的rules、LinkExtractors的配置以及爬取规则。CrawlSpider通过rules定义爬取行为，LinkExtractors用于提取链接，同时强调了避免使用'parse'作为回调函数的重要性。此外，还讲解了CrawlSpider的版本问题和Scrapy的日志配置。

本文介绍了Scrapy框架中Rules规则的应用，包括其核心机制、实战案例设计、性能优化技巧及扩展应用场景。重点讲解了Rule类参数、CrawlSpider工作流程，并提供了电商网站数据爬取的具体配置示例。同时探讨了如何应对重复URL、动态加载和反爬策略等问题。

37,739

社区成员

34,211

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章