scrapy中rules的问题

Maxwelll_ 2017-09-12 10:51:08

start_urls= [''http://www.abc.cn/abcc/index.html']
Rule(LinkExtractor(allow=(r'http://www.abc.cn/abcc/index_[0-9]+.html')),callback='parse_start_url'
,follow=False)]

这个follow=False表示访问全站所有符合规则的URL吗？为什爬虫只能访问start_urls中的网页就停了

...全文

353 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

maya8maya85 2018-06-17

打赏
举报

回复

follow=True

Maxwelll_ 2017-12-01

打赏
举报

回复

aaaaaaa

基于scrapy的爬虫小例子，用python3编写，成功爬取指定网址网页内容基于scrapy的爬虫小例子，用python3编写，成功爬取指定网址网页内容

Python-Scrapy 入门级爬虫项目实战糗事百科段子爬取

使用Python实现的爬虫，可以爬取凤凰新闻中一段时间内的所有新闻，还可以自定义爬取时间。

数据结构与算法知识点大全！

内容概要：本文介绍了使用Scrapy框架进行全站数据抓取的方法，主要以汽车之家网站为例，详细讲解了两种抓取方式：常规Spider和CrawlSpider。常规Spider通过自定义LinkExtractor链接提取器，设定正则表达式、域名、XPath、CSS选择器等参数规则来提取所需链接，并处理页面中的二手车信息，同时通过设置DOWNLOAD_DELAY避免触发网站的反爬机制。CrawlSpider则利用内置规则（rules）实现自动化链接提取与回调，简化了全站数据抓取流程，其通过Rule类配置链接提取器及其回调函数，可灵活控制是否跟踪链接，实现分页和详情页数据抓取。; 适合人群：有一定Python基础，对Web爬虫感兴趣的开发者或数据分析师。; 使用场景及目标：①掌握Scrapy框架中常规Spider和CrawlSpider的使用方法；②学会通过LinkExtractor提取符合规则的链接；③理解如何避免触发网站反爬机制；④实现对特定网站（如汽车之家）的数据抓取。; 阅读建议：读者应先熟悉Scrapy的基本概念和安装配置，在学习过程中结合实际案例进行代码编写和调试，注意理解LinkExtractor各参数的作用以及CrawlSpider中rules的配置逻辑。

37,743

社区成员

34,213

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章