37,743
社区成员
发帖
与我相关
我的任务
分享scrapy中rules的问题
start_urls= [''http://www.abc.cn/abcc/index.html']
Rule(LinkExtractor(allow=(r'http://www.abc.cn/abcc/index_[0-9]+.html')),callback='parse_start_url'
,follow=False)]
这个follow=False表示访问全站所有符合规则的URL吗？为什爬虫只能访问start_urls中的网页就停了
Rule(LinkExtractor(allow=(r'http://www.abc.cn/abcc/index_[0-9]+.html')),callback='parse_start_url'
,follow=False)]
这个follow=False表示访问全站所有符合规则的URL吗？为什爬虫只能访问start_urls中的网页就停了
...全文
请发表友善的回复…
发表回复
maya8maya85 2018-06-17
- 打赏
- 举报
follow=True
Maxwelll_ 2017-12-01
- 打赏
- 举报
aaaaaaa
