scrapy爬图片失败

叽里咕噜.-. 2021-11-25 17:59:16

我用scrapy爬取图片 没有报错 没有输出 甚至连文件夹都没有创建,我仔细看了一下,发现管道开启了,robot也设置为假,UA写了,就是不知道是什么问题,忘大佬解答

 

 

 

 

 

...全文
146 点赞 收藏 8
写回复
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
李玺 11-25

xpath那里写错了,你提取src属性的时候写的是src2 。

另外下载图片时部分网站需要添加Referer和User-Agent。

这种情况最好是debug调试,或者通过print进行流程打印。

回复 1
@考古学家lx 这个网站是懒加载的,所以是src2,print我试过了,爬虫文件能print出来,pipneline不能print出来
回复
@考古学家lx 在普通的爬虫文件中我试过了,不需要refer就能下载
回复
展开其他5条回复
相关推荐
发帖
爬虫逆向
创建于2021-07-26

1060

社区成员

爬虫逆向技术交流社区,有问题可在此发布动态,不限开发语言不限框架技术的综合社区。
帖子事件
编辑了帖子
2021-11-25 18:10
创建了帖子
2021-11-25 17:59
社区公告

一个综合的爬虫逆向技术交流社区