scrapy爬图片失败

叽里咕噜.-. 2021-11-25 17:59:16

我用scrapy爬取图片 没有报错 没有输出 甚至连文件夹都没有创建,我仔细看了一下,发现管道开启了,robot也设置为假,UA写了,就是不知道是什么问题,忘大佬解答

 

 

 

 

 

...全文
321 8 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
李玺 2021-11-25
  • 打赏
  • 举报
回复 1

xpath那里写错了,你提取src属性的时候写的是src2 。

另外下载图片时部分网站需要添加Referer和User-Agent。

这种情况最好是debug调试,或者通过print进行流程打印。

叽里咕噜.-. 2021-11-26
  • 举报
回复
@李玺 这个网站是懒加载的,所以是src2,print我试过了,爬虫文件能print出来,pipneline不能print出来
叽里咕噜.-. 2021-11-26
  • 举报
回复
@李玺 在普通的爬虫文件中我试过了,不需要refer就能下载
李玺 2021-11-26
  • 举报
回复
@叽里咕噜.-. 目前无法确定原因,建议debug
4条回复

26,100

社区成员

发帖
与我相关
我的任务
社区描述
爬虫逆向技术交流社区,有问题可在此发布动态,不限开发语言不限框架技术的综合社区。
社区管理员
  • 考古学家lx(李玺)
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

一个综合的爬虫逆向技术交流社区

试试用AI创作助手写篇文章吧