scrapy框架写爬虫内置图片下载出错OSERROR

KFPA 2017-08-11 06:27:30
Traceback (most recent call last):
File "C:\Python36\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks
result = g.send(result)
File "C:\Python36\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
File "C:\Python36\lib\site-packages\twisted\internet\defer.py", line 1363, in returnValue
raise _DefGen_Return(val)
twisted.internet.defer._DefGen_Return: <200 http://img.mp.itc.cn/upload/20170717/2414501c43934e35868d29a560511458_th.jpg>

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:\Python36\lib\site-packages\scrapy\pipelines\files.py", line 356, in media_downloaded
checksum = self.file_downloaded(response, request, info)
File "C:\Python36\lib\site-packages\scrapy\pipelines\images.py", line 98, in file_downloaded
return self.image_downloaded(response, request, info)
File "C:\Python36\lib\site-packages\scrapy\pipelines\images.py", line 102, in image_downloaded
for path, image, buf in self.get_images(response, request, info):
File "C:\Python36\lib\site-packages\scrapy\pipelines\images.py", line 115, in get_images
orig_image = Image.open(BytesIO(response.body))
File "C:\Python36\lib\site-packages\PIL\Image.py", line 2519, in open
% (filename if filename else fp))
OSError: cannot identify image file <_io.BytesIO object at 0x04539A80>

请各位大神帮忙
...全文
627 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
请问解决了嘛,或者怎么加异常啊
KFPA 2017-08-22
  • 打赏
  • 举报
回复
scrapy使用的pillow或者PIL图片处理库不支持该网站提供的个别压缩格式的jpg图片所以导致保存图片失败 虽然图片数据是已经下载下来了,但是不能用pillow处理,所以导致error,最终解决方法: 我用opencv对下载下来的图片数据做处理,发现是可以的,但因为scrapy默认用的就是pillow库,如果换成opencv工作量太大, 而且这也只是个别情况,所以就用opencv将图片数据存为png格式,随后再用scrapy默认的处理流程处理该图片数据,这样就可以了! 这也正面一点,opencv还是要比pillow强大啊!
KFPA 2017-08-18
  • 打赏
  • 举报
回复
我再顶
KFPA 2017-08-16
  • 打赏
  • 举报
回复
我顶我顶!

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧