爬虫爬到一半报错，求大牛解答

一个帅逼 2017-11-06 03:20:26

写了个爬虫爬贴吧图片，在爬一个帖子爬到一半时，报错了，大约爬了一千一百张图片左右，报错信息如下，求问大牛是什么原因
IOError: cannot identify image file <_io.BytesIO object at 0x010B6720>

...全文

362 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

一个帅逼 2017-11-06

打赏
举报

回复

额，自己解决了，去原贴看了下，报错的那张图片，发现自己的正则匹配有点问题

一、网络爬虫介绍网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。例如，百度、google搜索某关键字时，就是爬取整个互联网上的相关资源，给呈现出来。实际爬虫四个步骤：1、明确目标2、爬(将所有网站的内容全部爬下来)-》分析其中一个网页源码，对html标签定位3、取(去掉对我们没用处的数据) -》正则表达式4、处理数据urllib库与requests库在...

爬虫+基于接口的网络爬虫上一篇讲了【java爬虫】---爬虫+jsoup轻松爬博客，该方式有个很大的局限性，就是你通过jsoup爬虫只适合爬静态网页，所以只能爬当前页面的所有新闻。如果需要爬一个网站所有信息，就得通过接口，通过改变参数反复调该网站的接口，爬到该网站的所有数据信息。本博客以爬金色财经新闻信息为对象，去爬取该网站从建站以来发表的所有新闻信息。下面会一步一步讲解。这里重点重点讲思路，最后...

遇到更变态的反爬怎么办？最近在写爬虫的小伙伴们注意了（敲黑板）！最气人的是——用浏览器打开这个链接完全正常！（摔键盘.jpg）这就是典型的。：很多网站会检查User-Agent，urllib默认的UA太容易被识别了。（配图：程序员抓头发的表情包，图说：当你遇到403错误时的真实状态）把生成的headers传过去，看看返回的信息是否包含你设置的请求头。，别爬用户隐私数据，别影响网站正常运营。咱们要做有格调的技术人！上Selenium！

爬虫+基于接口的网络爬虫上一篇讲了【java爬虫】---爬虫+jsoup轻松爬博客，该方式有个很大的局限性，就是你通过jsoup爬虫只适合爬静态网页，所以只能爬当前页面的所有新闻。如果需要爬一个网站所有信息，就得通过接口，通过改变参数反复调该网站的接口，爬到该网站的所有数据信息。本博客以爬金色财经新闻信息为对象，去爬取该网站从建站以来发表的所有新闻信息。下...

Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说“老子会爬虫”，就感觉特别有逼格，但是又不知从何入手，这里，博主给大家纠正一个误区：爬虫并不神秘，也不高级，是一个非常好上手和掌握的东西（当然，里面也有很多坑，也有很多细节，展开说的话其实也蛮复杂的，不过它的模式和套路就摆在那里，看了小编的博客，保证你能爬

37,743

社区成员

34,211

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章