爬虫爬到一半报错，求大牛解答

一个帅逼 2017-11-06 03:20:26

写了个爬虫爬贴吧图片，在爬一个帖子爬到一半时，报错了，大约爬了一千一百张图片左右，报错信息如下，求问大牛是什么原因
IOError: cannot identify image file <_io.BytesIO object at 0x010B6720>

...全文

358 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

一个帅逼 2017-11-06

打赏
举报

回复

额，自己解决了，去原贴看了下，报错的那张图片，发现自己的正则匹配有点问题

一、网络爬虫介绍网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。例如，百度、google搜索某关键字时，就是爬取整个互联网上的相关资源，给呈现出来。实际爬虫四个步骤：1、明确目标2、爬(将所有网站的内容全部爬下来)-》分析其中一个网页源码，对html标签定位3、取(去掉对我们没用处的数据) -》正则表达式4、处理数据urllib库与requests库在...

爬虫+基于接口的网络爬虫上一篇讲了【java爬虫】---爬虫+jsoup轻松爬博客，该方式有个很大的局限性，就是你通过jsoup爬虫只适合爬静态网页，所以只能爬当前页面的所有新闻。如果需要爬一个网站所有信息，就得通过接口，通过改变参数反复调该网站的接口，爬到该网站的所有数据信息。本博客以爬金色财经新闻信息为对象，去爬取该网站从建站以来发表的所有新闻信息。下...

Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说“老子会爬虫”，就感觉特别有逼格，但是又不知从何入手，这里，博主给大家纠正一个误区：爬虫并不神秘，也不高级，是一个非常好上手和掌握的东西（当然，里面也有很多坑，也有很多细节，展开说的话其实也蛮复杂的，不过它的模式和套路就摆在那里，看了小编的博客，保证你能爬

前言防砸声明：此文仅仅能保证入门，不保证商业生产。最终实现效果：爬虫简介：引用钱洋博士课程的部分内容（有删改）：网络爬虫技术，有效的获取网络数据资源的重要方式。简单的理解，比如您对百度贴吧的一个帖子内容特别感兴趣，而帖子的回复却有1000多页，这时采用逐条复制的方法便不可行。而采用网络爬虫便可以很轻松地采集到该帖子下的所有内容。网络爬虫的作用，我总结为以下几点：舆情分析：企业或...

目录导语1. 获取所有城市_id2. 分析评论信息位置3. 获取当前市景点页数4.获取当前景点的评论页数5. 总体爬虫效果6. 注意导语自携程更新后，这是全网首篇，关于新版携程的逆向爬虫最近由于项目需要，编写了携程逆向爬虫脚本，遇到过一些难点，然而在携程更新网页端之后，也没有大牛写过新的关于携程爬虫的文章。由于还没有创建github(有点懒)，代码需要的可以私信，这里只提供思路和过程在此，给网友提供思路和全站爬虫效果，有需要的可以私信我主要难点(坑)如下：很多加密参数需要自行测试 payl

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章