我是按时间倒序，从第一页开始爬，一直爬到最后一页。
但是我发现每次爬取到20多层的时候就爬取不到了，导致异常。
我不知道是因为被爬网站的ip限制或者别的什么原因，总之就抛异常了。
但是我在爬取第一页时候，就把第一条的时间存储了，以后就只会爬取最新的，爬到存储的时间就不爬了。
比如如果第10页抛异常了，10页后面的数据我就爬取不到。
请问有什么好的办法能保证数据被爬全吗？
-
等级
本版专家分：0结帖率 25% -
我现在在做一个爬取分页的功能。
我是按时间倒序，从第一页开始爬，一直爬到最后一页。
但是我发现每次爬取到20多层的时候就爬取不到了，导致异常。
我不知道是因为被爬网站的ip限制或者别的什么原因，总之就抛异常了。
但是我在爬取第一页时候，就把第一条的时间存储了，以后就只会爬取最新的，爬到存储的时间就不爬了。
比如如果第10页抛异常了，10页后面的数据我就爬取不到。
请问有什么好的办法能保证数据被爬全吗？展开阅读全文
-
等级
本版专家分：0
-
[比如如果第10页抛异常了，10页后面的数据我就爬取不到。]
当出现异常的时候,手工打开浏览器访问异常的网址,如果浏览器能正常显示,就是你程序的问题.如果不能,对方服务器把你的ip封了.
-
等级
本版专家分：0勋章
-
- 技术圈认证 用户完成年度认证，即可获得
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
-
那就只能使用代理池，禁了再换ip，然后尽可能的控制爬取速度等等
- python爬虫学习day2-3 遇到页面有分页，如何爬取数据
思路是：找到分页链接的地址在google浏览器中，检查页面元素时network中的XHR、js、doc下的一些数据中找到链接后可以放进相关函数剖析出全部链接参考视频：点击打开链接...
- 刚开始学爬虫 爬取分页数据
 我想爬取一个分页数据，为什么这段代码的结果是这个？
- python爬虫--如何爬取翻页url不变的网站
参考 https://blog.csdn.net/c350577169/article/details/80410133
- 利用Excel爬取网页数据
此方法只适用于对爬数据感兴趣但却不会使用Python之类的工具进行爬虫的人，用Excel爬取网页数据，方便、容易上手，但是局限性很大，它只能爬去单个网页的数据，并且受网页数据的排版影响。 操作流程 ...
- python爬虫之爬取腾讯新闻
本文目的抓取腾讯新闻首页中要闻页签下的所有新闻标题和链接。...所以要爬取要闻下的所有新闻标题和链接就需要一个一个分页的爬取。下面开始写代码。 首先获取腾讯新闻页面内容，写一个获取页面的接口...
- Python爬虫从入门到精通——Ajax数据爬取（三）：结果提取
这里还以《Python爬虫从入门到精通——Ajax数据爬取（一）：基本原理》中的微博为例，接下来用Python来模拟这些Ajax请求，把马云微博内容爬取下来。 分析请求 打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博...
- 利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
首先我准备利用mysql来存储我爬取的信息，建一个host表如下： 然后下载pymysql ，利用它与数据库链接，因为在这里我只涉及到写入的操作： Unit_Mtsql 然后就是使用Beautifulsoup框架对斗鱼的链接进行解析，为了...
- scrapy爬取动态分页内容
2） 如何确保页面内容加载完成后再进行爬取：由于内容是通过js加载的，如果不加控制，很可能出现爬到空页面的情况。 处理方法：1）scrapy+selenium模拟浏览器点击：通过模拟浏览器点击的方式进行翻页，从而获取每一...
- C#网络爬虫（爬取表格数据）
所谓爬虫，就是要解决三个问题：一个是爬什么，第二个是怎么爬，第三个是爬下来的数据如何保存，方法很多，根据个人需要和能力水平仁者见仁、智者见智。下面我们将通过具体实例讲解一下具体如何解决上述三个问
- scrapy网页爬取(包含翻页及详情页抓取)
spiders/yg.py items.py piplines.py
- 爬虫软件爬取公开网络数据案例(以大众点评为例)
爬虫软件爬取公开网络数据案例(以大众点评为例)
- Python爬虫：如何爬取分页数据？
上一篇文章《Python爬虫：爬取人人都是产品经理的数据》中说了爬取单页数据的方法，这篇文章详细解释如何爬取多页数据。 爬取对象： 有融网理财项目列表页【履约中】状态下的前10页数据，地址：...
- python爬虫——爬取用js实现翻页的网站
首先，这次想爬取的网站地址为：http://www.zhuhai.gov.cn/hd/zxts_44606/tsfk/查看网站的源代码后，发现页面数据没有在源代码中，猜测应是js生成的。检查元素后，刷新Network，可找到表格数据所在的URL：...
- python网络爬虫（一） 爬取网站图片
什么是网络爬虫？ 网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在...
- 微信公众号订阅号留言点赞采集抓取爬虫
给你几个微信公众号爬虫，微信数据采集爬取so easy! 1.基于搜狗微信搜索的微信公众号爬虫 a.项目地址：https://github.com/Chyroc/WechatSogou b.基于搜狗微信搜索的微信公众号爬虫接口开发，可获取文章的临时链接...
- postman软件用于爬取网页数据
下载软件：psotman 用于对接口的请求，可以把爬取的数据json、html等各种格式展示出来
- python 如何爬 分页（上一页，1， 2， 3， 下一页）
Python爬虫：如何爬取分页数据？ REF:https://www.cnblogs.com/duwangdan/p/6898391.html 爬取对象： 有融网理财项目列表页【履约中】状态下的前10页数据，地址：...
- 使用WebMagic爬虫框架及javaEE SSH框架将数据保存到数据库（一）
由于近期做毕设，需要从网站上爬取教学资源，下面实现一个简单的爬虫，并将爬取的数据保存到数据库中。 一：有关爬虫框架的选取，我使用的是WebMagic爬虫框架，中文文档：http://webmagic.io/docs/zh/ 它是一个开源...
- Java 爬取信息存入数据库
功能包括抓取新闻信息，保存在数据库中，并根据请求返回相应数据。这里我选取的新闻来源是一点资讯（主要是他的API比较容易获取），抓取和解析选取Jsoup+Gson.运行采取Schedul 定时运行爬虫脚本。
- WebHubBot爬虫分享(每天可抓取500万以上)
PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接 项目爬的是PornHub.com，结构简单，速度飞快 爬取PornHub视频的速度可以达到500万/天以上。具体视个人...
- 爬虫学习笔记(点击加载内容的爬取)-001
今天再爬一个网站时遇到通过jsonp的形式回传后续内容的网站 (如图)： 经过观察发现每点击一个这个按钮，浏览器就会发送两个get请求： 而第一个参数里边返回的内容正好是我们要的东西，此时再看它的url: ...
- Python爬虫从入门到精通——爬虫实战：爬取今日头条图片新闻
本文为实战篇，需提前学习Python爬虫从入门到精通中《基本库requests的使用》和《Ajax数据爬取（一）：基本原理》、《Ajax数据爬取（二）：分析方法》和《Ajax数据爬取（三）：结果提取》的内容。 在抓取之前，首先...
- 求教！！！如何使用Python爬取ASPX网站中翻页URL不改变的网页内容？
最近在爬取一些网站获取少量数据，但是发现这个网站并不能用平常的构造表单来post，请大家帮忙看看啊 网站链接：所爬取的网站链接 其实主要是想获取以下的两个参数来构造表单进行翻页： function __doPostBack...
- python 如何爬取url翻页不变的网址
我需要爬取这个网站每一家公司的详细信息，我的思路是通过这个主页面爬取所有详情页面的网址，然后再打开详情页面（公司详细信息页面）爬取需要的数据。我现在面临的问题是，这个网址翻页时网址没有发生变化，在网上...
- 爬虫-将网页数据写入word中
之前公司项目有个很奇葩的需求，希望能将网页数据爬取下来并保存到word中，要求与网页上一模一样，包括网页上图表内容。 这里以静态网页为例。首先展示下最终结果： 原网页部分截图内容： 通过爬虫写入...
- Python爬虫项目，获取所有网站上的新闻，并保存到数据库中，解析html网页等(未完待续)
爬取虎嗅网站的所有新闻，并保存到数据库中。 http://www.huxiu.com技术： 1、爬虫 获取服务器的资源（urllib） 解析html网页（BeautifulSoup） 2、数据库技术 数据库 MySQLdb 业务逻辑的分析： （1）、虎嗅...
- php爬虫——以爬取图片为例
爬虫的一般思路如下： 分析目标源所有url抓取URL分析内容入库 现在以抓取一个图片为主的网站为例，爬取其中的图片。 网站名称：堆糖网 域名：https://www.duitang.com/ 需抓取的分类／频道：时尚穿搭、美妆造型、...
- 爬取跳页后url不变的网页数据
该网页上的内容为与脑疾病有关的蛋白质基因等数据，对于跳页后URL变化的网站，可以观察url的变化情况，从而用一个循环就可爬取不同页面的数据内容。 但目标网页跳页后url未变化，是用了js跳页，针对这种情况，我在...
- 爬虫如何爬取微信公众号文章
1、利用爬虫爬取数据最基本的也是最重要的就是找到目标网站的url地址，然后遍历地址逐个或多线程爬取，一般后续的爬取地址主要通过两种方式获取，一是根据网页的分页，推算出url地址的规律，一般是后...
- python爬虫实战二、多页爬取全篇小说并分章节保存本地
多页爬取全篇小说并分章节保存本地 有需要爬取一些文章来满足自己开发的实际需要，以下以爬取经典小说《西游记》为例，共计101回。 在开始之前我们需要导入我们需要的库： ①beautifulsoup4 ②requests ③lxml...