-
等级
本版专家分：2045结帖率 100% -
最经做个项目,先写个爬虫爬些 训练数据,可是爬了2个小时IP就被封了,现在应该怎么办,求高手,谁有没有好的想法,或者具体的解决方法...展开阅读全文
-
等级
本版专家分：53 -
限制下采集的频率，比如说 1000ms等待一下。
要不就使用代理或换ip.
如果采集速度过快，后两种也避免不了被封的命运。
-
等级
本版专家分：2045
-
Unable to process request at this time -- error 999
请问一下,这个错误是什么错..
-
等级
本版专家分：53
-
应该是你的采集频率太快了，web服务器返回的错误代码。
具体到网上搜下“909， 错误信息",就应该会有结果。
-
等级
本版专家分：5
-
如果你采集的机器是ADSL拔号的，可以断线重拔号继续采集，如果是固定IP这种，那就想办法使用代理吧
-
等级
本版专家分：2045
-
是固定IP
-
等级
本版专家分：2045
-
我只用了6个线程..
-
等级
本版专家分：13551勋章
-
-
红花
2012年2月 其他开发语言大版内专家分月排行榜第一
2011年12月 其他开发语言大版内专家分月排行榜第一
2011年11月 其他开发语言大版内专家分月排行榜第一
2011年10月 其他开发语言大版内专家分月排行榜第一
2011年9月 其他开发语言大版内专家分月排行榜第一
2011年8月 其他开发语言大版内专家分月排行榜第一
2011年7月 其他开发语言大版内专家分月排行榜第一
2011年6月 其他开发语言大版内专家分月排行榜第一
2011年3月 其他开发语言大版内专家分月排行榜第一
2011年2月 其他开发语言大版内专家分月排行榜第一
2010年11月 其他开发语言大版内专家分月排行榜第一
2010年10月 其他开发语言大版内专家分月排行榜第一
2010年9月 其他开发语言大版内专家分月排行榜第一
2009年3月 其他开发语言大版内专家分月排行榜第一
2007年10月 其他开发语言大版内专家分月排行榜第一
2007年9月 其他开发语言大版内专家分月排行榜第一
2007年7月 其他开发语言大版内专家分月排行榜第一
2007年3月 其他开发语言大版内专家分月排行榜第一
-
-
黄花
2012年1月 其他开发语言大版内专家分月排行榜第二
2011年5月 其他开发语言大版内专家分月排行榜第二
2010年12月 其他开发语言大版内专家分月排行榜第二
2009年2月 其他开发语言大版内专家分月排行榜第二
2008年9月 其他开发语言大版内专家分月排行榜第二
2008年8月 其他开发语言大版内专家分月排行榜第二
2008年5月 其他开发语言大版内专家分月排行榜第二
2007年11月 其他开发语言大版内专家分月排行榜第二
-
-
蓝花
2011年4月 其他开发语言大版内专家分月排行榜第三
2011年1月 其他开发语言大版内专家分月排行榜第三
2009年6月 其他开发语言大版内专家分月排行榜第三
2009年4月 其他开发语言大版内专家分月排行榜第三
2009年1月 其他开发语言大版内专家分月排行榜第三
2008年11月 其他开发语言大版内专家分月排行榜第三
2008年7月 其他开发语言大版内专家分月排行榜第三
2008年6月 其他开发语言大版内专家分月排行榜第三
2006年9月 其他开发语言大版内专家分月排行榜第三
-
-
买个教训吧。连续抓两个小时的数据，显然是恶意抓取了。又是想把百度知道山寨成我知道吗？
-
等级
本版专家分：53
-
根据本人的经验，一个服务器一个线程主，也会出错。
我经手的程序采集时是几十到几百个线程（服务器内存cpu都配置稍高了点）一起采集，一个线程只采集一个站点， 中间还要加上延时。
居然让你采集了二个小时才封你，他们还真是有点照顾你了。
-
等级
本版专家分：2045
-
一个服务器一个线程主,那你怎么判断 哪些已经爬过了..
-
等级
本版专家分：53
-
那不是更好判断了。
比多线程还容易判断。
抓过的网页都有保存的， 我们用的是url标识。
- 爬虫如何防网站封IP？防封有效措施
在数据采集方面来说，爬虫想要采集数据，首先要能突破网站的反爬虫机制，然后还能预防网站封IP，这样才能高效的完成工作。那么爬虫如何防网站封IP？1.多线程采集采集数据，都想尽可能快的采集更多的数据，否则大量的...
- [转]使用Snoopy采集时被封ip怎么办，试试这个解决方法
最近各种网站的采集程序写的比较多，遇到在采某网站时采到100多条时突然发现对方的网站打不开了，猜到肯定被封ip了，用了代理还是会封，这不是办法。在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有...
- 如何解决爬虫ip被封的问题
在这个网络高速发展的时代，各种网络技术层出不穷，网络爬虫就是其中的一种，而且越来越火,大到各种大型网站，,小到微博,汽车,身边所有能在网络上留下信息都都能做为爬虫的目标。但是随着爬虫越来越强,各种网站的反...
- 爬虫时IP总是被封？我来教你一招
（点击上方公众号，我们一起学Python） 阅读文本大概需要 3 分钟。来源：猿人学Python编辑：pk哥在我抓取网站遇到瓶颈，想剑走偏锋去解决时，常常会先去看下该网站的 robo...
- 爬虫与反爬虫
爬虫反爬虫运行现状 真实世界的爬虫比例 哭笑不得的决策思路 爬虫反爬虫技术现状 为python平反 无法绕开的误伤率 前端工程师的逆袭 误伤，还是误伤 爬虫反爬虫套路...
- 爬虫需谨慎!那些你不知道的爬虫反爬虫套路,学起来!
一、爬虫反爬虫运行现状 1、真实世界的爬虫比例 2、哭笑不得的决策思路 二、爬虫反爬虫技术现状 1、为python平反 2、无法绕开的误伤率 3、前端工程师的逆袭 4、误伤，还是误伤 三、爬虫反爬虫套路现状 1、...
- python爬虫用AI技术-破解企业工商数据抓取+网络爬虫+网站数据采集+数据抓取遇到的三大问题
我们在做数据网络爬虫、网站数据采集、网页数据抓取都会遇到的三个问题就是：验证码问题和封IP问题以及账号登录问题 python爬虫-selenium破解封IP+pytesseract破解验证码+AI破解网页加密 一直在it大咖网从事...
- 那些你不知道的爬虫反爬虫套路
第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业...
- Python 网络爬虫实战：爬取 B站《全职高手》20万条评论数据
我们都知道，B站有很多号称“镇站之宝”的视频，拥有着数量极其恐怖的评论和弹幕。所以这次我们的目标就是，爬取B站视频的评论数据，分析其为何会深受大家喜爱。首先去调研一下，B站评论数量最多的视频是哪一个。...
- 想成为Python高手，必须看这篇爬虫原理介绍！（附29个爬虫项目）
互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前...
- 爬虫需谨慎，你不知道的爬虫与反爬虫套路！
爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于...
- 爬虫的现状和反爬虫
第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很...
- 写Python爬虫需要必备哪些技能
网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入...
- Java 那些你不知道的爬虫反爬虫套路
第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很...
- 一个Python爬虫工程师学习养成记
大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、...
- 爬虫？反爬虫！
爬虫与反爬虫，这相爱相杀的一对，在现在你会爬虫是不够的，你还得会反爬虫。 为 Python 平反 首先是爬虫，爬虫教程你到处都可以搜的到，大部分是 Python 写的。 我曾经在一篇文章提到过：用 Python 写的爬虫是最...
- Python爬虫工程师学习养成记
大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、...
- python爬虫初试：B站评论区爬取
Python 网络爬虫实战：爬取 B站《全职高手》20万条评论数据 爬虫翻页技巧 本次爬取目标是最近看的一个很喜欢的描改手书的评论区，链接: 【幸运星】永远都想对战游戏的泉此方【永遠にゲームで対戦したいコナタン】 ...
- 爬虫工程师学习养成路径
当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、...
- 爬虫与反爬虫之间的套路
爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于...
- Python爬虫100个入门项目
淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超清唯美壁纸 爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需...
- 爬虫与反爬虫：一个很不阳光的行业！一文揭秘那些你不知道的套路
前言爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是...
- 干货 | 那些你不知道的爬虫反爬虫套路
转自：崔广宇 携程技术中心 2017-05-22 作者简介 崔广宇，携程酒店... 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这...
- python学习笔记分享(四十一)网络爬虫(8)进阶之HTTP原理，爬虫的基本原理，Cookies和代理介绍
成为爬虫高手需要先了解的...前面，我们学习了有关网络爬虫的一些知识，从有道词典爬取，静态网页，动态网页爬取，还有网页数据的分析与存储，还有一些反爬虫问题的解决办法，以及多线程和多协程的讲解。大家可能（...
- 当你想学习爬虫，写个爬虫时，你到底要知道多少东西
正在上传…重新上传取消当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App ...
- 关于爬虫和反爬
第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很...