抓取时ip被封禁问题

天心流水 2013-11-24 10:33:15

最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？

...全文

230 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

天心流水 2013-11-25

打赏
举报

引用 1 楼 iasky 的回复:

应该是访问太频繁了。

那该如何解决呢，sleep吗，但是要抓取的数据量很大，如果sleep的话根本没那么多时间抓

iasky 2013-11-25

打赏
举报

应该是访问太频繁了。

天心流水 2013-11-25

打赏
举报

引用 3 楼 PhpNewnew 的回复:

并且用snoopy进行了伪造了ip 这个是忽悠你的..

额，原来如此

邪恶泡泡 2013-11-25

打赏
举报

抓太快管你是谁啊，照封

螃蟹k3179 2013-11-25

打赏
举报

能伪造ip？这。。。

黄袍披身 2013-11-25

打赏
举报

并且用snoopy进行了伪造了ip 这个是忽悠你的..

ipool 提供公开代理ip的抓取，以及代理的管理后台，以及代理的展示后台。目前是使用scrapy来抓取，上的公开代理，使用flask来管理抓取到的代理，以及对其它爬虫提供代理服务，使用react + flux来管理代理的后台页面。但正在做迁移，代理后台决定由flask改版为rails，开发进行中。对网络上公开代理的网站进行抓取，提取公开代理供自己使用，目前抓取了，后续估计会增加新的抓取站点如usproxy。使用和, 以及和提供的api服务，进行网页展示和用户交互目前正常工作的版本使用的是, 但正在将代码改版为rails 主要会碰到的问题代理的质量不好，应该通过购买私人ip，或者抓取更多的公开代理，甚至利用本机的外网ip 判定一个代理是否还可用, 有时候一个代理只是临时不可用，也许1个小时候，就又回复正常了，而我们可能会永久封禁它代理的选择策略，如一直选择成功率最高的

1、搜索引擎为用户展现的每一条搜索结果，都对应着互联网上的一个页面。每一条搜索结果从产生到被搜索引擎展现给用户，都需要经过四个过程：抓取、过滤、建立索引和输出结果。 2、百度蜘蛛会通过搜索引擎系统的计算，来决定对哪些网站施行抓取，以及抓取的内容和频率值。当您的网站产生新内容时，Baiduspider会通过互联网中某个指向该页面的链接进行访问和抓取，如果您没有设置任何外部链接指向网站中的新增内容，则Baiduspider是无法对其进行抓取的。对于已被抓取过的内容，搜索引擎会对抓取的页面进行记录，并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。 3、明显作弊行为有哪些? ①出售首页的友情链接。 ②大量采集其他网站的。。。。。。。。。。。。。。。 22、利用热门关键词做SEO的 “关键词爆破法”，短期内可能会有收益，但长远来看不利于主动访问用户的养成，有可能影响到搜索引擎对站点的评级。 23、如果链接成为死链之前已被百度搜索引擎收录，设置404后请不要再设置robots封禁，否则会影响搜索引擎对链接的判断和处理。 24、站点ip变更怎么办？登录百度站长平台，使用抓取诊断工具，抓取诊断工具会检查站点与百度的连接是否畅通，若站长发现IP信息还是老旧的，可以通过“报错”通知百度搜索引擎更新IP。由于spider精力有限，如遇报错后网站IP依旧没有变化，站长可进行多次尝试，直至达到预期。 25、抓取诊断工具可以做什么呢？ ①诊断抓取内容是否符合预期。例如很多商品详情页面，价格信息是通过JavaScript输出的，对百度蜘蛛不友好，价格信息较难在搜索中应用。问题修正后，可用诊断工具再次抓取检验。 ②诊断网页是否被加入黑链接和隐藏文本。网站被黑后加上的隐藏链接从网页表面无法观察看到，这些链接可能只在百度抓取时才会出现，可以通过抓取诊断工具进行检查。 ③邀请Baiduspider。如果网站有新页面或页面内容有更新，百度蜘蛛却较长时间没有来过，此时可以通过抓取诊断工具邀请Baiduspider快速来抓取。 26、多域名同内容的常见问题。 ①多个域名指向同一个域名算是作弊么?

学习利用抓取股票信息

网络爬虫一般分为传统爬虫和聚焦爬虫。传统爬虫从一个或若干个初始网页的URL开始，抓取网页时不断从当前页面上抽取新的URL放入队列，直到满足系统的一定条件才停止，即通过源码解析来获得想要的内容。聚焦爬虫需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入待抓取的URL队列，再根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到满足系统的一定条件时停止。另外，所有被爬虫抓取的网页都将会被系统存储、分析、过滤，并建立索引，以便之后的查询和检索;对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。防爬虫:KS-WAF（网站统一防护系统）将爬虫行为分为搜索引擎爬虫及扫描程序爬虫，可屏蔽特定的搜索引擎爬虫节省带宽和性能，也可屏蔽扫描程序爬虫，避免网站被恶意抓取页面。使用防爬虫机制的基本上是企业，我们平时也能见到一些对抗爬虫的经典方式，如图片验证码、滑块验证、封禁 IP等等。 ———————————————— 版权声明：本文为CSDN博主「酒酿小小丸子」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文

基础编程

21,886

社区成员

140,364

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章