[爬虫]解决ip被封锁的几种方法

本文转载自：http://www.cnblogs.com/JohnABC/p/5275109.html方法1.之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。经验如下： 1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。 2.在有外网IP的机器上，部署代理服务器。 3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处： 1.程序逻辑变

Java获取IP地址:request.getRemoteAddr()警惕

在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr() ，这种方法在大部分情况下都是有效的。但是在通过了Apache,Squid等反向代理软件就不能获取到客户端的真实IP地址了。 如果使用了反向代理软件，将http://192.168.1.110:2046/ 的URL反向代理为http://www.xxx.com/ 的URL时，用request.getRemo

QQ发消息出现红色感叹号，害得我以为好友都把我删了？

今天梗叔下班回家，朋友发消息询问我一些事情，莫名的以为我把他给删了，朋友截屏给我，梗叔平时手机都不会玩的人怎么能说拉黑好友就拉黑好友呢？梗叔心想是不是进了不干净的地方导致...

使用iptables自动封IP的Shell脚本

此脚本用于分析统计secure日记文件，对ssh登录错误次数较多的IP用iptables封掉，可以防止SSH被暴力破解。

2015-08-12NOIP模拟赛

2015-08-12NOIP模拟赛 考试，跪了……但是分析才是最重要滴。 第一题： Description "蓝猫淘气三千问，看蓝猫，我有姿势我自豪！"话说能考上SDFZ的孩纸们肯定都是很有姿势的孩纸们，但是大家普遍偏科，都只有一门科目考得好。已知SDFZ 的入学考试科目数量小于等于10^9，而有n 个学生参加了入学考试。现在SDFZ 要刷人了，招生办每一次

爬虫使用代理防封IP：HTTP Error 403: Forbidden

在写爬虫爬取数据的时候，经常遇到如下的提示, HTTP Error 403: Forbidden 之前已经写了一个使用多个headers 的笔记，但是这种还是只有一个IP 只不过是伪装为不同的浏览器而已， 所以想做到更近一步防止被封，还是需要及时更换不同IP，下面记录一下python 使用代理爬取的过程。 PS: 爬虫尽量不要太频繁的说。。。 解决方法

阿里云ip解封——ip白名单设置

近来学了点HACK技术，心血来潮之下就想实践一下。但是无端黑别人网站也不好，遂对自己部署在阿里云上的网站下手了 自作孽不可活，直接被阿里给拉入ip黑名单了。。 解封办法： 然后往里面添加自己的ip即可，不要填局域网ip，百度搜索ip即可。 往后黑网站还是自己在虚拟机内搭建环境吧

使用Snoopy采集时被封ip怎么办，试试这个解决方法

最近各种网站的采集程序写的比较多，遇到在采某网站时采到100多条时突然发现对方的网站打不开了，猜到肯定被封ip了，用了代理还是会封，这不是办法。在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的U

我能退保吗？？

先看一笔账。2006年7月个人缴纳  养老保险员工实缴            150.00-    医疗保险员工实缴            60.00-    住房公积金员工实缴          726.00-    合计：                      936.00公司缴纳                                                   

看见故人的东西，都要那样地思念他，如果有写着父亲名讳的器物，当然也是父亲存在的一种象征，在儿女的陪葬坑里，存放着许多有父亲名讳的物品，同用他父亲来陪葬，根本没有

古人最看重亲情、孝道，对那种不讲亲情的“不孝之子”，从来都没有好名声，都要受到天下人的诅咒和鄙视。吕不韦在《吕氏春秋・孝行》之中，对于“孝道”这两个字，特别做了以下的阐述：“务本莫贵于孝，人主孝，则名章荣，下服听，天下誉。身者，父母之遗体也，行父母之遗体，敢不敬乎！”其实这是在给秦始皇上一堂特别的“家政课”，而吕不韦说的话，字字句句是有强烈针对性的，充满着对秦始皇寄予衷心期待的。在如何处理父与子关