社区
其它技术问题
帖子详情
数据抓取中关于屏蔽ip的问题
zpp501085
2014-06-30 12:42:07
我现在在做数据抓取的工作，现在遇到的问题是频繁的去抓取网页的数据时，出现了封ip的现象，使用代理也没有办法解决，想求教一下，有什么方法可以实现频繁抓取而不被屏蔽ip
...全文
216
1
打赏
收藏
数据抓取中关于屏蔽ip的问题
我现在在做数据抓取的工作，现在遇到的问题是频繁的去抓取网页的数据时，出现了封ip的现象，使用代理也没有办法解决，想求教一下，有什么方法可以实现频繁抓取而不被屏蔽ip
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
赵4老师
2014-06-30
打赏
举报
回复
使用拨号上网，断开重连后IP会变的。
java
抓取
数据
+破解
屏蔽
ip
访问【多…
本文介绍了如何使用Java
抓取
数据
并应对服务器
屏蔽
IP
的策略。通过动态改变
IP
或者使用代理
IP
来绕过限制。文章提供了拨号获取动态
IP
的Java代码示例，包括拨号连接、断开和重连的实现，以解决
IP
被
屏蔽
的
问题
。
winbox定时重启adsl的方法
本文介绍如何通过Winbox设置自动重启脚本来实现ADSL动态
IP
的定期更换，以此来避免网络
数据
抓取
过程
中
出现的
IP
被
屏蔽
问题
。文
中
详细讲解了设置步骤及测试方法。
抓取
数据
需要注意什么
本文介绍如何解决百度
屏蔽
IP
的
问题
，通过使用
IP
代理和模拟浏览器访问来
抓取
数据
。此外，还讨论了如何设置合理的
抓取
间隔，管理
抓取
任务，并解析多页
数据
的方法。文
中
还提到了一些
抓取
过程
中
的难点，例如相似度计算和
数据
去重算法。
Eastmoney-Spyder：股吧网页
数据
抓取
分析（三）
本文围绕股吧网页
数据
抓取
中
IP
易被
屏蔽
的
问题
，介绍了使用
IP
代理池的解决办法。详细说明了建立爬虫代理
IP
池的原因，以及系统环境（Python、Redis）的配置过程，还介绍了启动Proxy Pool项目、封装函数写入爬虫等步骤，最后提及了常见
问题
。
Eastmoney-Spyder：股吧网页
数据
抓取
分析（一）
本文详细介绍了如何通过Python爬虫
抓取
股吧的阅读、评论、标题、作者和更新时间等
数据
，并解析网页结构获取总页数。在过程
中
遇到动态加载
数据
的
问题
，通过分析HTML源码和使用Chrome的开发者工具找到解决方案。虽然遇到部分帖子结构不同、
IP
被
屏蔽
等
问题
，但最终成功实现了
数据
抓取
。
其它技术问题
3,881
社区成员
9,044
社区内容
发帖
与我相关
我的任务
其它技术问题
C/C++ 其它技术问题
复制链接
扫一扫
分享
社区描述
C/C++ 其它技术问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章
发帖
与我相关
我的任务
分享
