WebDriver实现动态IP抓取数据

MrRohwei 2017-05-19 01:39:01
如题,目前项目组负责用webdriver抓取各个网页的数据,可是用同一个IP抓取时间久了可能就会被封,现在想实现以下动态IP抓取数据,百度搜都没有这个东西。望各位大神帮忙解答一下!
...全文
430 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
MrRohwei 2017-05-22
  • 打赏
  • 举报
回复
引用 3 楼 qq_33886281 的回复:
[quote=引用 2 楼 Mr_Rohwei 的回复:] [quote=引用 1 楼 qq_33886281 的回复:] 分布式爬虫 但是可能左右也不是很好 如果对方云防护很屌的话 如果可以 使用vpn 挂tor 这个可以达到真正的ip变的
公司就是用这个爬数据,其实我也没接触过这个东西![/quote] 我没系统系统做过爬虫 但是系统学过 你要达到变ip 仅仅一个webdriver肯定是不够用的[/quote] 我也是刚开始接触这个东西。其实我也不懂
qq_33886281 2017-05-19
  • 打赏
  • 举报
回复
引用 2 楼 Mr_Rohwei 的回复:
[quote=引用 1 楼 qq_33886281 的回复:] 分布式爬虫 但是可能左右也不是很好 如果对方云防护很屌的话 如果可以 使用vpn 挂tor 这个可以达到真正的ip变的
公司就是用这个爬数据,其实我也没接触过这个东西![/quote] 我没系统系统做过爬虫 但是系统学过 你要达到变ip 仅仅一个webdriver肯定是不够用的
MrRohwei 2017-05-19
  • 打赏
  • 举报
回复
引用 1 楼 qq_33886281 的回复:
分布式爬虫 但是可能左右也不是很好 如果对方云防护很屌的话 如果可以 使用vpn 挂tor 这个可以达到真正的ip变的
公司就是用这个爬数据,其实我也没接触过这个东西!
qq_33886281 2017-05-19
  • 打赏
  • 举报
回复
分布式爬虫 但是可能左右也不是很好 如果对方云防护很屌的话 如果可以 使用vpn 挂tor 这个可以达到真正的ip变的

81,092

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧