请指教有关于302网页临时重定向的问题~~~

米纳斯提力斯 2017-08-24 11:24:30
学习java
因为之前写过php的curl爬虫,所以对原理稍微有点了解,于是第一个就拿来练手了.

然后成功的写完了这个 各种类 对象 arrayList IO流什么的 也可以成功下载一个简单的图片网站了

mmjpg.com哈

但是当天只下载了100个网页 本来就是学习 也没想怎么着人家

结果第二天重新爬 就不行了 所有的页面都是302定向给了一个页面.

我尝试换过Ip 无痕浏览浏览器打开 也容易出现302的问题

实在是不知道怎么解决了 请教一下大神们? 这是什么原因呢 应该从哪些思路上思考呢?

1.cookie
2.useragentlocation
3.ip
4有个大神告诉我看请求头的location,但是我仔细看了location,根本就没有location链接.

这个应该怎么处理呢?
...全文
348 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
Nlxfzx 2017-08-26
  • 打赏
  • 举报
回复
可以试试代理ip池,设定多久时间来更改一次ip爬取
米纳斯提力斯 2017-08-26
  • 打赏
  • 举报
回复
没有大神指点吗?

51,397

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧