HttpURLConnection在通过POST请求获取数据时失败的原因

weixin_38051170 2018-01-09 08:39:04
导师在做政府治理方面的研究,让我在人民网上爬取一下留言问政的信息,我看了一下不光是静态页面,还有动态加载的数据需要爬取,就尝试HttpURLConnection的POST请求,虽然请求成功了,但是返回结果总是失败,对网络这块还是不够了解,明明不需要登录,也应该不存在session的问题吧,服务器是怎么过滤掉我的请求的,求大神指点。
...全文
443 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38056418 2018-01-09
  • 打赏
  • 举报
回复
刚才试着把request header里面的属性和值写到post请求中(httpURLConnection.setRequestProperty("Referer","http://liuyan.people.com.cn/threads/list?fid=539");),居然误打误撞解决了,看来referer在服务器端需要验证
weixin_38066087 2018-01-09
  • 打赏
  • 举报
回复
你不上代码。别人怎么帮你看

476

社区成员

发帖
与我相关
我的任务
社区描述
其他技术讨论专区
其他 技术论坛(原bbs)
社区管理员
  • 其他技术讨论专区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧