求教关于 HttpClient 抓取页面返回403,请大神赐教啊!

lyl070218 2013-07-08 09:02:15

HttpClient httpClient = new HttpClient();
GetMethod getMethod = new GetMethod(url);
try
{
int result = httpClient.executeMethod(getMethod);
System.out.println(result);
}
catch (HttpException e)
{
e.printStackTrace();
}
catch (IOException e)
{
e.printStackTrace();
}
finally
{
if (getMethod != null)
{
getMethod.releaseConnection();
}
}


在抓取http://www.giveyousomecolortoseesee.com 给你些颜色看看 搜索页面的时候会返回403。
例如url 值为http://www.giveyousomecolortoseesee.com/search_2_dnf.htm 即搜索的关键词是dnf(使用代码抓取前未使用浏览器使用dnf该关键词进行检索),返回的结果为403。如果之前使用浏览器对dnf关键词进行过检索则能够拿到正确的返回值200,由于刚接触这块的内容 比较迷惑 所以发出来求教,不胜感激
...全文
499 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
helloworldsss 2015-08-07
  • 打赏
  • 举报
回复
引用 2 楼 l0000014699 的回复:
http://blog.csdn.net/strawbingo/article/details/5746107
正解啊!!!!十分感谢。
soujiro 2014-07-07
  • 打赏
  • 举报
回复
引用 4 楼 lyl070218 的回复:
[quote=引用 3 楼 l0000014699 的回复:] 你可以去看看这个,上面有一些伪装浏览器Header的代码 可以试试 成功了给分哦
现在将那段设置Headers信息的代码整进来了 数据果然是拿到了 [/quote] 请问一下 method.setRequestHeader("Referer", referer); 这个referer 是什么意思?
lyl070218 2013-07-08
  • 打赏
  • 举报
回复
引用 3 楼 l0000014699 的回复:
你可以去看看这个,上面有一些伪装浏览器Header的代码 可以试试 成功了给分哦
现在将那段设置Headers信息的代码整进来了 数据果然是拿到了
l0000014699 2013-07-08
  • 打赏
  • 举报
回复
你可以去看看这个,上面有一些伪装浏览器Header的代码 可以试试 成功了给分哦
l0000014699 2013-07-08
  • 打赏
  • 举报
回复
http://blog.csdn.net/strawbingo/article/details/5746107
lyl070218 2013-07-08
  • 打赏
  • 举报
回复
自己先顶!万恶的周一 大家打起精神啊!

81,095

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧