java httpclient访问asp.net的网站,取不到cookie

awusoft 2011-07-21 09:09:30
最近需要做一个抓取的功能
http://17track.net/Index.html

RB373021971HK

里边的查询是通过ajax查询的
使用浏览器访问http://17track.net/Index.html的时候,使用httpwatch看不到是何时获取到cookie的,只看到一会就sent cookie了,没有看到received cookie.不知道有没有人遇到这样的事情?
使用httpclient访问http://17track.net/Index.html这个地址也是没有获取到cookie.


import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.GetMethod;


public class XCD {

/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
HttpClient client = new HttpClient();
List<Header> headers = new ArrayList<Header>();
headers.add(new Header("Host","17track.net"));
headers.add(new Header("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; CIBA; .NET4.0C; .NET CLR 2.0.50727)"));
headers.add(new Header("Accept","image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/QVOD, application/QVOD, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/xaml+xml, application/x-ms-xbap, application/x-ms-application, */*"));
headers.add(new Header("Accept-Language","zh-cn"));
headers.add(new Header("Accept-Encoding","gzip, deflate,utf-8"));
headers.add(new Header("Accept-Charset","GB2312,utf-8;q=0.7,*;q=0.7"));
headers.add(new Header("Connection","Keep-Alive"));

client.getHostConfiguration().getParams().setParameter("http.default-headers", headers);

GetMethod method2 = new GetMethod("http://17track.net/Index.html");
method2.getParams().setCookiePolicy(CookiePolicy.DEFAULT);
try {
System.out.println(client.executeMethod(method2));
//System.out.println(method2.getResponseBodyAsString());
System.out.println(client.getState().getCookies().length);
} catch (HttpException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

}




asp.net的大牛们,谁有空帮我分析分析啊.为什么取不到cookie?而使用浏览器却又可以得到cookie?
...全文
196 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
hx163163 2012-06-22
  • 打赏
  • 举报
回复
我也想知道
awusoft 2011-07-21
  • 打赏
  • 举报
回复
楼上的大虾~~可不可以帮我按题目里的URL帮我写一下啊?
子夜__ 2011-07-21
  • 打赏
  • 举报
回复
HttpClient httpClient = new DefaultHttpClient();   
HttpClientParams.setCookiePolicy(httpClient.getParams(), CookiePolicy.BROWSER_COMPATIBILITY);
HttpHost httpHost = new HttpHost("localhost");
HttpGet httpGet = new HttpGet("/https/");

HttpResponse response = httpClient.execute(httpHost,httpGet);

if(HttpStatus.SC_OK==response.getStatusLine().getStatusCode()){
//请求成功
//取得请求内容
HttpEntity entity = response.getEntity();
//显示内容
if (entity != null) {
// 显示结果
System.out.println(EntityUtils.toString(entity,"utf-8"));
}
}
//模拟写cookie
httpGet = new HttpGet("/https/index.jsp?cookie=write");
response = httpClient.execute(httpHost,httpGet);
FileWriter fw = new FileWriter("C:/cookie.txt");
//读取cookie并保存文件
List<Cookie> cookies = ((AbstractHttpClient) httpClient).getCookieStore().getCookies();
if (cookies.isEmpty()) {
System.out.println("None");
} else {
for (int i = 0; i < cookies.size(); i++) {
System.out.println("- " + cookies.get(i).toString());
fw.write(cookies.get(i).toString()+"\r\n");
}
}
fw.close();

if(HttpStatus.SC_OK==response.getStatusLine().getStatusCode()){
//请求成功
//取得请求内容
HttpEntity entity = response.getEntity();
//显示内容
if (entity != null) {
// 显示结果
System.out.println(EntityUtils.toString(entity,"utf-8"));
}
}
http://www.xd-tech.com.cn/blog/article.asp?id=34一般的情况下我们都是使用IE或者Navigator浏览器来访问一个WEB服务器,用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面有的仅仅是一些普通的页面,有的需要用户登录后方可使用,或者需要认证以及是一些通过加密方式传输,例如HTTPS。目前我们使用的浏览器处理这些情况都不会构成问题。不过你可能在某些时候需要通过程序来访问这样的一些页面,比如从别人的网页中“偷”一些数据;利用某些站点提供的页面来完成某种功能,例如说我们想知道某个手机号码的归属地而我们自己又没有这样的数据,因此只好借助其他公司已有的网站来完成这个功能,这个时候我们需要向网页提交手机号码并从返回的页面中解析出我们想要的数据来。如果对方仅仅是一个很简单的页面,那我们的程序会很简单,本文也就没有必要大张旗鼓的在这里浪费口舌。但是考虑到一些服务授权的问题,很多公司提供的页面往往并不是可以通过一个简单的URL就可以访问的,而必须经过注册然后登录后方可使用提供服务的页面,这个时候就涉及到COOKIE问题的处理。我们知道目前流行的***页技术例如ASP、JSP无不是通过COOKIE来处理会话信息的。为了使我们的程序能使用别人所提供的服务页面,就要求程序首先登录后再访问服务页面,这过程就需要自行处理cookie,想想当你用java.net.HttpURLConnection来完成这些功能时是多么恐怖的事情啊!况且这仅仅是我们所说的顽固的WEB服务器中的一个很常见的“顽固”!再有如通过HTTP来上传文件呢?不需要头疼,这些问题有了“它”就很容易解决了! 我们不可能列举所有可能的顽固,我们会针对几种最常见的问题进行处理。当然了,正如前面说到的,如果我们自己使用java.net.HttpURLConnection来搞定这些问题是很恐怖的事情,因此在开始之前我们先要介绍一下一个开放源码的项目,这个项目就是Apache开源组织中的httpclient,它隶属于Jakarta的commons项目,目前的版本是2.0RC2。commons下本来已经有一个net的子项目,但是又把httpclient单独提出来,可见http服务器的访问绝非易事。Commons-httpclient项目就是专门设计来简化HTTP客户端与服务器进行各种通讯编程。通过它可以让原来很头疼的事情现在轻松的解决,例如你不再管是HTTP或者HTTPS的通讯方式,告诉它你想使用HTTPS方式,剩下的事情交给httpclient替你完成。本文会针对我们在编写HTTP客户端程序时经常碰到的几个问题进行分别介绍如何使用httpclient来解决它们,为了让读者更快的熟悉这个项目我们最开始先给出一个简单的例子来读一个网页的内容,然后循序渐进解决掉前进中的所形侍狻?/font>

62,074

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧