httpClient连接网站的问题 (URL带参数)

wzw12315 2018-10-09 05:36:25
	private int getTotalPages() {

int num = 0;
// 通过httpClient获取网页响应,将返回的响应解析为纯文本
String url = "http://datainterface.eastmoney.com//EM_DataCenter/js.aspx?type=SR&sty=GGSR&js={%22data%22:[(x)],%22pages%22:%22(pc)%22,%22update%22:%22(ud)%22,%22count%22:%22(count)%22}&ps=50&p=2&mkt=0&stat=0&cmd=2&code=&rt=51302552";
HttpGet httpGet = new HttpGet(url);

httpGet.setConfig(RequestConfig.custom().setSocketTimeout(30000).setConnectTimeout(30000).build());
CloseableHttpClient httpClient = null;
CloseableHttpResponse response = null;

String responseStr = "";
try {
httpClient = HttpClientBuilder.create().build();
HttpClientContext context = HttpClientContext.create();
response = httpClient.execute(httpGet, context);
int state = response.getStatusLine().getStatusCode();
if (state != 200)
responseStr = "";
HttpEntity entity = response.getEntity();
if (entity != null)
responseStr = EntityUtils.toString(entity, "UTF-8");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (response != null)
response.close();
if (httpClient != null)
httpClient.close();
} catch (Exception ex) {
ex.printStackTrace();
}
}

if (responseStr == null)
return 0;

JSONObject jsonbs = JSON.parseObject(responseStr);

num = Integer.parseInt(jsonbs.getString("pages"));

return num;
}



maven依赖包
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpcore</artifactId>
<version>4.4.3</version>
</dependency>

<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.2</version>
</dependency>

代码如上,我直接使用代码中的URL(带了请求参数的)放到浏览器的网址框中运行,是可以正确打开网页的,但是使用httpclient方式又不行了,报 Source not found.的错误;如果代码的URL不带参数,倒是可以返回来200,表示正确响应了。
但是换了其他网址也是带请求参数的,httpclient又可以正确运行

这是什么原因呢?是东方财富网址使用了一些什么技术设置了吗?还是httpclient需要设置一些参数才可以正确使用??

...全文
407 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
waxf523 2018-10-10
  • 打赏
  • 举报
回复
实在不行就换OkHttpClient对象实现

50,527

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧