关于HttpURLConnection抓取数据502异常问题

2014-09-11 10:01:47 824 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Android APK连不上服务器？一文解决明文HTTP流量拦截问题在移动应用开发中，真机调试与正式包发布后频繁出现网络连接失败、超时或白屏，常源于系统对明文HTTP流量的安全限制。Android 9.0起默认禁止未加密的HTTP请求，导致开发环境正常而生产环境失联。理解网络安全策略的演变是定位问题的关键，通过networkSecurityConfig可精细管控特定域名放行明文流量，而usesCleartextTraffic则提供全局快速验证的临时方案。对于长期运营的产品，迁移至HTTPS才是根本解决之道，同时需处理证书信任与混合内容等细节。本文从报错识别到配置实践，系统梳阅读详情

描述：我想连续抓取2000多组天气数据存储在文件中，使用代理IP和端口号，利用HttpURLConnection获取网络接口数据。
问题：[b]1.单个抓取每一组数据都没有问题；
2.抓取过程中间断开的地方每次不一样，有抓100多组数据后断开的也有1000多组后断开的；
3.程序报异常：java.io.IOException: Server returned HTTP response code: 502 for URL: http://open.weather.com.cn/data/?areaid=101031400&type=forecast3d&date=201409110939&..................................
但是URL是没问题的，每次断开地方也不一样。
4.是否是网络原因导致中断？如果不能保证网络怎么能加强程序健壮性，让每次断开后还能继续抓取，直至2000多组数据抓取完毕?
求指教~
部分代码如下：（原来比这些简化，也没用post，后来看网上说的一步步加了一些setDoOutput、setDoInput、setConnectTimeout之类的，还是不行）[/b]



public String getURLContent(String urlStr, String encode) throws Exception{

		

		if(isProxyEnabled){

			Properties prop = System.getProperties();      

			prop.setProperty("http.proxyHost", proxyHost);     

			prop.setProperty("http.proxyPort", proxyPort);

		}

 

		URL url = new URL(urlStr);  

		HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();

		httpConn.setDoOutput(true);

		httpConn.setDoInput(true);

		httpConn.setUseCaches(false);

		httpConn.setRequestMethod("POST");

		httpConn.setInstanceFollowRedirects(true);

		httpConn.connect();

		httpConn.setConnectTimeout(3000);

		httpConn.setReadTimeout(3000);

		DataOutputStream out = new DataOutputStream(httpConn.getOutputStream());

		out.flush();

        out.close();

		//OutputStream outStrm = httpConn.getOutputStream();

		BufferedReader bufReader;

		StringBuilder contentBuf = new StringBuilder(1024*100);

		try{

				bufReader = new BufferedReader(new InputStreamReader(httpConn.getInputStream(), encode)); 

				String line = "";  

				while ((line = bufReader.readLine()) != null) {  

					contentBuf.append(line);  

				}  

				bufReader.close();

		}

		catch(Exception e){

			e.printStackTrace();

		}

		httpConn.disconnect();

		return new String(contentBuf);

	}