关于jsoup的端口问题

2014-12-19 03:11:19 324 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

JAVA之HttpClient+Jsoup实现代理IP爬虫文章目录： 1、httpclient实现get/post请求 2、jsoup解析筛选数据 3、通过httpclient+jsoup爬取代理ip网址上面的ip和端口，并存入数据库 4、筛选数据库中的有效代理IP，并实现代理IP访问 HttpClient（请求数据）：创建httpclient（介绍两种方式）：方式一： CloseableHttpClient httpclient = HttpCli... 阅读详情

由于需求原因，需要爬取很多网站的内容，使用的jsoup来爬取信息，在dos下查看端口号的状态，发现会有很多本机访问外部ip的80端口的本机端口状态为FIN_WAIT_1，这样对本机系统的性能有什么影响，或者说怎样来关闭这些没用的端口？下面是jsoup访问url的代码：

public Document requrstDocumnet(String url) {

		Document doc = null;

		try {

			doc = Jsoup.connect(url).userAgent("浏览器user-agent").timeout(5000).get();

		} catch (Exception e) {

			// e.printStackTrace();

			return null;

		}

		return doc;

	}

还有就是设置了请求头信息的：

public Document getDoc(String url){

		Document doc = null;

		try {

			doc = Jsoup.connect(url)

			 .header("Host", "www.google.com.hk")

			 .header("User-Agent", "浏览器user-agent")

			 .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")

			 .header("Accept-Language", "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3")

			 .header("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7")

			 .header("Connection", "keep-alive")

			 .cookie("auth", "token")

			 .timeout(5000)

			 .get();

		} catch (IOException e) {

//			e.printStackTrace();

			return null;

		}

		return doc;

	}