Jsoup提取谷歌搜索结果

2014-09-09 04:31:13 304 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

爬虫+jsoup轻松爬知乎本次写的爬虫调用了jsoup jar包，jsoup是优秀的HTML解析器，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据，而且封装了get方法，可以直接调用获取页面。结合谷歌浏览器抓取页面元素快感不断。下面简单介绍一下用法顺便贴个知乎爬知乎的代码。 jsoup包的import就不说了，jsoup最主要用到的就是的elements类和select（）方法。elements 阅读详情

public static void main(String[] args) {

		Document doc = null;

		try{

			doc = Jsoup.connect("https://www.google.com.hk/#newwindow=1&safe=strict&q=java")

			.userAgent("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.17 (KHTML, like Gecko)Chrome/24.0.1312.56 Safari/537.17")

			.timeout(3000).get();

			String body = doc.body().toString();

			String title = doc.title().toString();

			System.out.println(title+"=="+body);

		} catch (IOException e) {

			e.printStackTrace();

		}

	}

以上是我写的利用Jsoup获取谷歌搜索结果的代码，但是输出的title和body内容是www.google.com.hk首页的html代码，不是我要的搜索结果页面的html代码。有哪位大神知道原因吗？求解释一下，先谢谢了。

...全文