Jsoup抓取谷歌数据,出现connect timeout,求大神!!!之前还好好的。后面突然抛出这个错
上代码:
这是抓取需要的数据,之前是能抓到的。
这是测试
这是抓取需要的数据,之前是能抓到的。
public static List<JsoupBean> jsoup(String keywords) throws IOException {
List<JsoupBean> list = new ArrayList<JsoupBean>();
System.out.println("开始抓取!");
String url = "https://www.google.com.hk/search?safe=strict&hl=zh-CN&tbs=qdr:m&lr=lang_zh-CN%7Clang_zh-TW&site=webhp&source=hp&q="+keywords;//Google
System.out.println("抓取关键字为:"+keywords);
System.out.println("抓取地址为:"+url);
Document doc = Jsoup.connect(url).timeout(6000).header("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2").get();
Elements rs = doc.select("h3.r>a");
for (Element element : rs) {
JsoupBean bean = new JsoupBean();
if (element != null && element.parent() != null && element.parent().nextElementSibling() != null) {
Elements cites = element.parent().nextElementSibling().select("cite");
for (Element cite : cites) {
Element span = cite.parent().nextElementSibling();
if (cite != null && cite.parent() != null && span != null) {
String describe = span.text().equals("") || span.text() == null ? null : span.text();
bean.setDescribe(describe);
String html = cite.text().equals("") || cite.text() == null ? null : cite.text();
bean.setHtml(html);
}
}
}
String title = element.text();
bean.setTitle(title);
list.add(bean);
}
System.out.println("抓取结束!");
return list;
}
这是测试
/*插入数据操作*/
public int addJsoupDate(){
List<Object> list=null;
String sql;
list=new ArrayList<Object>();
sql ="insert into t_link(title,url,describer,createTime,status,platformId)values";
try {
List<JsoupBean> code =JsoupDate.jsoup(date[1]);
for(JsoupBean bean:code){
sql+="(?,?,?,now(),0,4),";
list.add(bean.getTitle());
list.add(bean.getHtml());
list.add(bean.getDescribe());
}
sql = sql.substring(0,sql.length()-1);
System.out.println(sql);
} catch (Exception e) {
e.printStackTrace();
}
return this.update(sql, (ArrayList<Object>) list);
}
...全文
相关推荐
android使用Jsoup 抓取页面的数据
本篇文章主要介绍了android使用Jsoup 抓取页面的数据,jsoup 是一款Java的HTML解析器,有需要的朋友可以了解一下。
用jsoup抓取网页数据
抓取网页上想要的内容~最后转化成json格式
java使用Jsoup连接网站超时的解决方法
jsoup是一个非常好的解析网页的包,用java开发的,提供了类似DOM,CSS选择器的方式来查找和提取文档中的内容,提取文档内容时会出现超时的情况,解决方法可看下
Java爬虫 信息抓取的实现
本文主要介绍 Java爬虫 信息抓取的实现,这里详细介绍了如何实现该方法,并附示例代码供大家学习参考,有兴趣的小伙伴可以参考下
关于android之Jsoup解析
使用jsoup对_HTML文档进行解析和操作,解析网上任意的html页面


