Jsoup抓取谷歌数据,出现connect timeout,求大神!!!之前还好好的。后面突然抛出这个错

Forever_Nana Forever_Nana 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
上代码:
这是抓取需要的数据,之前是能抓到的。

public static List<JsoupBean> jsoup(String keywords) throws IOException {
List<JsoupBean> list = new ArrayList<JsoupBean>();
System.out.println("开始抓取!");
String url = "https://www.google.com.hk/search?safe=strict&hl=zh-CN&tbs=qdr:m&lr=lang_zh-CN%7Clang_zh-TW&site=webhp&source=hp&q="+keywords;//Google
System.out.println("抓取关键字为:"+keywords);
System.out.println("抓取地址为:"+url);
Document doc = Jsoup.connect(url).timeout(6000).header("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2").get();
Elements rs = doc.select("h3.r>a");
for (Element element : rs) {
JsoupBean bean = new JsoupBean();
if (element != null && element.parent() != null && element.parent().nextElementSibling() != null) {
Elements cites = element.parent().nextElementSibling().select("cite");
for (Element cite : cites) {
Element span = cite.parent().nextElementSibling();
if (cite != null && cite.parent() != null && span != null) {
String describe = span.text().equals("") || span.text() == null ? null : span.text();
bean.setDescribe(describe);
String html = cite.text().equals("") || cite.text() == null ? null : cite.text();
bean.setHtml(html);
}
}
}
String title = element.text();
bean.setTitle(title);
list.add(bean);
}
System.out.println("抓取结束!");
return list;
}

这是测试

/*插入数据操作*/
public int addJsoupDate(){
List<Object> list=null;
String sql;
list=new ArrayList<Object>();
sql ="insert into t_link(title,url,describer,createTime,status,platformId)values";
try {
List<JsoupBean> code =JsoupDate.jsoup(date[1]);
for(JsoupBean bean:code){
sql+="(?,?,?,now(),0,4),";
list.add(bean.getTitle());
list.add(bean.getHtml());
list.add(bean.getDescribe());
}
sql = sql.substring(0,sql.length()-1);
System.out.println(sql);
} catch (Exception e) {
e.printStackTrace();
}
return this.update(sql, (ArrayList<Object>) list);
}
...全文

相关推荐

评论 6
收藏 已收藏
分享
返回顶部
Forever_Nana
Java 51,407 成员 86,128 内容