用正则表达式怎么得到Google的搜索结果,首尾都不要,分页也不要,只要第一页的结果,谢谢
我的访问量太大,Google的Web Service限制1000次,
谢谢
kaixin110@msn.com
我的代码:
HtmlParse.java
package snowcity;
import java.io.*;
import java.net.*;
import java.util.*;
import java.util.regex.*;
public class HtmlParse
{
URL url = null;
URLConnection urlconn=null;
boolean is_con=false;
public HtmlParse()
{
}
public StringBuffer getResponse(String address)
{
StringBuffer list=new StringBuffer();
try{
url = new URL(address);
urlconn=(java.net.HttpURLConnection)url.openConnection();
urlconn.setRequestProperty("User-agent","IE/6.0");
is_con=true;
}
catch(Exception e)
{
System.err.println(e.toString());
System.exit(1);
return null;
}
if(is_con)
{ try{
InputStream ins = urlconn.getInputStream();
BufferedReader breader = new BufferedReader(new InputStreamReader(ins));
String info = breader.readLine();
while(info != null)
{
list.append(info);
info = breader.readLine();
} return list;
}
catch(Exception e1){
System.err.println(e1.toString());
System.exit(1);
return null;
}
}
else
return null;
}
public String BeginParse(String address)
{
String regEx="[^(<body)][^(</body>)]+";//<p class=g>*/
HtmlParse aa=new HtmlParse();
String str=aa.getResponse(address).toString();
/*String beginString="<html>";
String endString="</TABLE>";
int begin=str.indexOf(beginString);
int end=str.indexOf(endString);
return str.substring(begin,end);*/
Pattern p=Pattern.compile(regEx);
Matcher m=p.matcher(str);
m.find();
String Strin=m.group();
return Strin;
}
}
相关推荐
编写Python脚本来获取Google搜索结果的示例
主要介绍了编写Python脚本来获取Google搜索结果的示例,也是利用Python编写爬虫的一个简单实现,需要的朋友可以参考下
google搜索结果抓取工具-找GOOGLE资源好东西
google搜索结果抓取工具-找GOOGLE资源好东西
google分页
我1分发布也算免费了吧,,,等下你们打下分刚好一分。。所以是免费资源!我是中国人。所以免费万岁!!!
google-crawler:一个简单的用于获取Google搜索结果的抓取工具
Google搜寻器 一个简单的Crawler,用于获取Google搜索结果。 该组件可用于检索搜索词的100个第一结果。 由于Google会检测到搜寻器并在发出多个请求时阻止IP,因此该组件准备使用某些在线代理服务,例如hide.me。 安装 使用安装最新版本 $ composer require cviniciussdias/google-crawler 用法 爬虫类构造函数原型 CViniciusSDias\GoogleCrawler\Crawler::__construct( SearchTermInterface $searchTerm, GoogleProxyInterface $proxy = null, string $googleDomain = 'google.com', string $countryCode = '' ) 参数 $ searc
基于Python正则表达式提取搜索结果中的站点地址
正则表达式对于Python来说并不是独有的,最近在把google搜索的结果中所有的站点地址导出,于是想到用python正则表达式提取搜索结果中的站点地址。 这其中涉及几个需要解决的问题: 1、获取搜索的结果文本 为了获得更多的地址,我使用了Google的高级搜索功能,每个页面显示100条结果。 获得显示的结果后,可以查看源码,并保持成文本文件就有了搜索的结果文本 2、分析如何提取站点信息 首先需要分析获取的页面,查看以怎样的方式可以提取出站点信息。 我使用IE8自带的开发工具(按F12就会弹出来)中的探查器功能查看自己要关心的内容有什么特殊的格式 从上图可以看出我需要的站点在标签<cite>


Java SE
