自动从网页上抓取一些内容的软件

[danxuezx]

大家有没有用过一些指定一些关键字自动从互联网上抓取一些内容的软件？

帮忙推荐一两款~~

[danxuezx]

引用 8 楼 BeanJoy 的回复:

[quote=引用 7 楼 shen_wei 的回复:] 那你可以去抓去 百度搜索的内容。。分析这个就可以了

这是个思路。 我实习的时候做的东西就是这么干的，直接搜索google视频，然后把视频信息提取出来，展示给用户看。[/quote] 这是个方法，这样的话难度就在于自己分析了。百度和google有API的吧

[BeanJoy]

引用 9 楼 danxuezx 的回复:

[quote=引用 8 楼 BeanJoy 的回复:] [quote=引用 7 楼 shen_wei 的回复:] 那你可以去抓去 百度搜索的内容。。分析这个就可以了

这是个思路。 我实习的时候做的东西就是这么干的，直接搜索google视频，然后把视频信息提取出来，展示给用户看。[/quote] 这是个方法，这样的话难度就在于自己分析了。百度和google有API的吧[/quote] 如果百度和google的api，我们当初就不会那么傻的去分析网页了。 我们当初用的是QT，好像是用JS代码来获取网页中的元素。

[danxuezx]

引用 10 楼 BeanJoy 的回复:

[quote=引用 9 楼 danxuezx 的回复:] [quote=引用 8 楼 BeanJoy 的回复:] [quote=引用 7 楼 shen_wei 的回复:] 那你可以去抓去 百度搜索的内容。。分析这个就可以了

这是个思路。 我实习的时候做的东西就是这么干的，直接搜索google视频，然后把视频信息提取出来，展示给用户看。[/quote] 这是个方法，这样的话难度就在于自己分析了。百度和google有API的吧[/quote] 如果百度和google的api，我们当初就不会那么傻的去分析网页了。 我们当初用的是QT，好像是用JS代码来获取网页中的元素。[/quote] 你有可运行的exe吗，享受下你们的成果~~

[BeanJoy]

引用 11 楼 danxuezx 的回复:

[quote=引用 10 楼 BeanJoy 的回复:] [quote=引用 9 楼 danxuezx 的回复:] [quote=引用 8 楼 BeanJoy 的回复:] [quote=引用 7 楼 shen_wei 的回复:] 那你可以去抓去 百度搜索的内容。。分析这个就可以了

这是个思路。 我实习的时候做的东西就是这么干的，直接搜索google视频，然后把视频信息提取出来，展示给用户看。[/quote] 这是个方法，这样的话难度就在于自己分析了。百度和google有API的吧[/quote] 如果百度和google的api，我们当初就不会那么傻的去分析网页了。 我们当初用的是QT，好像是用JS代码来获取网页中的元素。[/quote] 你有可运行的exe吗，享受下你们的成果~~[/quote] 是10年实习的东西了，没有存档。 都是签了保密协议的，离开公司的时候就把所有相关的东西都删了。

[青松2]

http://nj.newhua.com/soft/41660.htm 大汉信息抓取系统针对不同行业用户的实际应用，以Internet信息抓取为目的的跨平台软件，主要用于指定网络信息的抓取，实现在用户自定义的规则下，自动从互联网上的HTTP服务器（或其它服务器）上抓取指定信息的功能。用于内部使用或外网发布，快速实现信息的全面共享。 　　大汉信息抓取系统是基于HTTP协议的一种文件搜寻处理方式，完成在管理员的设定下，定时运行、自动在网络中进行相关资料的搜寻，并将搜寻到的文档下载、分类、整理后存储到服务器的功能。 　　基于导出接口，信息抓取系统可实现与第三方应用系统对接，实现将抓取的信息自动导入。第三方系统要求基于XML标准，开发环境须支持ASP、PHP、JSP，且为B/X架构

[yaozhiyong110]

这个没有 估计网上也很少这样的程序(这不就是搜索引擎？)...

[danxuezx]

引用 2 楼 yaozhiyong110 的回复:

这个没有 估计网上也很少这样的程序(这不就是搜索引擎？)...

的确是搜索引擎的核心。不过我要做的事情比较简单，比如输入搜狗拼音输入法，能够从互联网上得到一些关于它的描述。或者有没有专门的网站来干这事，专门提供一些软件描述信息功能。

[danxuezx]

引用 1 楼 lhfslhfs 的回复:

http://nj.newhua.com/soft/41660.htm 大汉信息抓取系统针对不同行业用户的实际应用，以Internet信息抓取为目的的跨平台软件，主要用于指定网络信息的抓取，实现在用户自定义的规则下，自动从互联网上的HTTP服务器（或其它服务器）上抓取指定信息的功能。用于内部使用或外网发布，快速实现信息的全面共享。 　　大汉信息抓取系统是基于HTTP协议的一种文件搜寻处理方式，完成在管理员的设定下，定时运行、自动在网络中进行相关资料的搜寻，并将搜寻到的文档下载、分类、整理后存储到服务器的功能。 　　基于导出接口，信息抓取系统可实现与第三方应用系统对接，实现将抓取的信息自动导入。第三方系统要求基于XML标准，开发环境须支持ASP、PHP、JSP，且为B/X架构

刚下载，去试用一下，谢谢啦~~

[yaozhiyong110]

引用 3 楼 danxuezx 的回复:

[quote=引用 2 楼 yaozhiyong110 的回复:] 这个没有 估计网上也很少这样的程序(这不就是搜索引擎？)...

的确是搜索引擎的核心。不过我要做的事情比较简单，比如输入搜狗拼音输入法，能够从互联网上得到一些关于它的描述。或者有没有专门的网站来干这事，专门提供一些软件描述信息功能。[/quote] 你这要求其实更高 这不就相当于搜索完了后还要再筛选出来你要的信息？ 输入搜狗拼音输入法，能够从互联网上得到一些关于它的描述。或者有没有专门的网站来干这事，专门提供一些软件描述信息功能 这不就相当于把搜狗拼音输入法的下载安装啊之类的信息都去掉 只保留软件描述信息返回给你？

[danxuezx]

引用 5 楼 yaozhiyong110 的回复:

[quote=引用 3 楼 danxuezx 的回复:] [quote=引用 2 楼 yaozhiyong110 的回复:] 这个没有 估计网上也很少这样的程序(这不就是搜索引擎？)...

的确是搜索引擎的核心。不过我要做的事情比较简单，比如输入搜狗拼音输入法，能够从互联网上得到一些关于它的描述。或者有没有专门的网站来干这事，专门提供一些软件描述信息功能。[/quote] 你这要求其实更高 这不就相当于搜索完了后还要再筛选出来你要的信息？ 输入搜狗拼音输入法，能够从互联网上得到一些关于它的描述。或者有没有专门的网站来干这事，专门提供一些软件描述信息功能 这不就相当于把搜狗拼音输入法的下载安装啊之类的信息都去掉 只保留软件描述信息返回给你？[/quote] 其实也没关系，只要抓取到一些跟这个相关的信息，然后由其他一些算法程序来处理这些信息。

[shen_wei]

那你可以去抓去 百度搜索的内容。。分析这个就可以了

[BeanJoy]

引用 7 楼 shen_wei 的回复:

那你可以去抓去 百度搜索的内容。。分析这个就可以了

这是个思路。 我实习的时候做的东西就是这么干的，直接搜索google视频，然后把视频信息提取出来，展示给用户看。

[danxuezx]

昨天学习了网络矿工使用，这个必须要从专门的网站上才能抓取信息。