社区
搜索引擎技术
帖子详情
垂直搜索,用nutch,还是heritrix,那个更好一些?
code-artist
2008-03-31 04:56:38
现在自学搜索技术,望高手指导:
建检索,搜索的组建不用Lucene, 想把一个爬虫和别的搜索引擎集成起来。
nutch,heritrix那个好!
thanks a lot!!!!
...全文
1026
4
打赏
收藏
垂直搜索,用nutch,还是heritrix,那个更好一些?
现在自学搜索技术,望高手指导: 建检索,搜索的组建不用Lucene, 想把一个爬虫和别的搜索引擎集成起来。 nutch,heritrix那个好! thanks a lot!!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
jingle1000
2009-06-02
打赏
举报
回复
Nutch在配置阶段比Heritrix复杂,在里面做一下修改还是很有效的
ggggjatihc
2009-03-20
打赏
举报
回复
还是要有Lucene
Ny-6000
2008-04-01
打赏
举报
回复
来Study
stilling2006
2008-03-31
打赏
举报
回复
heritrix比较好
。因为nutch已经是个成型的搜索引擎了。个人觉得扩展性没heritrix强。
个人看法。
网络爬虫
Nutch
和
Heritrix
简介
更好
地支持
搜索
引擎(与 Lucene 紧密结合)。两者特点对比如下:
Nutch
是一个
搜索
引擎框架,而
Heritrix
专注于网络信息的下载。
Nutch
只获取并保存可索引的内容,并可对下载后有内容过滤修改,...
Nutch
、
heritrix
、crawler4j优缺点
Nutch
: 主页:https://
nutch
.apache.org/index.html Apache
Nutch
是一个高度可扩展的和可伸缩的开源网页爬虫软件项目。源于ApacheLuceneTM,项目多样化,目前由两个代码库组成,即: 1.
Nutch
1.x:一个非常...
crawler4j mysql_
Nutch
、
heritrix
、crawler4j优缺点
Nutch
:Apache
Nutch
是一个高度可扩展的和可伸缩的开源网页爬虫软件项目。源于ApacheLuceneTM,项目多样化,目前由两个代码库组成,即:1.
Nutch
1.x:一个非常成熟的爬虫产品。1.x版本支持细粒度的配置,依赖于一个很好...
隔壁老王都找我要的33款开源爬虫框架,《记得收藏哦!不然看着看着就不见了》
隔壁老王都找我要的33款开源爬虫框架,...4、
Heritrix
???? 5、heyDr????6、ItSucks????7、jcrawl????8、JSpider????9、Leopdo????10、MetaSeeker????11、Playfish????12、Spiderman????13、webmagic????14、Web-Harv
谈谈网络爬虫设计中的问题
网络蜘蛛现在开源的已经有好几个了,Larbin,
Nutch
,
Heritrix
都各有用户之地,要做一个自己的爬虫要解决好多个问题,比如调度算法、更新策略、分布式存储等,我们来一一看一下。一个爬虫要做的事主要有以下这些 从...
搜索引擎技术
2,760
社区成员
2,052
社区内容
发帖
与我相关
我的任务
搜索引擎技术
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
复制链接
扫一扫
分享
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章