Heritrix在具体运用到搜索中怎样实现自动的定期抓取呢

wen19900815 2010-02-12 10:13:41

实现搜索，那么爬虫抓取的信息总是要更新的，那么Heritrix是怎样实现的呢。关于Heritrix的介绍太少了，在这里请问各位高手，希望大家能给予帮助啊。或者怎样能实现爬虫的这种功能也可以了。谢谢大家了……
现在在用Lucene和Heritrix来搭建一个小的搜索引擎来实现工程中的需要，具体应该怎样应用呢，还有些不是很清楚

...全文

33 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

当前发帖距今超过3年，不再开放新的回复

发表回复

qingyuan18 2010-02-12

打赏
举报

回复

lucene基于文件系统的检索比较常用，Heritrix是啥？没用过，惭愧。。。。

相关推荐

heritrix抓取指南heritrix抓取指南 heritrix抓取指南

我现在是用一台主机抓取数据，所以我想把Heritrix的链接散列到多个线程中，可是当我散列的ELFHashQueueAssignmentPolicy写好后，第一次执行的时候，只能解析出30个dns：任务就自动的结束了，可是，当第二次或是第三次的时候，就可以实现多个线程了另外我已经把Heritrix.properties文件和AbstractFrontier中相应的位置都已经改了，希望您能...

简介： Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。本文详细介绍了 Heritrix 在 Eclipse 中的配置、运行，最后以抓取北京林业大学网站为例，介绍如何对其进行扩展，实现只抓取特定网站的页面。本文由浅入深，详细介绍了 Heritrix 在 Eclipse 中的配置、运...

最近项目要用到 Heritrix 需要集成到我们的工程中，编程启动.... 起初的思路想深入研究 Heritrix 的源代码，企图自己组织 Heritrix 内部的方法，来实现抓取，研究数日无果..... :cry: 参考各方面的资料，虽然了解其内部的实现的实现流程，但依然无法集成入我们的工程。资料可参考 http://www.cnblogs.com/hustcat/...

在Eclipse中配置Heritrix 开源爬虫: Heritrix 1.14.4 安装/使用 Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。本文详细介绍了 Heritrix 在 Eclipse 中的配置、运行。目前 H

发帖

4.9w+

社区成员

8.5w+

社区内容

Java相关技术讨论

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

帖子事件

创建了帖子

2010-02-12 10:13

社区公告

暂无公告