Heritrix 抓取的arc文件如何解析请教一解决方向

笛和寒溪 2010-10-27 11:16:03

Heritrix 抓取的arc文件如何解析请教一解决方向

...全文

121 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

目前对Heritrix做了初步选型测试，有了一些总结： 1.关于安装：目前的版本号为1.12.1，官网地址为 http://crawler.archive.org/。常规安装，即解压到相关目录，之后配置系统环境变量"HERITRIX_HOME"到该解压目录（Java环境已经配置好）。 2.安装的后续工作：将 %HERITRIX_HO

Heritrix使用小结 1. Heritrix 简介 Heritrix是一个专门为互联网上的网页进行存档而开发的网页检索器。它使用Java编写并且完全开源。它主要的用户界面可以通过一个web流量器来访问并通过它来控制检索器的行为，另外，它还有一个命令行工具来供用户选择调用。 Heritrix是由互联网档案馆和北欧国家图书馆联合规范化编写于2003年初。第一次正式发布是在2004年1月...

看了自己动手做搜索引擎那本书，上面写的运行heritrix的方法挺麻烦的！要加载好多jar包，懒得弄。后来发现bin文件夹里面本来就有一个heritrix.cmd的文件，我想着一定就是windows下的运行文件，运行了一下，提示输入用户名密码！输入用户名密码了以后，又说找不到密码文件“jmxremote.password”。我发现在conf文件夹里面就有一个jmxremote.password

一、新建项目并将Heritrix源码导入１、下载heritrix-1.14.4-src.zip和heritrix-1.14.4.zip两个压缩包，并解压，以后分别简称SRC包和ZIP包；２、在Eclipse下新建Java项目，取名Heritrix.1.14.4；３、复制SRC包下面src/java文件夹下org和st两个文件夹到项目中的src包下；４、复制SRC包下src下conf

Heritrix的整体结构简图如下：它的工作流程是一个循环，具体流程是：　　1 在预定的URI中选择一个。　　2 从选择的URI的网址下载远程文件　　3 分析，归档下载到的内容　　4 从分析到的内容里面选择感兴趣的URI。加入预定队列。　　5 标记已经处理过的URI 在大概的了解了Heritrix及它的工作机制之后，我们就可以

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章