heritrix 各组件怎么协调工作的？

zjhxihu 2010-04-06 03:47:21

如题，最好把怎么运行的流程说清楚，如先到哪个类，再到哪个类。谢谢

...全文

61 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

爬虫时我们会使用heritrix，搭建工程时要导入这些jar包，该jar包是1.14.0版本的。

heritrix-3.1.0 最新官网jar包。包括heritrix-3.1.0-dist.zip包与heritrix-3.1.0-src.zip包。是爬虫神器

Heritrix的使用入门

Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑

对heritrix抓取的操作和扩展里面有MirrorWriterProcessor扩展的类文件修改

51,411

社区成员

86,047

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章