heritrix爬虫网页数据入库

dean1983 2010-08-05 09:36:06

我用heritrix 爬虫，网页存磁盘，元数据入数据库,怎么实时如库呢？可以有一定延时，高手有没有好的解决方案
考虑用JMS，爬的时候写队列，入库进程读队列？可行否？

...全文

143 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

dean1983 2010-08-05

打赏
举报

回复

怎么没人理啊

本文详细介绍基于Eclipse的Heritrix网络爬虫开发环境搭建、源码结构解读及工作流模型，涵盖URL发现、下载、解析与存储全过程。支持XML配置管理和Web可视化操作，适用于网页归档、竞情监控和学术研究等场景，突出其在合规性、可追溯性和长期保存方面的优势。

该报告介绍了网络爬虫基本原理，包括Spider定义、队列及搜索策略。还列举了常见开源网络爬虫如Nutch、Larbin、Heritrix等，并进行比较。指出爬虫存在robots.txt限制、部分网页难爬等问题，同时提及相关研究工作及未来分布式、并行等研究方向。

本文详细介绍了Heritrix网络爬虫框架，包括其概述、1.14.4版本特性、工作流程、抓取策略和模块等。阐述了框架的设计、优势，分析了源码结构与核心类接口。还指出开发者需掌握Java编程、XML配置、HTTP协议和网页解析技术，适用于学术研究、数据分析等场景。

本文是网络爬虫的调研，介绍了Spider的定义、队列和搜索策略，如广度优先和深度优先。还对比了Nutch、Larbin、Heritrix等常用开源爬虫，列举了其他多种爬虫工具。同时指出爬虫存在robots.txt限制、难爬特定网页等问题，提及相关研究及未来分布式、并行等研究方向。

本文介绍Heritrix3这一开源、归档级网络爬虫的核心架构、安装部署及任务配置方法。涵盖从环境搭建、首个爬虫任务创建到高级配置、监控日志分析的全流程，并提供常见问题解决方案与最佳实践，帮助用户构建高效、合规的大规模网页抓取系统。

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章