heritrix中怎么设置只抓取文本数据，不抓取其它数据

Heritrix

**内容解析与抽取**：Heritrix支持多种内容格式，如HTML、PDF、XML等，并能解析这些文件，提取出有用的信息，如文本内容、元数据等。4.

lucene_heritrix 搜索引擎

Heritrix是互联网档案（Internet Archive）的开源项目，主要用于大规模网络数据采集。它设计用于可配置性和可扩展性，允许设置各种策略来决定哪些网页应该被爬取，哪些不应该。

Lucene2.0+Heritrix搜索引擎 随书光盘

**Heritrix**Heritrix是一个可配置的、可扩展的网络爬虫，用于抓取互联网上的网页并保存为离线存档。在Heritrix中，你可以设置抓取策略，控制哪些网页被抓取，哪些不被抓取。

配置Heritrix及常见问题解决

- **重定向处理**：Heritrix默认不处理HTTP重定向，需配置`RedirectProcessor`来跟踪和处理重定向。

基于Lucene_Heritrix的垂直搜索引擎的研究与应用

Heritrix的设计考虑到了大规模数据抓取的需求，支持分布式爬取，可以在多台机器上同时运行以提高效率。Heritrix的主要特点包括：1. **高度可配置**：用户可以根据需要设置爬取规则和限制。