请问如何让nutch不抓取本地文件的子目录或不抓取本地文件的隐藏目录??

aidayei 2011-08-15 03:24:02

如题所示

...全文

65 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

aidayei 2011-08-28

打赏
举报

回复

自己顶一下，希望有大侠回答

本文介绍了Apache Nutch，它是开源Java搜索引擎框架，可建内网或全网搜索引擎，有易配置、抓取量大等特色。还给出其安装步骤，包括安装Java JDK 8、MySQL、ant、nutch及编译nutch，编译成功会生成runtime文件夹用于不同抓取方式。

本文介绍了如何使用Nutch库创建Java下载器，包含引入Nutch库、创建下载器类、启用代理IP和多线程技术以提升下载效率。适合初学者学习Nutch库的基础用法和功能扩展。,

Nutch是一款基于Java的开源web搜索引擎，它致力于提供透明且值得信赖的搜索服务。相较于商业搜索引擎，Nutch不隐藏其排序算法，也不会因付费而改变搜索结果的排名。最新版本为1.4版。Nutch利用Lucene提供的API来完成文本索引和搜索功能。

本文介绍了一种在爬虫工作中遇到的问题：被robots.txt规则禁止访问。文章详细解释了robots.txt的作用，并提供了解决方案，包括如何分析和利用允许访问的部分。

Hadoop是一个由Apache基金会开发的分布式系统基础架构，源于Apache Nutch项目，受到Google的GFS和MapReduce论文启发。Hadoop包括HDFS、MapReduce和HBase，提供大规模数据处理能力。其特点是可扩展、成本低、高效率和可靠性。然而，Hadoop不适合小规模数据处理，低延迟需求，且存在节点故障风险、文件系统设计局限和Java实现的性能问题。Hadoop在大数据处理领域有广泛应用，但也需要权衡其不足，如调度策略、网络带宽和安全问题。尽管如此，Hadoop仍因其潜力和持续改进而受到看好。

51,409

社区成员

86,085

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章