Nutch在eclipse里面运行crawl.java的时候org.apache.nutch.crawl.Crawl.main(Crawl.java:124

stormier 2013-09-22 08:36:39

Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
at org.apache.nutch.crawl.Injector.inject(Injector.java:217)

at org.apache.nutch.crawl.Crawl.main(Crawl.java:124)

如果是在cygwin运行可以先export LANG="zh_CN.GBK"

可是在eclipse里面运行应该怎么搞呢？

...全文

85 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一、org.apache.nutch.crawl.Injector: 1，注入url.txt 2，url标准化 3，拦截url，进行正则校验（regex-urlfilter.txt） 4，对符URL标准的url进行map对构造, CrawlDatum>，在构造过程中给CrawlDatum初始化得分...

nutcher 是 Apache Nutch 的中文教程，在github上托管。nutch社区目前缺少教程和文档，而且教程对应版本号较为落后。nutcher致力于为nutch提供一个较新的中文教程和文档，供开发者学习。 github地址： ...

Nutch Htmlunit Plugin 重要说明：当前项目基于Nutch 1.X系列已停止更新维护，转向Nutch 2.x系列版本的新项目：http://www.oschina.net/p/nutch-ajax 项目简介基于Apache Nutch 1.8和Htmlunit...

一个已经部署好的 nutch1.7爬虫。...找到org.apache.nutch.crawl.Crawl 这个类。 run configuration 在 Programa argument 里面输入 crawl urls -dir out -threads 20 -depth 2 然后就可以跑了。

nutch 爬到的CSDN数据 nutch crawlnutch 爬到的CSDN数据 nutch crawlnutch 爬到的CSDN数据 nutch crawl

搜索引擎技术

2,760

社区成员

2,052

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章