Nutch1.3 Cannot run program chmod Cannot allocate memory

zhouyang209117 2011-11-28 03:44:05
我在配制nutch1.3,照着nutch的官方文档(http://wiki.apache.org/nutch/NutchTutorial)运行bin/nutch crawl urls -dir crawl -depth 3 -topN 5这一步的过程中会出现如下错误:
LinkDb: adding segment: file:/home/zhou/nutch-1.3/runtime/local/crawl/segments/20111124092006
LinkDb: adding segment: file:/home/zhou/nutch-1.3/runtime/local/crawl/segments/20111124091951
LinkDb: adding segment: file:/home/zhou/nutch-1.3/runtime/local/crawl/segments/20111124092038
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
at org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:175)
at org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:149)
at org.apache.nutch.crawl.Crawl.run(Crawl.java:142)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)

Hadoop log的提示是:
2011-11-24 09:21:08,939 WARN mapred.LocalJobRunner - job_local_0018
java.io.IOException: Cannot run program "chmod": java.io.IOException: error=12, Cannot allocate memory
at java.lang.ProcessBuilder.start(ProcessBuilder.java:475)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:149)
at org.apache.hadoop.util.Shell.run(Shell.java:134)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:354)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:337)
at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:481)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:473)
at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:280)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:372)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:484)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:465)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:372)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:364)
at org.apache.hadoop.mapred.MapTask.localizeConfiguration(MapTask.java:111)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:173)

最关键的一句是Cannot run program "chmod": java.io.IOException: error=12, Cannot allocate memory。它说不能分配内存,是我的内存(2G)太小了吗?我的操作系统是Ubuntu11.10,nutch的版本是1.3。我已经在网上找了很长时间,但都没有结果。请求大家的帮助。
...全文
533 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
zhouyang209117 2011-12-03
  • 打赏
  • 举报
回复
[Quote=引用 4 楼 dracularking 的回复:]
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
at org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:175)
at org.apache.……
[/Quote]

你好。谢谢你的回复。我理解错你的意思了。我误以为你说的虚拟机是指在Windows下装一个Ubuntu的虚拟机。另外就是swap space memory太小的问题,我把swap space加到2G就好了。谢谢你。
zhouyang209117 2011-11-29
  • 打赏
  • 举报
回复
我用的不是虚拟机,应该不存在虚拟内存不足的问题吧。
yaoweijq 2011-11-29
  • 打赏
  • 举报
回复
chmod是shell赋权限的命令,
这个也会出异常?。。。
dracularking 2011-11-29
  • 打赏
  • 举报
回复
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
at org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:175)
at org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:149)
at org.apache.nutch.crawl.Crawl.run(Crawl.java:142)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)

这种程序不是跑在java虚拟机中的?那这些java代码是在哪里运行的
dracularking 2011-11-28
  • 打赏
  • 举报
回复
cannot allocate memory
如果理解为内存不足的话

虽然是2g,但如果未必是该程序可用内存的话...
和swap space memory有关吗,

看过?
http://daimajishu.iteye.com/blog/959213
attached 2011-11-28
  • 打赏
  • 举报
回复
我OUt了,这是什么

67,513

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧