Nutch 的 hadoop job 如何 增加 mapper 数量

末日周五 2015-03-11 10:16:09
是这样的,我在nutch中调优是,想增大mapper的数量来 加快其中几个job的处理速度,但是发现 代码中 没有 setNumMapTasks的函数, 在脚本中设置了 mapred.map.tasks 后也不起作用,请大神给指条明路,不胜感激
...全文
144 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
夜无边CN 2015-03-12
  • 打赏
  • 举报
回复
mapper不能通过手动来设置。是根据输入的文件数量,和文件大小来确定。

20,811

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧