用hadoop编程作业，求创意

longzaitianguo 2011-09-03 11:26:35

由MIT提供一组Data sets，学校提供cluster，用Hadoop编程，自己想创意然后实现，要求有一定的创新性。
请各位大牛给出点主意，要切实可行的，本人刚接触hadoop.给最高分了

...全文

158 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

longzaitianguo 2011-09-05

打赏
举报

回复

没有大牛回答吗，自己顶

当同时在集群中运行多个作业时，默认情况下，Hadoop将提交的作业放入一个FIFO,一个作业结束后，Hadoop就启动下一个作业。当一个运行时间长但是优先级较低的作业先于运行时间短而优先级较高的作业提交时，优先级高的作业会长时间排队等待。为了解决这个问题，Hadoop定义了5种不同的作业优先级，分别是：VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW,作业的默认

Hadoop作业提交分析（一） bin/hadoop jar xxx.jar mainclass args …… 这样的命令，各位玩Hadoop的估计已经调用过NN次了，每次写好一个 Project或对Project做修改后，都必须打个Jar包，然后再用上面的命令提交到Hadoop Cluster上去运行，在开发阶段那是极其繁琐的。程序员是“最懒”的，既然麻烦肯定是要想些法子减少无谓

环境：Vmware 8.0 和Ubuntu11.04 Hadoop 实战之MapReduce链接作业之预处理第一步：首先创建一个工程命名为HadoopTest.目录结构如下图: 第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下： sudo r

背景通过IDE可以直接运行hadoop程序，但是不能生成Job_Id。但是，通过命令行来运行Hadoop程序或作业，就可以生成Job_Id，从而可以在web界面看到相应的信息。步骤打包第一步是把作业打成jar包，首先在项目的pom.xml文件里的<project>标签下加入以下的编译内容 <build> <plugins> ...

1、概述 Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer） $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-s

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章