用hadoop编程作业，求创意

longzaitianguo 2011-09-03 11:26:35
由MIT提供一组Data sets，学校提供cluster，用Hadoop编程，自己想创意然后实现，要求有一定的创新性。
请各位大牛给出点主意，要切实可行的，本人刚接触hadoop.给最高分了
...全文
153 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
longzaitianguo 2011-09-05
  • 打赏
  • 举报
 回复
没有大牛回答吗，自己顶
Hadoop作业优先级控制
本文介绍了在Hadoop集群中如何管理和调整作业优先级，以解决高优先级作业被低优先级作业延误的问题。通过示例展示了如何查看作业状态、设置作业优先级以及终止作业的操作步骤。
Hadoop作业性能指标及参数调优实例 （一）Hadoop作业性能异常指标
本文介绍了Hadoop作业性能调优的场景和方法，重点讲解了eBay Eagle作业性能分析器，包括7个关键性能异常指标：作业进展缓慢、Reduce数量过多、BytesConsumed per CPU second过低、作业用时过长、作业耗时太久、ShuffleSize过大以及Read/WriteOps过大，并提供了相应的调优策略和建议。
Hadoop作业提交分析
本文详细解析Hadoop作业提交的全过程，从bin/hadoop脚本到Job提交，揭示了如何利用Java代码模拟作业提交流程，使开发人员能够直接在Eclipse中运行MapReduce程序。
命令行运行Hadoop作业
本文介绍如何通过IDE和命令行运行Hadoop程序，重点讲解如何生成Job_Id以便在web界面查看作业运行状态。从打包项目、启动Hadoop到运行作业，再到通过Job_Id监控作业，全程实战指导。
Hadoop 实战之MapReduce链接作业之预处理
本文介绍如何使用Hadoop MapReduce实现链接作业，通过创建工程、编写脚本、配置Java类等步骤，演示了从环境搭建到运行结果的全过程。
Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章