hadoop-0.20.2-examples.jar sort 对一亿个uuid 排序的问题

bigdatayunzhongyan 2012-10-10 09:25:47

怎样用命令 hadoop-0.20.2-examples.jar sort 对一亿个uuid 排序的问题

...全文

195 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在尝试运行Hadoop命令`hadoop share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar`时遇到主机名解析失败的问题。报错信息为unknownhostexception。解决方法是更新/etc/hosts文件，添加主机名master1的映射，或者直接将主机名改为master。

本文主要解析了 Hadoop 运行 WordCount 程序的命令，包括各部分参数含义，如指定 JAR 文件路径、要运行的示例程序、输入和输出路径。还介绍了 WordCount 程序功能，通过 Map、Shuffle 和 Sort、Reduce 阶段统计文本中单词出现次数，最后给出示例输出形式。

本文介绍Hadoop中的Sort和RandomWriter程序，用于测试和基准测试Hadoop系统的性能。Sort程序使用MapReduce框架对大型数据集进行排序，而RandomWriter则生成随机数据到HDFS。这些工具为评估Hadoop的执行引擎和HDFS提供了实用的方法。

本文详述如何在Hadoop平台上利用MapReduce进行全局数据排序。首先，介绍了安装配置Hadoop的步骤，包括安装JDK、Hadoop，设置环境变量等。接着，配置伪分布式Hadoop集群，并通过WordCount Demo测试安装。然后，针对数据排序问题，提出两种解决方案：人工指定分区和使用TotalOrderPartitioner。最后，展示了TotalOrderPartitioner的实现方式，确保输出文件间保持有序。通过MapReduce程序打包和执行，验证了排序的正确性。

本文解决了Hadoop执行自定义Jar包时遇到的内置Jar包覆盖问题，并提供了检查和清理Output目录的方法。

548

社区成员

350

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章