如何得到hadoop运行某个程序的时间

guozhaol 2014-10-19 08:46:23

请教各位大神：如何得到hadoop运行某个程序的时间？主要是想测试分布式的优势！比如：单机hadoop运行wordcount示例的时间，集群运行wordcount示例的时间，分别是多少。

...全文

335 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

人生偌只如初见 2014-10-19

打赏
举报

回复

job.getStartTime()和job.getFinishTime()

skyWalker_ONLY 2014-10-19

打赏
举报

回复

控制台有输出时间，从作业启动开始一直到作业结束

windows 下远程调试hadoop，运行报空指针，需要导入hadoop.dll winutils.exe两个依赖到hadoop安装目录的bin中

hadoop-eclipse-plugin-1.0.0（5个版本），足够满足你的需求，你可以选择合适你的。

1.PI计算 1.1 基本步骤（1）首先切换到hadoop的安装目录下，可以看到hadoop的安装目录中已经自带了一些小程序，都打包在hadoop-examples-1.2.1.jar中，下一步就是如何打开jar包。（2）在命令行中，直接键入hadoop，可以显示各种命令用法。可以看到，其中有个jar，用于运行jar文件。（3）接下来输入hadoop jar hadoop-ex

在Linux终端上运行Hadoop的过程中，我们可以使用Shell脚本来简化命令的执行，并且可以编写Java程序来实现自定义的数据处理逻辑。Shell脚本是一种文本文件，其中包含了一系列的命令，可以按照特定的顺序执行。执行该命令后，Hadoop将运行Java程序，并对输入路径下的文件进行单词计数，最后将结果输出到输出路径下。通过以上步骤，我们可以在Linux终端上运行Hadoop的Shell脚本和执行Java文件，实现对大规模数据集的处理和分析。参数指定Mapper和Reducer脚本的路径，通过。

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章