如何得到hadoop运行某个程序的时间

guozhaol 2014-10-19 08:46:23

请教各位大神：如何得到hadoop运行某个程序的时间？主要是想测试分布式的优势！比如：单机hadoop运行wordcount示例的时间，集群运行wordcount示例的时间，分别是多少。

...全文

399 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

人生偌只如初见 2014-10-19

打赏
举报

回复

job.getStartTime()和job.getFinishTime()

skyWalker_ONLY 2014-10-19

打赏
举报

回复

控制台有输出时间，从作业启动开始一直到作业结束

一、抛出问题在运行jar包时，或者是测试Hadoop的wordcount程序时，不知道你是否会遇到，运行卡顿，总是出不来结果的问题，就是运行出来了，也是等了大半天，这样等下去会不会有点浪费钱，浪费时间的感觉。。。我曾经也遇到这样的问题，卡了我三天的进程，翻过无数大佬们的博客，最终找出了问题的原因：在每个虚拟机分配的内存和CPU资源太少，不能满足Hadoop运行所需的默认资源需求。二、我的问题...

Hadoop的运行模式解析与案例

Hadoop 具有低成本、高扩展性、高效性、高容错性的特点，所以 Hadoop 得到多家厂商支持或采用，包括阿里巴巴、腾讯、百度、 Microsoft、Intel、IBM、雅虎等。今天带领大家走进Hadoop的世界

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：配置yarn-site.xml [root@hadoop01 hadoop]$ vi yarn-...

文章目录一、学前必备知识二、使用 Ubuntu 20.04.2.0 进行 Hadoop 集群的搭建与配置1、Hadoop 集群详解2、搭建集群前的准备工作3、配置 Hadoop 集群4、启动并关闭 Hadoop 集群5、查看 Hadoop 集群的基本信息6、在 Hadoop 集群中运行程序三、使用 Centos7 进行 Hadoop 集群的搭建与配置一、学前必备知识 2021年全网最细大数据学习笔记（一）：初识 Hadoop 2021年全网最细大数据学习笔记（二）：Hadoop 伪分布式安装二、

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章