如何debug hadoop的wordcount

gwgyk 2014-10-08 11:28:52

我想在eclipse中debug WordCount的运行流程，想弄明白job在JobTracker中的运行过程。但是由于在JobTracker中涉及到了RPC和Proxy，出现了下面图片中的情况，所以没法直接看到在JobTracker中的执行过程，想问问大神，我该怎么做才能看到呢？

...全文

254 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

gwgyk 2014-10-11

打赏
举报

回复

引用 3 楼 qq_21840625 的回复:

我也试试这个方法

？？

qq_21840625 2014-10-10

打赏
举报

回复

我也试试这个方法

gwgyk 2014-10-08

打赏
举报

回复

hadoop mapreduce helloworld 能调试详细内容请看：http://blog.csdn.net/wild46cat/article/details/53641765

word源码java wordcount Hadoop: Intellij结合Maven本地运行和调试MapReduce程序 (无需搭载Hadoop和HDFS环境) 2018年05月20日 10:33:18 阅读数：11 编辑楼主花费了1天终于按照教程自己第一次成功运行了这个案例。 Hadoop: Intellij结合Maven本地运行和调试MapReduce程序 (无需搭载Hadoop和HDFS环境) 2016-05-24 12717 Hadoop maven 39 Hadoop: Run and Debug Hadoop MapReduce Applications with Intellij IDEA and Maven locally, without Hadoop and HDFS environment. 前言 Hadoop可以运行在三种模式下：单机模式伪分布模式完全分布式模式相信初学者入门Hadoop第一堂课就是伪分布模式Hadoop系统的安装，相信一定是血泪史各种翻教程各种重装。而实际上，基于HadoopMapReduce程序在单机上运行，并不一定需要安装伪分

包括编译好的hadoop-eclipse-plugin-2.7.1.jar包，WordCount示例demo，还有算的上是教程的博客地址，本人eclipse搭建环境用到的东西吧

【Debug跟踪Hadoop3.0.0源码之MapReduce Job提交流程】第一节 Configuration和Job对象的初始化前言Configuration和Job对象的初始化后记跳转前言不得不说，在此前我对阅读源码这件事是拒绝的，一方面也知道自己非读不可，另一方面是功力不够，所以数次向一些开源框架的源码发起总攻，最终都以失败而告终。那么这一次，我在已经初步阅读过MapReduce提交Job源码的基础上，根据【大数据入门笔记系列】第五小节SpringBoot集成hadoop开发环境（复杂版的WordCount）做出来的环境，通过Debug的方式来跟一下整个Job提交流程。这里

这个文档使我们小组搭建云计算平台的手记，为了平台的稳定性，选用了RedHat enterprise 5.4做虚拟机平台而不是网上所用的Ubuntu，绝对可用，内容记录很详细

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章