Intel Hadoop 怎样在windows下通过eclipse单步追踪mapreduce 的任务?

饭饭之悖 2013-05-17 05:38:26

如题.我是在windows下开发MP,
是否可以利用hadoop eclipse plugin插件去debug?
但怎么在windows安装idh?

...全文

996 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

派大的幸福 2013-05-19

打赏
举报

回复

[color=#FF00FF][/我是在windows下开发MP, 是否可以利用hadoop eclipse plugin插件去debug? 但怎么在windows安装idh? color]

31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 MapReduce 中的Shuffle 和Sort 分析 53 海量数据存储和计算平台的调试器研究 56 探讨MapReduce 模型的改进 58 运行eclipse ...

1 Hadoop介绍 2 Hadoop在国内应用情况 3 Hadoop源代码eclipse编译教程 7 在Windows上安装Hadoop教程 13 在Linux上安装Hadoop教程 19 在Windows上使用eclipse...31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍

通过学习Hadoop的安装与配置，hdfs常用命令，WordCount程序详解，Shuffle过程详解，WordCount程序结果分析，Hadoop,HDFS,MapReduce,NameNode和DataNode,yarn,ResourceManager,NodeManager的概念等让大家对Hadoop和...

的单步debug跟踪调试无法办到。只能在本地进行调试，然后提交到集群中运行，但是集群中如果某个...只能通过在程序中加日志，并在作业完成或者失败后追踪日志来进行问题定位。无法达到对程序象调试单机程序一样的进行

mapreduce程序调试除了在代码中添加日志来判断分析问题外，hadoop还提供了IsolationRunner工具，但是需要eclipse的远程调试功能。集群下实现mapreduce任务的单步跟踪： 1、保存失败任务的临时数据和目录。设置...

594

社区成员

254,047

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章