hadoop新人求助！YARN是如何获取到job进度的~源码里面没找到

bx417623769 2015-11-09 09:02:23

我是一枚hadoop新人，接触hadoop不久。
看书了解到YARN进度和状态更新是通过任务结点每三秒通过umbilical接口向MRAppMaster汇报进度和状态，作为作业的汇聚视图。想对这一个过程有一个更详细的理解，但是网上都是对这个过程全部都是一样的文字……并没有较为仔细的分析，所以想从源代码里面对它进行了解。
我大体浏览了一下hadoop-mapreduce-project和hadoop-yarn-project，从提供的API ：getProgress（）入手，一步步往回找的，看哪里对status进行了Update
经验不足，庞大的源码里面找了许久都没找到所以想请教前辈们这个过程其实是如何实现的？YARN如何获取并汇聚汇报的进度，如果可以的话能提示我一下在源代码中的哪里？
万分感谢！！

...全文

401 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_29710791 2016-01-27

打赏
举报

楼主不好意思,先说明一下我的回复和你的主题无关. 事情是这样的,我看到你一年前发表的关于cryptDB的帖子.事实上我现在也在尝试安装cryptDB,但是我对linux系统的了解实在有限,安装过程中遇到很多问题,无法顺利进行,不知道楼主你之前是否已经成功安装了cryptDB呢? 能不能指导一下分享一下经验?