CSDN在线培训——详解淘宝Hadoop作业平台宙斯Zeus QA已经更新！

u013424982 2014-06-20 09:39:56
加精
演讲嘉宾
杨飞
Ptmind 资深Hadoop调度开发工程师

嘉宾介绍：hadoop的早期研究者，曾就职于华为。对hadoop的调度系统有深入研究。并在电信、移动互联网等多个领域提供过成功的hadoop调度解决方案。 博客地址：http://blog.csdn.net/yangfei001 个人微博：http://weibo.com/u/1664659850
会议介绍

报名地址：http://huiyi.csdn.net/meeting/info/960/biz?project_id=1099

讲师技术文章：
http://blog.csdn.net/yangfei001/article/details/30312719
http://blog.csdn.net/yangfei001/article/details/21037005
http://blog.csdn.net/yangfei001/article/details/20129341


宙斯是一个完整的Hadoop的作业平台
从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期
从功能上来说，支持：
Hadoop MapReduce任务的调试运行
Hive任务的调试运行
Shell任务的运行
Hive元数据的可视化查询与数据预览
Hadoop任务的自动调度
完整的文档管理

宙斯开源，不仅仅是开源技术，更是开源产品。

PS：现在报名的同学，我们将会在直播结束后将视频地址和PPT发送到后续报名的同学邮箱中。请您务必填写真实有效信息！
本次视频培训参会指南已经发送到课程咨询群：CSDN在线培训（284712772）中，欢迎大家查看。

【课程时间】：2014年7月1日（周二） 20：50 - 22：00
【课程安排】：20:50—21:00 通过邮件地址登录网络课堂
21:00—22:00 主题演讲（杨飞）与QA

PS:课程咨询请加入QQ群：CSDN在线培训群（284712772）

【温馨提示】： 在线视频直播互动，采用三分屏模式，让您感受真实的课堂环境。本次会议机会难得，由于报名人员较多，将对申请参会者进行资格审核，请您务必填写个人信息以便通知（短信、邮件）及时送达，保证您的顺利参会。邮件和短信提醒将会在课程前一天发出，请注意查收！具体时间以邮件通知为准！

报名地址：http://huiyi.csdn.net/meeting/info/960/biz?project_id=1099

课程介绍：详解Hadoop作业平台宙斯Zeus

课程大纲：
zeus简介
zeus架构
zeus与其他调度系统对比
支持yarn的zeus2
zeus使用注意事项
zeus2的后续计划

【适合群体】 ：
1. 系统架构师、系统分析师、高级程序员、资深开发人员。 　
2. 牵涉到大数据处理的数据中心运行、规划、设计负责人。 　
3. 政府机关，金融保险、移动和互联网等大数据来源单位的负责人。 　
4. 高校、科研院所涉及到大数据与分布式数据处理的项目负责人。 　
5. 数据仓库管理人员、建模人员，分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员。


以下是视频过程QA：

这个跟tws调度是不是有些像？
答：对tws不是很了解，具体不太请求，跟oozie比较像

Zeus也是apache的开源组件吗?代码托管到哪了？
答：不是apache的，是阿里的，github地址为https://github.com/alibaba/zeus

Master挂掉之后worker还会继续执行作业吗?
答：Worker会杀死自身的任务，然后连接到新的Master

zookeeper在里面起什么作用?
答：主要是做任务失败通知，不是必须的

taobao不用这个了吗？github上都一年没更新了?Zeus在阿里主要做那块任务?
答：淘宝据我了解一直在使用，代码现在确实没有更新，所有有新版zeus2:https://github.com/michael8335/zeus2

好像淘宝有个开源项目tbschedule任务调度系统，和这个有什么区别？
答：tbschedule也是一个批处理调度引擎，但zeus更专注与hadoop

Worker竞争分布式锁，会不会死锁呢？
答：不会，原子操作

可以举一个Zeus实际的应用实例吗？
答：很多公司都用来做hadoop集群调度，最常用的就是MR和Hive

如果使用用zeus还是zues2好？
答：这个还是根据实际情况来，如果是hadoop1，最好直接用zeus，如果是hadoop2，个人建议使用zeus2

当前正在执行的所有worker的任务清单，存储在哪里？如果当前master宕机，新的master怎么能取到、并重新下发任务？
答：任务每个关键点都会记录在数据库中，新Master直接从数据库中就可以获得

新的Master怎么知道之前所有正在执行的任务，然后下发？
答：新Master可以从数据库的任务历史表中获取正在执行的任务

zeus对算法的管理与调度，支持样本数据的模拟结果吗？因为算法场景和效率区别还是比较大得
答：zeus只是一个工作流引擎，具体的算法是自己的job实现

zeus在淘宝应用规模有多大？请老师再介绍一下宙斯诞生发展的背景过程.
答：这个应用规模不便说，背景主要是为了给hadoop集群提供友好的调度管理
zeus和azkaban和oozie做一下比较?
答：都是hadoop集群的工作流引擎

使用宙斯的任务调度跑HiveQL有时会遇到找不到hive表或者找不到jar包的情况，但是手动执行重跑又可以执行了，请问这个是怎么回事？
答：这个是环境变量没有配置正确的原因

zeus支持yarn吗？想问一下宙斯1现在存在哪些bug？
答：zeus1不支持，zeus2支持，具体的BUG可以到https://github.com/michael8335/zeus2 wiki中查看

宙斯的master和yearn的ResourceManager有啥联系吗？
答：没有

公司在用宙斯任务调度时不时的有任务进入任务队列不执行的情况，然后就只能重启宙斯，这也是宙斯1的bug吧？
答：这个得具体分析，可以私下联系我

请问现在可以对接到Hadoop2.4版本吗？什么时候支持hive0.13
答：没有，暂时没有必要
...全文
11245 21 打赏 收藏 转发到动态 举报
写回复
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_31463425 2015-09-22
  • 打赏
  • 举报
 回复
向大侠同志学习取经
qq_31463425 2015-09-22
  • 打赏
  • 举报
 回复
向大侠同志学习取经
soso723 2015-07-28
  • 打赏
  • 举报
 回复
打包zeus的时候出现上面的错误 请问哪位大侠知道是什么问题吗
soso723 2015-07-28
  • 打赏
  • 举报
 回复
[INFO] Adding image 'com.sencha.gxt.core.client.dom.Layer.LayerRe sources.middleCenter' [INFO] [ERROR] Unrecognized image file format [INFO] [ERROR] Generator 'com.google.gwt.resources.rebind.context.In lineClientBundleGenerator' threw an exception while rebinding 'com.sencha.gxt.co re.client.dom.Layer.LayerResources' [INFO] java.lang.NullPointerException [INFO] at com.google.gwt.resources.rg.ImageResourceGenerator$BundledImage.addIm age(ImageResourceGenerator.java:99) [INFO] at com.google.gwt.resources.rg.ImageResourceGenerator.prepare(ImageResou rceGenerator.java:543) [INFO] at com.google.gwt.resources.rebind.context.AbstractClientBundleGenerator .initAndPrepare(AbstractClientBundleGenerator.java:1013) [INFO] at com.google.gwt.resources.rebind.context.AbstractClientBundleGenerator .initAndPrepare(AbstractClientBundleGenerator.java:1039) [INFO] at com.google.gwt.resources.rebind.context.AbstractClientBundleGenerator .generateIncrementally(AbstractClientBundleGenerator.java:419) [INFO] at com.google.gwt.dev.javac.StandardGeneratorContext.runGeneratorIncreme ntally(StandardGeneratorContext.java:651) [INFO] at com.google.gwt.dev.cfg.RuleGenerateWith.realize(RuleGenerateWith.java :41) [INFO] at com.google.gwt.dev.shell.StandardRebindOracle$Rebinder.rebind(Standar
黄晓萌 2015-04-29
  • 打赏
  • 举报
 回复
请问谁有这个讲座的视频？最近在研究调度系统，想看看，谢谢！
luyee2010 2014-07-13
  • 打赏
  • 举报
 回复
taobao不用这个了吗？github上都一年没更新了?Zeus在阿里主要做那块任务? 答：淘宝据我了解一直在使用，代码现在确实没有更新，所有有新版zeus2:https://github.com/michael8335/zeus2 [只是据了解]难道不是淘宝的么，用不用还不知道？？
JJTwo 2014-07-01
  • 打赏
  • 举报
 回复
一东西github上一年没更新了。
u013424982 2014-06-25
  • 打赏
  • 举报
 回复
引用 10 楼 ADF1230 的回复:
看成hadoop调皮工程师了
让我怎么说你。。
CodeC 2014-06-24
  • 打赏
  • 举报
 回复
微wx笑 2014-06-23
  • 打赏
  • 举报
 回复
神-气 2014-06-22
  • 打赏
  • 举报
 回复
看成hadoop调皮工程师了
shiter 2014-06-22
  • 打赏
  • 举报
 回复
aqua2013 2014-06-22
  • 打赏
  • 举报
 回复
卖水果的net 2014-06-21
  • 打赏
  • 举报
 回复
引用 7 楼 u013424982 的回复:
引用 5 楼 u012280292 的回复:
居然没人么 这是广告么
一看就是不了解CSDN在线培训。。
我也不了解。。
u013424982 2014-06-20
  • 打赏
  • 举报
 回复
引用 5 楼 u012280292 的回复:
居然没人么 这是广告么
一看就是不了解CSDN在线培训。。
line_us 2014-06-20
  • 打赏
  • 举报
 回复
一个完整的Hadoop的作业平台
TuskueNeko 2014-06-20
  • 打赏
  • 举报
 回复
居然没人么 这是广告么
austin9972 2014-06-20
  • 打赏
  • 举报
 回复
床上等您 2014-06-20
  • 打赏
  • 举报
 回复
u013424982 2014-06-20
  • 打赏
  • 举报
 回复

报名地址：http://huiyi.csdn.net/meeting/info/960/biz?project_id=1099
相关推荐
CSDN在线培训——详解Hadoop作业平台宙斯Zeus
宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说，支持： Hadoop MapReduce任务的调试运行 Hive任务的调试运行 Shell任务的运行 Hive元数据的可视化查询与数据预览 Hadoop任务的自动调度 完整的文档管理
淘宝Hadoop作业平台宙斯(zeus)开源
https://github.com/alibaba/zeus 宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说，支持： Hadoop MapReduce任务的调试运行 Hive任务的调试运行 Shell任务的运行 Hive元数据的可视化查询与数
淘宝Hadoop作业平台 宙斯Zeus(转)
宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说，支持： Hadoop MapReduce任务的调试运行 Hive任务的调试运行 Shell任务的运行 Hive元数据的可视化查询与数据预览 Hadoop任务的自动调度 完整的文档管理 宙斯开源，不仅仅是开源技术，更是开源产品 开...
java泰坦宙斯之战程序_详解Hadoop作业平台宙斯Zeus.pdf
详解Hadoop作业平台宙斯Zeus杨⻜分布式研发⼯程师开源爱好者技术顾问邮箱：yangf_sky@163.com博客：/yangfei001微博：/u/1664659850内容⼤纲•Zeus功能介绍•Zeus与Oozie•Zeus概览•Zeus架构详解•Zeus任务执⾏流程详解•Zeus实战•Zeus组件介绍•安装注意事项•zeus2为什么需要调度？？•直接放到crontab 中？？•⽤⼀个脚本...
宙斯是一个完整的Hadoop的作业平台[转]
https://github.com/alibaba/zeus 宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说，支持：Hadoop MapReduce任务的调试运行Hive任务的调试运行Shell任务的运行Hive元数据的可视化查询与数据预览Hadoop任务的自动调度完整的文档管理 完...
Hadoop生态社区

20,748

社区成员

4,677

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告