深入浅出Hadoop实战开发视频教程升级版

cxlmsywpq 2016-01-19 02:55:09

下载地址：http://pan.baidu.com/s/1o7rEcNS 密码：f74s

hadoop版本:hadoop 2.4.1
hive版本:hive 0.13.1
hbase版本:hbase 0.98.6.1
centos版本:6.5

课程大纲：

01，课程介绍，HDFS架构和原理，搭建CentOS开发环境
> Hadoop背景
> HDFS设计目标，应用场景，架构分析
> 使用Virtual安装CentOS虚拟机
> 虚拟机环境配置

02，hdfs单机和集群的配置安装
> Hadoop单机版安装和配置
> Hadoop集群安装和配置
> Hadoop命令行和WebUI的使用

03，hdfs应用-云存储系统（1）
> 云存储系统介绍和基本架构
> 搭建Eclipse和Maven开发环境
> 使用Maven创建并配置Struts2应用
> 使用bootstrap搭建UI框架

04，hdfs应用-云存储系统（2）
> 安装和配置Redis
> 用户管理模块开发

05，hdfs应用-云存储系统（3）
> gson介绍和使用实例
> 实现普通的文件上传，删除，下载

06，hdfs应用-云存储系统（4）
> 实现基于HDFS的上传，下载和删除
> HDFS小文件管理方式：SequenceFile和Har

07，深入hdfs-NameNode和DataNode
> hdfs的架构介绍
> hdfs如何读写文件
> FSImage和EditLog
> Rack Awareness
> hdfs基本管理

08，深入hdfs-HDFS federation
> HDFS节点管理
> HDFS升级和回滚
> HDFS Federation
> 如何使用ViewFS

09，namenode HA
> zookeeper配置
> namenode HA(双机)安装和配置

10，yarn和mapreduce
> 配置Yarn（单机和集群）
> MapReduce的工作原理
> 第一个MapRedcue程序
> Yarn命令行工具

11，mapreduce应用-搜索提示（1）
> 工作原理介绍（Ajax）
> 使用JQuery的AutoComplete控件搭建UI

12，mapreduce应用-搜索提示（2）
> 继承Mapreduce程序
> 使用Redis保存中间数据
> 如何对增量和全量数据进行统计
> ”潜在好友推荐“算法介绍

13，mapreduce的采样工具和partitiion
> 采样和分区的工作原理
> RandomSampler,InputSampler,IntervalSampler
> TotalOrderPartitioner(全局排序)

14，Map Join和Reduce Join
> Reduce side join
> Map side join
> 如何自定义数据类型
> 如何使用DistributedCache

15，mapreduce应用-PageRank
> PageRank算法详细讲解
> 如何用mapreduce实现PageRank算法

16, Hive入门
> Hive的架构
> CLI, Hive Server, HWI介绍
> 配置Hive，使用Mysql存储元数据
> CLI的基本使用

17, hive应用-搜索提示（1）
> Tomcat日志解析
> 使用正则表达式解析Tomcat日志
> 在查询中使用正则表达式

18, hive应用-搜索提示（2）
> 在hive查询中调用python脚本实现Redis插入

19，HQL（1）
> HQL基础：DDL，DML
> 数据类型：原子与集合
> TextFile的默认编码及自定义编码

20，HQL（2）
> Hive查询
> 正则表达式，基本函数，集合函数，表函数
> 嵌套查询，case when语句，like和rlike
> Groupby和Having等

21，Hive自定义函数
> 如何编写自定义函数
> 在自定义函数中连接Redis
> 在自定义函数中使用CacheFile

22，Compression in Hadoop
> Compression in Hadoop介绍
> 在MapReduce和Hive中使用Compression
> 安装和配置lzo

23,24， HBase入门
> Hbase架构
> Hbase集群安装
> 使用HBase Shell

25,26,27，HBase应用 - 话单查询
> Hbase Java API
> Struts2 and JSP
> Jquery Datatable and Datepicker

28,29,30，HBase应用 - 微博
> 表结构设计
> 关注好友
> 发微博
> 我的主页

31,32，Storm入门

> Storm架构及原理介绍
> 安装Storm
> 实现第一个topology
> Storm的grouping

33，Queue spout和DRPC

34,35，storm应用 - 语音话单计费

> 搭建计费topology
> 实现Queue spout和Mysql入库bolt
> 实现漫游和长途类型计算
> 计费逻辑的实现
> 整合所有功能到topology中
> 各个功能模块的验证

...全文