社区
徐培成的课程社区_NO_1
2019年经典hadoop体系课程
帖子详情
Hadoop第15天-05.join-reduce端连接2
十八掌教育
2023-01-12 22:38:36
课时名称
课时知识点
Hadoop第15天-05.join-reduce端连接2
...全文
75
回复
打赏
收藏
Hadoop第15天-05.join-reduce端连接2
课时名称课时知识点Hadoop第15天-05.join-reduce端连接2
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Hadoop
开发第四期
Hadoop
开发第四期
Hadoop
开发者第四期
mooon 1 海量数据处理平台架构演变 4 计算不均衡问题在Hive中的解决办法
15
Join
算子在
Hadoop
中的实现 20 配置Hive元数据DB为PostgreSQL 32 ZooKeeper权限管理机制 36 ZooKeeper服务器工作原理和流程 39 ZooKeeper实现共享锁 47
Hadoop
最佳实践 50 通过
Hadoop
的API管理Job 54
Hadoop
集群的配置调优 60
Hadoop
平台的Java规范及经验 63 Map
Reduce
开发经验总结 67
Hadoop
中的tar命令的实现 70
Hadoop
技术论坛运营数据分享 92
《
Hadoop
开发者》第四期
mooon................................................ 01 海量数据处理平台架构演变............................. 04 计算不均衡问题在Hive 中的解决办法....................
15
Join
算子在
Hadoop
中的实现........................... 20 配置Hive 元数据DB 为PostgreSQL....................... 32 ZooKeeper 权限管理机制............................... 36 ZooKeeper 服务器工作原理和流程....................... 39 ZooKeeper 实现共享锁................................. 47
Hadoop
最佳实践...................................... 50 通过
Hadoop
的API 管理Job............................. 54
Hadoop
集群的配置调优................................ 60
Hadoop
平台的Java 规范及经验......................... 63 Map
Reduce
开发经验总结............................... 67
Hadoop
中的tar 命令的实现............................ 70
Hadoop
技术论坛运营数据分享.......................... 92
Hadoop
硬实战 [(美)霍姆斯著][电子工业出版社][20
15
.01]_PDF电子书下载 带书签目录 高清完整版.rar )
前言 致谢 关于本书 第1 部分 背景和基本原理 1 跳跃中的
Hadoop
1.1 什么是
Hadoop
1.1.1
Hadoop
的核心组件 1.1.2
Hadoop
生态圈 1.1.3 物理架构 1.1.4 谁在使用
Hadoop
1.1.5
Hadoop
的局限性 1.2 运行
Hadoop
1.2.1 下载并安装
Hadoop
1.2.2
Hadoop
的配置 1.2.3 CLI 基本命令 1.2.4 运行Map
Reduce
作业 1.3 本章小结 第2 部分 数据逻辑. 2 将数据导入导出
Hadoop
. 2.1 导入导出的关键要素 2.2 将数据导入
Hadoop
. 2.2.1 将日志文件导入
Hadoop
技术点1 使用Flume 将系统日志文件导入HDFS 2.2.2 导入导出半结构化和二进制文件 技术点2 自动复制文件到HDFS 的机制 技术点3 使用Oozie 定期执行数据导入活动 2.2.3 从数据库中拉数据 技术点4 使用Map
Reduce
将数据导入数据库 技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为Map
Reduce
的数据源 2.3 将数据导出
Hadoop
2.3.1 将数据导入本地文件系统 技术点8 自动复制HDFS 中的文件 2.3.2 数据库 技术点9 使用Sqoop 将数据导入MySQL 2.3.3 Hbase 技术点10 将数据从HDFS 导入HBase 技术点11 使用HBase 作为Map
Reduce
的数据接收器 2.4 本章小结 3 数据序列化――处理文本文件及其他格式的文件 3.1 了解Map
Reduce
中的输入和输出 3.1.1 数据输入 3.1.2 数据输出 3.2 处理常见的序列化格式 3.2.1 XML . 技术点12 Map
Reduce
和XML 3.2.2 JSON . 技术点13 Map
Reduce
和JSON . 3.3 大数据的序列化格式 3.3.1 比较SequenceFiles、Protocol Buffers、Thrift 和 Avro 3.3.2 Sequence File 技术点14 处理SequenceFile 3.3.3 Protocol Buffers 技术点
15
整合Protocol Buffers 和Map
Reduce
. 3.3.4 Thrift . 技术点16 使用Thrift 3.3.5 Avro 技术点17 Map
Reduce
的下一代数据序列化技术 3.4 自定义文件格式 3.4.1 输入输出格式 技术点18 输入和输出格式为CSV 的文件 3.4.2 output committing 的重要性 3.5 本章小结 第3 部分 大数据模式 4 处理大数据的Map
Reduce
模式 4.1
Join
4.1.1 Repartition
Join
技术点19 优化repartition
join
4.1.2 Replicated
Join
4.1.3 Semi-
join
技术点20 实现semi-
join
4.1.4 为你的数据挑选最优的合并策略 4.2 排序 4.2.1 二次排序 技术点21 二次排序的实现 4.2.2 整体并行排序 技术点22 通过多个
reduce
r 对key 进行排序 4.3 抽样 技术点23 蓄水池抽样(reservoir 抽样) 4.4 本章小结 5 优化HDFS 处理大数据的技术 5.1 处理小文件 技术点24 使用Avro 存储大量小文件 5.2 通过压缩提高数据存储效率 技术点25 选择合适的压缩解码器 技术点26 在HDFS、Map
Reduce
、Pig 和Hive 中使用数据压缩 技术点27 在Map
Reduce
、Hive 和Pig 中处理可分割的LZOP 5.3 本章小结 6 诊断和优化性能问题 6.1 衡量Map
Reduce
和你的环境 6.1.1 提取作业统计信息的工具 6.1.2 监控 6.2 确定性能问题的原因 6.2.1 了解哪些因素会影响Map
Reduce
作业的性能 6.2.2 map
端
异常 技术点28 发现输入数据中的坑 技术点29 确定map
端
数据倾斜问题 技术点30 判定map 任务吞吐量 技术点31 小文件 技术点32 不可切割的文件 6.2.3
reduce
端
问题 技术点33
reduce
r 任务数过大或过小 . 技术点34 定位
reduce
端
数据倾斜问题 技术点35 确定
reduce
任务是否存在整体吞吐量过低 技术点36 缓慢的洗牌(shuffle)和排序 . 6.2.4 任务的一般性能问题 技术点37 作业竞争和调度器限制 技术点
云应用系统开发第二次项目(map
reduce
)
云应用系统开发第二次项目(map
reduce
)
徐培成的课程社区_NO_1
1
社区成员
469
社区内容
发帖
与我相关
我的任务
徐培成的课程社区_NO_1
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章