Hadoop第15天-05.join-reduce端连接2

十八掌教育 2023-01-12 22:38:36

课时名称	课时知识点
Hadoop第15天-05.join-reduce端连接2

...全文

78 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Hadoop开发第四期

mooon 1 海量数据处理平台架构演变 4 计算不均衡问题在Hive中的解决办法 15 Join算子在Hadoop中的实现 20 配置Hive元数据DB为PostgreSQL 32 ZooKeeper权限管理机制 36 ZooKeeper服务器工作原理和流程 39 ZooKeeper实现共享锁 47 Hadoop最佳实践 50 通过Hadoop的API管理Job 54 Hadoop集群的配置调优 60 Hadoop平台的Java规范及经验 63 MapReduce开发经验总结 67 Hadoop中的tar命令的实现 70 Hadoop技术论坛运营数据分享 92

mooon................................................ 01 海量数据处理平台架构演变............................. 04 计算不均衡问题在Hive 中的解决办法.................... 15 Join 算子在Hadoop 中的实现........................... 20 配置Hive 元数据DB 为PostgreSQL....................... 32 ZooKeeper 权限管理机制............................... 36 ZooKeeper 服务器工作原理和流程....................... 39 ZooKeeper 实现共享锁................................. 47 Hadoop 最佳实践...................................... 50 通过Hadoop 的API 管理Job............................. 54 Hadoop 集群的配置调优................................ 60 Hadoop 平台的Java 规范及经验......................... 63 MapReduce 开发经验总结............................... 67 Hadoop 中的tar 命令的实现............................ 70 Hadoop 技术论坛运营数据分享.......................... 92

前言致谢关于本书第1 部分　背景和基本原理 1　跳跃中的Hadoop 1．1　什么是Hadoop 1．1．1　Hadoop 的核心组件 1．1．2　Hadoop 生态圈 1．1．3　物理架构 1．1．4　谁在使用Hadoop 1．1．5　Hadoop 的局限性 1．2　运行Hadoop 1．2．1　下载并安装Hadoop 1．2．2　Hadoop 的配置 1．2．3　CLI 基本命令 1．2．4　运行MapReduce 作业 1．3　本章小结第2 部分　数据逻辑． 2　将数据导入导出Hadoop． 2．1　导入导出的关键要素 2．2　将数据导入Hadoop ． 2．2．1　将日志文件导入Hadoop 技术点1　使用Flume 将系统日志文件导入HDFS 2．2．2　导入导出半结构化和二进制文件技术点2　自动复制文件到HDFS 的机制技术点3　使用Oozie 定期执行数据导入活动 2．2．3　从数据库中拉数据技术点4　使用MapReduce 将数据导入数据库技术点5　使用Sqoop 从MySQL 导入数据 2．2．4　HBase 技术点6　HBase 导入HDFS 技术点7　将HBase 作为MapReduce 的数据源 2．3　将数据导出Hadoop 2．3．1　将数据导入本地文件系统技术点8　自动复制HDFS 中的文件 2．3．2　数据库技术点9　使用Sqoop 将数据导入MySQL 2．3．3　Hbase 技术点10　将数据从HDFS 导入HBase 技术点11　使用HBase 作为MapReduce 的数据接收器 2．4　本章小结 3　数据序列化――处理文本文件及其他格式的文件 3．1　了解MapReduce 中的输入和输出 3．1．1　数据输入 3．1．2　数据输出 3．2　处理常见的序列化格式 3．2．1　XML ．技术点12　MapReduce 和XML 3．2．2　JSON ．技术点13　MapReduce 和JSON ． 3．3　大数据的序列化格式 3．3．1　比较SequenceFiles、Protocol Buffers、Thrift 和 Avro 3．3．2　Sequence File 技术点14　处理SequenceFile 3．3．3　Protocol Buffers 技术点15　整合Protocol Buffers 和MapReduce ． 3．3．4　Thrift ．技术点16　使用Thrift 3．3．5　Avro 技术点17　MapReduce 的下一代数据序列化技术 3．4　自定义文件格式 3．4．1　输入输出格式技术点18　输入和输出格式为CSV 的文件 3．4．2　output committing 的重要性 3．5　本章小结第3 部分　大数据模式 4　处理大数据的MapReduce 模式 4．1　Join 4．1．1　Repartition Join 技术点19　优化repartition join 4．1．2　Replicated Join 4．1．3　Semi-join 技术点20　实现semi-join 4．1．4　为你的数据挑选最优的合并策略 4．2　排序 4．2．1　二次排序技术点21　二次排序的实现 4．2．2　整体并行排序技术点22　通过多个reducer 对key 进行排序 4．3　抽样技术点23　蓄水池抽样（reservoir 抽样） 4．4　本章小结 5　优化HDFS 处理大数据的技术 5．1　处理小文件技术点24　使用Avro 存储大量小文件 5．2　通过压缩提高数据存储效率技术点25　选择合适的压缩解码器技术点26　在HDFS、MapReduce、Pig 和Hive 中使用数据压缩技术点27　在MapReduce、Hive 和Pig 中处理可分割的LZOP 5．3　本章小结 6　诊断和优化性能问题 6．1　衡量MapReduce 和你的环境 6．1．1　提取作业统计信息的工具 6．1．2　监控 6．2　确定性能问题的原因 6．2．1　了解哪些因素会影响MapReduce 作业的性能 6．2．2　map 端异常技术点28　发现输入数据中的坑技术点29　确定map 端数据倾斜问题技术点30　判定map 任务吞吐量技术点31　小文件技术点32　不可切割的文件 6．2．3　reduce 端问题技术点33　reducer 任务数过大或过小．技术点34　定位reduce 端数据倾斜问题技术点35　确定reduce 任务是否存在整体吞吐量过低技术点36　缓慢的洗牌（shuffle）和排序． 6．2．4　任务的一般性能问题技术点37　作业竞争和调度器限制技术点

云应用系统开发第二次项目（mapreduce）

徐培成的课程社区_NO_1

1

社区成员

469

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章