社区
Cloud Foundry
帖子详情
hadoop的shuffle过程为什么要用快速排序和归并排序？其他排序不可以吗？
weixin_39707070
2019-07-06 09:00:18
救救面试孩子吧，孩子面试
...全文
799
1
打赏
收藏
hadoop的shuffle过程为什么要用快速排序和归并排序？其他排序不可以吗？
救救面试孩子吧，孩子面试
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Ilovesg
2019-08-15
打赏
举报
回复
实现简单啊，且这两种算法时间复杂度都为nlogn级别的排序算法。 一个稳定一个不稳定。 要稳定用归并。 有时不需要稳定就用快速，快速排序节省空间资源。
Hadoop
基础【MapReduce中的
Shuffle
机制】
本文详细介绍了
Hadoop
MapReduce中的
Shuffle
机制，包括Map阶段、
Shuffle
过程
、数据
排序
以及如何解决数据倾斜问题。
Shuffle
阶段包含内存中的
快速
排序
、
归并
排序
和最终归并，确保数据在Reducer中按分组有序。还讨论了自定义分区、WritableComparable接口实现
排序
、Combiner局部汇总以及GroupingComparator分组比较器的应用。
Hadoop
和Spark为什么要对key进行
排序
本文探讨了
Hadoop
和Spark为何对key进行
排序
，指出这旨在提高系统稳定性和满足多数需求。MapReduce
过程
涉及三次
排序
，包括溢写
快速
排序
和
归并
排序
。MapTask和ReduceTask通过
排序
保证数据有序，简化后续处理，如拉取数据时的便利。而未采用Hash
Shuffle
是因大数据下可能导致内存爆满，影响集群稳定性。
Hadoop
的
shuffle
的
过程
Hadoop
的
shuffle
分为map端和reduce端。map端涉及input、partition、spill和merge，其中数据经过分区、
排序
、Combiner处理后写入本地磁盘。reduce端的
shuffle
包括fetch、merge和reduce阶段，数据通过网络复制、
归并
排序
，最后进行reduce计算。优化策略包括使用Combiner、调整缓冲区大小和复制线程数。
hadoop
shuffle
机制中针对中间数据的
排序
过程
详解（源代码级）
本文详细阐述了
Hadoop
在
shuffle
过程
中针对中间数据的
排序
机制，包括
快速
排序
、堆
排序
和
归并
排序
的结合使用，以及如何通过源代码实现高效
排序
。重点解释了
排序
过程
如何贯穿整个
shuffle
阶段，并在系统层面完成
排序
操作。
深入解析
Hadoop
Shuffle
过程
本文深入解析
Hadoop
MapReduce框架中的
shuffle
过程
，涵盖map端输出准备、数据传输、reduce端输入处理及关键优化策略。
shuffle
负责将map输出数据高效传输、
排序
和合并，供reduce处理，涉及分区、
排序
、磁盘I/O和网络传输，是影响性能的关键环节。
Cloud Foundry
548
社区成员
350
社区内容
发帖
与我相关
我的任务
Cloud Foundry
Cloud Foundry是业界第一个开源PaaS云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。
复制链接
扫一扫
分享
社区描述
Cloud Foundry是业界第一个开源PaaS云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章
发帖
与我相关
我的任务
分享
