15spark架构原理

zhchzh1000 2023-01-12 18:48:28

课时名称课时知识点
15spark架构原理
...全文
168 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
高级数据处理技巧：.NET for Apache Spark 复杂查询与优化策略
本文聚焦于 .NET for Apache Spark 的高性能数据处理，涵盖架构原理、向量化UDF开发、广播变量应用、数据分区优化及执行计划分析等关键技术。通过日志分析案例展示如何将10TB日志处理耗时从45分钟降至15分钟内，强调UDF向量化、广播变量、分区策略与缓存机制对性能提升的核心作用。
spark-python
本文通过观看黑马教学视频并结合 Spark 八股，详细记录了 Spark 的知识要点，包括 Spark 的运行模式、架构角色、Standalone 运行原理、集群环境安装、程序运行层次架构、HA 模式等核心内容。
2024.1.15 Spark 阶段原理,八股,面试题
本文围绕Spark和Kafka展开，介绍了Spark的特点、工作原理、RDD算子、持久化等知识，对比了SparkSQL和Hive，还阐述了Kafka的架构、数据分发策略、存储查询机制等，同时提及消息队列应用场景、结构化流输出模式及小文件处理方法。
15 Spark on 内部通讯架构
本文详细介绍了Spark通信框架从早期的Akka到后来的Netty转变的过程。在Spark1.3中，Netty引入以解决大规模Shuffle数据传输问题。到了Spark2.0，Netty成为默认通信框架，取代Akka。Spark基于Netty的RPC框架采用了Actor模型，各个组件如Driver和Executor通过消息传递进行通信。文章还阐述了RpcEndpoint、RpcEnv、Dispatcher、Inbox、OutBox等核心组件的工作原理，以及TransportClient和TransportServer的角色。
图解Spark源码（一）--- Spark 通信架构
本文介绍了Spark的通信架构，重点讲述了从Spark1.6之前使用Akka到1.6之后转向Netty的转变。文中通过一个简单的YARN模拟案例展示了Actor模型的工作原理，同时详细阐述了Spark中各个组件如Driver、Master、Worker和Executor之间的通信方式。此外，还分析了Spark的RpcEndpoint、RpcEndpointRef、RpcEnv等关键组件及其交互机制，揭示了Spark分布式计算中节点间高效通信的秘密。
张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖
与我相关
我的任务
社区管理员
  • zhchzh1000
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章