第2讲大数据架构设计理论与实践大数据处理系统架构分析

新星创作者: 云计算技术领域

2025-03-08 15:59:13

课时名称	课时知识点
第2讲大数据架构设计理论与实践大数据处理系统架构分析	本章主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲，本小时知识点会涉及案例分析题和论文题（各占25 分）。本小时内容侧重于理解性记忆，按照以往的出题规律，部分基础知识点来源于教材，部分考查内容需要灵活运用相关知识点

...全文

52 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

如图19-4所示，Lambda架构可分解为三层，即批处理层、加速层和服务层。(1)批处理层(Batch Layer)存储数据集，Batch Layer在数据集上预先计算查询函数，并构建查询所对应的View。Batch Layer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况，Speed Layer更为适合。(2)加速层(Speed Layer)Batch Layer处理的是全体数据集，而Speed Layer处理的是最近的增量数据流。

大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。

因此 Kappa 架构本质上是通过改进 Lambda 架构中的加速层，使它既能够进行实时数据处理，同时也有能力在业务逻辑更新的情况下重新处理以前处理过的历史数据。某网基于 Lambda 架构的广告平台，分为批处理层（Batch Layer）、加速层（Speed Layer）、服务层（Serving Layer），如图。因此，大数据的目的和价值就在于发现新的知识，Kappa 架构是在 Lambda 架构的基础上进行了优化，删除了 Batch Layer 的架构，将数据通道以消息队列进行替代，如图。

探讨了大数据架构设计理论与实践，分析了大数据系统设计的关键要素和常见架构。文章首先介绍了Lambda架构和Kappa架构，以及它们在处理大数据时的优势和局限性。Lambda架构将数据处理分为批处理和实时处理两层，适用于需要离线和实时数据处理相结合的场景。而Kappa架构则在同一层内进行实时处理和离线处理，更适用于实时性要求较高的场景。

第22课时主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲,本课时知识点会涉及案例分析题和论文题(各占25分)。本课时内容侧重于理解性记忆,按照以往的出题规律,部分基础知识点来源于教材,部分考查内容需要灵活运用相关知识点。本课时知识架构如图22.1所示。

邵宗其的课程社区_NO_1

1

社区成员

143

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章