第7讲大数据架构设计理论与实践Lambda 架构与Kappa 架构的对比和设计选择

新星创作者: 云计算技术领域

2025-03-08 15:59:14

课时名称	课时知识点
第7讲大数据架构设计理论与实践Lambda 架构与Kappa 架构的对比和设计选择	本章主要学习大数据方向软件架构的发展和工作中的实践。根据考试大纲，本小时知识点会涉及案例分析题和论文题（各占25 分）。本小时内容侧重于理解性记忆，按照以往的出题规律，部分基础知识点来源于教材，部分考查内容需要灵活运用相关知识点

...全文

60 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。

如图19-4所示，Lambda架构可分解为三层，即批处理层、加速层和服务层。(1)批处理层(Batch Layer)存储数据集，Batch Layer在数据集上预先计算查询函数，并构建查询所对应的View。Batch Layer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况，Speed Layer更为适合。(2)加速层(Speed Layer)Batch Layer处理的是全体数据集，而Speed Layer处理的是最近的增量数据流。

四个特点：大规模（Volume）、高速度（Velocity）和多样化（Variety），价值（Value）。因此大数据的特征可以整体概括为：“海量 + 多样化 + 快速处理 + 价值”。五个问题：异构性（Heterogeneity）、规模（Scale）、时间性（Timeliness）、复杂性（Complexity）和隐私性（Privacy）五个挑战：1. 挑战一：数据获取问题。2. 挑战二：数据结构问题。3. 挑战三：数据集成问题。4. 挑战四：数据分析、组织、抽取和建模等功能性挑战。

首先大数据处理系统需要几个特性： 1、容错性和鲁棒性：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。 2、低延时：很多应用对于读和写操作的延时要求非常高，要求对更新和查询的响应是低延时的。 3、横向扩容：当数据量/负载增大时，可扩展性的系统通过增加更多的机器资源来维持性能。 4、通用性：系统需要能够适应广泛的应用，包括金融领域、社交网络、电...

Kappa 和 Lambda 架构是处理大数据和实时数据流的两种不同设计模式。以下是对这两种架构的概述和比较：Lambda 架构的全称是 Lambda Architecture。这个架构旨在处理大规模数据，结合了批处理和流处理的优点，以便同时满足实时数据分析和历史数据分析的需求。Kappa 架构是对 Lambda 架构的一种简化，旨在通过统一的流处理来解决复杂性问题。

邵宗其的课程社区_NO_1

1

社区成员

143

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章