RDD的容错机制和检查点

赵渝强老师 2023-01-12 22:31:37

课时名称	课时知识点
RDD的容错机制和检查点

...全文

102 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Spark容错机制Spark容错机制Spark容错机制Spark容错机制Spark容错机制Spark容错机制

Spark默认容错机制由程序员设置检查点,并利用弹性分布式数据集 (resilientdistributeddataset,RDD)的血统(lineage)进行计算.在应用程序复杂度高､迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立 Spark执行模型､检查点模型和 RDD 关键度模型的基础上,提出一种基于关键度的检查点管理 (criticalitycheckpointmanagement,CCM)策略,其中包括检查点设置算法､失效恢复算法和清理算法.其中检查点设置算法通过分析作业中 RDD的属性以及对作业恢复时间的影响,选择关键度大的 RDD 作为检查点存储;恢复算法根据各节点的计算能力做出决策,选择合适的节点执行恢复任务;清理算法在磁盘空间不足时,清除关键度较低的检查点.实验结果表明:该策略在略增加执行时间的情况下,能够选择有备份价值的RDD作为检查点,在节点失效时能够有效地降低恢复开销,提高节点的磁盘有效

RDD：基于内存的集群计算容错抽象的中英文论文

RDD：基于内存的集群计算容错抽象,spark RDD介绍

赵渝强老师的课程社区_NO_6

2

社区成员

511

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章