RDD的Action算子-fold算子

2023-01-28 18:22:11 844 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

【Spark】RDD操作详解4——Action算子本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。图中，foreach算子通过用户自定义函数对每个数据项进行操作。阅读详情

fold算子是基于一个初始值对RDD中的元素调用一个函数进行聚合，返回聚合后的结果，与reduce算子类似。与reduce算子不同的是，reduce算子无初始值，而fold算子需要一个初始值。fold算子首先基于初始值在RDD的各个分区内部完成分区内聚合，再基于初始值在各个分区之间完成分区间聚合。fold算子的定义如下：

def fold(self: "RDD[T]", zeroValue: T, op: Callable[[T, T], T]) -> T

案例：

rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])

print("RDD1中元素的总长度是：", rdd1.map(lambda x: len(x)).fold(5, lambda a, b: a + b))