K-V型RDD的算子-partitionBy算子

2023-01-27 00:42:01 837 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

【Spark】RDD操作详解3——键值型Transformation算子 Transformation处理的数据为Key-Value形式的算子大致可以分为：输入分区与输出分区一对一、聚集、连接操作。输入分区与输出分区一对一mapValuesmapValues：针对（Key，Value）型数据中的Value进行Map操作，而不对Key进行处理。方框代表RDD分区。a=>a+2代表只对（ V1， 1）数据中的1进行加2操作，返回结果为3。源码： /** * P 阅读详情

partitionBy算子是对K-V型RDD中的所有元素调用一个函数对K值进行处理，根据函数的返回值对RDD进行重新分区，生成一个新的K-V型RDD。partitionBy算子的定义如下：

def partitionBy(
    self: "RDD[Tuple[K, V]]",
    numPartitions: Optional[int],
    partitionFunc: Callable[[K], int] = portable_hash,
) -> "RDD[Tuple[K, V]]"

案例：

def func(key):
    if "Spark" in key.split(" "):
        return 0
    if "Python" in key.split(" "):
        return 1
    return 5

rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])
rdd2 = rdd1.zipWithIndex()

print("RDD2的分区情况是：", rdd2.glom().collect())
rdd3 = rdd2.partitionBy(3, func)
print("RDD3的分区情况是：", rdd3.glom().collect())