RDD的分区操作算子-repartition算子

[wux_labs]

repartition算子用来对RDD的分区执行重新分区，根据指定的分区数，重新对RDD的数据进行Shuffle，生成一个新的RDD。repartition算子的定义如下：

def repartition(self: "RDD[T]", numPartitions: int) -> "RDD[T]"

案例：

rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])
rdd2 = rdd1.repartition(4)
rdd3 = rdd1.repartition(1)

print("RDD1的分区数是：", rdd1.getNumPartitions())
print("RDD2的分区数是：", rdd2.getNumPartitions())
print("RDD3的分区数是：", rdd3.getNumPartitions())