RDD的分区操作算子-coalesce算子
coalesce算子用来对RDD的分区执行重新分区,根据指定的分区数,重新对RDD的数据进行分区,生成一个新的RDD。coalesce算子的定义如下:
def coalesce(self: "RDD[T]", numPartitions: int, shuffle: bool = False) -> "RDD[T]"
案例:
rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])
rdd2 = rdd1.coalesce(4)
rdd3 = rdd1.coalesce(4, shuffle=True)
rdd4 = rdd1.coalesce(1)
print("RDD1的分区数是:", rdd1.getNumPartitions())
print("RDD2的分区数是:", rdd2.getNumPartitions())
print("RDD3的分区数是:", rdd3.getNumPartitions())
print("RDD4的分区数是:", rdd4.getNumPartitions())
...全文
相关推荐
Spark大数据处理学习笔记
资源Spark大数据处理学习笔记知识分享
Spark学习笔记 Spark学习笔记 Spark学习笔记
Spark学习笔记 Spark学习笔记 Spark学习笔记
经典Spark算子的JAVA实现.zip
25个经典Spark算子的JAVA实现(已通过Junit测试)
Spark-Spark的开发调优.pdf
Spark-Spark的开发调优.pdf
spark 调优解析 spark 企业调优
本文76000字,通篇spark性能调优,性能监控风湿,数据倾斜调优,shuffle调优,程序开发调优,运行资源调优,JVM,GC调优,以及企业spark大数据平台调优真实案例,用于企业spark调优参考,学习交流


