K-V型RDD的算子-sortByKey算子

2023-01-27 00:41:06 874 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Spark RDD中两种算子之一：常见Transformation算子小结 RDD：弹性分布式数据集，是一种特殊集合，支持多来源，有容错机制，可以被缓存，支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种算子： 1.Transformation（转换）：属于延迟Lazy计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住数据集的逻辑操作； 2.Action（执行）：触发Spark作业运行，真正触发转换算子的计算； RDD中算子的运行过程：输入... 阅读详情

sortByKey算子是对K-V型RDD中的所有元素都调用一个函数对K值进行处理，根据函数的返回值对RDD的元素进行排序，生成一个新的K-V型RDD。sortByKey算子的定义如下：

def sortByKey(
    self: "RDD[Tuple[K, V]]",
    ascending: Optional[bool] = True,
    numPartitions: Optional[int] = None,
    keyfunc: Callable[[Any], Any] = lambda x: x,
) -> "RDD[Tuple[K, V]]"

案例：

rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])
rdd2 = rdd1.zipWithIndex()

rdd3 = rdd2.sortByKey()
rdd4 = rdd2.sortByKey(keyfunc=lambda x: str(len(x)))

print("RDD2的数据是：", rdd2.collect())
print("RDD3的数据是：", rdd3.collect())
print("RDD4的数据是：", rdd4.collect())