K-V型RDD的算子-sortByKey算子

wux_labs 2023-01-27 00:41:06

sortByKey算子是对K-V型RDD中的所有元素都调用一个函数对K值进行处理,根据函数的返回值对RDD的元素进行排序,生成一个新的K-V型RDD。sortByKey算子的定义如下:

def sortByKey(
    self: "RDD[Tuple[K, V]]",
    ascending: Optional[bool] = True,
    numPartitions: Optional[int] = None,
    keyfunc: Callable[[Any], Any] = lambda x: x,
) -> "RDD[Tuple[K, V]]"

案例:

rdd1 = sc.parallelize(["Hello Python", "Hello Spark You", "Hello Python Spark", "You know PySpark"])
rdd2 = rdd1.zipWithIndex()

rdd3 = rdd2.sortByKey()
rdd4 = rdd2.sortByKey(keyfunc=lambda x: str(len(x)))

print("RDD2的数据是:", rdd2.collect())
print("RDD3的数据是:", rdd3.collect())
print("RDD4的数据是:", rdd4.collect())
...全文
145 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

4,721

社区成员

发帖
与我相关
我的任务
社区描述
姓什么?我姓大。 大什么?大数据。 有多大?lambda。 家族成员有哪些?Hadoop、Hive、Spark。 开发语言有什么?Java、Python、Scala。
大数据 个人社区
社区管理员
  • wux_labs
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧