12sortbyKey学生分数进行排序

zhchzh1000 2023-01-12 18:48:27

课时名称	课时知识点
12sortbyKey学生分数进行排序

...全文

116 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

原文链接：https://www.toutiao.com/i6845585556722680328/ 在实际开发中经常需要对数据进行排序统计，Spark的sortBy以及SortByKEy算子并不能完全适用开发场景，需要我们自定义排序规则，例如如下数据： Array("张三 16 98.3", "李四 14 98.3", "王五 34 100.0", "赵六 26 98.2", "田七 18 98.2") 包含三个字段的学生数据，（姓名，年龄，成绩），我们需要按照成绩进行降序排序，成绩相同的按照年龄

1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey、sortBy：将学生分数进行排序7、join：打印每个学生的成绩8、cogroup：打印每个学生的成绩 package sparkcore.java;import java.u...

thransformation操作1、map：将集合中每个元素乘以2 2、filter：过滤出集合中的偶数 3、flatMap：将行拆分为单词 4、groupByKey：将每个班级的成绩进行分组 5、reduceByKey：统计每个班级的总分 6、sortByKey：将学生分数进行排序 7、join：打印每个学生的成绩 //使用join算子关联两个RDD，jion之后还是会根据key进

1、map：将集合中每个元素乘以2 2、filter：过滤出集合中的偶数 3、flatMap：将行拆分为单词 4、groupByKey：将每个班级的成绩进行分组 5、reduceByKey：统计每个班级的总分 6、sortByKey：将学生分数进行排序 7、join：打印每个学生的成绩 8、cogroup：打印每个学生的成绩 scala版本： import org.apache.spark....

一、目标对象添加隐式转换函数的方式实现自定义排序 object MySort{ //为student类添加隐式转换函数 implicit val stuOrdering = new Ordering[student]{ override def compare(x: student, y: student) = { //自定义排序格式为：默认按年龄升序排序，当年龄相...

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章