spark reducebykey计算多个value的值？如图

2016-04-09 11:49:43 5.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Spark算子reduceByKey深度解析最近经常使用到reduceByKey这个算子，懵逼的时间占据多数，所以沉下心来翻墙上国外的帖子仔细过了一遍，发现一篇不错的，在此加上个人的理解整体过一遍这个算子，那么我们开始：国外的大牛一上来给出这么一句话，个人感觉高度概括了reduceByKey的功能：Spark RDD reduceByKey function merges the values for each key using 阅读详情

...全文

【Spark系列2】reduceByKey和groupByKey区别与用法在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是非常实用的format——pair RDD，即RDD的每一行是（key, value）的格式。这种格式很像Python的字典类型，便于针对key进行一些处理。针对pair RDD这样的特殊形式，spark中定义了许多方便的操作，今天主要介绍一下reduceByKey和groupByKey，因为在接下来阅读详情

Yt_Sports

Spark 1,274 成员 1,171 内容

+ 关注 + 加入社区

切换为时间正序

xxbb339 2019-04-25

打赏
举报

基本思路： num 10 20 转成（num, (10, 20)） key为num 然后按照key进行求和，（key, (10+10,20+20) map(x=>(x.1,(x.2, x.3))).reduceBykey((s, h)=>(s._1+h._1, s._2+h._2))

爱吃西蓝花的老张 2019-03-13

打赏
举报

引用 5 楼止鱼的回复:

.reduceByKey((x,y)=> (x._1+x._2,y._1+y._2), 10)

写错了，应该是： .reduceByKey((x,y)=>(x._1+y._1,x._2+y._2)) 楼上是对的

爱吃西蓝花的老张 2018-07-30

打赏
举报

.reduceByKey((x,y)=> (x._1+x._2,y._1+y._2), 10)

夏末的初雪 2018-02-23

打赏
举报

.reduceByKey((x,y)=>(x._1+y._1,x._2+y._2))

gikod 2016-05-16

打赏
举报

用不着字符串拼接，先用map转换一下类型就好

scala> val cm = c.map(e => (e._1, (e._2, 0)))
cm: org.apache.spark.rdd.RDD[(String, (Int, Int))] = MapPartitionsRDD[25] at map at <console>:23

scala> val cr = cm.reduceByKey((e1, e2) => (e1._1 + e2._1, e1._1/2 + e2._1/2))
cr: org.apache.spark.rdd.RDD[(String, (Int, Int))] = ShuffledRDD[26] at reduceByKey at <console>:25

scala> val cz = cr.map(e => (e._1, e._2._1, e._2._2))
cz: org.apache.spark.rdd.RDD[(String, Int, Int)] = MapPartitionsRDD[27] at map at <console>:27

scala> cz.collect
res15: Array[(String, Int, Int)] = Array((b,3,1), (a,6,2), (c,1,0))

scala> val c = sc.parallelize(List(("a", 1), ("a", 2), ("a", 3), ("b", 1), ("b", 2), ("c", 1)))
c: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[28] at parallelize at <console>:21

闸北米 2016-05-13

打赏
举报

JavaPairRDD<String, String> rdd1 = lines.mapToPair(new PairFunction<String, String, String>() { @Override public Tuple2<String, String> call(String arg0) throws Exception { String temp = arg0.split(" ")[0]; String temp2 = arg0.split(" ")[1]; String temp3 = arg0.split(" ")[2]; return new Tuple2<String, String>(temp, temp2 + "-" + temp3 ); } }); JavaPairRDD<String, String> rdd2 = rdd1.reduceByKey(new Function2<String, String, String>() { @Override public String call(String arg0, String arg1) throws Exception { int a = Integer.parseInt(arg0.split("-")[0]); int a2 = Integer.parseInt(arg1.split("-")[0]); String aa = String.valueOf(a+a2); int b = Integer.parseInt(arg0.split("-")[1]); int b2 = Integer.parseInt(arg1.split("-")[1]); String bb = String.valueOf(b+b2); return aa + "-" + bb; } }); JavaRDD<String> rdd3 = rdd2.map(new Function<Tuple2<String,String>, String>() { @Override public String call(Tuple2<String, String> arg0) throws Exception { String lines = arg0._1() + " " + arg0._2.split("-")[0] + " " + arg0._2.split("-")[1]; return lines; } }); System.out.println(rdd3.collect()); 输入 num 10 20 num 11 22 name 22 33 cmj 332 21 输出 [cmj 332 21, num 21 42, name 22 33]

鹏89 2016-05-12

打赏
举报

引用楼主 Yt_Sports 的回复:

reducebykey 只能是key-value的形式，你这里是三元tuple了，你可以先处理一行之后再reducebykey

spark reducebykey计算多个value的值？如图

相关推荐