spark rdd 分组统计多列聚合

[我的天空永远蔚蓝]

数据如下
a,1,3
a,2,4
b,1,1
我想根据第一列统计出
a,3,7
b,1,1
用 rdd实现

[我的天空永远蔚蓝]

mark!!!

[我的天空永远蔚蓝]

mark!!!

[我的天空永远蔚蓝]

asdasdasd

[shiter]

data.flatMap(_.split("\t").map((_,1))).reduceByKey(_+_).collect().foreach(println) 类似这种

[_路人_]

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object RDDTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RDDTest").setMaster("local
"
)
    val sc = new SparkContext(conf);

    val input = sc.parallelize(List(
      List("a", 1, 3),
      List("a", 2, 4),
      List("b", 1, 1)), 3)

    // 根据数据数据类型,转化为(key, (value1, value2))形式的键值对
    val maped: RDD[(String, (Int, Int))] = input.map {
      x => {
        val key = x(0).toString;
        val v1 = x(1).toString.toInt;
        val v2 = x(2).toString.toInt;
        (key, (v1, v2))
      }
    }

    // 根据key进行合并, value1与value1合并, value2与value2合并
    val reduced: RDD[(String, (Int, Int))] = maped.reduceByKey(
      (lastValue, thisValue) => {
        (lastValue._1 + thisValue._1, lastValue._2 + thisValue._2)
      }
    )

    // 转换成原来的形式
    val result: RDD[List[Any]] = reduced.map(x => List(x._1, x._2._1, x._2._2))

    // 收集打印
    result.collect().foreach(println)
    /**
      * List(a, 3, 7)
      * List(b, 1, 1)
      */
  }
}

过程很详细,你可以把List形式的装换成别的. 希望可以帮到你.

[zsup]

我把测试数据放在/home下名为text.txt，步骤如下你可以参考
val rdd = sc.textFile("file:///home/text.txt")
case class Aoo(name:String,num1:Int,num2:Int)
val df = rdd.map(_.split(" ")).map(aoo => Aoo(aoo(0),aoo(1).trim.toInt,aoo(2).trim.toInt)).toDF()
df.show
df.createOrReplaceTempView(aoo)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
sqlContext.sql("from(select name,sum(num1) as sum from aoo group by name)num1 join (select name,sum(num2) as sum from aoo group by name)num2 on num1.name=num2.name select num1.name,num1.sum,num2.sum order by name").show
测试结果如下我再做测试数据的时候写成了b,1,3,见谅见谅

[忧云]

上面三行生成三个RDD，然后map(a->{a.split(",")[0],a.split(",")[1]+a.split(",")[2]})映射成以第0个为主的元组,出来三个元组的RDD，再进行join，在里面进行累加后map输入格式，进行合并相加就出现外面的数据了。