按照多个字段分组统计的问题

JS_Beginner 2017-06-20 02:31:50
我的数据格式如下:
user1,1001:2|1011:1
user1,1001:1|1011:1
user2,1001:1|1011:1|1012:2
user3,1002:0

第一列是用户名,第二列是用户开启的功能,用|分隔,存在同一字段中。现在我想求每个用户的各个功能的开启数,结果如下:
user1,1001:2 1
user1,1011:1 2
...

请教大家,使用scala如何实现?
...全文
343 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
LinkSe7en 2017-06-20
  • 打赏
  • 举报
回复
这个flatMap reduceByKey就可以了,很简单

1,275

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧