如何用mapreduce实现count(distinct),sum()同时输出

孤好梦中杀人 2013-11-05 12:00:41

表结构
create table ods_sdp_aapf10(
rq integer,
userid varchar2(12),
amr10 number(19,2)
)

其中，rq 日期，格式为yyyymmdd,userid员工编号，amr10，业绩
rq，userid是主键

现在请教，如何用mapreduce实现
select rq,count(distinct userid) usercount,sum(amr10) amr from ods_sdp_aapf10 group by rq

求思路。
map，reduce分别怎么写。
map的输出key，value可能是什么

...全文

498 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

少主无翼 2013-11-05

打赏
举报

回复

count(distinct userid) 用计数器获得 sum就用wordcount的例子获得

java大数据培训学校全套教材系列课程由1000集视频构成，基本就是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学校一次，完全可以找个java工程师的工作了。通过学习MapReduce程序，如何输入文件是两个文件，Partitioner的用法，Combiner的用法，自定义对象，排序sort，topN问题，全局变量，剖析源码单步调试详解MapReduce分组group遍历，reduce当中的cleanup的用法，自定义输出：多文件输出MultipleOutputs，DBOutputFormat把MapReduce结果输出到mysql中，MapReduce实现join算法，map端做join，寻找用户间的共同好友等，围绕着Mapreduce知识点的相关14个问题，学过后可以基本胜任MapReduce编程工作。课程特色：专业细致，偏案例，理论强。课程软件使用：必须下载 2018 eclipse 4.7 oxygen版本重要声明：如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声

一、去重类似于db中的select distinct(x) from table , 去重处理甚至比WordCount还要简单 [hadoop@h71 q1]$ vi hello.txt hello world hello hadoop hello hive hello hadoop hello world hello world [hadoop@h71 q1]$ hadoop fs -

1.max最大值 min最小值mongoDB不像SQL那样有min() 和max()函数。但是可以通过sort排序和limit限制返回来得到想要的结果找到投票数helpful_votes**最多**的评论：（最大值，按照降序排列，并限制返回第1条记录）db.reviews.find({}).sort({helpful_votes : -1}).limit(1)找到投票数helpful_votes**

Hive调优——count distinct替换

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章