请教hive中使用开窗函数sum聚合时候执行很慢如何优化

学习路上的小乌龟 2020-05-04 06:33:45

在oracle使用开窗函数跑25万数据量只需要3秒，hive执行时候reduce无限多，完全执行不动！尝试执行同样逻辑的两万以内数据一分钟就可以跑完，数据量大了完全执行不动！有没有遇到过这种问题的大佬们！

...全文

1089 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

後弛 2021-05-13

打赏
举报

回复

可以用hive on spark处理数据，不走mapreduce就快很多了

学习路上的小乌龟 2020-05-04

打赏
举报

回复

大佬们急救

窗口聚合函数：SUM、AVG、COUNT、MAX、MIN 总结功能：用于实现数据分区后的聚合语法：fun_name(col1) over (partition by col2 order by col3) 示例：实现分区内的累加，其他的原理类似不指定窗口时,不排序默认第一行到最后一行,排序默认第一行到当前行指定窗口时 --rows between 起始位置 and 结束位置 N preceding：往前多少行 N following：往后多少行 current row：当前行 un

工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。测试数据 --...

hive的开窗函数 开窗函数可用于组内数据分析排序。 开窗函数的语法 Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>] [<window_expression>]) hive常用的开窗函数Function ： -- 聚合开窗函数 count(); -- 窗口内总条数 sum(); -- 窗口内数据的和 min(); -- 窗口内最小值 max(); -- 窗口内最

我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数.目前，我用的多的就是 row_number() , sum(), 解决topN 问题，分区排序，累积计数。hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于OLAP分析（在线分析处理）。

一、介绍分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。 开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化！到底什么是数据窗口？后面举例会详细讲到！ Window Function又称为窗口函数、分析函数。窗口函数与聚合函数类似，但是每一行数据都生成一个结果。聚合函数(比如sum、avg、max等)可以将多行数据按照规定聚合为一行，一般来讲聚集后的行数要少于聚集前的行数。但是有时我们想要既显示聚

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章