HIVE分区数据量统计

sinat_34438123 2017-08-18 12:00:24

要统计好多张表，好多个分区的数据条数，求大神赐脚本！！！

...全文

2816 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

蘑油里 2020-11-24

打赏
举报

回复

说的什么屁话

大脸猫o 2019-03-07

打赏
举报

回复

查询元数据，自己生成脚本

hive分区表分区数据量统计

hive查看分区数据量

在Hive explain获得执行计划时，经常会看到如下图所示的表数据量统计：那么这个数据量，Hive是如何统计出来的呢？一、Data size统计 1.1、Hive源码在Hive通过Antlr语法解析器获取到SQL的抽象语法树（AST）并生成校验过元数据的逻辑执行计划后，在优化阶段会使用Statistics统计的规则（rule），如下图所示：在AnnotateWithStatistics这个类中，在对执行计划进行转化（transform）时会调用TableScanStatsRul

查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd

对于数据量的统计，从表是否分区分为和两者有着不同的统计方式。

7,393

社区成员

6,740

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章