HIVE分区数据量统计

sinat_34438123 2017-08-18 12:00:24

要统计好多张表，好多个分区的数据条数，求大神赐脚本！！！

...全文

2863 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

蘑油里 2020-11-24

打赏
举报

回复

说的什么屁话

大脸猫o 2019-03-07

打赏
举报

回复

查询元数据，自己生成脚本

该博客围绕shell脚本统计hive外表天分区数据量展开，提到脚本中day变量自增，如20240628、20240629等，但部分日期不符合要求。

该SQL查询从dw_etl的syn_analysis_stg_task和syn_stg_map表中获取状态为1的任务，结合hive的TBLS、PARTITIONS和PARTITION_PARAMS表，统计表的numRows参数值，并按特定格式提取分区日期。结果将用于更新数据库和表的相关信息。

本文介绍了在Hive中统计表数据量的方法，包括使用`ANALYZE TABLE`、`DESC EXTENDED`、`SHOW CREATE TABLE`、`EXPLAIN`命令以及查询元数据库和使用HDFS命令来获取表的大小信息。对于分区表，特别提到了如何通过`hadoop fs -ls`和`awk`命令计算各分区的存储大小。

本文介绍了一个用于统计HadoopFS上指定目录每月数据量的Shell脚本。该脚本通过循环遍历2019年的每个月，使用hadoop fs -du命令获取指定路径下各月的数据大小，并将结果汇总输出。

博客介绍了Hive中数据量的统计方式，从表是否分区分为分区表和非分区表，两者在统计时都可能出现数量为0、NULL或数据量缺少的情况。还介绍了ANALYZE TABLE命令，它用于收集表或分区统计信息，分析了统计不准确的原因，并给出优化后的SQL执行方法。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章