HIVE分区数据量统计

sinat_34438123 2017-08-18 12:00:24

要统计好多张表，好多个分区的数据条数，求大神赐脚本！！！

...全文

2870 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

蘑油里 2020-11-24

打赏
举报

回复

说的什么屁话

大脸猫o 2019-03-07

打赏
举报

回复

查询元数据，自己生成脚本

注意:以下脚本day变量会自增:20240628,20240629,20240630,20240631,20240632…场景:shell脚本统计hive外表天分区的数据量。

hive分区表分区数据量统计

为什么要查询表数据量在做数据仓库管理时，数据导入hive或向表生成数据后形成的数据资产，表里的数据量和占用存储空间是总要的元数据属性。为方便数据使用时对数据有基本的了解，需要对表的数据量做统计。使用 analyze table 主动生成元数据信息analyze table tableName [partition(partCol[=‘value‘])] compute statistics;...

shell脚本代码： #每个月采集表的数据量 for (( i = 201901; i < 201913; i++ )); do hadoop fs -du -s /project/iisp/data/warehouse/cdm/$1/dt=$i"*">temp1.txt Size=$(cat temp.txt | awk '{sum+=$1} END {print sum}') ...

对于数据量的统计，从表是否分区分为和两者有着不同的统计方式。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章