HIVE分区数据量统计

风尘路上的世界 2017-08-18 12:00:24

要统计好多张表，好多个分区的数据条数，求大神赐脚本！！！

...全文

2773 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

蘑油里 2020-11-24

打赏
举报

回复

说的什么屁话

大脸猫o 2019-03-07

打赏
举报

回复

查询元数据，自己生成脚本

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。是hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是将HQL转化成MapReduce程序.本课程从基本概念,hive和mysql软件的安装入手,讲解hive的数据类型,DDL和DML操作,以及常用的查询和函数的使用,让你快速入门hive,即刻成为大数据程序员.

hive查看分区数据量

查询HIVE表分区的数据占用和行数，用于数据治理通常，每天一个分区；通常，今天查看昨天分区数据量本文日期分区字段为ymd

在Hive explain获得执行计划时，经常会看到如下图所示的表数据量统计：那么这个数据量，Hive是如何统计出来的呢？一、Data size统计 1.1、Hive源码在Hive通过Antlr语法解析器获取到SQL的抽象语法树（AST）并生成校验过元数据的逻辑执行计划后，在优化阶段会使用Statistics统计的规则（rule），如下图所示：在AnnotateWithStatistics这个类中，在对执行计划进行转化（transform）时会调用TableScanStatsRul

为什么要查询表数据量在做数据仓库管理时，数据导入hive或向表生成数据后形成的数据资产，表里的数据量和占用存储空间是总要的元数据属性。为方便数据使用时对数据有基本的了解，需要对表的数据量做统计。使用 analyze table 主动生成元数据信息analyze table tableName [partition(partCol[=‘value‘])] compute statistics;...

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章