hiveMetaStoreClient 或者包含分区的所有列信息

一粒沙cym 2019-09-04 09:21:18

求教
List<FieldSchema> fieldSchemaList= table.getSd().getCols(); 这个方法获取的只是这个hive表下的固有列信息，没有包含分区信息，如何才能拿到包含所有列的信息，包含分区列的。

...全文

715 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

凉夏初晨 2022-04-02

打赏
举报

回复

获取hive表下的所有字段信息 List fields= hiveMetaStoreClient.getSchema(dbName, tableName)

总要冲动一次 2020-11-10

打赏
举报

回复

获取分区直接 List<FieldSchema> partitionKeys = table.getPartitionKeys();

HBase 和 Hive 的 Java API 通过java来实现 HBase,Hive 的表管理与查询

元数据服务也就是HiveMetastore服务，客户端先连接HiveMetastore服务，HiveMetastore服务再去连接元数据存储的数据库，从而获取相关元数据信息。Derby模式下值为org.apache.derby.jdbc.EmbeddedDriver, MySQL为com.mysql.jdbc.Driver；HIVE将元数据存储在关系数据库中（MySql、Derby），元数据包括数据库信息及表的信息如：表的属性、表的名称、表的列、分区及其属性等。比如使用Derby时的值可以为。

分桶是相对分区进行更细粒度的划分Hive表或分区表可进一步的分桶比如按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。取模结果为0的数据记录存放到一个文件取模结果为1的数据记录存放到一个文件取模结果为2的数据记录存放到一个文件。

从package结构来看，主要的5个package： metastore是metastore模块的入口，也是整个metastore模块的核心所在，里面包含了HiveMetaStore类作为整个模块的核心，接收来自Hive的请求，返回需要的信息 metastore.api包含了调用和访问metastore模块的接口以及接口参数和返回值类型，metastore模块的用户可以通过api对metastore模块进行访问 metastore.events用于metastore模块内部的观察者模式。因为metast.

导读：快手基于Hive构建数据仓库，并把Hive的元数据信息存储在MySql中，随着业务发展和数据增长，一方面对于计算引擎提出了更高的要求，同时也给Hive元数据库的服务稳定性带来了巨大的...

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章