hive事务表的使用详解

逆风飞翔的小叔

新星创作者: 大数据技术领域

2023-08-18 14:13:18

https://blog.csdn.net/congge_study/article/details/128889662

...全文

178 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍了Hive事务表。Hive原本不支持事务，0.14后开始支持。创建事务表需开启事务配置，创建表时加特定关键字。其采用创建文件标记的方法实现事务，每次事务操作会创建文件夹，文件夹下有acid版本文件和数据文件。还介绍了合并器，用于定时合并文件以保持性能。

本文详细介绍了在HDP3.0环境下，Spark无法读取Hive内部事务表的原因，分析了Hive事务表（ACID表）的概念、与普通内部表的区别，以及适用场景。Hive3.0后的事务表支持ACID特性，但Spark目前不支持，导致读取错误。同时，文章提到了事务表的文件管理格式和读取机制，并给出了配置建议和注意事项。

本文深入探讨了Hive的事务表特性，包括与非事务表的区别和联系。重点介绍了如何配置Hive支持事务，强调创建事务表必须使用分桶的ORC格式，并提供了创建事务表的示例。此外，还概述了Hive创建表的三种不同方式。

本文详细介绍了Hive事务的背景、实现原理，包括delta文件的命名规则和_orc_acid_version的作用，同时讨论了事务的使用限制和操作演示，包括参数设置和事务表的增删改查操作。

本文介绍了Hive从不支持事务到引入ACID语义的变迁，重点讲解了开启事务、创建事务表的方法，以及Hive事务的局限性，包括不支持高级事务操作和特定格式及设置。

DevOps运维开发技术布道

87,583

社区成员

572

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章