HIVE 如何迁移已有表的hdfs路径

2016-03-02 06:07:02 1万阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Hive数据导入实战：五种高效方法详解本文详细解析了Hive数据导入的五种高效方法：Load命令、Insert语句、CTAS、Location指定外部表以及Import/Export工具。重点剖析了Load命令从本地或HDFS加载数据的实战技巧与避坑指南，帮助用户根据数据来源和业务场景选择最佳导入策略，构建高效数据流水线。阅读详情

背景：因为系统是个大数据平台，会有很多不同的生产厂家在HIVE中建表，因此需要有个规范来约束厂家存放数据，
因有些厂家把数据存放到了公共目录，现在需要迁移出指定的目录，不知道有没有啥方法；

以下为具体问题描述
1、厂家Y建了个表A
create table a(f1 int,f2 int,……) partition(xx,yy) location '/usr/hive/warehouse/a';
需要迁移A表的数据至 '/usr/hive/warehouse/厂家Y‘ ；
2、在直接更改location (alter table a set location '/usr/hive/warehouse/厂家Y/a‘ ) 发现hdfs的路径并没有变化；

在外网上查到一些方法：
1、新建一个表B，指定location到目标路径 create table b like a location '/usr/hive/warehouse/厂家Y/B';
2、迁移A的数据至B，
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
因为表A或者其他表有大量的分区，这样设置，可以自动在表B上维护分区
insert overwrite table B partition(xx,yy) select * from A;
3、drop 原来的表A drop table a;
4、更名表B为A， alter table b rename to a;
在步骤4之前，B的数据存放目录还是在 '/usr/hive/warehouse/厂家Y/B' 下，但是执行4后，表A（原表B)数据存放目录又变回了
'/usr/hive/warehouse/a' 下，结果失败了；

请问大家有没有啥好方法，谢谢了！

...全文

跨Hadoop平台Hive表export和import迁移场景：两个Hadoop平台集群之间Hive表迁移。思路：Hive表元数据和文件数据export到HDFS文件，通过Distcp将HDFS迁移到另一个集群的HDFS文件，再通过import在新Hive中建表； 1、原平台：Hive表元数据和文件数据到export到平台HDFS文件 1）hive下执行如下命令： #export table conf_adsl_app to '/ 阅读详情

wuguang1235

数据仓库 7,394 成员 6,741 内容

+ 关注 + 加入社区

HIVE 如何迁移已有表的hdfs路径

相关推荐