HIVE 如何迁移已有表的hdfs路径

wuguang1235 2016-03-02 06:07:02
背景:因为系统是个大数据平台,会有很多不同的生产厂家在HIVE中建表,因此需要有个规范来约束厂家存放数据,
因有些厂家把数据存放到了公共目录,现在需要迁移出指定的目录,不知道有没有啥方法;

以下为具体问题描述
1、厂家Y建了个表A
create table a(f1 int,f2 int,……) partition(xx,yy) location '/usr/hive/warehouse/a';
需要迁移A表的数据至 '/usr/hive/warehouse/厂家Y‘ ;
2、在直接更改location (alter table a set location '/usr/hive/warehouse/厂家Y/a‘ ) 发现hdfs的路径并没有变化;

在外网上查到一些方法:
1、新建一个表B,指定location到目标路径 create table b like a location '/usr/hive/warehouse/厂家Y/B';
2、迁移A的数据至B,
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
因为表A或者其他表有大量的分区,这样设置,可以自动在表B上维护分区
insert overwrite table B partition(xx,yy) select * from A;
3、drop 原来的表A drop table a;
4、更名表B为A, alter table b rename to a;
在步骤4之前,B的数据存放目录还是在 '/usr/hive/warehouse/厂家Y/B' 下,但是执行4后,表A(原表B)数据存放目录又变回了
'/usr/hive/warehouse/a' 下,结果失败了;

请问大家有没有啥好方法,谢谢了!
...全文
9924 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
houyafan 2017-08-24
  • 打赏
  • 举报
回复
同求解决方案
qq_32937335 2016-07-15
  • 打赏
  • 举报
回复
遇上同样问题了,最后你们怎么解决的,有啥好点的办法吗
wuguang1235 2016-03-10
  • 打赏
  • 举报
回复
啥情况啊,有没有大牛帮忙解决下?

7,388

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 数据仓库
社区管理员
  • 数据仓库
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧