关于hive中修改表字段类型遇到的错误

MZDK777 2019-08-19 05:06:49

本人新手，在本地修改hive表字段类型时报如下错误，请大神帮忙指教；
问题如下：

...全文

1548 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

lingduo24 2019-08-23

打赏
举报

回复

String类型到int类型是数据类型高阶到低阶转化，这一般是被禁止的。就像可以由int转double是无损的，但是double转int会损失精度所以也不能转化。几乎所有的数据类型都能转化成string，因为兼容性好，但是反之就不一定了。所以尽管truncate表之后还是会报错。这种情况就重建表吧

MZDK777 2019-08-23

打赏
举报

回复

引用 3 楼 lingduo24 的回复:

String类型到int类型是数据类型高阶到低阶转化，这一般是被禁止的。就像可以由int转double是无损的，但是double转int会损失精度所以也不能转化。几乎所有的数据类型都能转化成string，因为兼容性好，但是反之就不一定了。所以尽管truncate表之后还是会报错。这种情况就重建表吧

好的，谢谢指教。

MZDK777 2019-08-20

打赏
举报

回复

引用 1 楼 master.zZ 的回复:

看起来应该是数据类型冲突了

可是我truncate表后再修改字段类型还是有这种错误。

master.zZ 2019-08-20

打赏
举报

回复

看起来应该是数据类型冲突了

因将线上表的某个字段的类型进行了更改，进而引发了下面两个问题：字段的声明类型和parquet存储时的类型不一致 table schema和partition schema不一致致使数据表直接无法使用。具体出错的问题从执行日志中可以清楚的看到。问题1 问题：将字段类型改成int类型，但是报错信息提示parquet文件对应字段类型是int64，设置的字段类型与实际存储的类型不一致解决：将字段类型改为bigint使与parquet存储时一致，数据表可以正常使用。问题2 问题：由于以前的分区已经运行

最近有个小伙伴在开发中遇到了Impala中修改Parquet表的字段类型问题，于是开启了问题解决之路。上述解决方案并不是真正的对Parquet进行修改字段类型和删除字段，只是新建了一张修改好的新表，然后把原来表的数据以动态分区的方式导入到删表重建的新表中。因为Parquet是在存储上，做了加密，二级制存储压缩，不可以修改的，包括去Hive中执行也是不行的！

指字段的最新状态，默认只对往后的分区数据生效，而之前的分区保留历史元数据状态。好处就是修改语句的效率很快，坏处就是如果历史分区的数据还有用，那就回发生分区元数据和表元数据的不一致报错。1、如果你改的是一个全量表，此时没有级联的概念，你的修改最多的会导致数据改动时引擎发现已有数据类型和你要改的类型不一样，说白了就是无论做任何修改都要保证元数据的一致性。二：想要避免这样的问题，那元数据正确的改动方法，应该是使用hive的客户端，运行修改语句时，带上级连关键字CASCADE，如新增一个字段。

经验证，hive中修改字段顺序并没有将字段对应的值移动，只是单纯的修改字段名，如果是空表（没有数据），可以使用以上两步；其中CASCADE选项为选填的字段，但是对于分区表，一定要加上，否则其历史分区的元数据信息(metadata)将无法正常更新，导致访问历史分区时会报莫名的错误。背景：项目中，客户使用hive内表，由于逻辑变更，原hive表结构需要调整，新增字段。如果已经添加了字段，可以修改字段时，在修改字段名时带上，在修改回来。实际上，使用alter语句，把保留的字段全部列出来，删除的字段不要列出来。

背景：修改了hive表的某些字段的数据类型，如从String -> Double ，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。如： Impala —— 正在提取遇到以下错误的结果： Bad status for request TFet

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章