hive:insert into偶发性结果数据丢失

岁月静好_慢慢变老 2021-08-07 15:25:34

有个hivesql:insert into table xxx partition(dt=xxx) select xxxx

之前使用textfile文件格式时没问题,近期调整为parquet格式+snappy压缩,结果表就开始偶发性的丢数据,对应的hdfs目录下对应文件也丢失了

注:insert into的任务有很多,都是对同一个结果表同一个分区插入,而丢失常出现在多个任务同时执行时

麻烦大佬们帮忙!!!谢谢

...全文
834 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
社区助手 社区小助手 2021-08-10
  • 打赏
  • 举报
回复

您的内容不符合建议专区的主题哦,建议前往对应的技术专区进行提问

9,029

社区成员

发帖
与我相关
我的任务
社区描述
CSDN全站用户和CSDN产品经理、运营人员集中交流讨论CSDN各产品问题的通道,欢迎大家提供建设性的建议,让CSDN变得更好。也请大家不要在这里发布招聘、技术问题等无关CSDN产品的内容,谢谢。
其他 其他
社区管理员
  • 社区公告社区
  • CSDN产品汪
  • CSDN官方博客
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧