9,029
社区成员
发帖
与我相关
我的任务
分享
有个hivesql:insert into table xxx partition(dt=xxx) select xxxx
之前使用textfile文件格式时没问题,近期调整为parquet格式+snappy压缩,结果表就开始偶发性的丢数据,对应的hdfs目录下对应文件也丢失了
注:insert into的任务有很多,都是对同一个结果表同一个分区插入,而丢失常出现在多个任务同时执行时
麻烦大佬们帮忙!!!谢谢
您的内容不符合建议专区的主题哦,建议前往对应的技术专区进行提问