hdfs目录被overwrite怎么恢复

a1430359831 2019-05-09 10:14:42

hdfs上有一个目录，然后从hive导数据到hdfs上。不小心把之前的文件都给覆盖了，请问有没有办法恢复。求助大佬们。

...全文

413 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

鸾、 2021-12-14

打赏
举报

回复

垃圾箱看看

本文详细介绍了如何使用Hive进行数据的导入导出操作，包括从HDFS和本地文件系统加载数据到Hive表，以及将Hive表数据导出到本地路径的方法。此外，还讲解了Hive的Export和Import命令，用于完整备份和恢复包括表结构和数据在内的整个Hive表。

本文讲述了作者在工作中不慎使用Hive的`INSERT OVERWRITE`语句错误地清空了数据表，导致数据丢失。通过检查HDFS的.Trash目录，作者找回了被删除的数据并进行了恢复。文章分享了解决这个问题的步骤，提醒读者在进行数据操作时要谨慎，并提供了解决意外删除数据的方法。

本文详细解析了HDFS中文件创建的过程，包括检查文件是否存在、父目录创建、权限验证及日志更新等内容。

本文详细解析了HDFS写数据的全过程，包括向HDFS目录树添加INodeFile、添加契约、启动DataStreamer、建立数据管道及数据写入等关键步骤。深入探讨了HDFS如何确保数据的一致性和高可用性，尤其是在复杂网络环境下如何处理数据写入错误。

本文剖析了Flink+Hudi实时入湖架构中，Spark SQL执行insert overwrite写入Hive表时因YARN资源争抢导致Executor延迟启动，超出Hudi版本保留周期（30分钟），引发元数据过期与NoSuchElementException；进而因非事务性delete操作删除表路径后无法恢复，造成后续重试持续失败。重点涉及Hudi版本管理、Spark写入语义、YARN调度与时序耦合风险。

HUAWEI Code Craft

127

社区成员

546

社区内容

发帖

与我相关

我的任务

开源软件软件工程软件构建技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章