# Hadoop 筛选数据并删除（HDFS + Hive 两种方案）

[Borter]

# Hadoop 筛选数据并删除（HDFS + Hive 两种方案）
在 Hadoop 中**筛选数据删除**分两种最常用场景：
1. **HDFS 原始文件**：直接删除符合条件的文件/行
2. **Hive 表数据**：通过 SQL 筛选后删除（企业最常用）

我给你整理了**直接可用、零门槛**的操作方案，你按需使用。

---

## 一、HDFS 原始文件：筛选行并删除（覆盖/重写）
HDFS 不支持**直接修改文件**，正确做法是：
**筛选出需要保留的数据 → 写入新文件 → 删除旧文件 → 重命名**

### 命令示例（筛选并删除含 `delete` 的行）
```bash
# 1. 筛选保留不含 delete 的行，输出到临时文件
hadoop fs -cat /user/data/input.txt | grep -v "delete" | hadoop fs -put - /user/data/temp.txt

# 2. 删除原文件
hadoop fs -rm /user/data/input.txt

# 3. 临时文件重命名为原文件
hadoop fs -mv /user/data/temp.txt /user/data/input.txt
```

### 按字段筛选（比如第 2 列 = 无效 则删除）
```bash
hadoop fs -cat /user/data/data.csv | awk -F ',' '$2 != "无效"' | hadoop fs -put - /user/data/new_data.csv
```

---

## 二、Hive 表：筛选数据删除（企业标准方案）
Hive 分**内部表/外部表**，删除语法不同。

### 1. 筛选删除指定行（DELETE，Hive 2.0+ 支持）
```sql
-- 筛选条件：id=100 或 status='delete' 的数据删除
DELETE FROM 表名
WHERE id = 100 OR status = 'delete';
```

### 2. 分区表：按分区删除（最高效，推荐）
```sql
-- 删除 2025-12-01 分区
ALTER TABLE 表名 DROP PARTITION (dt='2025-12-01');
```

### 3. 外部表：安全删除（只删数据，不删表）
```sql
-- 覆盖写入：只保留符合条件的数据
INSERT OVERWRITE TABLE 表名
SELECT * FROM 表名
WHERE 保留条件;
```

---

## 三、批量删除 HDFS 符合条件的文件
如果你要**删除文件名包含 2025-12 的文件**：
```bash
hadoop fs -rm /user/data/*2025-12*
```

删除 7 天前的旧文件：
```bash
hadoop fs -ls /user/data | awk '$1 ~ /^d/ {print $8}' | xargs -I {} hadoop fs -rm -r {}
```

---

## 四、安全提醒（必看）
1. **删除前先查询确认**
   ```sql
   SELECT * FROM 表名 WHERE 筛选条件;
   ```
2. **HDFS 删除不可恢复**，重要数据先备份
   ```bash
   hadoop fs -cp 原路径 备份路径
   ```
3. **分区表优先删分区**，比逐行删除快 100 倍

---

### 总结
1. **HDFS 文件**：筛选保留 → 写入新文件 → 替换原文件
2. **Hive 表**：`DELETE WHERE` 删行 / `DROP PARTITION` 删分区
3. **外部表**：用 `INSERT OVERWRITE` 安全覆盖删除

你可以告诉我：
- 是 **HDFS 文件** 还是 **Hive 表**
- 筛选条件是什么

我可以直接给你**可复制执行的精准命令**。