报错不是 `sqlite3` 的问题，而是 pandas 读取 txt 时用错了编码

2026-10-28 15:32:51 63 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Discord集成Claude实现团队级代码协作助手代码协作助手是现代软件开发中提升团队响应效率与知识复用的关键基础设施。其核心原理在于将大模型的代码理解、生成与解释能力，通过轻量API网关嵌入开发者高频使用的通信场景（如Discord），实现上下文富集、低认知负荷的即时交互。技术价值体现在缩短问题平均解决时长、降低新人上手门槛、倒逼提问规范化，并支持审计与安全管控。典型应用场景包括实时错误诊断、SQL/正则/Pandas等高频代码片段辅助、跨语言逻辑翻译及Docker/CI配置优化。本文聚焦Claude 3.5 Sonnet与Discord Bot的生产级阅读详情

这个报错不是 `sqlite3` 的问题，而是 **pandas 读取 txt 时用错了编码**。

你的代码里大概率写了：

```python
encoding="utf-8"
```

但你的 txt 文件很可能是 **GBK / GB2312 / ANSI / GB18030** 编码，所以报：

```text
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd4
```

---

## 直接改法：把 encoding 改成 gb18030

建议优先用 `gb18030`，它兼容 GBK、GB2312，适合中文 Windows 文本文件。

把你的读取代码从：

```python
pd.read_csv(
txt_path,
sep=",",
encoding="utf-8",
chunksize=100_000
)
```

改成：

```python
pd.read_csv(
txt_path,
sep=",",
encoding="gb18030",
chunksize=100_000
)
```

完整示例：

```python
import pandas as pd
import sqlite3

txt_path = r"D:\Project_2026\你的流水.txt"
db_path = r"D:\Project_2026\流水.db"

conn = sqlite3.connect(db_path)

for chunk in pd.read_csv(
txt_path,
sep=",", # 如果不是逗号分隔，这里要改
encoding="gb18030", # 重点：不要用 utf-8
chunksize=100_000,
dtype=str # 先全部按字符串读，避免账号、卡号被转成科学计数法
):
chunk.to_sql(
"transactions",
conn,
if_exists="append",
index=False
)

conn.close()

print("导入完成")
```

---

## 如果你的 txt 是制表符分隔

很多银行流水 txt 不是逗号分隔，而是制表符分隔。

如果文件内容看起来像这样：

```text
交易日期账号金额摘要
2024-01-01 6222xxx 100.00 转账
```

那要改成：

```python
sep="\t"
```

完整代码：

```python
import pandas as pd
import sqlite3

txt_path = r"D:\Project_2026\你的流水.txt"
db_path = r"D:\Project_2026\流水.db"

conn = sqlite3.connect(db_path)

for chunk in pd.read_csv(
txt_path,
sep="\t",
encoding="gb18030",
chunksize=100_000,
dtype=str
):
chunk.to_sql(
"transactions",
conn,
if_exists="append",
index=False
)

conn.close()

print("导入完成")
```

---

## 如果不知道分隔符，可以先预览前几行

新建一个小脚本，看一下文件前 5 行：

```python
txt_path = r"D:\Project_2026\你的流水.txt"

with open(txt_path, "r", encoding="gb18030", errors="replace") as f:
for i in range(5):
print(f.readline())
```

运行后观察：

### 如果字段之间是逗号

```text
交易日期,账号,金额,摘要
```

用：

```python
sep=","
```

### 如果字段之间是很多空白或 Tab

```text
交易日期账号金额摘要
```

可以试：

```python
sep="\t"
```

或者：

```python
sep=r"\s+"
```

如果用正则空白分隔，需要加：

```python
engine="python"
```

例如：

```python
pd.read_csv(
txt_path,
sep=r"\s+",
engine="python",
encoding="gb18030",
chunksize=100_000,
dtype=str
)
```

---

## 更稳妥版本：自动尝试多种编码

你可以先用这个版本，它会依次尝试常见编码：

```python
import pandas as pd
import sqlite3

txt_path = r"D:\Project_2026\你的流水.txt"
db_path = r"D:\Project_2026\流水.db"

encodings = ["utf-8-sig", "gb18030", "gbk", "gb2312", "ansi"]

success = False

for enc in encodings:
try:
print(f"正在尝试编码：{enc}")

conn = sqlite3.connect(db_path)

for chunk in pd.read_csv(
txt_path,
sep=",", # 如果不是逗号分隔，这里要改
encoding=enc,
chunksize=100_000,
dtype=str
):
chunk.to_sql(
"transactions",
conn,
if_exists="append",
index=False
)

conn.close()
print(f"导入完成，使用编码：{enc}")
success = True
break

except UnicodeDecodeError as e:
print(f"编码 {enc} 失败：{e}")
try:
conn.close()
except:
pass

if not success:
print("所有编码都失败，请检查文件编码或文件是否损坏")
```

不过注意：如果某个编码读到一半才失败，可能已经往数据库写入了一部分数据。更推荐先用下面这个小脚本测试编码。

---

## 推荐先测试编码

先运行这个：

```python
txt_path = r"D:\Project_2026\你的流水.txt"

encodings = ["utf-8-sig", "utf-8", "gb18030", "gbk", "gb2312"]

for enc in encodings:
try:
with open(txt_path, "r", encoding=enc) as f:
for _ in range(5):
print(f.readline().strip())
print(f"\n成功编码：{enc}")
break
except UnicodeDecodeError:
print(f"失败编码：{enc}")
```

一般你这个情况，大概率会显示：

```text
成功编码：gb18030
```

---

## 你现在最应该改的地方

你当前报错的核心是：

```text
UnicodeDecodeError: 'utf-8'
```

所以先把你的代码第 9 行附近的：

```python
encoding="utf-8"
```

改成：

```python
encoding="gb18030"
```

也就是：

```python
for chunk in pd.read_csv(
txt_path,
sep=",",
encoding="gb18030",
chunksize=100_000,
dtype=str
):
```