Markdown批量转TXT全攻略:四类方案对比与Python脚本实践
前几天在群里看到有人问:手头有几百个Markdown笔记,发布平台只收TXT,一个个打开再复制粘贴实在太折磨人,谁有批量转换的办法?这个提问下面点赞最高的回复居然是"换个支持md的发布平台不就行了",可见多数人还是把问题想歪了。Markdown写文档、写笔记、写技术博客的人越来越多,但下游场景里纯文本依然是绝对的"万金油":有的是内容后台不认Markdown,有的是数据导入只接受TXT,有的是需要用纯文本语料去做AI训练和文本统计。
我做过不少类似的批量转换工作,反反复复试过pandoc、编辑器导出、在线工具、自己写脚本几条路。这篇就围绕"多个md文件批量转纯文本"这件事,把我认为最实用的方案、背后的取舍逻辑,以及我实际踩过的坑一次性讲清楚。如果你只是偶尔转一两个文件,可以直接看第2章的编辑器方案;如果你手里有一整个文件夹的md文件,而且以后还会持续有,我建议直接跳到第3章把脚本拿走。
在动手之前,先把一个根本问题想明白:TXT不只是"去掉Markdown符号"这么简单。同一个md文件,给内容编辑器用、给AI语料用、给纯归档用,要保留下来的信息完全不一样。这个想清楚了,后面的工具选型和参数设置才有依据。
1. 批转TXT的真实需求:不是去掉#号和星号那么简单
很多人说"转TXT就是把Markdown标签剥掉",这话对了一半。Markdown的#、**、反引号确实是噪声,但一篇文档里除了这些语法符号,还有图片、链接、表格、代码块四类信息。这四类东西不是一个"剥掉"就能解决的,你得根据下游需求决定它们是去是留。
1.1 不同的消费端,决定了你要留哪些信息
我遇到过几种典型场景,处理策略完全不同:
场景A:内容平台发布。 这类后台通常支持富文本粘贴,但只接受纯文本格式。此时标题层级最好保留,因为你要靠一级标题、二级标题判断章节结构;链接文字保留就够了,URL往往不需要;图片一般直接丢掉,只留alt文本反而显得突兀。
场景B:AI训练语料准备。 这是最近特别多的需求。训练语料最好是干净的自然语言段落,Markdown符号全部去掉,标题层级可以转换成纯文本里的换行和缩进,代码块内容要原样保留但去掉围栏,表格最好是转成TSV或者逐行读起来仍然有结构。这个场景里,alt文本和链接文字是有价值的语义信息,不该删得太干净。
场景C:字数统计和归档。 只想知道自己写了多少字、或者想统一存档,那所有非正文内容都可以简化。图片、链接、代码块全都不重要,连标题的#也可以去掉。
所以你会发现,"怎么转"这个问题,本质上是"转完给谁用"。我在后面的脚本里会保留一个keep_alt开关,就是为了应对这种差异。你动手之前先问一句:我要的纯文本,是真的纯文本,还是带简单结构的纯文本?
1.2 批量转换的真正难点:规则一致性
单文件转换随便找一个在线工具都能搞定,批量转换的麻烦不在"量",而在"一致性"。同一个目录下几十个md文件,如果你一个个手动转,极有可能出现:有的文件保留了图片,有的删了;有的标题带了#,有的没有;有的编码是UTF-8,有的是GBK。这些不一致在单文件时看不出来,一旦合并进同一个TXT、或者批量导入某个系统,就是灾难。
所以批量转换的第一步,是先定规则:
- 编码统一用UTF-8还是GBK
- 图片alt文本保留还是删除
- 链接文字保留、URL删除,还是连文字一起删
- 表格转成TSV还是直接变成一段话
- 代码块围栏去不去,代码换行和空行保不保留
规则定完,再谈工具。工具的价值不是"会转换",而是"按你定的规则稳定转换一千次不跑偏"。这一点上,图形界面编辑器天然吃亏,因为人类手动操作是不可能保证一千次都一样的。
2. 四类方案横向对比:pandoc、编辑器、在线工具、脚本
我试过的方法基本可以归成四类。每一类都有它最合适的场景,也有明显的短板。下面是从实操角度给的判断,不是参数层面的罗列。
2.1 pandoc:格式越复杂,越推荐用它
pandoc是文档转换领域绕不开的工具。它支持md转出各种格式,其中plain格式就是去掉了Markdown符号的纯文本输出,但又保留了标题、列表、块引用这些结构信息。
单个文件转换只需要一行命令:
批量转换也很直接。Linux/macOS下用bash循环:
Windows下用PowerShell更舒服:
pandoc的plain输出模式是我见过处理复杂Markdown最稳的方案。表格不会拧成一团,代码块原样保留,嵌套列表的缩进基本都在。它有一点需要注意:-t plain会把一级标题变成大写加下划线风格,如果你要求标题完全不带任何辅助符号,可能需要配合--wrap=preserve或者其他参数微调,或者干脆走脚本方案。
2.2 编辑器和在线工具:临时够用,批量难受
Typora这类Markdown编辑器支持"复制为纯文本",VS Code装个"Markdown to Text"之类的扩展也能单文件转。优点是零学习成本、所见即所得;缺点是一次只能处理一个文件,而且处理规则固化在工具里,你没法控制图片alt和链接URL的去留。
在线转换网站更只适合应急。且不说批量上传几十个文件的操作有多反人类,你手上这些md文件可能包含公司内部文档、未发布的文章、个人笔记,全部丢给第三方网站在线处理,我是完全不放心的。数据安全这条就够一票否决大部分在线工具。
我也见过有人用"笨方法"批量完成:把md文件全部拖进Typora,然后全选复制粘贴到一个大TXT。这确实算一种"批量",但前提是文档数量少、内容短。我见过一个两百多页的长文档,全选复制的时候Typora直接卡死,最后整个文件内容丢失。别问我怎么知道的。
2.3 脚本方案:可定制、可复用、可自动化
脚本方案的好处在于:规则完全可控,代码写一次以后永远用同一套标准执行。不管是100个文件还是10000个文件,跑出来的结果一样稳定。而且它可以无缝集成到后续处理里——转完之后统计字数、合并文本、按目录归档、喂给AI训练流程,全都可以一条龙跑完。
如果你完全不会Python,又不想装pandoc,还有一个折中办法:用pandoc的命令行批量命令,规则由pandoc帮你定。前面说过,pandoc对复杂Markdown的处理质量非常高。所以我的建议是:pandoc适合"不想折腾但要求结果好"的人,Python脚本适合"要定制规则且有复用需求"的人。
2.4 怎么选:看这几个维度就够了
| 方案 | 批量能力 | 规则可定制性 | 上手难度 | 数据安全 | 适合场景 |
|---|---|---|---|---|---|
| pandoc | 强 | 中 | 低 | 完全本地 | 单文件/批量,格式复杂 |
| Typora/VS Code扩展 | 弱 | 低 | 最低 | 完全本地 | 少量文件应急处理 |
| 在线工具 | 弱 | 极低 | 最低 | 有风险 | 临时应急,不推荐 |
| Python脚本 | 强 | 高 | 中 | 完全本地 | 长期、批量、定制化需求 |
如果让我给一个最直白的选型建议:文件不多、一次性需求,用pandoc;文件多且以后还会持续有,用Python脚本。Typora和在线工具不是不能用,但你用过一次批量之后就会明白,它们只适合"救急"。
3. 一份可以直接上手的Python批量转换脚本
下面这份脚本是我实际在用的简化版本。它不依赖pandoc,只装两个Python库:markdown(把md渲染成HTML)和beautifulsoup4(从HTML里提取纯文本并做精细处理)。整个处理路径是:md文本 -> 提取代码块 -> 转HTML -> 用BeautifulSoup清洗 -> 还原代码块 -> 输出TXT。
3.1 环境准备与核心思路
先装依赖。Linux/macOS用pip3,Windows用pip,实际看你环境:
核心思路一句话:用markdown库把md转HTML,再用BeautifulSoup把HTML里的纯文本抠出来。 这比用正则match #、*、[]()要可靠得多,因为markdown库知道所有语法边界,不会出现把普通文本里的#当成标题符号删掉的误伤情况。
代码块先提取出来的原因是为了防止BeautifulSoup处理时把代码内部空行压缩掉。先把围栏代码块整体存到一个列表,用占位符替换,最后再还原回去。这样代码块里的内容能做到"原样保留,绝不改动"。
3.2 完整脚本:md转txt的核心函数
这份函数有几个可调项:
keep_alt=True:保留图片的alt文字。如果转出来要当语料,建议保留;如果只想看正文,改成False。table_sep="\t":表格列之间的分隔符。默认用制表符,这样转出来可以直接丢进Excel;如果你想更"纯文本"一点,可以改成" | "。- 链接URL被丢弃,只保留可见文字。如果你希望把URL也留下来做链接清单,可以做个小改动:把
a.replace_with(text)改成a.replace_with(f"{text} ({href})"),然后取href属性拼接进去。
3.3 批量遍历目录:输出结构与命名规则
单文件转换函数有了,批量只是套一层目录遍历。这里有一个很多人会忽略的细节:输出目录结构最好跟输入保持一致。 如果你的md文件分散在多层子目录里,全部平铺到同一个输出目录会出现文件名冲突,而且后续很难找回对应关系。
这段代码把notes目录下所有md文件转成TXT,输出到notes_txt目录,目录结构保持一致。.with_suffix(".txt")会把文件名后缀从.md换成.txt,同名覆盖问题不会出现,因为原后缀已经被替换掉了。
3.4 跑一次看效果,顺带说说调试技巧
我建议第一次跑的时候不要直接对整个大目录执行,而是先建一个只有两三个测试文件的临时目录,跑通之后再正式大批量执行。看输出时重点检查三处:
- 标题和正文之间有没有合理的空行
- 代码块里的内容是否完好无损
- 链接文字、图片alt是否符合预期
脚本运行过程中如果发现某个文件报错,先从编码下手排查。90%的批量转换报错都发生在编码环节,这些我在第4章会展开说。
4. 批量转换中最容易翻车的四个细节
这一章全是我自己踩出来的坑。每个坑单看都不大,但批量处理时一旦中招,就是成百上千个文件一起出问题。
4.1 编码:UTF-8、GBK、BOM,先统一再转换
跨平台处理md文件,最多的问题就是编码。同一个文件夹下,有的文件是UTF-8无BOM,有的是UTF-8带BOM,有的干脆是Windows记事本默认的ANSI(其实就是GBK)。如果你的脚本硬用UTF-8去读GBK文件,直接UnicodeDecodeError,批处理到一半中断。
我前面脚本用的是utf-8优先读取,抛异常就用gb18030兜底。gb18030是GBK的超集,能兼容绝大多数中文编码文件,所以这个兜底顺序在中文场景下非常稳。
还有个细节是BOM。UTF-8带BOM的文件,用encoding="utf-8"读进来时,字符串开头会带一个\ufeff。这个不可见字符平时无所谓,但如果你转出来的TXT要拿去给程序解析、做数据导入,它就是经典报错源头。稳妥做法是用utf-8-sig读取带BOM的文件。如果你发现转换结果开头有个不可见字符,就检查这一项。
4.2 图片alt删还是留,链接URL要不要
这是我在"语料准备"里纠结过最久的问题。现在想想,答案其实很简单:取决于转出来的TXT给谁看。
如果是给人读的,图片alt可以保留,因为转出来是"夕阳下的湖面",这本身就是一句有效描述;链接文字保留、URL删掉,因为人不需要看那一长串地址。
如果是给程序处理的,比如按字数统计、做词频分析,alt文本可能干扰结果,建议删。链接URL同理,纯文本里夹杂https://...对统计和模型训练都是噪声。
我在代码里默认keep_alt=True,就是想让你在动手前主动做一次判断,而不是跟着默认值随手就转了。
4.3 表格揉成一团,两种解法保住可读性
Markdown表格在纯文本里是最容易变成灾难的。直接用正则删掉管道符|和分隔行,表格会变成一堆文字粘连在一起,列与列之间完全分不清。
我脚本里给的解法是转成TSV,也就是用制表符分隔列,每一行对应表格一行。这样做的好处不只是可读性,是转出来的内容可以直接复制进Excel或者任意表格软件,列会自动分开。如果你坚持表格也要"最纯"的纯文本,可以考虑用pandoc的plain输出,它对表格的处理是保留边框线的,可读性比粘连好很多。
4.4 代码块、嵌套列表在纯文本里的重建
代码块的处理核心是"原样保留"。很多转换方案用正则直接删掉反引号,结果代码内的空行和缩进会被一并压缩坏掉。我的脚本把代码块整体摘出来,转换完成后再放回去,就是这个原因。代码块里的内容非常重要,尤其在技术文档里,它可能是整篇文档最有价值的部分。
嵌套列表的坑在于缩进。HTML转纯文本时,如果没有处理好ul和li的关系,嵌套列表会丢失层级信息,变成一整段平铺的文字,子项和父项混在一起。BeautifulSoup的get_text("\n")在绝大多数情况下能保住列表项之间的换行,但如果你发现嵌套列表的层级丢了,可以在提取后检查一下输出。实在不行,就在md转HTML之前,先把嵌套列表的层级信息用2空格缩进量化写进文本里,这个操作简单可靠。
5. 从"批量转换"到转化后处理,进阶玩法
脚本跑通只是第一步。真正能解放双手的,是把转换嵌进一条自动化的流程里。这里我分享几个追加玩法。
5.1 目录监视:新md文件进来就自动转
如果你有一个"工作目录",每天往里面扔md文件,希望它们落地就自动变成TXT,可以用watchdog库监听目录。装依赖只需要一行:
核心逻辑很简单:监听目录里的文件创建事件,发现新出现的.md文件就调用前面那个md_to_txt函数。贴上我常用的骨架代码:
这个玩法适合那些有固定写作目录、且下游系统依赖TXT输入的人。写完保存,TXT就已经同步生成好了。
5.2 转出来的TXT还能怎么用
TXT出来后,下游操作空间很大:
- 批量统计字数:Linux/macOS下
wc -m *.txt,Windows下PowerShell可以用Get-Content *.txt | Measure-Object -Character。 - 合并成一个大文件:按文件名排序后
cat *.txt > merged.txt,方便全文检索和归档投喂。 - 表格转成的TSV直接拖进Excel或数据库批量导入,不需要二次清洗。
- 给AI训练做语料预处理:TXT是后续分句、清洗、构建JSON数据集的中间格式,这也是我最常用的一条链路。
5.3 我个人目前最顺手的组合
我现在的标准流程是:日常单文件用pandoc的-t plain输出,图个省事;目录级批量处理用Python脚本跑,图个稳定可复用;需要做语料的时候再加上一条规则——图片alt保留、表格转TSV、代码块原样。
如果你完全不想写脚本,pandoc一行命令其实已经能解决80%的需求。但如果你跟我的情况一样,文件夹里积累了几年上万篇md文档,你一定会想要一个不变形的固定流程,而不是每次打开在线工具手动操作。脚本方案值得你花二十分钟跑通一次,之后省下的是大量的重复劳动。
说到底,Markdown批量转TXT从来不是什么高深技术,真正的功夫在动手之前:弄清楚转出来的文本给谁用、需要保留什么信息、用什么规则保证一千次转换结果一致。这些想透了,工具反而不是问题。